автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Исследование и управление режимами самоорганизации в сетях обобщенных нейронных автоматов

На правах рукописи

003452849

Коновалов Евгений Владиславович

ИССЛЕДОВАНИЕ И УПРАВЛЕНИЕ РЕЖИМАМИ САМООРГАНИЗАЦИИ В СЕТЯХ ОБОБЩЕННЫХ НЕЙРОННЫХ АВТОМАТОВ

Специальность 05.13.18 - математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата физико-математических наук

Ярославль - 2008

003452849

Работа выполнена на кафедре компьютерных сетей Ярославского государственного университета им. П.Г. Демидова

Научный руководитель — доктор физико-математических наук, профессор

Майоров Вячеслав Владимирович

Официальные оппоненты:

Ведущая организация — Обнинский государственный технический

университет атомной энергетики

диссертационного совета Д 212.002.05 при Ярославском государственном университете им. П.Г. Демидова по адресу: 150000, г. Ярославль, ул. Советская, Д. 14.

С диссертацией можно ознакомиться в библиотеке Ярославского государственного университета им. П.Г. Демидова по адресу: г. Ярославль, ул. По-лушкина роща, д. 1.

Автореферат разослан « 2 Оит^М/А 2008 г.

доктор физико-математических наук, старший научный сотрудник Козякин Виктор Сергеевич,

доктор физико-математических наук, профессор Тимофеев Евгений Александрович

Защита состоится

часов на заседании

Ученый секретарь диссертационного совета

Глызин С.Д.

Общая характеристика работы

Актуальность темы. Диссертация посвящена исследованию волновых режимов нейронной активности в сетях обобщенных нейронных автоматов и управлению этими режимами. Изучение биологических нейронных сетей является одним из приоритетных направлений современной науки. Создание математических моделей искусственных нейронных сетей и изучение их свойств представляет собой важнейший метод исследования в данной области. Помимо теоретического интереса к процессам мышления, интенсивное развитие нейросетевых технологий обусловлено целым спектром практических запросов — в медицине, экономике, бизнесе, химии, информатике и др.

Настоящая работа носит теоретический характер и опирается на данные функционирования биологических нейронных сетей. Возникновение теории нейронных сетей связывают с классическими работами У. Мак-Каллока, В. Питтса, Д. Хебба, Дж. Экклса. В дальнейшем данная теория была развита в работах Ф. Розенблатта, М. Минского, В. Маунткаоа, Д. Эдельмена, B.J1. Дунина-Барковского, A.A. Фролова, Дж. Хопфилда, Т. Кохонена и др. Параллельно с возникновением и изучением нейросетевых моделей развивалось знание о биологических нейронных сетях в работах Э. Эндриана, Р. Лоренте Де Но, Н.П. Бехтеревой, М.Н. Ливанова, А.Н. Лебедева и др.

Диссертация выполнена в рамках фазово-частотного подхода касательно способов представления и хранения информации в мозге. На этот счет существуют две основные парадигмы. Эти парадигмы (и соответствующие концепции моделирования нейронных сетей) можно условно охарактеризовать как частотную и фазово-частотную. Частотный (детекторный) подход предполагает, что поведение нейрона определяет частота его импульсации. Состояние ассоциации нейронов отражает распределение частот импульсации элементов. Фазовые отношения не учитываются. Изменение состояния возможно только как результат изменения воздействия. До недавнего времени такой подход являлся основным. Гипотеза о частоте как базовой характеристике последовательностей спайков опиралась на тот факт, что нейроны могут менять частоту генерации спайков при изменении стимуляции. Сомнения в эффективности частотного кодирования и в его универсальности связаны с тем, что разные виды стимуляции могут приводить к идентичным частотам генерации нейронных импульсов. Кроме того, частотное кодирование может быть эффективным в условиях медленно меняющейся стимуляции, но оно непригодно при быстром изменении стимулов. Это подтверждается экспериментальными данными. Альтернативой частотному кодированию является гипотеза о кодировании информации паттерном расположения импульсов в последовательности. При этом множество нейронов может функциониро-

вать согласованно не только во времени, но и в пространстве. Данный подход можно назвать фазово-частотным. В его основе лежат фундаментальные биологические исследования мозга, выполненные Н.П. Бехтеревой, М.Н. Ливановым, А.Н. Лебедевым. В данных работах выдвинута гипотеза о том, что воспроизводимая мозгом информация записывается в виде комбинаций различающихся по фазе когерентных незатухающих волн нейронной активности. Элементами кода служат пакеты волн, имеющих одинаковую частоту и различающихся только фазами. Пакет волн создается согласованной активностью массы нейронов, объединенных в ансамбль. Кодирование информации сопровождается образованием волн нейронной активности и носителем информации является колебательный режим динамической системы. Перечисленные работы по волновому кодированию и хранению информации в мозге основаны на. экспериментальном материале, но выполнены во многом на описательном и эмпирическом уровне. Всё это дает основания считать, что фазово-частотный подход является наиболее перспективным для понимания процессов, лежащих в основе памяти и мышления.

В настоящей работе предлагается новая модель нейронного элемента — обобщенный нейронный автомат (ОНА). На основе этой модели строятся и исследуются нейронные сети различной архитектуры. В современной теории нейронных сетей несомненный интерес вызывают такие модели, которые, одновременно, учитывают важные свойства биологического нейрона и допускают не только компьютерное моделирование, но и исследование аналитическим путем. Обобщенный нейронный автомат относится к числу таких моделей. В работах С.А. Кащенко, В.В. Майорова, И.Ю. Мышкина, был осуществлен феноменологический вывод одного из возможных уравнений динамики мембранного потенциала нейрона. Данная модель, получившая название импульсного нейрона, сохраняет основные биологические свойства нейрона и допускает аналитическое исследование. При моделировании обобщенного нейронного автомата применялся аналогичный подход. При этом модель ОНА отличается простотой описания, удобством исследования и универсальностью.

Полученные результаты являются актуальными, поскольку:

1. Процессы распространения волн импульсов в моделях нейронных сетей изучены еще недостаточно.

2. Модель обобщенного нейронного автомата обладает многими важными достоинствами: универсальный характер, простота описания, естественная биологическая интерпретация.

3. Открываются новые перспективы решения проблемы обработки информации, которые связаны с тем, что носителем информации является не стати-

ческое распределение битовой величины, а колебательный режим динамической системы или ансамбля систем. Сети обобщенных нейронных автомагов могут служить достаточно удобными объектами для организации такого рода режимов.

Цель работы. Характер исследования определялся поставленными в работе целями:

используя биологические предпосылки, разработать модель нейронных элементов, генерирующих импульсы;

на основе данной модели построить нейронные сети различной архитектуры, способные хранить информацию в волновом виде;

создать эффективный метод анализа функционирования нейронной популяции;

изучить вопросы строения колебательных режимов и управления ими.

Научная новизна работы заключается в следующем: предложена новая модель нейронного элемента — обобщенный нейронный автомат, объединяющий свойства различных типов нейронов;

разработана модель взаимодействия обобщенных нейронных автоматов; изучен ряд сетей обобщенных нейронных автоматов, доказана их способность хранить и воспроизводить данные, представленные в динамическом виде;

разработан метод анализа сетей обобщенных нейронных автоматов; решена задача управления параметрами модели и сети в целом так, чтобы нейронная сеть имела, аттракторы заранее заданной структуры;

Положения, выносимые на защиту. Исследования позволили решить важные конкретные задачи. Наибольший интерес из них представляют следующие положения:

1. Кольцевые структуры обобщенных нейронных автоматов способны хранить и воспроизводить заранее заданную периодическую последовательность импульсов (возможность хранения).

2. Периодическое пачечное воздействие способно навязывать обобщенным нейронным автоматам свой колебательный режим (механизм синхронизации).

3. Кольцевые структуры обобщенных нейронных автоматов успешно подвергаются адаптации (обучению). Это обеспечивает дублирование и запоминание информации.

4. В кольцевых структурах обобщенных нейронных автоматов-детекторов оказываются возможными разрушение со временем упорядоченной нейрон-

ной активности.

Методы исследования. В силу специфики исследуемых задач, на первый план выходят методы имитационного моделирования, нелинейной динамики, исследования дифференциальных и разностных уравнений. Интерпретация биологических данных позволяет выбрать в фазовом пространстве множество начальных условий. Строится итерационный оператор, который описывает динамику системы. Доказывается, что он переводит выбранное множество начальных условий в себя. Производится анализ конечномерного отображения.

Научно-практическая значимость результатов. Работа носит теоретический характер. Результаты могут быть использованы для моделирования проведения волн возбуждения в нейронных сетях. Данные результаты могут найти применение при создании новых сред для обработки информации, представленной в виде колебательных режимов динамических систем.

Апробация работы. Результаты настоящей работы были представлены на следующих конференциях и семинарах:

XII Всероссийский семинар "Нейроинформатика и ее приложения"(Красноярск, 2004); VI Всероссийская научно-техническая конференция "Нейро-информатика-2004"(Москва, 2004); XIII Всероссийский семинар "Нейроинформатика и ее приложения "(Красноярск, 2005); VIII Всероссийская научно-техническая конференция "Нейроинформатика-2006"(Москва, 2006); IX Всероссийская научно-техническая конференция "Нейроинформатика-2007" (Москва, 2007); Международная научная конференция "Математические методы в технике и технологиях" (Ярославль, 2007); X Всероссийская научно-техническая конференция "Нейроинформатика-2008"(Москва, 2008); Научный семинар "Моделирование и анализ нейронных сетей"(Ярославль, 20042008).

Публикации. По теме исследования опубликовано 13 статей, в том числе 2 в изданиях из списка ВАК.

Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения и списка литературы из 113 наименований. Содержание диссертации составляет 117 страниц.

Краткое содержание работы

Во введении содержится обзор основных направлений моделирования нейронных сетей. Обосновывается актуальность исследований и излагается краткое содержание диссертации.

В первой главе вводится новая математическая модель нейронного элемента — обобщенный нейронный автомат (ОНА).

В §1.1 сформулированы необходимые сведения о строении и функционировании биологического нейрона. Подробно рассматриваются процессы генерации нервного импульса (спайка) и его распространение в биологической нейронной сети.

В §1.2 приводится формальное описание обобщенного нейронного автомата. Модель ОНА задается набором следующих параметров:

• р — пороговое значение мембранного потенциала;

• г — равновесное значение мембранного потенциала;

• а — скоростной параметр;

• Тц — продолжительность периода рефрактерности;

• п — количество входов (синапсов);

• çi, 02,..., qn — величины синаптических весов;

• Тт — продолжительность периода синаптического воздействия (время жизни медиаторов).

Положительные величины р, г, a, Tr и Тт не меняются с течением времени. Входы (синапсы) каждого автомата характеризуются величинами <7ъ<72, ..., qn, где п — число входов данного автомата. Синаптические веса дг (г = 1,2,... ,п) определяют эффективность воздействия. Если д,- > 0, то воздействие через синапс считается возбудительным, если ^ < 0. то — тормозным.

Внутреннее состояние ОНА в момент времени t задается следующими функциями:

• u(t) — функция зависимости мембранного потенциала от момента времени i;

• s(t) — состояние автомата;

• a(t) — мгновенный выходной импульс единичной амплитуды;

Функция ы(4) при всех Ь удовлетворяет неравенству 0 < < р. Функция з{1) принимает следующие значения: {восприимчивость}, {генерация импульса}, {рефрактерность}. Функция ст(£) равна единице, когда ОНА генерирует выходной импульс (спайк). В остальные моменты времени а(Ь) = 0. Если сг(£) = 1, то данный ОНА оказывает воздействие на все связанные с ним автоматы.

Входные импульсы а^)^^),.. .,сгп(<) (п — число входов данного автомата) зависят от момента времени £. Здесь а,^) = 1 во все такие моменты времени t, когда по г-му входу пришел импульс (г = 1,2,..., гг). В остальные моменты времени а^) = 0 (г = 1,2, ...,п). Введем вспомогательные функции . При каждом отдельном г = 1,2,... ,п по-

ложим 0"гт(£) = 1 при всех £ £ [Г;Г + Тт}, где Ь" такие, что одновременно = {восприимчивость} и <7((Г) — 1. В остальные моменты времени = 0. Таким образом, функции — ступенчатого вида. Ступени

имеют единичную высоту и длииу, равную величине Тт.

Функционирование ОНА происходит в непрерывном времени. В произвольный момент времени £ возможен один из трех вариантов:

1. = {генерация импульса};

2. = {рефрактерность};

3. з{1) — {восприимчивость}.

1. Пусть = {генерация импульса}. При этом = р, <т(£) = 1. Импульс ОНА происходит мгновенно, после чего автомат переходит в состояние рефрактерности. То есть, при сколь угодно малом е > 0: з(Ь + е) — {рефрактерность}.

2. Пусть = {рефрактерность}. Тогда = 0, <т(£) = 0. В состоянии рефрактерности ОНА невосприимчив к внешнему воздействию. Автомат находится в состоянии рефрактерности в течение промежутка времени 7д с момента генерации спайка, после чего переходит в состояние восприимчивости. То есть, + Тр) — {восприимчивость}, где

¿1Р = тах{т : <т(г) = 1}. г<г

3. Пусть = {восприимчивость}. Тогда функция мембранного потенциала м(г) удовлетворяет дифференциальному уравнению:

й = а(г + д — и), (1)

где г — равновесное значение мембранного потенциала, а — скоростной параметр, а величина д определяется следующим образом:

9 =

¡=1

В качестве начального условия для уравнения (1) берется значение которое определяется следующим образом:

{0 = I если Г > + Тк ~ 1 ¿Г + Та, если г* < ^ + Тк

Ь* = тах{4+;Г},

= тахтах{г : стДт) = 1},

I т< 1

Г = тахтах{г : ст,т(г) = 1,0-™ (г+) = 0}.

1 т<Ь

В этом случае сг(Ь) = 0.

ОНА переходит в состояние генерации импульса, если величина мембранного потенциала и{Ь) становится равной пороговому значению р. То есть, 6'(^2Р) ~ {генерация импульса}, где

йр = тш{г : и(т) = р).

т>г

Если и(т) < р при всех г > то ОНА не генерирует импульс, и й(т) = {восприимчивость} при всех т > t.

Разобранные случаи полностью исчерпывают поведение обобщенного нейронного автомата.

Далее формулируется и доказывается ряд утверждений о свойствах и функционировании ОНА. В частности, рассматривается функционирование ОНА при отсутствии входных импульсов (без внешнего воздействия) и функционирование ОНА при поступлении одного входного импульса (при одном внешнем воздействии).

Формально определенная динамика обобщенного нейронного автомата соответствует развитию потенциала биологического нейрона. При этом модель ОНА отличается простотой описания, а также позволяет избежать технических трудностей, связанных с интегрированием сложных систем дифференциальных уравнений. Кроме того, обобщенный нейронный автомат — универсальная модель, способная, в зависимости от выбора параметров, функционировать как нейрон-детектор или нейрон-пейсмейкер. Об этом идет речь в §1.3.

А именно, если р < г, то ОНА ведет себя как нейрон-пейсмейкер, то есть без внешнего воздействия будет периодически генерировать импульсы через промежуток времени Т&. определяемый из соотношения:

е-а{ТА-Тп) = Г~Р

Г

Если р > г, то ОНА будет вести себя как нейрон-детектор. Поэтому предлагаемая модель способна решать более широкий класс задач, чем специализированные модели детекторов или пейсмейкеров.

Во второй главе рассмотрена задача о распространении импульсов (проведении возбуждения) по кольцевой структуре, образованной обобщенными нейронными автоматами-пейсмейкерами. Импульсы распространяются циклически, в сторону возрастания номеров автоматов. При этом установившимися с течением времени рассогласованиями в генерации импульсов между соседними автоматами можно управлять заранее. Система бесконечно долго воспроизводит заранее заданную периодическую последовательность импульсов. Такое функционирование нейронной сети может быть интериретировано как хранение информации в динамическом виде.

В §2.1 описываются кольцевые структуры, состоящие из ОНА-пейсмей-керов. Такие структуры обладают сравнительной простотой, что позволяет исследовать их поведение аналитическими методами.

Рассмотрим N обобщенных нейронных автоматов (А > 3). Соединим данные автоматы в кольцо и последовательно занумеруем их от 1 до N. Каждый (г — 1)-й автомат имеет локальную синаптическую связь с г-м автоматом (г = 1,2,..., А). Других связей в кольце нет. Параметры р, г, а, Гд, Тт и п = ] одинаковы для всех ОНА кольца. Условие г > р определяет функционирование автоматов кольца в режиме пейсмейкеров. Обозначим ф-и > О — синаптический вес связи, ведущей от (г — 1)-го автомата к г-му автомату О'= 1,2,..., А).

Зададим для автоматов сети априорные моменты импульсов. Наложим на эти моменты необходимые ограничения. Доказывается, что таким образом задается начальное состояния системы. Последовательность прохожде-

ния импульсов по кольцу (от 1-го автомата к ЛГ-му автомату) будем называть тактом прохождения волны. Пусть — момент j-гo импульса г-го автомата (¿ = 1,2,..., N. .7 = 1,2,...). Будем считать, что в нулевой момент времени ЛГ-й ОНА -пойс.мейкер генерирует импульс, то есть = 0. Введем обозначения для временных рассогласований между импульсами (г — 1)-го и г-го

автоматов (г = 1,2,..., ЛГ) на к-м такте прохождения волны: к _ ] — если * = или

' ~ [1* - если г > 1.

Зададим область возможных значений параметров р, г, а, Тц, Тт следующими неравенствами:

0 < р < г, а > 0, 0<Тт<Тц. (2)

Для существования устойчивого периодического режима, в котором импульсы автоматов кольца следуют в порядке возрастания номеров, необходимо выполнение следующих условий:

'о <$<Тт

при всех г = 1,2,... Предлагается исследовать устойчивость данного режима нейронной активности, и способность сети хранить информацию в динамическом виде.

В §2.2 данная задача успешно решается. Формулируется и доказывается лемма, которая связывает временные рассогласования на первом и втором тактах прохождения волны возбуждения. Далее производится обобщение полученного результата на случай двух любых подряд идущих тактов распространения волны. Возникает итерационный процесс, заданный следующей системой:

-«(Е^-Гя) «+1

ге +<гли = ес"'ч (г - р+ддгд)

-о('Е€?+,+ £ {,*-гя) м (4)

ге + дл'-1,лг = е (г-р + <7ж-1.Л')

где I — 2,3,..., N — 1, а к — любое натуральное число.

Обозначим через ожидаемые в стационарном режиме значения рассогласований между спайками (г — 1)-го и г-го ОНА (г = 1,2,..., Л/'). Полный _ N

период системы: Т — ^

г=1

Формулируется и доказывается лемма о существовании неподвижной точки отображения (4). При этом синаптические веса ^уд, дг,2, ■ ■ Яы-г.м определяются формулами:

Ямл = - Р - ге~а(?-тд)

е -1 _

Як- = - Р - ге-а(т~т«)} , (5)

=[г - р - ге-^'Ы]

е & —1

где к = 2,3,...,N - 1.

Теорема 2.1. Пусть произвольные, числа (г = 1,2,..., ./V) удовлетворяют условиям (3), а параметры сети — ограничениям (2). Синаптические веса q^-l,i в кольцевой структуре ОНА-пейсмейкеров определены формулами (5). Тогда в кольцевой структуре в окрестности неподвиокной точки существует устойчивый режим нейронной активности, при котором спайки ОНА-пейсмейкеров циклически следуют в порядке возрастания номеров. Предельные временные рассогласования между спайками (г — 1)-го и г-го автоматов (I = \,2,... принимают значения

Из теоремы 2.1. вытекает следствие, где устанавливается зависимость величин синаптических весов Цг-\л и предельных рассогласований Таким образом, задав заранее синаптические веса и обеспечив существование устойчивого колебательного режима в кольце, можно легко управлять предельными рассогласованиями при генерации спайков соседними ОНА-пейсмейкера.ми.

В третьей главе рассматриваются две связанные между собой задачи: поведение ОНА под действием пачечной активности и задача адаптации в кольцевых структурах ОНА-пейсмейкеров.

В §3.1 решается первая задача. Под пачечной активностью понимается группа тесно следующих но времени импульсов. Задача поведения ОНА под действием пачечной активности представляет самостоятельный интерес. Кроме того, полученные результаты используются в более сложных задачах, связанных с дальнейшим изучением обобщенных нейронных автоматов.

Рассмотрим некоторую произвольную нейронную сеть, состоящую из N обобщенных нейронных автоматов. Предположим, что то автоматов данной сети (т < уУ) последовательно генерируют импульсы периодическим образом в моменты времени ¿1, • • •, ^т] tl + Т, ¿2 + Т,..., + Г; ...; + кТ, Ц +

кТ,..., ... При этом каждый г-й автомат (г = 1,2,..., т) генерирует

импульсы, соответственно, в моменты времени и+Т, ^ + 2Т,..., + кТ,... Пусть каждый из этих тп автоматов соединен локальной синаптической связью с еще одним (т + 1)-м автоматом, поведение которого и будет исследоваться. Обозначим соответствующие синаптические веса как дь д2, ■ ■ ■, ?т; дг > 0 при всех г = 1,2,..., т. Других связей у исследуемого {т -1- 1)-го автомата нет. Параметры р, г, а, 7д и Тт одинаковы для всех (т + 1) автоматов сети. Исследуемый автомат имеет п = т входов.

Если рассматриваемый автомат является детектором, то величины (г — 1,2.... ,т) должны удовлетворять неравенству

т

г + £*>Р- (б)

¿=1

Идентичные пачки поступают периодически через промежуток времени Т. В том случае, если рассматриваемая нейронная сеть состоит из ОНА-пейсмей-керов, то положим:

Тт + Тя<Т< ТА. (7)

В том случае, если рассматриваемая нейронная сеть состоит из ОНА-детек-торов, то положим:

Тт + Тц < Т. (8)

Будем говорить, что ОНА непосредственно реагирует на пачку, если его импульс происходит после начала, выделения медиатора в гтг-м синапсе, но раньше, чем распался медиатор в первом синапсе. Это определяется условием ¿т < tsp < ¿1 + Т,п, где — момент импульса исследуемого автомата, а и — моменты, соответственно, первого и последнего импульсов пачки. Далее вводятся величины временных рассогласований между моментами г'-го и (г — 1)-го импульсов пачки и величина ^ запаздывания спайка исследуемого автомата относительно последнего импульса пачки. В этих обозначениях условия непосредственной реакции на пачку имеют вид:

Гсг>0

т '

,1=2

при всех г = 1, 2,... то; ] — 1,2,...

С учетом неравенств (6) — (8) и (9) формулируется и доказывается лемма о связи рассогласований и £2. Далее производится обобщение полученного результата на случай двух любых поступающих друг за другом пачек и соответствующих рассогласований и Имеет место следующая формула:

™ £ G

eQít+' = е«*-^-+ -• (Ю)

Г + E Яг -V Г + £ ?г - р

¿=1 г=1

Если в состав пачки входят только два автомата, то есть гп — 2, то формула (10) приобретает вид:

= ^ ге-^-гл) + qie-^ + <b

r + qi+qi-P г + q\ + q2-p

Эта формула используется в задаче адаптации ОНА-пейсмейкера.

Теорема 3.1. Пусть одна и та же пачка из т импульсов поступает на синапсы обобщенного нейронного автомата с периодом Т. Данный автомат непосредственно реагирует на каждую такую пачку. Величины рассогласований удовлетворяют условиям (9) при всех i = 2,3,..., т; j = 1,2,... Кроме того, в случае ОНА-пейсмейкеров выполняется условие (7), а в случае ОНА-детекторов — условия (6), (8). Если выполняется неравенство

ге-а{Т-ТИ)

<r + Y,4i-P, (12)

!=1

то периодическое пачечное воздействие навязывает исследуемому автомату свою частоту генерации импульсов. При этом последовательность рассогласований {£7'} У = 1,2,...) имеет npede.ii £*, который может быть найден по формуле:

где

т

т т -о £ т

л = (ге-*(г-г*>)/(г+ = (£9ге )/(г + Т,Ъ~р)-

1=1 7 = 1 1=1

Из данной теоремы вытекает способность периодического пачечного воздействия навязывать постороннему ОНА свою частоту генерации импульсов.

В §3.2 обсуждается способность нейронных сетей к обучению. Рассматриваются различные подходы к решению задачи обучения, в том числе механизм адаптации.

В §3.3 решается задача адаптации ОНА-пейсмейкера. Рассмотрим два ОНА-пейсмейкера, которые входят в некоторую об1цую произвольную нейронную сеть, состоящую из N ОНА-пейсмейксров (Л'' > 3). Первый из этих двух ОНА соединен со вторым однонаправленной синаптической связью с весом до > 0- Веса в данной произвольной нейронной сети, в том числе вес до, будем считаем заранее не известными. Предположим, общая сеть работает так, что два рассматриваемые ОНА функционируют в периодическом режиме. А именно, импульсы этих двух автоматов следуют друг за другом в порядке нумерации с одним и тем же внутренним рассогласованием и повторяются через промежуток времени Т. Предположим также, что в момент генерации импульса первым по счету автоматом второй находится в состоянии восприимчивости. Описанные здесь два ОНА-пейсмейкера будем называть первым и вторым эталонными (стандартными) автоматами. Пусть эти два эталонных автомата соединены однонаправленными еинаптическими связями с третьим ОНА-пейсмейкером, который будем называть адаптивным. Для этого автомата и будет решаться задача адаптации. Синаптический вес воздействия д второго эталонного автомата на адаптивный фиксирован. Синаптический вес воздействия <5 первого эталонного автомата на адаптивный будет меняться в процессе функционирования сети. Первоначальное значение веса <3 обозначим как (¿о Цель адаптации: добиться того, чтобы адаптивный автомат функционировал в точности, как второй эталонный автомат. Приводится естественная биологическая интерпретация для данной задачи адаптации.

Наложим на величины и фо следующие условия:

О < < Тт, (14)

О < <Эо < 90- (15)

Зададим область П возможных значений параметров р, г, а, 7д, Тт следующими неравенствами:

О < р < г, о > 0, 0<Тт<Тк. (16)

Доказывается лемма о начальном состоянии адаптивного ОНА-пейсмейкера. При этом рассматриваемая тройка автоматов (два эталонных и адаптивный) генерирует первые свои импульсы в следующем порядке: сначала

первый эталонный, затем второй эталонный (с рассогласованием а затем адаптивный. Запаздывание импульса адаптивного автомата относительно второго эталонного будем обозначать т] > 0. Из этой леммы вытекает, что при увеличении величины д и постоянных остальных параметрах величина рассогласования 17 стремится к нулю. В силу нестрогости неравенства (14). можно подобрать такой достаточно большой вес д, чтобы реакция носила непосредственный характер: спайк адаптивного автомата происходил раньше, чем завершается воздействие со стороны первого стандартного автомата. С другой стороны, при увеличении в процессе адаптации синаптического веса <3 величина уменьшается. То есть адаптивный автомат начинает' в своем функционировании "подтягиваться"ко второму эталонному автомату. На данном факте основана идея подстройки синаптических весов.

После каждого изменения веса <2 запаздывание импульса Г) адаптивного автомата, в ответ на следующую пачку, вообще говоря, меняется. Поэтому можно говорить о последовательности рассогласований т/*', где к = 1,2,... Каждое рассогласование 77^) — запаздывание импульса адаптивного автомата после поступления к-й пачки. Адаптацию будем проводить в соответствии с рекуррентной формулой

Здесь 7 — заранее выбранная малая константа, определяющая скорость адаптации, а величины <2® и — последовательные значения веса (3 до и после адаптации соответственно. Каждая такая адаптация веса проводится

на промежутке времени I 6 [Т(к - 1) + + Т{к - 1) + + л(к] + Тм], где ТМ < Тт - г].

Формулируются и доказываются необходимые следствия из леммы о начальном состоянии системы. Величины и связаны соотношением:

(17)

= А{(3)еа^' + В(<Э) д(к+1) = д(*) + 7(е"1(ь+,)-1) '

(18)

где

А(Я) = [ге-а{т'т^)/(г + <? + (¡Ю - р), В(Я) = (Я{к)е~ае + д)/(г + д + - р).

,-01

При этом необходимо выполнение априорных условий:

щМ > О

О <(?(*>< '

при всех к — 1,2,...

Возникает итерационный процесс, отражающий последовательные такты процедуры адаптации. Формулируются и доказываются лемма о том, что отображение (18) имеет неподвижную точку Щ = 0, = до-

Теорема 3.2. Пусть произвольный ОНА-псйсмейкер непосредственно реагирует на пачки из двух импульсов, поступающих с внутренним рассогласованием и периодом Т. Выполняются условия (7), (Ц) — (15). а параметры сети удовлетворяют ограничениям (16).

Если синоптический вес ц и малая константа 7 удовлетворяют неравенствам

то итерационный процесс (18) сходится к точке г\ = О, Q — qо-

Полученные результаты естественно применить к случаю, когда объектом адаптации является не один ОНА-пейсмейкер, а кольцевая структура, состоящая из N ОНА-пейсмейкеров. Эта задача решается в §3.4.

Рассмотрим два ориентированных кольца ОНА-пейсмейкеров. Первое из них назовем эталонным, а второе — адаптивным. Так же будем называть принадлежащие кольцам автоматы. В эталонном кольце каждый (г — 1)-й эталонный автомат воздействует на г-й автомат посредством однонаправленной синаптической связи с весом д^^г (г = 1,2,..., Л^). Пусть в эталонном кольце существует устойчивый режим нейронной активности, при котором спайки ОНА-пейсмейкеров циклически следуют в порядке возрастания номеров. Предельные временные рассогласования между спайками (г — 1)-го и г-го автоматов принимают значения (г = 1,2,..., Ы). Каждый эталонный

автомат генерирует импульсы периодически с периодом Т = ^ При этом

(20)

где

<р(0) = (р - г(1 - е~а(-т-т^))/{г + д - р), Л(0) = (ге~а'г_гя^)/(г + д - р),

выполняются неравенства:

О < £ < Тт

(21)

Тв<Т-$< ТА

(22)

при всех г = 1,2,..., А'. В адаптивном кольце каждый (г - 1)-й адаптивный автомат воздействует на г-й автомат посредством общей терминали со специальным аксо-аксонным синапсом, ведущим от (г — 1)-го эталонного автомата. Синаптический вес (¿¡-г,, соответствующей общей терминали будет меняться в процессе адаптации. Первоначально он равен (¿ = 1,2,..., И). Кроме того, каждый г-го эталонный автомат связан с г'-м адаптивным автоматом. Вес каждой такой однонаправленной одинаковый и равный д. Других связей в описанной нейронной сети ОНА-пейсмейкеров нет.

Предлагается провести адаптацию кольца ОНА-пейсмейкеров так, чтобы после отключения внешних сигналов автоматы адаптивного кольце генерировали импульсы так же, как соответствующие автоматы эталонного кольца. При этом веса в адаптивном кольце будут равны весам в эталонном кольце. Приводится биологическая интерпретация рассмотренного процесса адаптации.

Теорема 3.3. Пусть произвольные эталонная и адаптивная кольцевые структуры из N ОНА-пейсмейкеров соединены в нейронную сеть так. что каждый (г — 1)-й эталонный автомат соединен с г-м эталонным и (г — 1)-л« адаптивным автоматами, а (г — 1)-й адаптивный автомат соединен с 1-м адаптивным автоматом посредством общей терминали с аксо-аксонным синапсом, ведут,им. от (г — 1 )-го эталонного автомата (г = 1,2,..., ДГ Рассогласования между импульсами эталонных автоматов удовлетворяют условиям (21) — (22).

Тогда описанный процесс адаптации приведет к тому, что в адаптивном кольце установится устойчивый колебательный режим нейронной активности. при котором величины рассогласований будут равны а соответствующие веса связей =

Тем самым доказывается успешность процедуры адаптации. Кольцевые структуры ОНА-пейсмейкеров оказываются способными к самовоспроизведению.

В четвертой главе исследуются кольцевые структуры ОНА-детекторов. Решаются две задачи: распространение импульсов по кольцевой структуре ОНА-детекторов с постоянными синаптическими весами и с весами, меняющимися с течением вермени.

В §4.1 описываются кольцевые структуры, состоящие из ОНА-детекто-ров. Исследуется волна нейронной активности, представляющая собой циклическое распространение импульсов в сторону возрастания номеров автоматов. Рассмотрим введенную в §2.1 кольцевую структуру обобщенных нейронных автоматов. Снабдим первый автомат дополнительным внешним входом (синапсом) с весом д. Это необходимо для инициализации. Условие г < р определяет функционирование автоматов кольца в режиме детекторов. Далее воспользуемся введенными в §2.1 обозначениями. Зададим область возможных значений параметров р, г, а, 7д, Тт следующими неравенствами:

О < г < р, а > 0, 0 < Тт < Тя. (23)

Для существования устойчивого колебательного режима, в котором импульсы автоматов кольца следуют в порядке возрастания номеров, необходимо выполнение следующих условий:

'О < # < Тт

< ¿=1 <7 > р — г

при всех г = 1,2,..., N. Предлагается исследовать устойчивость данного режима нейронной активности, и способность сети хранить информацию в динамическом виде.

В §4.2 данная задача успешно решается. Формулируется и доказывается лемма, которая связывает временные рассогласования на первом и втором тактах прохождения волны возбуждения. Далее производится обобщение полученного результата на случай двух любых подряд идущих тактов распространения волны. Возникает итерационный процесс, заданный системой (4).

В обозначениях, введенных в §2.2, формулируются и доказываются лемма о существовании неподвижной точки и теорема об устойчивости предложенного режима нейронной активности.

Теорема 4.1. Пусть произвольные числа (г = 1,2,..., Л?7 удовлетворяют условиям- (24), а параметры сети — ограничениям (23). Синаптиче-ские веса д,_1.г в кольцевой структуре ОНА-детекторов определены формулами (5). Тогда в кольцевой структуре в окрестности неподвижной точки существует устойчивый режим нейронной активности, при котором спайки ОНА-дстекторов циклически следуют в порядке возрастания номеров. Предельные временные рассогласования между спайками (г — 1 )-го и 1-го автоматов (г — 1,2,..., N) принимают значения

(24)

Из теоремы 4.1. вытекает следствие, где устанавливается зависимость величин синаптических весов дг_1,г и предельных рассогласований £['. Поэтому, как и в случае ОНА-пейсмейкеров, можно легко управлять предельными рассогласованиями при генерации спайков соседними ОНА-детекторами.

В §4.3 исследуется поведение кольцевых структур ОНА-детекторов при изменении синаптических весов. Приводится биологическая интерпретация. Распространение возбуждения по кольцевым структурам при изменении весов обладает существенным своеобразием.

Рассмотрим введенную в §4.1 кольцевую структуру ОНА-детекторов с единственным отличием: синаптические веса (г = 1,2,..., /V) представляют собой функции специального вида, зависящие от времени. Решается следующая задача: для некоторых классов функций дг_1,г(й) определить условия разрушения со временем описанного колебательного режима. Под разрушением колебательного режима будем понимать прекращение всякой нейронной активности в кольцевой структуре ОНА-детекторов.

Пусть вес синаптической связи между (г — 1)-м и г-м ОНА-детекторами определяется следующим образом:

где ¿ = 1,2,..., TV; At = 1,2,...; а функция — положительная, невоз-

растающая и непрерывная во всех точках, исключая моменты генерации импульса (г - 1)-м ОНА-детектором (к = 1,2,...).

Теорема 4.2. Пусть в произвольной кольцевой структуре ОНА-детекторов с меняющимися величинами синаптических весов существует колебательный резким нейронной активности, при котором импульсы г-го автомата следуют за импульсами (г — 1 )-го автомата. Величины синаптических весов меняются в соответствии с условиями (25). Если найдутся момент времени t* £ j;i,fc] и помер ОНА-детектора (tie находящегося в состоянии рефрактерности) г такие, что оба неравенства системы

окажутся справедливыми на некотором к-м такте, то колебательный режим е кольцевой структуре ОНА-детекторов будет разрушен, и все автоматы перейдут в состояние покоя. Причем это произойдет не позднее, чем на к-м такте.

4i-U -

Qi-U, при* е {tl^tl.+TR} Ъ-гМ при t € + Хд; '

(25)

(26)

Приводятся примеры функций Отмечается, что при новом до-

статочно сильном воздействии на кольцевую структуру ОНА-детекторов колебательный режим может возникнуть снова, причем с теми же временными рассогласованиями в генерации импульсов. Установленные явления могут быть отождествлены с "потерей памяти "и "восстановлением памяти"в биологических нейронных сетях.

В §4.4 рассматриваются сходство и различия в работе кольцевых структур ОНА-пейсмейкеров и ОНА-детекторов. Дается сравнительный анализ по таким характеристикам как необходимость инициализации и способность к функционированию с ростом количества автоматов в кольце. Обсуждаются явления разрушения и трансформации колебательных режимов в кольцевых структурах.

В заключении подводятся основные итоги работы.

Список публикаций по теме диссертации

Статьи в ведущих научных журналах, включенных в перечень ВАК:

1. Майоров, В. В. Обобщенный нейронный автомат в задаче распространения волны возбуждения по нейронной сети / В. В. Майоров, Е. В. Коновалов // Нейрокомпьютеры: Разработка, применение. — М.: Радиотехника. - 2007. - № 7. - С. 3-8.

2. Коновалов, Е. В. Задача о пачечном воздействии на обобщенный нейронный автомат / Е. В. Коновалов // Моделирование и анализ информационных систем. — Ярославль: ЯрГУ, 2007. - Т.14, № 3. — С. 43-49.

Другие публикации:

3. Коновалов, Е. В. Устойчивый колебательный режим в нейронной сети обобщенных нейронных автоматов-детекторов / Е. В. Коновалов // Моделирование и анализ информационных систем. — Ярославль: ЯрГУ, 2007. - Т.14, № 2. - С. 30-35.

4. Коновалов Е. В. Хранение последовательностей бинарных векторов модульной сетью нейронных клеточных автоматов / Е. В. Коновалов // Сборник научных трудов. Нейроинформатика и ее приложения: Материалы XII Всероссийского семинара. — Красноярск: ИПЦ КГТУ. — 2004. - С. 76-77.

5. Коновалов, Е. В. Исследование модульной сети нейронных клеточных автоматов / Е. В. Коновалов // VI Всероссийская научно-техническая

конференция "Нейроинформатика-2004". Труды конференции. 4.1 Теория нейронных сетей. Нейробиология. Применение нейронных сетей. — М.: МИФИ. - 2004. - С. 67-71.

6. Коновалов Е. В. Исследование колебательного режима "ведущий центр" в локальной сети нейронных клеточных автоматов / Е. В. Коновалов /'/ Сборник научных трудов. Нейроинформатика и ее приложения: Материалы XIII Всероссийского семинара. — Красноярск: ИПЦ КГТУ. — 2005. - С. 48-49.

7. Коновалов Е. В. Устойчивые режимы ведущего центра в сети нейронных клеточных автоматов / Е. В. Коновалов // Современные проблемы математики и информатики; Яросл. гос. ун-т. — Ярославль: ЯрГУ. — 2005. - Вып. 7. - С. 56-61.

8. Майоров, В. В. Самоорганизация в полносвязной однородной сети нейронных клеточных автоматов возбудительного типа / В. В. Майоров, Г. В. Шабаршина, Е. В. Коновалов // Сборник научных трудов VIII Всероссийской научно-технической конференции "Нейроинформатика-2006". 4.1. М.: МИФИ. - 2006. - С. 67-72.

9. Коновалов, Е. В. Организация колебаний в кольце, состоящем из обобщенных нейронных клеточных автоматов возбудительного типа ,/ Е. В. Коновалов // Современные проблемы математики и информатики; Яросл. гос. ун-т. — Ярославль: ЯрГУ. — 2006. — Вып. 8. — С. 52-56.

10. Майоров, В. В. Обобщенный нейронный автомат в задаче распространения волны возбуждения по нейронной сети ■ В. В. Майоров, Е. В. Коновалов/' / Сборник научных трудов IX Всероссийской научно-технической конференции "Нсйроинформатика-2007"; Ч.З. — М.: МИФИ, 2007. — С. 124-131.

11. Майоров, В. В. Задача адаптации нсйросистем в курсе "Концепции современного естествознания"/ В. В. Майоров, Е. В. Коновалов, Г. В. Шабаршина // Преподавание математики и компьютерных наук в классическом университете: материалы 2-й научно-методической конференции преподавателей математического факультета и факультета информатики и вычислительной техники Ярославского государственного университета им. П.Г. Демидова. — Ярославль: ЯрГУ, 2007. С. 108-115.

12. Коновалов, Е. В. Задача об адаптации обобщенного нейронного автомата / Е. В. Коновалов // Международная научная конференция "Мате-

матические методы в технике и технологиях" (ММТТ-20). Материалы конференции. — Ярославль, 2007.

13. Майоров, В. В. Задача адаптации в сетях нейронных клеточных автоматов /' В. В. Майоров, Е. В. Коновалов, Г. В. Шабаршина /'/ Сборник научных трудов X Всероссийской научно-технической конференции "Нейроинформатика-2008"; 4.2. - М.: МИФИ, 2008. - С. 193-199.

Отпечатано на ризографе Ярославский государственный университет 150000 Ярославль, ул. Советская 14 Тираж -У О О Заказ

Введение

Глава 1. Математическая модель обобщенного нейронного автомата

§1.1 Биологическая справка.

§1.2 Формальное описание обобщенного нейронного автомата.

§1.3 Универсальный характер обобщенного нейронного автомата.

Глава 2. Распространение волны возбуждения в кольцевых структурах

ОНА-пейсмейкеров

§2.1 Организация колебаний в кольцевой структуре ОНА-пейсмейкеров.

§2.2 Хранение последовательности импульсов кольцевой структурой ОНА-пейсмейкеров

Глава 3. Пачечная активность и задача адаптации в кольцевых структурах

ОНА-пейсмейкеров

§3.1 Задача о пачечном воздействии на обобщенный нейронный автомат

§3.2 Проблема адаптации нейронов.

§3.3 Задача адаптации ОНА-пейсмейкера.

§3.4 Задача адаптации в кольцевых структурах ОНА-пейсмейкеров.

Глава 4. Распространение волны возбуждения в кольцевых структурах

О НА-детекторов

§4.1 Организация колебаний в кольцевой структуре ОНА-детекторов.

§4.2 Хранение последовательности импульсов кольцевой структурой ОНА-детекторов

§4.3 Поведение кольцевых структур ОНА-детекторов при изменении синаптических весов.

§4.4 Сравнительный анализ распространения возбуждения по кольцевым структурам ОНА-пейсмейкеров и О НА-детекторов.

1. Обзор основных направлений моделирования нейронных сетей

Изучение нейронных сетей является одним из приоритетных направлении современной науки. При изучении процессов мышления в естественных нейронных средах (в том числе человеческом мозге) исключительно биологический инструментарий оказывается явно недостаточным. Создание математических моделей искусственных нейронных сетей и изучение их свойств представляет собой важнейший метод исследования в данной области. В современной биологии исследования нейронных сетей занимают одно из ведущих мест по объему и сложности решаемых математических задач. В последние годы опубликован ряд обзоров [1], [10], [22], [76], которые дают представление о мощности научных исследований в области нейронаук, о консолидации математических, физических, биологических, информационных ресурсов для решения поставленных проблем.

В последней четверти XX века произошло беспрецедентно быстрое накопление экспериментальных данных о функционировании человеческого мозга. Одновременно произошел колоссальный рост информационных мощностей в результате бурного развития компьютерной индустрии. Всё это подготовило фундамент если не для разгадки всех тайн человеческого мышления, то, по крайней мере, для построения такой концепции работы мозга, которая бы не противоречила экспериментальным данным. Помимо теоретического интереса к процессам мышления и биологической эволюции [63], интенсивное развитие нейросетевых технологий обусловлено целым спектром практических запросов — в медицине [8], [60], экономике [16], [58] физике [15[, [29], [57[, информатике [59] и др. Следуют упомянуть и основополагающую роль нейронных сетей в такой популярной области исследований как создание "искусственного интеллекта" [13], [84] и др. В 1989 году по инициативе конгресса США, поддержанной АН СССР, 1990-е годы были объявлены "десятилетием мозга". И если в Советском Союзе программа исследований [3], [21], в силу исторических причин, сорвалась, то за рубежом прошел настоящий бум нейросетевых исследований.

При этом важно подчеркнуть, что в современной нейроинформатике соотношение фундаментальных и технологических задач складывается в пользу технологических.

Фундаментальные задачи — моделирование ощущений, восприятия, распознавание образов, обучение и запоминание паттернов — являются основными задачами когнитивной науки. Технологические задачи связаны с повышением эффективности использования искусственных нейронных сетей в решении задач кластеризации, классификации образов и сцен, аппроксимации функций для процессов технической, экономической или биологической природы. Постановка и решение таких технологических задач привели к разработке целого спектра разнообразных нейронных сетей (подробно рассмотренные, например, в [72]): сетей с прямым распространением сигнала, рекуррентных сетей, радиально базисных сетей, клеточных сетей, всевозможных гибридных сетей, в том числе с использованием нечеткой логики, генетических алгоритмов [65] и др. Зачастую при разработке подобных нейронных сетей соображения биологической интерпретации отступают на второй план. Кроме того, решая узко практические задачи, многие современные нейронные сети не предназначены для решения когнитивных задач, из которых важнейшие — хранение, воспроизведение и анализ динамически поступающей информации. Ниже будут классифицированы основные нейросетевые модели, существующие на сегодняшний день, применительно к специфике настоящей работы. Но прежде обозначим основные вехи в развитии теории нейронных сетей.

Возникновение теории нейронных сетей связывают с классической работой 1943 года У. Мак-Каллока и В. Питтса [51]. В последующих работах У. Мак-Каллока и его учеников [7], [52], [53], [105] развиваются принципы работы искусственного нейрона как логического сумматора, представляющего некоторые логические функции, изучаются вопросы надежности предложенных нейронных систем. В соответствие с гипотезой, выдвинутой Д. Хэббом [92] и развитой Дж. Экклсом [83], нервные клетки генерируют импульсы в ответ на последовательности поступающих импульсов в зависимости от распределения синаптических весов, которые характеризуют эффективность соответствующих связей. Согласно синаптической теории сведения отражаются в структуре синаптических весов. Эта теория лежит в основе всех нейросетевых моделей.

В 1958 году Ф. Розенблат и группа его коллег разработали примитивную модель работы мозга, названную ими персептрон (от perception — восприятие, понимание), и алгоритм обучения этой модели [64], [109]. В 1969 М. Минский и С. Пейперт ]55] детально проанализировали алгоритм обучения персептрона, предложенный Розенблатом, и показали, что модель имеет существенные ограничения. В частности, однослойный иерсептрон не может решить проблему исключающего ИЛИ. Было показано, что простота обучения, которая так привлекла исследователей, приводит к тому, что иерсептрон может распознавать только очень узкий класс свойств геометрических фигур. Исследовался вопрос о параллельных вычислениях. Авторами была высказана точка зрения, что аналогия подобных устройств с мозгом человека не совсем корректна. В делом была дана пессимистическая оценка дальнейшего развития персептронной модели. Это надолго затормозило дальнейшее изучение нейронных сетей. Тем не менее, некоторые исследователи продолжили работу в данной области.

В 1982 году Т. Кохонен [100] выдвинул идею самоорганизующейся топологической карты, которая внесла существенный вклад в развитие нейронных сетей. В том же году Дж. Хоифилд [96] предложил модель ассоциативной памяти и исследовал некоторые свойства запоминания информации нейронными сетями. Сети Хопфилда до сих пор остаются популярной нейросетевой моделью, привлекающей внимание исследователей (например, [19], [34], [68]). Это связано и с простотой описания, и со способностью таких сетей обеспечивать хранение и воспроизведение образов, то есть выступать в качестве модели ассоциативной памяти. В 1985 году несколько групп ученых почти одновременно пришли к идее обучения многослойных персептронов. С этого момента началась новая волна интереса к искусственным нейронным сетям.

Параллельно с исследованием свойств нейросетевых моделей развивалось знание о биологических нейронных сетях. Так еще в 1926 году Э. Эндрианом [85] было установлено, что сенсорная информация в человеческом мозге передается в виде импульсов (кратковременных сигналов "все или ничего") в форме частотного кода. Этим фактом определяется интерес к моделям нейронов, которые способны генерировать подобные импульсы. В 1949 были получены данные о наличие в мозге замкнутых кольцевых нейронных образований [103]. Во второй половине XX века появились и стали широко применяться различные инструменты исследования активности мозга. Наряду со снятием импульсной активности отдельных нейронов, разработаны методы снятия локальных полевых потенциалов нейронных ансамблей и электроэнцефалограмм (ЭЭГ). Последние получают методом миогоэлектродного отведения от мозга в целом. К настоящему времени, помимо ЭЭГ, разработано множество альтернативных методов наблюдения нейронной активности человеческого мозга. Важнейшими из них являются позитронно-эмиссионная томография (PET), основанная на регистрации Сахаров, и различные модификации метода магниторезонансных изображении (MRI), связанные с регистрацией распределения кислорода в структурах мозга. Эти методы имеют достаточно хорошее пространственное разрешение, но сравнительно низкое (порядка 1 с) временное разрешение, что затрудняет их применение при анализе быстрых процессов в мозге.

Одним из новейших методов регистрации нейронной активности является магнитная энцефалография (MEG). Открытие сверхтемпературной проводимости позволило создать датчики, регистрирующие чрезвычайно малые магнитные поля. Это дало возможность наблюдать электромагнитные процессы в возбудимых и сокращающихся органах (сердце, желудок, мышцы) и, прежде всего, в мозге. Преимущество метода состоит в том, что он дает "магнитное изображение"органа неинвазивным путем, то есть без применения каких-либо зондов, вводимых в орган. Регистрируя изменение контуров магнитных полей вблизи поверхности головы, можно сравнительно точно локализовать очаги электрической активности мозга. Этот метод обладает высокой пространственно-временной разрешающей способностью, но его применение сопряжено с серьезными трудностями при интерпретации получаемых данных.

Несмотря на подобный инструментарий и большое количество экспериментальных данных, сложность человеческого мозга и протекающих в нем процессов (например, [2]) такова, что до сих пор не выработано общей точки зрения о способах анализа информации мозгом. Остаются неясными и механизмы функционирования внимания, разделения бессознательных и осознаваемых психических процессов, влияния эмоций, не говоря уже о процессах, лежащих в основе абстрактно!« мышления. Без теоретического осмысления эмпирических результатов целенаправленное дальнейшее исследование затруднительно. Проверка выдвигаемых теоретических гипотез не мыслима без создания искусственных нейронных сетей, функционирующими в соответствии с данными гипотезами. Кроме того, различные практические задачи вносят свои коррективы в разработку пейросетевых моделей и анализ полученных свойств. В результате, существующие на сегодняшний момент нейронные сети в большой степени различаются между собой. Подобное разнообразие обусловлено как множеством моделей нейронного элемента, из которого "собирается "сеть, так и различием в архитектуре связей между отдельными элементами.

Различают четыре типа нейронных сетей, соответствующих используемым типам элементов.

1. Сети из интегративно-пороговых нейронов. Интегративно-пороговая модель нейрона является сравнительно простым устройством, которое накапливает поступающие сигналы и при достижении некоторого порога генерирует импульс (спайк). В этой модели могут учитываться такие аспекты функционирования реального нейрона как абсолютная и относительная рефрактерность, синаптическая задержка при передаче импульса, динамика постсинаптических потенциалов, различный нейронный шум (имитирующий, например, периферическое влияние далеких дендритов) и др. Однако большинство интегративно-пороговых моделей (и соответствующих нейронных сетей) ограничивается лишь общим свойством нейрона генерировать мгновенный импульс в зависимости от меры внешнего воздействия. До настоящего времени такие сети являются наиболее распространенным объектом как в теоретических исследованиях, так и при имитационном моделировании. Это объясняется формальной простотой описания и, одновременно, широким классом практических задач, решаемых сетями из интегративно-пороговых нейронов. В качестве наиболее известных примеров таких сетей можно указать персептрон Розенблата [109|, сеть Хопфилда [96], многослойные персептроны [110] и др.

2. Сети из взаимодействующих нейронных осцилляторов. Осциллятор обычно включает взаимодействующие популяции возбудительных и тормозных нейронов. Динамика осциллятора описывается средним уровнем активности этих популяций. Сети из нейронных осцилляторов исследуются методами теории бифуркаций, что позволяет аналитически и численно описать области параметров, при которых имеет место тот или иной вид динамики сети. Результаты исследования могут быть соотнесены с экспериментальными данными но регистрации локальных потенциалов, вызванных потенциалов, ЭЭГ и поведенческих реакций. Введение в модель важных свойств биологических нейронов (например, задержек в передачу сигнала между элементами сети) значительно усложняет как динамику сети, так и задачу ее исследования, поскольку описывающая данную сеть система с запаздыванием требует рассмотрения бесконечномерного пространства начальных условий. Типичным примером таких сетей является популярный осциллятор Вилсона - Коуэна [113].

3. Сети из фазовых осцилляторов. В случае, когда активность нейронного ансамбля имеет осцилляторный характер, эту активность удобно описывать посредством фазового осциллятора [102], динамика которого характеризуется лишь одной переменной — фазой колебания. Сети из фазовых осцилляторов полезны для аналитического и численного исследования условий синхронизации в системе осцилляторов. Основная задача состоит в описании областей пространства параметров, соответствующих различным режимам синхронизации (полной или частичной).

4. Сети из нейронов, в которых динамика каждого элемента описывается дифференциальным уравнением или системой дифференциальных уравнений. К данным сетям относится класс исследуемых в настоящей работе, поэтому остановимся на таких сетях поподробнее. Наиболее известной и общепринятой моделью для описания процесса генерации спайков является базовая модель Ходжкина - Хаксли [74], [95]. Она представляет собой систему четырех обыкновенных дифференциальных уравнений. Первое из них — уравнение баланса для токов, проходящих через мембрану. Учитываются емкостный, натриевый, калиевый токи и ток утечки. Второе и третье уравнения описывают соответственно процессы активации и инактивации натриевых каналов. Последнее уравнение служит для описания калиевых каналов. К этому же классу относятся так называемые сегментные модели (compartment models), в которых на основе законов Кирхгофа объединяются уравнения, описывающие динамику токов в сегментах нейрона. В модели Ходжкина - Хаксли учтены многие биологические свойства нервных клеток, но получившаяся система уравнений сложна и не поддается аналитическому исследованию, а, кроме того, она чувствительна к выбору параметров. Поэтому неоднократно предпринимались попытки упростить данную модель, не теряя биологической интерпретации. Так модель Ходжкина - Хаксли существенно упрощена с сохранением биофизического смысла в [20], но и этот вариант, к сожалению, допускает только компьютерное исследование. В [1], [62] дается обзор дальнейших упрощений системы уравнений Ходжкина-Хаксли. Там же приведен ряд феноменологических моделей, из которых важнейшие — Хинд-марша - Роуза [94], ФитцХью - Нагумо [90], [107], Морриса - Лекара [106] и др. Все они исследуются компьютерными методами. Феноменологический вывод еще одного из возможных уравнений динамики мембранного потенциала нейрона подробно изложен в [24], [40], [41]. Данная модель, получившая название импульсного нейрона, при сохранении основных биологических свойств нейрона, допускает аналитическое исследование.

В последние годы появились и другие нейронные модели подобного плана. В настоящей работе используется аналогичная феноменология, но в качестве модели нейронного элемента предлагается модель обобщенного нейронного автомата (ОНА).

Как уже отмечалось, сети этого класса позволяют наиболее полно учитывать многие детали функционирования реального нейрона, однако анализ их динамики обычно сопряжен с трудностями. Поэтому такие феноменологическим модели, которые допускают не только компьютерное, но и аналитическое исследование, при сохранении биологического смысла, вызывают существенный интерес.

С точки зрения архитектуры связей все нейронные сети можно разделить на следующие основные классы.

1. Полносвязные сети, сети с локальными и случайными связями. Однородность архитектуры связей и идентичность элементов обуславливают возможность аналитического исследования таких сетей методами статической механики. Наиболее известным примером является уже упоминавшаяся модель ассоциативной памяти Хопфилда с симметричными связями "все-на-всех"[96].

2. Многослойные сети с прямыми, обратными и рекуррентными связями между слоями. Такая архитектура связей является более сложной но сравнению с локальными сетями. Подобные сети обладают большей потенциальной мощью, но при их исследовании зачастую возникают трудности. В частности, такую архитектуру имеют многослойные персеитроны, широко используемые в различных задачах обучения. Обучение сети формулируется как задача минимизации функции ошибки. Данная задача, как правило, решается с использованием так называемого метода обратного распространения ошибки (backpropagation of errors) [110]. Такая архитектура наиболее популярна в приложениях нейронных сетей к ряду практических задач: распознавание образов, прогнозирование, кодирование и фильтрация сигналов, запоминание временных последовательностей и др.

3. Сети с центральным элементом. Такие сети позволяют избежать большого числа связей, характерного для полносвязных сетей, благодаря тому, что элементы сети взаимодействуют через специальный центральный элемент, который связан со всеми остальными элементами сети. Эта архитектура была предложена в связи с моделированием внимания [101]. Динамика и режимы синхронизации в таких сетях описаны в работах [98], [99].

4. Сети со сложной архитектурой. К этой категории относятся сети с иерархической структурой, состоящие из более простых сетей различных типов. Потребность в таких сетях возникает при решении задач многоэтапной обработки информации и при моделировании сложного поведения [91], [112].

Важнейшим свойством естественных и большинства искусственных нейронных сетей является способность к обучению. Поэтому в процессе функционирования многих ней-росетевых моделей величины связей могут меняться. В настоящей работе рассмотрены нейронные сети различной архитектуры, в том числе с меняющимися в процессе работы связями.

Охватив основные классы современных нейронных сетей, рассмотрим основные подходы к решению фундаментальных нейросетевых задач, связанных с процессами хранения и воспроизведения информации мозгом. Несмотря на общность базисных предпосылок, в настоящее время нет единой точки зрения касательно механизмов подобных процессов. Попытка классификации различных точек зрения на проблему представления и хранения сведений в мозге предпринята К. Прибрамом [61]. Говоря о представлении, следует различать информацию, актуальную в данный момент и потенциально хранимую мозгом. Это связано с проблемой внимания [35], [89].

Существуют две основные парадигмы касательно способов представления и хранения информации в мозге. Данные парадигмы (и соответствующие концепции моделирования нейронных сетей) можно условно охарактеризовать как частотную и фазово-частотную. Частотный (детекторный) подход предполагает, что поведение нейрона определяет частота его имнульсации. Состояние ассоциации нейронов отражает распределение частот импульсации элементов. Фазовые отношения не учитываются. Изменение состояния возможно только как результат изменения воздействия. Детекторное направление возникло в уже упоминавшихся работах [51], [92], развивалось в работах [17], [54], [55], [69], [83], [96], [109]. Различные точки зрения в рамках этого направления сравниваются в [69], [70], [71]. В теории В. Маунткастла и Д. Эдельмена в качестве детекторов выступают нейронные .модули, так называемые миниколонки [54]. Применительно к восприятию зрительной информации, детекторное направление получило серьезное развитие в исследованиях [66| и др., где разрабатывается теория кодирования информации номером канала. Эта теория основана на концепции рефлекторной дуги [97]. Согласно данным работам, в ответ на стимул срабатывает канал (цепочка нейронов), входы которого лучше всего настроены на параметры сигнала (векторы синаптических весов воздействия коллипеарны, или почти коллинеарны).

Детекторный подход является весьма продуктивным. В рамках этох о подхода выполнены работы JI. Чуа [87], [88], где моделируются сети из нейроноподобных элементов — операционных усилителей. В данных сетях в результате запоминания (обучения) на соответствующем фазовом портрете системы образуется набор устойчивых состояний равновесия, которые и хранят информацию. В процессе воспроизведения под действием внешнего сигнала сеть попадает в бассейн притяжения одного из этих состояний.

До недавнего времени такой подход являлся основным. Гипотеза о частоте как базовой характеристике последовательностей спайков опиралась на тот факт, что нейроны могут менять частоту генерации спайков при изменении стимуляции. Было показано, что частота генерации спайков кореллирует с интенсивностью входной стимуляции (например в [93]). Сомнения в эффективности частотного кодирования и в его универсальное!и связаны с тем, что разные виды стимуляции могут приводить к идентичным частотам генерации нейронных импульсов. Кроме того, частотное кодирование может быть эффективным в условиях медленно меняющейся стимуляции, но оно непригодно при быстром изменении стимулов.

Альтернативой частотному кодированию является гипотеза о кодировании информации паттерном расположения импульсов в последовательности. При этом множество нейронов может функционировать согласованно не только во времени, но и в пространстве. Данный подход можно назвать фазово-частотным. Потенциальное богатство и сложность временных структур гарантирует возможность кодирования информации независимо от ее объема и разнообразия [86], [104], [111]. По мнению Н.П. Бехтеревой [5], [6] и др., кодирование информации в паттерне осуществляется за счет интервалов между импульсами. В тех же работах развито представление о жестких и гибких звеньях. Жесткие звенья образованы нейронами, которые в рамках информационного процесса определенного класса слабо зависят от внешних воздействий. Гибкие звенья, наоборот, оперативно формируются в зависимости от воздействия в каждой конкретной ситуации. Это подразделение развивается в современной теории нейронных сетей в терминах нейронов-детекторов и нейронов-пейсмейкеров. Проведенный Н.П. Бехтеревой анализ показал, что в некоторых структурах мозга наблюдаются достоверные изменения текущей частоты импульсации, связанные с физическими и смысловыми характеристиками стимула. Одновременно обнаружена значительная изменчивость реакции, что является необходимым условием нестереотинной деятельности. Ответные реакции могли исчезать в одних и возникать в других, ранее не задействованных зонах. В этом проявляется роль гибких звеньев (нейронов-детекторов). Подробнее о нейронах-детекторах и нейропах-пейсмейкерах пойдет речь в параграфе 1.3.

Согласно Н.П. Бехтеревой, механизм запоминания и воспроизведения можно представить следующим образом. Информация, извлекаемая из памяти, закодирована группами импульсов, синхронно возникающими в разных пунктах мозга. Кодирование осуществляется интервалами между импульсами и порядком их следования в группе. Такой рисунок активности, иначе паттерн, обеспечивается согласованной активностью множества нейронов. 11ри этом пропуск импульса одним нейроном на положенном месте в паттерне может компенсироваться активностью другого нейрона в положенный момент времени при активации, например, образа в памяти. Такие системы когерентно работающих нейронов способны кодировать информацию как извлекаемую из памяти, так и погружаемую в нее.

Важным этапом в развитии представлений о механизмах памяти послужили исследования М.Н. Ливанова о фазово-частотном взаимодействии циклических (волновых) нейронных процессов [38], [39] и др. М.Н. Ливанов ввел понятие пространственной синхронизации (когерентности) периодических процессов мозга и показал, что она играет важную роль в механизмах условных рефлексов и в психике человека.

Гипотеза о фазово-частотном кодировании сигналов в нервной системе была разработана А.Н. Лебедевым [18], [36], [37] и др. Согласно гипотезе, воспроизводимая информация записывается в памяти в виде комбинаций различающихся по фазе когерентных незатухающих волн нейронной активности. Элементами кода служат пакеты волн, имеющих одинаковую частоту и различающихся только фазами. Пакет волн создается согласованной активностью массы нейронов, объединенных в ансамбль. Представления о волновых кодах оказались полезными для объяснения ряда психологических феноменов, проявляющихся в скорости поиска, в быстроте принятия решения в ситуации выбора. А.Н. Лебедев главенствующую роль придает волнам медленной активности. Однако, как показано в ряде работ, между волнами медленной активности и импульсными потенциалами существует тесная связь [80], [81], [82] и др. Гипотеза А.Н. Лебедева объясняет феномен памяти с позиции самоорганизации колебаний и не использует возможные механизмы закрепления сведении, основанные на модификации синаптических проводимостей. Перечисленные работы А.Н. Лебедева но волновому кодированию и хранению информации в мозге основаны на экспериментальном материале, но выполнены во многом на описательном и эмпирическом уровне. Всё это дает основания считать, что фазово-частотный подход является весьма перспективным для понимания процессов, лежащих в основе памяти и мышления. Настоящая работа выполнена в рамках данного подхода.

Как уже отмечалось, в современной теории нейронных сетей несомненный интерес вызывают такие модели, которые, одновременно, учитывают важные свойства биологического нейрона и допускают не только компьютерное моделирование, но и исследование аналитическим путем. Некоторые такие модели обсуждаются в [35]. Упоминавшаяся в связи с этим модель импульсного нейрона, предложенная в работах [24], [40], [41], получила дальнейшее развитие. В цикле публикаций [25], [26], [27], [28], [43] аналитически удалось изучить вопросы о структуре, планировании и синхронизации колебательных режимов для сетей из импульсных нейронов. Однако исследования в рамках данных моделей сопровождаются серьезными техническими трудностями. Это не позволяет рассмотреть ряд важных вопросов, связанных с распространением волн импульсов.

На пути решения этой проблемы в работе [77] была разработана модель нейронного клеточного автомата (НКА) — нейронного элемента, который сохраняет биологическую подоплеку поведения, но формальное описание которого обходится без дифференциальных уравнений. Для сетей НКА удалось решить ряд задач о планировании и синхронизации колебательных режимов в кольцевых структурах, локальных и нолносвязных сетях, сетях модульной архитектуры [45], [46], [78], [79] и др. Нейронные клеточные автоматы являются моделью пейсмейкерного типа, поэтому использование их в ряде задач оказалось связанным с существенными трудностями. Так в сетях НКА зачастую возникает трудно контролируемая периферическая нейронная активность, которая может разрушить устойчивые колебательные режимы. Во избежание этого необходимо задавать специальные начальные условия и постоянно следить извне за поведением элементов сети. Это часто затруднительно, кроме того, подобный контроль вряд ли имеет биологическую интерпретацию.

Поэтому возникает необходимость в создании новой феноменологической модели, которая сохраняла бы биологический смысл, имела достоинства моделей импульсного нейрона и нейронного клеточного автомата, и преодолевала их недостатки. Такой моделью может служить обобщенный нейронный автомат (ОНА). Исследование нейронных сетей ОНА различной архитектуры является предметом настоящей работы.

Полученные результаты являются актуальными, поскольку:

1. Процессы распространения волн импульсов в моделях нейронных сетей изучены еще недостаточно.

2. Модель обобщенного нейронного автомата обладает многими важными достоинствами.

3. Открываются новые перспективы решения проблемы обработки информации, которые связаны с тем, что носителем информации является не статическое распределение битовой величины, а колебательный режим динамической системы или ансамбля систем. Сети обобщенных нейронных автоматов могут служить достаточно удобными объектами для организации такого рода режимов.

Характер исследований определялся поставленными в работе целями:

• используя биологические предпосылки, разработать модель нейронных элементов, генерирующих импульсы;

• на основе данной модели сформировать ряд нейронных сетей различной архитектуры, способных хранить информацию в волновом виде;

• создать эффективный метод анализа функционирования нейронной популяции;

• изучить вопросы строения колебательных режимов и управления ими.

Научная новизна работы заключается в следующем:

• предложена новая модель нейронного элемента — обобщенный нейронный автомат, объединяющий свойства различных типов нейронов;

• разработана модель взаимодействия обобщенных нейронных автоматов;

• изучен ряд сетей обобщенных нейронных автоматов, доказана их способность хранить и воспроизводить данные, представленные в динамическом виде;

• разработан метод анализа сетей обобщенных нейронных автоматов. Показано, что эти сети молено эффективно использовать при моделировании ассоциативной памяти;

• решена задача управления параметрами модели и сети в целом так, чтобы нейронная сеть имела аттракторы заранее заданной структуры.

Исследования позволили решить важные конкретные задачи. Наибольший интерес из них представляют следующие положения:

1. Кольцевые структуры обобщенных нейронных автоматов способны хранить и воспроизводить заранее заданную периодическую последовательность импульсов (возможность хранения).

2. Периодическое пачечное воздействие способно навязывать обобщенным нейронным автоматам свой колебательный режим (механизм синхронизации).

3. Кольцевые структуры обобщенных нейронных автоматов способны успешно подвергаться адаптации (обучению). Это обеспечивает дублирование и запоминание информации.

4. В кольцевых структурах обобщенных нейронных автоматов-детекторов оказываются возможными разрушение со временем упорядоченной нейронной активности.

В силу специфики исследуемых задач, на первый план выходят методы имитационного моделирования, нелинейной динамики, исследования дифференциальных и разностных уравнений. Анализ биологических данных позволяет выбрать в фазовом пространстве множество начальных условий. Строится итерационный оператор, который описывает динамику системы. Доказывается, что он переводит выбранное множество начальных условий в себя. Производится анализ конечномерного отображения.

Работа носит теоретический характер. Результаты могут быть использованы для моделирования проведения волн возбуждения в нейронных структурах. Данные результаты могут найти применение при создании новых сред для обработки информации, представленной в виде колебательных режимов динамических систем.

Результаты работы были представлены на следующих конференциях и семинарах: XII Всероссийский семинар "Нейроинформатика и ее приложения"(Красноярск, 2004); VI Всероссийская научно-техническая конференция "Нейроинформатика-2004"(Москва,

2004); XIII Всероссийский семинар "Нейроинформатика и ее приложения" (Красноярск,

2005); VIII Всероссийская научно-техническая конференция "Нейроипформатика-2006" (Москва, 2006); IX Всероссийская научно-техническая конференция "Нейроинформати-ка-2007" (Москва, 2007); Международная научная конференция "Математические методы в технике и технологиях" (Ярославль, 2007); X Всероссийская научно-техническая конференция "Нейроинформатика-2008"(Москва, 2008); Научный семинар "Моделирование и анализ нейронных сетей "(Ярославль, 2004-2008).

По теме исследования опубликовано 13 статей, в том числе 2 в изданиях из перечня ВАК.

2. Краткое содержание работы

Работа состоит из четырех глав, заключения и списка литературы.

В первой главе приведены необходимые сведения о строении и функционировании биологического нейрона. На основе биологических данных вводится новая математическая модель нейронного элемента — обобщенный нейронный автомат (ОНА). Каждый такой автомат описывается набором параметров, важнейшими из которых являются величины мембранного потенциала и его порогового значения. В момент времени, когда величина мембранного потенциала оказывается равной пороговому значению, ОНА генерирует импульс (спайк), который может оказывать влияние на изменение мембранных потенциалов других автоматов. После генерации импульса автомат некоторое время находится в состоянии рефрактерности — невосприимчивости к внешнему воздействию. После выхода автомата из рефрактерного состояния его мембранный потенциал даже без внешнего воздействия монотонно растет. Поступающее на автомат внешнее воздействие ускоряет (замедляет) рост мембранного потенциала и приближает (отдаляет) момент генерации следующего импульса. Эффективность воздействия одного автомата па другой описывается величиной синаптического веса. Обобщенный нейронный автомат обладает многими свойствами биологического нейрона. Формальное описание ОНА носит строгий математический характер. Доказывается ряд утверждений о свойствах и особенностях функционирования отдельных обобщенных нейронных автоматов. Особенное внимание уделяется универсальности модели обобщенного нейронного автомата. В зависимости от параметров модели, ОНА может функционировать в режиме пейсмейкера (генерировать импульсы без внешнего воздействия) или детектора (генерировать импульсы лишь в ответ на достаточно сильное внешнее воздействие). В работе рассматриваются различные нейронные сети, состоящие из ОНА-пейсмейкеров и ОНА-детекторов.

Во второй главе решается задача о распространении импульсов (проведении возбуждения) по замкнутой кольцевой структуре, образованной обобщенными нейронными автоматами-пейсмейкерами. Рассмотрена ориентированная кольцевая структура из N ОНА-пейсмейкеров возбудительного тина, в которой г-й автомат имеет синаптическую связь возбудительного типа с г + 1-м автоматом. Показывается, что в данной кольцевой структуре существует устойчивый колебательный режим, при котором автоматы циклически генерируют импульсы в порядке возрастания их номеров. При этом можно выбрать синаптические веса воздействия таким образом, чтобы спайки соседних автоматов происходили через заранее заданные промежутки времени. Формулируется и доказывается ряд теоретических фактов. Система бесконечно долго хранит заранее заданную периодическую последовательность импульсов. Такое функционирование нейронной сети может быть интерпретировано как хранение информации в динамическом виде.

В третьей главе решаются две связанные между собой задачи. Первая из них — поведение обобщенного нейронного автомата под действием пачечной активности. Под начеч-ной активностью понимается кратковременная серия импульсов, которая воздействует на отдельный обобщенный нейронный автомат. Этот феномен обнаруживается во многих биологических нейронных сетях, в том числе в человеческом мозге. Рассматриваются га обобщенных нейронных автоматов. Каждый из этих автоматов имеет синаптическую связь возбудительного типа еще с одним обобщенным нейронным автоматом, поведение которого изучается. Первые тп автоматов последовательно генерируют импульсы, которые при определенных условиях образуют пачку (берет). Данная пачка из т импульсов определенным образом воздействует на исследуемый автомат. Формулируется и доказывается ряд теоретических фактов. Многократное пачечное воздействие навязывает исследуемому автомату свою частоту колебаний. Задача пачечной активности, помимо самостоятельного интереса, используется в более сложных задачах, связанных с дальнейшим изучением обобщенных нейронных автоматов. Данная задача решается в общем виде — и для ОНА-пейсмейкеров и для ОН А-детекторов.

Вторая задача, рассматриваемая в третьей главе, представляет собой задачу адаптации в кольцевых структурах ОНА-пейсмейкеров. Рассматривается подзадача об адаптации одного ОНА-иейсмейкера. Под адаптацией понимается постепенная подстройка синаптических весов в процессе функционирования нейронной сети. Формулируется и доказывается ряд теоретических фактов, выписываются условия корректной адаптации. В дальнейшем осуществляется переход к задаче адаптации кольцевой структуры. Рассматриваются два связанных друг с другом кольца из N ОНА-пейсмейкеров. Одно из них — эталонное (стандартное), в котором установилась устойчивая волна нейронной активности. Другое кольцо — адаптивное, в котором происходит подстройка синаптических весов (процедура обучения). В результате в адаптивном кольце устанавливаются колебательный режим, идентичный эталонному. При решении задачи адаптации ОНА-пейсмейкеров используются результаты задачи пачечной активности.

В четвертой главе объектом исследования является кольцевая структура, образованная обобщенными нейронными автоматами-детекторами. Решаются две задачи: распространение импульсов по кольцевой структуре О НА-детекторов с постоянными синанти-ческими весами и с весами, меняющимися с течением времени. Обе поставленные задачи успешно решаются аналитическими методами. Рассматривается кольцевая структура из N ОНА-детекторов возбудительного типа, в которой г-й автомат связан с г + 1-м автоматом. Показано, что можно выбрать синаитические веса воздействия таким образом, чтобы спайки соседних автоматов начинались через заранее заданные промежутки времени. Система бесконечно долго хранит заранее заданную периодическую последовательность импульсов. Такое функционирование нейронной сети может быть интерпретировано как хранение информации в динамической виде. В случае переменных синаптических весов возможно разрушение со временем устойчивого колебательного режима, а также его восстановление в прежнем виде. Это может быть интерпретировано как явления потери и возвращения памяти в биологических нейронных сетях. Также производится сравнительный анализ кольцевых структур ОНА-детекторов и ОНА-пейсмейкеров.

В заключении подводятся основные итоги работы.

Заключение

На основе биологических предпосылок разработана новая модель нейронного элемента — обобщенный нейронный автомат. Данная модель носит универсальный характер, будучи способной, в зависимости от своих параметров, функционировать в режиме нейрона-пейсмейкера или нейрона-детектора. Предложена модель взаимодействия обобщенных нейронных автоматов. Как отдельные автоматы, так и сеть в целом обладают автоколебательными свойствами. Изучен ряд сетей обобщенных нейронных автоматов различной архитектуры, доказана их способность хранить и воспроизводить данные, представленные в динамическом виде. Разработан метод анализа сетей обобщенных нейронных автоматов. Решена задача управления параметрами модели и сети в целом так, чтобы нейронная сеть имела аттракторы заранее заданной структуры. Показано, что эти сети можно эффективно использовать при моделировании ассоциативной памяти.

Получены следующие результаты:

1. Кольцевые структуры обобщенных нейронных автоматов способны хранить и воспроизводить заранее заданную периодическую последовательность импульсов (возможность хранения).

2. Пачечная активность в сети обобщенных нейронных автоматов способна навязывать отдельным автоматам свой колебательный режим (механизм синхронизации).

3. Кольцевые структуры обобщенных нейронных автоматов способны успешно подвергаться адаптации (обучению). Это обеспечивает дублирование информации.

4. В кольцевых структурах обобщенных нейронных автоматов-детекторов оказываются возможными разрушение со временем и восстановление упорядоченной нейронной активности.

1. Абарбанель, Г. Д. И. Синхронизация в нейронных ансамблях / Г. Д. И. Абарбанель, М. И. Рабинович, А. Селверстон, М. В. Баженов, Р. Хуэрха, М. М. Сущик, Л. Л. Рубчинский // Успехи физических наук. — 1996. — Т. 166, № 4. — С. 363-390.

2. Азимов, А. Человеческий мозг: от аксона до нейрона / А. Азимов. — М., Центрпо-лиграф, 2005. 461 с.

3. Ахапкин, Ю. К. Биотехника — новое направление компьютеризации. Серия "Теоретическая и прикладная биофизика"/ Ю. К. Ахапкин, С. И. Барцев Н. Н. Всеволодов и др. — М: Наука, 1990. — 144 с.

4. Бахвалов, Н. С. Численные методы / Н. С. Бахвалов, Н. П. Жидков, Г. М. Кобельков. М., Наука, 1987. — 600 с.

5. Бехтерева, Н. П. Нейрофизиологические аспекты психической деятельности человека / Н. П. Бехтерева. — Л: Медицина, 1971. — 120 с.

6. Бехтерева, Н. П. Здоровый и больной мозг человека / Н. П. Бехтерева. — М.: Наука, 1980. 208 с.

7. Блюм, М. Свойства нейронов со многими входами (в кн. Принципы сомоорганиза-ции) / М. Блюм. М.: Мир, 1966. — С. 136-162.

8. Богомолов, С. Д. Применение искуссственных нейронных сетей для прогнозирования в хирургии. С. Д. Богомолов, С. В. Киселев, А. П. Медведев, В. М. Назаров. — Н. Новгород, Государственная медицинская академия, 2003. — 210 с.

9. Борисюк, Г. Н. Модели динамики нейронной активности при обработке информации мозгом — итоги "десятилетия"/ Г. Н. Борисюк, Р. М. Борисюк, Р. Р. Иваницкий, Я. Б. Казанович // Успехи физических наук. 2002. - Т. 172, № 10. - С. 1189-1214.

10. Введенский, В. Л. Ритмы мозга и самовоспроизведение информации / В. Л. Введенский, А. А. Ежов // Природа. — 1990. — № 4. — С. 33-44.

11. Винер, Н. Проведение импульсов в сердечной мышце / Н. Винер, А. Розенблют // Кибернетический сборник. — М.: Изд-во иностранной литературы, 1961. — Т. 3. — С. 3-56.

12. Гаврилова, Т. А. Базы знаний интеллектуальных систем / Т. А. Гаврилова, В. Ф. Хорошевский. — СПб: Питер, 2000. — 384 с.

13. Грин, Н. Биология: В 3-х т. / Н. Грин, У. Стаут, Д. Тейлор. — М.: Мир, 1993.

14. Дубров, А. М. Моделирование рисковых ситуаций в экономике и бизнесе / А. М. Дубров, Б. А. Лагоша, Е. Ю. Хрусталев, Т. П. Барановская. — М.: Финансы и статистика, 2003. — 224 с.

15. Дунин-Барковский, В. Л. Информационные процессы в нейронных структурах / В. Л. Дунин-Барковский. — М.: Наука, 1978. — 166 с.

16. Забродин, Ю. М. Психофизиология и психофизика (под ред. М. Н. Ливанова и Б. Ф. Ломова) / Ю. М. Забродин, А. Н. Лебедев. — М.: Наука, 1977. — 286 с.

17. Зафиевский, А. В. Емкость ассоциативной памяти в модели Хопфилда / А. В. За-фиевский // Сборник научных трудов IV Всероссийской научно-технической конференции "Нейроинформатика-2002". 4.1. М.: МИФИ. — 2002. - С. 142-148.

18. Иваницкий, Г. Р. Математическая биофизика клетки / Г. Р. Иваницкий, В. И. Крин-ский, Е. Е. Сельков. — М.: Наука, 1978. — 310 с.

19. Иваницкий, Г. Р. Нейроинформатика и мозг / Г. Р. Иваницкий. — М.: Знание (Сер. Физика), 1991. 63 с.

20. Иваницкий, Г. Р. От динамики популяционных автоволн, формируемых живыми клетками, к нейроинформатике / Г. Р. Иваницкий, А. Б. Медвинский, М. А. Цыганов // Успехи физических наук. 1994. - Т. 164, № 10. - С. 1042-1071.

21. Катц, Б. Нерв, мышца и синапс / Б. Катц. — М.: Мир, 1968. — 220 с.

22. Кащенко, С. А. Исследование дифференциально-разностных уравнений, моделирующих импульсную активность нейрона / С. А. Кащенко, В. В. Майоров // Математическое моделирование. — 1993. — Т.5. Я2 12. — С. 13-25.

23. Кащенко, С. А. Исследование колебаний в кольцевых нейронных системах / С. А. Кащенко, В. В. Майоров, И. Ю. Мышкин // Докл. Российской АН. — 1993. — Т. 333, № 5. С. 594-597.

24. Кащенко, С. А. Волновые структуры в кольцевых системах из однородных нейронных модулей / С .А. Кащенко, В. В. Майоров // Докл. Российской АН. — 1995. — Т. 342, № 3. С. 318-321.

25. Кащенко, С. А. Распространение волн в простейших кольцевых нейронных структурах / С. А. Кащенко, В. В. Майоров, И. К). Мышкин // Математическое моделирование. 1995. - Т. 7, № 12. - С. 3-18.

26. Кащенко, С. А. Волновые образования в кольцевых нейронных системах / С. А. Кащенко, В. В. Майоров, И. Ю. Мышкин // Математическое моделирование. — 1997. Т. 9, № 3. - С. 29-39.

27. Комашинский, В. И. Нейронные сети и их применение в системах управления и связи / В. И. Комашинский, Д. А. Смирнов. — М., Горячая Линия Телеком, 2002.- 96 с.

28. Коновалов, Е. В. Устойчивый колебательный режим в нейронной сети обобщенных нейронных автоматов-детекторов / Е. В. Коновалов // Моделирование и анализ информационных систем. — Ярославль: ЯрГУ, 2007. — Т.14, № 2. — С. 30-35.

29. Коновалов, Е. В. Задача о пачечном воздействии на обобщенный нейронный автомат / Е. В. Коновалов // Моделирование и анализ информационных систем. — Ярославль: ЯрГУ, 2007. Т.14, № 3. - С. 43-49.

30. Коновалов, Е. В. Задача об адаптации обобщенного нейронного автомата / Е. В. Коновалов // Международная научная конференция "Математические методы в технике и технологиях" (ММТТ-20). Материалы конференции. — Ярославль, 2007.

31. Крыжановский, В. В. Адаптивные свойства рандомизированной модели Хоифилда / В. В. Крыжановский, В. Н. Кошелев // Сборник научных трудов III Всероссийской научно-технической конференции "Нейроинформатика-2001". 4.1. — М.: МИФИ. 2001. - С. 46-54.

32. Крюков, В. И. Метастабильные и неустойчивые состояния в мозге / В. И. Крюков, Г. Н. Борисюк, Р. М. Борисюк, А. Б. Кириллов, Е. И. Коваленко. — Пущино: НЦБИ АН СССР, 1986. 112 с.

33. Лебедев, А. Н. Память человека, ее механизмы и границы (в сб. Исследование памяти иод ред. Н. Н. Коржа) / А. Н. Лебедев. — М.: Наука, 1990. — С. 104-118.

34. Лебедев, А. Н. Константа М. Н. Ливанова в количественном описании психологических явлений / А. Н. Лебедев, О. И. Артеменко, Ю. Н. Белехов // Психологический журнал. 1997. — Т. 18, № 1. — С. 96-105.

35. Ливанов, М. Н. Избранные труды / М. Н. Ливанов. — М.: Наука, 1989. — 400 с.

36. Майоров, В. В. Об одной модели функционирования нейронной сети / В. В. Майоров, И. Ю. Мышкин // Модел. динам, попул. — Н. Новгород, 1990. — С. 70-78.

37. Майоров, В. В. Математическое моделирование нейронов сети на основе уравнений с запаздыванием / В. В. Майоров, И. Ю. Мышкин // Математическое моделирование. — 1990. Т.2, № 11. - С. 64-76.

38. Майоров, В. В. Сообщение о сетях \У-нейронов / В. В. Майоров, Г. В. Шабаршина // Моделирование и анализ информационных систем. — Ярославль: ЯрГУ. — 1997.- № 4. С. 37-50.

39. Майоров, В. В. Самоорганизация колебаний в кольцевой системе из однородных нейронных модулей. Часть 1. Модель нейронов и взаимодействия между ними / В. В. Майоров // Изв. вузов, Прикладная нелинейная динамика. — 1999. — Т. 3, № 4.- С. 87-96.

40. Майоров, В. В. Организация режимов пачечной волновой активности в сети \У-нейронов / В. В. Майоров, Г. В. Шабаршина // Сборник научных трудов III Всероссийской научно-технической конференции "Нейроинформатика-2001"; 4.1. — М.: МИФИ, 2001. С. 78-85.

41. Майоров, В. В. Обобщенный нейронный автомат в задаче распространения волны возбуждения по нейронной сети / В. В. Майоров, Е. В. Коновалов // Нейрокомпьютеры: Разработка, применение. — М.: Радиотехника. — 2007. — № 7. — С. 3-8.

42. Майоров, В. В. Задача адаптации в сетях нейронных клеточных автоматов / В. В. Майоров, Е. В. Коновалов, Г. В. Шабаршина // Сборник научных трудов X Всероссийской научно-технической конференции "Нейроинформатика-2008"; 4.2. М.: МИФИ, 2008. - С. 193-199.

43. Мак-Каллок, У. С. Логическое исчисление идей, относящихся к нервной активности (в кн. Автоматы, иод ред. Шеннона К. Э. и Маккарти Дж. М.) / У. С. Мак-Каллок, В. Питтс // М.: ИЛ, 1956. — С. 362-384.

44. Мак-Каллок, У. С. Надежность биологических систем (в кн. Самоорганизующиеся системы) / У. С. Мак-Каллок // М., Мир, 1964. С. 359-380.

45. Мак-Каллок, У. С. Символическое изображение нейрона в виде некоторой логической функции (в кн. Принципы самоорганизации) / У. С. Мак-Каллок // М.: Мир, 1966. С. 131-135.

46. Маунткасл, В. Разумный мозг / В. Маунткасл, Д. Эдельмен. — М.: Мир, 1981. — 135 с.

47. Минский, М. Персептроны / М. Минский, С. Пейперт. — М.: Мир, 1971. — 264 с.56. фон Нейман, Дж. Теория самовоспроизводящихся автоматов / Дж. фон Нейман.- М.: Мир, 1971. 382 с.

48. Овчинников П. Е. Нейросетевое детектирование сигналов с частотной манипуляцией / П. Е. Овчинников, М. Ю. Семенова // Лекции по нейроипформатике. X Всероссийская научно-техническая конференция "Нейроинформатика-2008". 4.1.- М.: МИФИ. 2008. - С. 18-25.

49. Орлов, А. И. Теория принятия решений: учебник / А. И. Орлов. — М.: Экзамен, 2006. 574 с.

50. Осовский, С. Нейронные сети для обработки информации / С. Осовский. — М.: Финансы и статистика, 2004. — 344 с.

51. Прибрам, А. А. Языки мозга / А. А. Прибрам. — М.: Прогресс, 1975. — 464 с.

52. Рабинович, М. И. Хаос и нейродинамика / М. И. Рабинович // Известия ВУЗов. Радиофизика. 1996. - Т. 39, № 6. — С. 757-770.

53. Редько, В. Г. Эволюция, нейронные сети, интеллект: модели и концепции эволюционной кибернетики / В. Г. Редько. — М.: Комкнига, 2005. — 224 с.

54. Розенблаг, Ф. Принципы нейродинамики / Ф. Розенблат. — М.: Мир, 1965. — 480 с.

55. Рутковская, Д. Нейронные сети, генетические алгоритмы и нечеткие системы / Д. Рутковская, М. Пилиньский, Л. Рутковский. — М: Горячая линия Телеком, 2004. - 452 с.

56. Соколов, Е. Н. Нейроинтеллект: от нейрона к нейрокомпьютеру / Е. Н. Соколов, Г. Г. Вайткявичюс. — М: Наука, 1989. — 238 с.

57. Тасаки, И. Нервное возбуждение / И. Тасаки. — М.: Мир, 1971. — 222 с.

58. Фролов, А. А. Нейронные модели ассоциативной памяти / А. А. Фролов, И. П. Муравьев. — М.: Наука, 1987. — 160 с.

59. Фролов, А. А. Информационные характеристики нейронных сетей / А. А. Фролов, И. П. Муравьев. — М.: Наука, 1988. — 156 с.

60. Фролов, A.A. Структура и функции обучающихся нейронных сетей (в сб. Нейрокомпьютер как основа мыслящих ЭВМ) / А. А. Фролов. — М.: Наука, 1993. — С. 92-110.

61. Хайкин, С. Нейронные сети / С. Хайкин. — М: Вильяме, 2006. — 1104 с.

62. Халмош, П. Гильбертово пространство в задачах / А. Л. Ходжкин. — М.: Мир, 1970. 352 с.

63. Ходжкин, А. Л. Нервный импульс / А. Л. Ходжкин. — М.: Мир, 1965. — 125 с.

64. Ходоров, Б. И. Общая физиология возбудимых мембран / Б. И. Ходоров. — М., Наука, 1975. — 406 с.

65. Чернавский, Д. С. Проблема происхождения жизни и мышления с точки зрения современной физики / Д. С. Чернавский // Успехи физических наук. — 2000. — Т. 170, № 2. — С. 157-183.

66. Шабаршина, Г. В. Проведение возбуждения по кольцевой структуре нейронных клеточных автоматов / Г. В. Шабаршина // Моделирование и анализ информационных систем. — Ярославль: ЯрГУ. — 1994. — № 2. С. 116-121.

67. Шабаршина, Г. В. Проведение возбуждения по кольцевой структуре модулей нейронных клеточных автоматов / Г. В. Шабаршина // Моделирование и анализ информационных систем. — Ярославль: ЯрГУ. — 1996. — № 3. — С. 46-56.

68. Шабаршина, Г. В. Волновые структуры в полносвязной однородной сети нейронных клеточных автоматов возбудительного тина / Г. В. Шабаршина // Моделирование и анализ информационных систем. — Ярославль: ЯрГУ. — 1997. — № 4. — С. 3-11.

69. Шульгина, Г. И. Влияние фоновой активности сети из возбудительных нейропо-добных элементов на проведение по ней возбуждения / Г. И. Шульгина, В. Н. Понамарев, И. Р. Резвова, А. А. Фролов // Журн. высш. нервн. деят. — 1988. — Т. 38. С. 715 -724.

70. Шульгина, Г. И. Исследование роли ритмической активности в процессах фиксации и воспроизведения информации на модели из нейроноподобных элементов / Г. И. Шульгина // ДАН СССР. 1990. - Т. 312, № 5. - С. 1275-1279.

71. Экклс, Дж. Физиология синапсов / Дж. Экклс. — М.: Мир, 1966. — 395 с.

72. Ярушкина, Н. Г. Нечеткие и гибридные системы: Обзор итогов и тенденций развития / Н. Г. Ярушкина // Новости искусственного интелекта. — 2003. -- № 5. — С. 5-12.

73. Adrian, Е. D. Electrical activity of the nervous system / E. D. Adrian // Arch. Neurol, and Psychiatr. 1934. - V. 34. № 6. - P. 1125-1136.

74. Aguera y Areas, B. What can a single neuron compute? / B. Aguera y Areas, W. Bialek, A. L. Fairhall // Advances in neural information processing systems. — 2001. — V. 13.- P. 75-81.

75. Chua, L. O. Cellular neural networks: Theory / L. O. Chua, L. Yang // IEEE Transactions on Circuits and Systems. — 1988. V. 35, № 10. - P. 1257-1272.

76. Chua, L. O. Cellular neural networks: Applications / L. O. Chua, L. Yang // IEEE Transactions on Circuits and Systems. 1988. - V. 35, № 10. - P. 1273-1290.

77. Crick, F. Towards a neurobiological theory of consciousness / F. Crick, C. Koch // Sernin. in Neurosci. — 1990. V.2. - P. 163-191.

78. FitzHugh, R. A. Impulses and physiological states in theoretical models of nerve membrane / R. A. FitzHugh // Biophys. J. — 1961. — V. 1. — P. 445-466.

79. Grossberg, S. Contrast-sensitive perceptual grouping and object-based attention in the laminar circuits of primary visual cortex / S. Grossberg, R. Raizada // Vision Research.- 2000. V.40. - P. 1413-1432.

80. Hebb, D.O. The organization of behaviour: a neuropsychological theory / D.O. Hebb.- N.Y.: J. Wiley and Sons, 1949. 436 c.

81. Henry, G. H. Receptive field classes of cells in the striate cortex of the cat / G. H. Henry // Brain research. — 1977. — V. 133. P. 1-28.

82. Hindmarsh, J. L. A model of neuronal bursting using three coupled first order differential equations / J. L. Hindmarsh, R. M. Rose // Proc. R. Soc.; Ser.B Biol. Sci. — London, 1984. V. 221. - P. 87-102.

83. Hodgkin, A. L. A quantitative description of membrane current and its applications to conduction and excitation in nerve / A. L. Hodgkin, A. F. Huxely // J. Physiol. — London, 1952 V. 117. - P. 500-544.

84. Hopfield, J.J. Neural networks and physical systems mith emergent collective computational abilities / J. J. Hopfield // Proc. Nat. Acad. Sci. — USA, 1982. — V. 79. № 8. -P. 2554-2558.

85. Hopfield, J. J. Neurons with gradual response have collective computational properties like those of two-state neurons / J. J. Hopfield // Proc. Natl. Acad. Sci. USA. — 1984.- V. 81, № 10. P. 3088-3092.

86. Kazanovich, Y. B. Synchronization in a neural network of phase oscillators with the central element / Y. B. Kazanovich, R. M. Borisyuk // Biol. Cybern. — 1994. — V.71.- P. 177-185.

87. Kazanovich, Y. B. Dynamics of neural networks with a central element / Y. B. Kazanovich, R. M. Borisyuk // Neural Networks. — 1999. — V.12. — P.441-454.

88. Kohonen, T. Self-organized formation of topologically correct feature maps / T. Kohonen // Biological Cybernetics. — 1982. — № 43. — P. 59-69.

89. Kryukov, V. I. An attention model based on the principle of dominanta / V. I. Kryukov // Neurocomputers and attention. I. Neurobiology, synchronization and chaos. Eds.: Holden A. V., Kryukov V. I. — Manchester: Manchester Press., 1991. — P. 319-351.

90. Kuramoto, Y. Chemical Oscillations, Waves and Turbulence (Springer Series in Synergetics, vol.19.) / Y. Kuramoto. — Berlin: Springer-Verlag, 1984.

91. Lorente de No, R. Physiology of Nervous System (3rd ed., edited by ,I.F. Fulton) / R. Lorente de No // Oxford University Press, New York. — 1949. P. 288-330.

92. Mainen, Z. F. Reliability of spike timing in neocortical neurons / Z. F. Mainen, T. J. Sejnowski // Science. — 1995. — V. 268. — P. 1503-1506.

93. McCulloh, W. S. Agathe Tyche of nevous nets — the lucky reckoners / W. S. McCulloh // Proc. Symposium on Mechanization of Thought Prozesses N. P. L. — Teddington, 1958.

94. Morris C. and Lecar H. // Biophys. J. — 1981. — V. 35. P. 193-213.

95. Naguino, J. S. An active pulse transmission line simulating nerve axon / J. S. Nagumo, S. Arimoto, S. Yoshizawa // Proc. Ire. 1962. - V. 50 - P. 2061-2070.

96. Omata, S. Entrainment among coupled limit cycle oscillator with frustration / S. Omata, Y. Yamaguchi, H. Shimuzi // Physica D. 1988. - V. 31. - P. 397-408.

97. Rosenblatt, F. The perceptron: a probabilistic model for information storage and organization in the brain / F. Rosenblatt // Psychological Review. — 1958. — № 65. — P. 386-408.

98. Tononi, G. Reentry and the problem of integrating multiple cortical areas: simulation of dynamic integration in the visual systems / G. Tononi, O. Sporns, G. Edelman // Cereb. Cortex. 1992. - V.2. - P. 310-335.

99. Wilson, H. R. Excitatory and Inhibitory Interactions in Localized Populations of Model Neurons / H. R. Wilson, J. D. Cowan // Biophysical J. — 1972 — V. 12. P. 1-24.