автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Устойчивые и хаотические режимы в дискретных динамических системах

САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

На правах рукописи

Черных Герман Анатольевич

УСТОЙЧИВЫЕ И ХАОТИЧЕСКИЕ РЕЖИМЫ В ДИСКРЕТНЫХ ДИНАМИЧЕСКИХ СИСТЕМАХ: АТТРАКТОР ЛОРЕНЦА И МОДЕЛЬ НЕЙРОННОЙ СЕТИ КРОПОТОВА-ПАХОМОВА

05.13.18. Математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико - математических наук

Санкт-Петербург 2004

Работа выполнена на кафедре физики высоких энергий и элементарных частиц НИИ физики Санкт-Петербургского государственного университета.

Научный руководитель: доктор физико-математических наук

Письмак Юрий Михайлович.

Официальные оппоненты: доктор физико-математических наук

Куперин Юрий Александрович,

доктор физико-математических наук Герасюта Сергей Михайлович.

Ведущая организация: Санкт-Петербургский государственный

политехнический университет.

Защита диссертации состоится « 22» ЗекскТрЛ 2004 г.

в -/(> часов в 5 ауд. на заседании диссертационного совета К 212.232.01 по защите диссертаций на соискание ученой степени кандидата физико-математических наук при Санкт-Петербургском государственном университете по адресу: 199034, Санкт-Петербург, Университетская наб., 7/9.

С диссертацией можно ознакомиться в библиотеке им. М. Горького Санкт-Петербургского государственного университета.

Автореферат разослан

2004 г.

Ученый секретарь диссертационного совета, к.ф.-м.н.

С. А. Немнюгин

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Исследования, различных дискретных систем, становятся в настоящее время все более востребованными. Количество публикаций по данной тематике ощутимо растет. Параллельно с рождением новых прикладных областей науки, где изучение дискретных математико-алгоритмических конструкций является основой методологии исследования, наблюдается четко выраженная тенденция к переосмыслению адекватности описания физической реальности в терминах континуальной математики, что не в последнюю очередь происходит благодаря интенсивным исследованиям хаотических систем. В диссертации рассматривается комплекс вопросов, связанных с устойчивым и хаотическим поведением нерегулярных дискретных динамических систем, на примерах дискретизированной системы Лоренца и модифицированной модели реалистической нейронной сети Кропотова-Пахомова.

На сегодняшний день в исследовании хаотических систем есть два подхода, которые, в определенном смысле, можно считать философскими концепциями. Первый подход состоит в использовании методов классической континуальной математики. Стержнем второго является теория алгоритмической информации А. Н. Колмогорова, основанная на понятия конечной точности. Вместо траекторий, которые по словам Колмогорова «невычислимы», предлагается рассматривать либо решения, получающиеся в результате регуляризации, либо функционалы от этих решений; в обоих случаях параметры алгоритма регуляризации и сам алгоритм становятся частью исследуемой системы. В подходе Колмогорова просматривается некоторая аналогия с квантовой механикой, где роль квантовых объектов играют решения дифференциальных уравнений, акт наблюдения состоит во введении регуляризации, означающий на практике применение некоторого численного метода, а наблюдаемыми становятся результаты вычислений. Однако, в отличие от физических объектов, дифференциальные уравнения принадлежат сфере классической математики. С одной стороны, ввиду того, что сами уравнения можно рассматривать в качестве идеализированных моделей реально существующих физических объектов, понятна позитивистская философия последователей Колмогорова утверждающих, что существуют только вычислимые объекты. С другой стороны, нельзя забывать, что математическое понимание содер-

гас НАЦИОНАЛЬНАЯ

БИБЛИОТЕКА С 41

жит элементы, несводимые полностью к алгоритмическим методам. В диссертации на основе экспериментального материала отмечается, что, не смотря на наличие взаимоисключающих установок в обоих подходах, при исследовании хаотических систем нельзя полностью отказываться ни от одного из них. Показано, что математическая модель в результате дискретизации приобретает уникальные свойства, вследствие чего к полученной конструкции необходимо подходить как к новому объекту исследований, а не использовать исключительно в качестве инструмента изучения исходной модели. Вместе с этим дискретная система позволяет не только получить количественную информацию о своем «идеальном» прообразе, недоступную при классическом описании, но и, в некотором смысле, экспериментально подтвердить факты существования «идеальных» математических объектов, доказанные аналитически.

Изучение динамики моделей нейронных сетей, обладающих той или иной степенью абстрактности и отражающих определенные особенности работы ансамблей нервных клеток, к которым относится рассматриваемая в диссертации модель, особенно сильно активизировались в последние несколько лет. На настоящем этапе работы в данной области находятся на стадии накопления количественной информации.

Цель работы.

1. Исследовать зависимость структуры дискретного аттрактора Лоренца от параметров алгоритма дискретизации. Найти характеристики дискретной системы инвариантные и зависимые относительно изменения параметров алгоритма.

2. На основе модели нейронной сети Кропотова-Пахомова построить модель, обладающую устойчивой нетривиальной динамикой при отсутствии внешнего стимулирования. Разработать программное обеспечение для изучения модифицированной модели. Исследовать устойчивые динамические режимы и особенности поведения сети в областях высокой чувствительности к изменению параметров и внешнему воздействию.

Научная новизна.

1. Впервые детально исследована структура и свойства аттрактора хаотической системы, дискретизированной посредством алгоритма, основанного на принципе конечной точности Колмогорова. Найдены характеристики инвариантные относительно параметров алгоритма дискретизации. Обнаружены устойчивость структуры

дискретного аттрактора к локальным вариациям параметров алгоритма и явление сведения дискретного аттрактора к простейшей форме при параметрах близких к порогу снятия регуляризации. Отмечена связь пространственного положения дискретных циклов и нестабильных периодических орбит исходной системы.

2. Предложена модификация модели нейронной сети Кропотова-Пахомова, обладающая нетривиальной внутренней динамикой. Исследованы свойства устойчивых динамических режимов сети. Для периодических режимов предъявлен аналитический метод, позволяющий по эволюции активностей нейронов определить зависимости всех остальных динамических переменных модели от времени и построить структуры, формируемые межнейронными связями вследствие кластеризации. Обнаружен эффект собственных и вынужденных длиннопериодических колебаний. Для непериодического режима найдено распределение длин интервалов, соответствующих доминирующим частотам колебаний нейронов. Предложен способ записи в нейронную сеть последовательностей образов. Разработано программное обеспечение с графическим интерфейсом для исследования модели.

Основные положения, выносимые на защиту.

1. Свойства хаотической системы, дискретизированной алгоритмом, удовлетворяющим принципу конечной точности теории алгоритмической информации Колмогорова, на примере системы Лоренца.

• Алгоритмы дискретизации. • Характеристики дискретной системы инвариантные относительно изменения параметров алгоритма дискретизации. • Особеноости зависимости структуры дискретного аттрактора от вариаций параметров алгоритма и явление распределения циклов аттрактора, полученных при различных параметрах, на классы, каждому из которых соответствует свой предельный цикл при снятии регуляризации. • Свойства дискретных циклов в зависимости от параметров алгоритма. • Локализация нестабильных периодических орбит исходной системы посредством дискретных циклов.

2. Динамические режимы модифицированной модели нейронной сети Кропотова-Пахомова.

• Модификация исходной модели и выбор параметров. • Аналитический метод, позволяющий найти в периодическом режиме по эволюции активностей нейронов зависимости всех остальных дина-

мических переменных модели от времени и построить структуры, формируемые межнейронными связями вследствие кластеризации.

♦ Длиннопериодические колебания в сети. • Кусочно-степенные распределения длин интервалов, соответствующих доминирующим частотам колебаний нейронов в непериодическом режиме • Запись и воспроизведение нейронной сетью последовательностей образов.

♦ Программное обеспечение для исследования модели.

Практическая ценность. Изложенный в диссертации алгоритм дискретизации позволяет применять его для регуляризации хаотической динамики физических систем, а также может быть использован для локализации положения нестабильных периодических орбит на странном аттракторе системы. Характеристики дис-кретизированной системы инвариантные относительно параметров алгоритма дискретизации можно применять для описания исходной непрерывной динамической системы.

Модель нейронной сети, рассматриваемая в диссертации, допускает свое использование в качестве источника случайных импульсов с кусочно-степенным распределением, для хранения последовательностей образов без потери информации и построения на ее основе самоорганизующихся структур, обладающих нетривиальной внутренней динамикой с целью моделирования работы ансамблей нервных клеток.

Апробация работы. По материалам диссертации были сделаны доклады на следующих международных конференциях и школах: 19th International Conference Educational Informatics and Sustainable Development Problems (С. Петербург, 2000), XXIX International Summer School - Conference " Advanced Problems in Mechanics" (С. Петербург, 2001), XXXI International Summer School - Conference "Advanced Problems in Mechanics" (С. Петербург, 2002), 39th Annual Technical Meeting of Society of Engineering Science, (Penn State, USA, 2002), 22th International Conference Educational Informatics and Sustainable Development Problems (С. Петербург, 2003), International V. A. Fock School For Advances Of Physics (С. Петербург, 2003), 23th International Conference Educational Informatics and Sustainable Development Problems (С. Петербург, 2004), XXXII International Summer School - Conference " Advanced Problems in Mechanics" (С. Петербург, 2004).

Публикации. Основные результаты диссертации опубликованы в 7 работах.

Структура и объем диссертации. Диссертация состоит из введения, двух глав, включающих 3 приложения, заключения и списка литературы. Содержит 50 рисунков. Объем диссертации составляет 103 страницы. Список литературы содержит 72 наименования.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении дается обоснование целей и задач диссертации и кратко излагаются основные результаты.

В первой главе исследуется аттрактор дискретизованной системы Лоренца при параметрах, соответствующих наличию в ее фазовом пространстве странного аттрактора:

Предлагается два алгоритма дискретизации, удовлетворяющих требованию теории алгоритмической информации о наличии конечной точности. В фазовом пространстве дискретизируемой системы вводится кубическая решетка и задается определяемое векторным полем однозначное отображение решетки саму в себя, задающее правила перехода от одного узла решетки к другому при вычислении дискретных траекторий. При фиксированных параметрах странный аттрактор представляется набором дискретных циклов, независящих от начальных условий. В диссертации приведены результаты для одного из методов, при котором способ вычисления следующей точки дискретной траектории по предыдущей представлен на рис. 1 и состоит из двух этапов.

1. Посредством некоторого вычислительного метода по начальным условиям, в качестве которых выступают координаты последней точки дискретной траектории (точка« на рис. 1), строится участок «непрерывного» решения длины Ь (сегмент), такой что

где число Ь, задающее отношение длины сегмента Ь и шага решетки а, называется шагом на решетке.

2. Производится смещение из конечной точки вычисленного сегмента решения в ближайший узел решетки, который становится

следующей точкой дискретной траектории.

Процедура смещения в ближайший узел решетки выглядит следующим образом

где ¿1 и х» — координаты конечной точки сегмента и ближайшего к нему узла решетки соответственно, round(x) — функция округления до ближайшего целого числа.

и так/ алев..

смещ >ние в ¡лижа? ит /

■зел р€ шетки

/ (п+Л •точка

згмеш "непр< рывно 1" трав тории

/ /

/ /

л-то* ка

Рис. 1. Метод пространственно-временной дискретизации.

Расстояние между узлами решетки а, ассоциируется с конечной точностью вычислений, а «шаг на решетке» Ь, определяет расстояние между соседними точками дискретных траекторий. Среднее количество циклов в аттракторе не зависит от параметров алгоритма. Параметр а задает сложность дискретных циклов и определяет верхний предел на количество точек в аттракторе. Параметр 6 преимущественно влияет на гладкость циклов, поэтому при рассмотрении различных нелокальных характеристик циклов аттрактора его можно фиксировать. Удобной характеристикой, позволяющей оценить сложность аттрактора, является суммарная длина / циклов его составляющих. Зависимость 1{а) при фиксированном Ь представляет собой кусочно-непрерывную функцию, обладающую

Рис. 2. Локальное поведение зависимости логарифма суммарной длины нетривиальных циклов дискретного аттрактора от логарифма шага решетки.

конечным числом разрывов первого рода на любом закрытом интервале (см. рис. 2 и рис. 3).

При вариации шага решетки в пределах каждого отдельного непрерывного участка зависимости (см. рис. 2) все изменения аттрактора сводятся к незначительным сдвигам координат точек циклов, поэтому его структура сохраняется. Точки разрыва функции соответствуют перестроению аттрактора, при котором в общем случае изменяется и форма отдельных циклов и их количество. Длины непрерывных участков зависимости 1(а) на несколько порядков меньше текущих значений а. Они стохастично зависят от о и в среднем падают при а -¥ 0. С уменьшением шага решетки амплитуда флуктуации величины I увеличивается (см. рис. 3). Если разбить область изменения а на непересекающиеся интервалы и вычислить для каждого интервала среднее и дисперсию, то получим, что среднее величины I растет при а 0 пропорционально а-'', где ц > 0, а ее дисперсия — пропорционально а~", причем V ~ 2ц = 1.01 ± 0.05. Аналогичные численные эксперименты по исследованию характеристик аттрактора были проделаны при фиксированном шаге решетки а и изменяющемся параметре Ь. Оказывается, что при вычислении вышеупомянутых степенных показателей варьирование параметра Ь при фиксированном а эквивалентно варьированию а при фиксированном Ь. Таким образом, степенные показатели могут использоваться в качестве характеристик

исходной непрерывной системы.

По мере роста амплитуды флуктуации величины положе-

Рис. 3. Зависимость логарифма суммарной длины нетривиальных циклов, формирующих дискретный аттрактор, от логарифма шага решетки.

ние нижней границы флуктуации практически не изменяется. Это означает, что, несмотря на увеличивающуюся в среднем сложность циклов, даже в области малых значений параметра а существуют точки, при которых дискретный аттрактор имеет простую структуру и состоит из единственного простейшего нетривиального (лежащего по обе стороны от плоскости х = 0) цикла, имеющего только по одному витку в каждом из полупространств х < 0 и х > 0 (см. рис. 4(а)). Показано, что пространственное положение этих

а Ь

Рис. 4. Представители семейств циклов, относящихся к первым двум нижним линиям рис. 3. Цикл на рис. а — первой снизу линии, цикл на рис. б — второй.

циклов в процессе снижения шага решетки стабилизируется. Аналогичная картина происходит и с другими циклами. На основании проведенных численных экспериментов в качестве правдоподобной гипотезы выдвинуто утверждение о том, что совокупность циклов, полученных при всевозможных шагах решетки, можно разбить на классы эквивалентности, каждому из которых будет сопоставлен свой предельный цикл при

Для некоторого количества случаев проверено, что пространственное расположение дискретных циклов в области аттрактора определяется положением так называемых нестабильных периодических орбит (unstable periodic orbit UPO), являющихся замкнутыми решениями исходной недискретизированной системы. Существование этих объектов доказано аналитически. Вышеупомянутые предельные циклы при определенных условиях на процедуру снятия регуляризации могут рассматриваться в качестве «хороших кандидатов» в UPО.

\b(d)

ч

1п(а) 1п(а)

Рис. 5 Зависимости логарифмов плотности вершин 5 и плотно сти точек циклов d от логарифма шага решетки о для семейства циклов рис 4(а)

Отдельный пункт диссертации посвящен рассмотрению гладкости дискретных циклов. Введено определение вершин циклов — точек, где первая конечноразностная производная терпит разрыв. Рассмотрены особенности зависимостей плотности вершин, плотности точек циклов (см. рис. 5) и распределения вершин на аттракторе от параметров алгоритма дискретизации. Показано, что при фиксированном параметре $ в пределе а —¥ 0 в дискретном цикле должно оставаться определенное количество вершин.

В контексте теории алгоритмической информации Колмогорова необходимо выделить особую роль, играемую шагом решетки а в процессе дискретизации. С одной стороны, будучи параметром дискретной системы, он существенным образом определяет ее динамику. С другой стороны, имеет смысл точности, с которой мы подходим к изучению исходной математической модели. Тогда, во-первых, проекции непрерывных участков функции на ось а приобретают смысл допустимых погрешностей, не влияющих на динамику дискретизированной системы. При этом каждому значению точности будет соответствовать своя погрешность, в среднем уменьшающаяся с увеличением точности. Во-вторых, в силу стохастической зависимости структуры аттрактора от шага решетки на шкале точности в окрестности любой ее точки не только существуют выделенные непрерывные интервалы, где аттрактор представлен единственным простейшим циклом, но и участки, где аттрактор имеет наперед заданную структуру из допустимых верхним пределом флуктуации, который определяется текущей точностью. Следовательно, каждому значению точности а можно сопоставить два характерных масштаба: погрешность и интервал Л(а), определяющий окрестность точки а, в рамках которой гарантированно найдется точка, соответствующая требуемой структуре аттрактора. При фиксированном а дискретизированная система регулярна. Ее динамика устойчива относительно вариаций меньших <5(а). Если по каким-либо причинам в процессе дискретизации шаг решетки нельзя поддерживать в рамках то мы получим нерегулярную дискретную систему.

Различные характеристики дискретной системы, которые в той или иной степени инвариантны относительно изменения параметров алгоритма, очевидно, должны иметь отношение к исходной математической модели. К таким характеристикам относятся степенные показатели ц и и, о которых говорилось выше. Факт существования классов эквивалентных циклов, также может быть доказан только накоплением статистической информации о дискретной системе путем изменения параметров. Таким образом, явления, связанные с фиксацией конкретных значений параметров алгоритма, есть то новое, что привносит дискретизация в математическую модель. Получить же информацию об исходной модели, исследуя ее дискретный образ, можно по пути поиска каких-либо инвариантов.

В приложении к главе 1 кратко описывается программное

обеспечение, использованное при численных экспериментах.

Дискретная система Лоренца принадлежит к системам, которые при фиксированных параметрах не проявляют хаотической динамики. Во второй главе, посвященной особенностям внутренней динамики самоорганизующихся нейронных сетей, исследуется модифицированная модель нейронной сети Кропотова-Пахомова, относящаяся к сложным системам, которые, напротив, обладают нерегулярной динамикой при фиксированных параметрах.

Оригинальная немодифицированная модель Кропотова-Пахомо-ва была предложена авторами для изучения поведения ансамблей нервных клеток, возбуждаемых внешними сигналами, и отражает важные характеристики динамики реальных нейронов. В силу наличия диссипативных свойств модель нетривиально эволюционирует только при наличии внешнего воздействия. Для исследования особенностей внутренней динамики, обусловленной механизмами межнейронного взаимодействия, оригинальная модель была модифицирована и в новом варианте обладает устойчивыми динамическими режимами и при отсутствии внешних стимулов:

где индекс г = 1,..., л нумерует нейроны сети; Р^к), ^(к) и /г* — потенциалы, активности и пороги активизации нейронов; в^к) — внешние стимулы; — матрица связей; х\(к) и х?(к) — так

называемые активаторы и депрессанты, сумма которых определяет эффективную матрицу связей параметры ¿и, и, -Ацг), -®1(2)>

подбираются таким образом, чтобы модифицированная модель сохраняла основные свойства исходной.

Методология работы с модифицированной сетью состояла в следующем. В начальный момент времени бралась сеть с нулевыми связями и тривиальными значениями динамических переменных, затем в течение определенного времени она подвергалась воздействию случайного сигнала, после чего исследовалась динамика сети без внешнего стимулирования. Характер первичного сигнала, как и воздействие на сеть в процессе установившегося движения, могут повлиять на динамику сети только в областях фазовых переходов и так называемых смешанных фаз, где внешние импульсы способны перевести сеть из одного динамического режима в другой. Вдали от областей высокой чувствительности установившаяся динамика сети при отсутствии стимулирования не зависит от типа внешнего воздействия, которое оказывалось на нее ранее. Именно такие динамические режимы подробно рассмотрены в настоящей работе. Кроме того, в исследованных режимах количество нейронов также не играло существенной роли, а именно, выбиралось такое их количество, при котором дальнейшее увеличение числа элементов сети уже не влияло на характер динамики.

Для устойчивого эволюционирования модифицированной нейронной сети в определенном динамическом режиме в ней должен сохраняться соответствующий этому режиму уровень беспорядка, проявляющийся в рассогласованном поведении нейронов и различных численных значениях межнейронных связей. Максимальная упорядоченность сети происходит в случае полной синхронизации нейронов, что приводит к так называемому обнулению, в результате которого динамика сети становится тривиальной: все нейроны неактивны, а значения межнейронных связей стремятся к нулю. Максимальный уровень беспорядка достигается во время воздействия на нейронную сеть случайными импульсами. После снятия сигнала, а в некоторых случаях еще до момента его отключения, в сети начинаются переходные процессы, связанные с ее упорядочиванием, в результате которых нейронная сеть либо попадает в один из устойчивых динамических режимов, либо обнуляется. Введено два сорта энтропии и рассмотрены примеры характерных для сети переходных процессов. Приведена классификация динамических режимов модели и пример фазовой диаграммы, где имеют место все имеющиеся типы режимов и фазовых переходов.

Показано, что в устойчивом периодическом режиме нейронная сеть обладает структурой связей, которая формируется в резуль-

тате разбиения сети на группы синфазно-колеблющихся нейронов. Предъявлен аналитический метод нахождения зависимостей всех динамических переменных модели от времени и типа соответствующей этому режиму структуры связей по временным зависимостям активностей нейронов. Рассмотрены различные типы периодических режимов и структур связей.

-5

1п(р(&к)) -10

-15

3 5 4 45 5 55 6 65

Ы(Ьк)

Рис. 6 Плотность распределения длин временных интервалов, соответствующих одной из доминирующих частот.

Введено понятие частоты колебаний нейрона. При непериодическом динамическом режиме нейроны сети могут переключаться с одной частоты колебаний на другую. Количество допустимых частот ограничено. При этом существуют доминирующие частоты, на которых нейроны находятся наибольшее время. Промежутки времени, в течение которых нейрон колеблется с доминирующей частотой и не переходит на другие частоты, подчиняются кусочно-степенному распределению (см. рис. 6) и по величине могут на два-три порядка превосходить период колебаний. В результате при непериодическом режиме в нейронной сети могут появляться ко-роткоживущие структуры подобные тем, которые образуются в периодических режимах.

При определенных условиях в некоторых областях высокой чувствительности сети к внешним воздействиям в ней возникают так называемые длиннопериодические колебания, период которых мо-

жет значительно превосходить период высокочастотных колебаний нейронов (см. рис. 7). Обнаружены, как собственные, так и вынужденные длиннопериодические колебания (см. рис. 8). В обоих случаях поведение большинства нейронов не изменяется, и они образуют своеобразный высокочастотный фон, на котором оставшаяся малая часть нейронов эволюционирует по сложному закону. Длин-нопериодические колебания представляют собой модулированные по фазе или частоте высокочастотные колебания. Вынужденные колебания появляются при воздействии на один или несколько нейронов сети периодическими импульсами. Замечательно, что период вынуждающих импульсов должен быть по порядку величины равен периоду высокочастотных колебаний. Таким образом, мы имеем явление, в котором период вынужденных колебаний на несколько порядков превосходит периоды вынуждающих импульсов и собственных колебаний.

15588 16803 к 18018

6 г—-----■--■-

° 15480 16695 , 17910

к

Рис. 7. Один период длиннопериодических колебаний (Т = 2430) двух связей воздействуемого нейрона. Период внешних импульсов Та = 27. Период собственных колебаний нейронной сети Т = 10.

Необходимо отметить, что вышеупомянутые высокочастотные колебания нейронов являются результатом модификации модели и не имеют аналога в оригинальном варианте. Именно благодаря наличию этих колебаний, выполняющих роль своеобразной подпитки диссипативной сети, последняя может устойчиво эволюционировать независимо от внешнего воздействия. Однако интерес представляют не сами высокочастотные колебания, а их модуляции,

О 2000 4000 6000 8000 10000

к

Рис. 8. Вынужденные длиннопериодические колебания двух связей воздействуемого нейрона

к которым относятся, к примеру длиннопериодические колебания. После исключения из рассмотрения высокочастотной составляющей каждому периодическому режиму (при отсутствии длиннопе-риодических колебаний) будет соответствовать свое стационарное состояние с определенной структурой связей.

В приложении 1 к главе 2 предлагается способ записи в нейронную сеть последовательностей образов. В приложении 2 описываются возможности программы, созданной для изучения модифицированной модели нейронной сети Кропотова-Пахомова.

В целом, результаты диссертации суммируются в заключении.

РАБОТЫ АВТОРА ПО ТЕМЕ ДИССЕРТАЦИИ

[1] Г. А. Черных, Ю. М. Письмак. Модифицированный принцип Хэба в модели нейронной сети Кропотова. Вестник С.-Петерб. ун-та. 2001. Сер 4. Вып. 3 №20. С. 104-107.

[2] М. А. Красноперова, Ю. М. Письмак, Г. А. Черных. О возможности применения моделей нейронных сетей в исследовании ритмики текста. Формальные методы в лингвистической поэтике. Сборник научных трудов, посвященный 60-летию профессора Санкт-Петербугрского государственного университета М. А. Красноперовой. С.-Петерб. ун. 2001.

[3] I. Kunin, B. Kunin, G. Chernykh. Lorenz-type controlled pendulum. Int. J. Engineering Science. 2003. V. 41. P. 433-448.

[4] B. Yamrom, I. Kunin, R. Metcalfe, G. Chernykh. Discrete systems of controlled pendulum type. Int. J. Engineering Science. 2003. V. 41. P. 449-458.

[5] B. Yamrom, I. Kunin, G. Chernykh. Centroidal trajectories and frames for chaotic dynamical systems. Int. J. Engineering Science. 2003. V. 41. P. 465-473.

[6] B. Yamrom, I. A. Kunin, G. A. Chernykh. Method of algorithmic transformations with applications to chaotic systems. Int. J. Engineering Science. 2003. V. 41. P. 475-482.

[7] S. Preston, I. Kunin, Y. E. Gliklikh, G. Chernykh. On the geometrical characteristics of chaotic dynamics. Int. J. Engineering Science. 2003. V. 41. P. 495-506.

Подписано в печать 11.11.2004 г. Формат бумаги 60X84 1/16. Бумага офсетная. Печать ризографическая. Объем 1 усл. п. л. Тираж 100 экз. Заказ 3405. Отпечатано в отделе оперативной полиграфии НИИХ СПбГУ с оригинал-макета заказчика. 198504, Санкт-Петербург, Старый Петергоф, Университетский пр., 26.

»23387

Введение.

1 Дискретизированная система Лоренца.

1.1 Методы дискретизации.

1.1.1 Метод пространственно-временной дискретизации.

1.1.2 Метод центроидальной пространственно-временной дискретизации.

1.2 Дискретный аттрактор Лоренца.

1.3 О роли параметров алгоритма дискретизации.

1.3.1 Шаг решетки.

1.3.2 Вершины дискретных циклов.

1.3.3 Шаг на решетке.

Исследования, связанные с изучением различных дискретных систем, становятся в настоящее время все более актуальными. Количество публикаций по данной тематике ощутимо растет. Очевидно, толчком послужил технологический прорыв последних лет в развитии вычислительной техники, благодаря которому появилась принципиальная возможность без серьезных затрат проводить сложные эксперименты с объектами, аналитические подходы к которым малоэффективны.

Интересно, что параллельно с рождением новых прикладных областей науки, где изучение дискретных математико-алгорит-мических конструкций является основой методологии исследования (нейронные сети, моделирование биологических, социальных и информационных процессов, решеточные алгоритмы в применении к непрерывным системам и т.п.), наблюдается четко выраженная тенденция к переосмыслению адекватности описания физической реальности в терминах континуальной математики (см. [1-7]), что далеко не в последнюю очередь происходит благодаря интенсивным исследованиям хаотических систем.

В настоящей работе рассматривается комплекс вопросов, связанных с устойчивым и хаотическим поведением нерегулярных дискретных динамических систем, на примерах дискретизиро-ванной системы Лоренца [8] и модифицированной модели реалистической нейронной сети Кропотова-Пахомова [9-11]. Модель Лоренца относится к динамическим системам, которые в современной научной литературе называют хаотическими (chaotic systems), а нейронные сети являются представителями сложных систем (complex systems). Определение хаоса и соответственно хаотических систем содержит обычно три элемента: непериодическое асимптотическое по времени движение, детермини-стичность системы и чувствительность к начальным условиям. Первое подразумевает существование траекторий, которые не уходят в бесконечность и не стремятся к периодическим орбитам или фиксированным точкам. Согласно второму условию в уравнения, задающие систему, не должны входить случайные члены. Чувствительность к начальным данным означает экспоненциальный рост расстояния между сколь угодно близкими траекториями со временем. Сложными системами, как правило, называются конструкции, состоящие из большого количества нелинейным образом взаимодействующих объектов. Отметим, что универсальных определений, как для хаотических, так и для сложных систем в данный момент не существует.

На сегодняшний день в исследовании хаотических систем есть два подхода, которые, в определенном смысле, можно считать философскими концепциями. Первый традиционный подход состоит в использовании методов классической континуальной математики. Стержнем второго является теория алгоритмической информации А. Н. Колмогорова (см. [12-16]), известная под термином «сложность Колмогорова» (Kolmogorov complexity) и основанная на понятии конечной точности. Если, к примеру, для динамических систем вида х = v(x), х 6 W1 при известных условиях классическая математика утверждает существование траектории x(t), x(to) = xq и предъявляет формальное точное решение x(t) = [P(t)x] \Х=Х0, где P(t) = е"\ т = t - t0, v = ^(ж) • д/дх, то в теории Колмогорова применительно к хаотическим системам классического понятия траектории не существует. Вместо траекторий, которые по словам Колмогорова «невычислимы», предлагается рассматривать либо решения, получающиеся в результате регуляризации, либо функционалы от этих решений. В обоих случаях параметры алгоритма регуляризации и сам алгоритм становятся частью исследуемой системы.

В подходе Колмогорова просматривается некоторая аналогия с квантовой механикой, где роль квантовых объектов играют решения дифференциальных уравнений, акт наблюдения состоит во введении регуляризации, означающий на практике применение того или иного численного метода, а наблюдаемыми становятся результаты вычислений. Однако, в отличие от физических объектов, дифференциальные уравнения принадлежат сфере классической математики. С одной стороны, ввиду того, что сами уравнения можно рассматривать в качестве идеализированных моделей реально существующих физических объектов, понятна позитивистская философия теории, предложенной Колмогоровым и развитой его последователями, утверждающей, что существуют только вычислимые объекты. С другой стороны, нельзя забывать, что математическое понимание содержит элементы, несводимые полностью к алгоритмическим методам [17]. Не углубляясь сейчас в философскую сторону вопроса, отметим, что, не смотря на наличие взаимоисключающих установок в описанных подходах, при исследовании хаотических систем нельзя полностью отказываться ни от одного из них.

Первый блок рассматриваемых в диссертации вопросов посвящен вышеупомянутой проблематике. Показано, что математическая модель в результате дискретизации приобретает уникальные свойства, вследствие чего к полученной конструкции необходимо подходить как к новому объекту исследований, а не использовать исключительно в качестве инструмента изучения исходной модели. Вместе с этим дискретная система позволяет не только получить количественную информацию о своем «идеальном» прообразе, недоступную при классическом описании, но и, в некотором смысле, экспериментально подтвердить факты существования «идеальных» математических объектов, доказанные аналитически.

Исследования проведены на системе Лоренца при параметрах, соответствующих наличию в ее фазовом пространстве странного аттрактора. Алгоритм дискретизации является разновидностью метода, предложенного Ф. Рану (Р. Каппой) [18], и удовлетворяет требованию теории алгоритмической информации о наличии конечной точности. В фазовом пространстве дискре-тизируемой системы вводится кубическая решетка и задается определяемое векторным полем однозначное отображение решетки саму в себя, задающее правила перехода от одного узла решетки к другому при вычислении дискретных траекторий. При фиксированных параметрах странный аттрактор представляется набором дискретных циклов, независящих от начальных условий, использованных при их вычислении, что является следствием применения однозначного отображения. Дискрети-зированная система регулярна, так как однозначно определен переход от предыдущей точки траектории к последующей. Хаос исходной системы проявляется в нетривиальной топологии циклов, образующих дискретный аттрактор.

Ключевыми параметрами алгоритма дискретизации являются расстояние между узлами решетки а, ассоциируемое с упомянутой выше конечной точностью вычислений, и, так называемый, «шаг на решетке» 6, определяющий расстояние между соседними точками дискретных траекторий. Среднее количество циклов в аттракторе не зависит от параметров алгоритма, а так как аттрактор исходной системы является ограниченным множеством, то параметр а задает сложность дискретных циклов и определяет верхний предел на количество точек в аттракторе. Параметр Ь преимущественно влияет на гладкость циклов, поэтому при рассмотрении различных нелокальных характеристик циклов аттрактора его можно фиксировать. Естественно ожидать, что с уменьшением шага решетки сложность циклов, в частности, их длины должны возрастать. Удобной характеристикой, позволяющей оценить сложность аттрактора, является суммарная длина I циклов его составляющих. Оказывается, что зависимость 1(а) при фиксированном Ъ представляет собой кусочно-непрерывную функцию и обладает рядом интересных свойств.

При вариации шага решетки в пределах каждого отдельного непрерывного участка зависимости 1(а) все изменения аттрактора сводятся к незначительным сдвигам координат точек циклов, поэтому его структура сохраняется. Точки разрыва функции 1(а) соответствуют перестроению аттрактора, при котором в общем случае изменяется и форма отдельных циклов и их количество. Длины непрерывных участков на несколько порядков меньше текущих значений а. Они также стохастично зависят от а и в среднем падают при а —> 0.

С уменьшением шага решетки амплитуда флуктуации величины I увеличивается. Если разбить область изменения а на непересекающиеся интервалы и вычислить для каждого интервала среднее и дисперсию, то получим, что среднее величины I растет при а —> 0 пропорционально где ц > 0, а ее дисперсия — пропорционально а-", причем ь> ~ 2/л. Особо отметим, что степенные показатели ц и V не зависят от параметра Ъ и могут использоваться в качестве характеристик исходной непрерывной системы.1

По мере роста амплитуды флуктуации: величины 1(a) положение нижней границы флуктуаций практически не изменяется. Это означает, что, несмотря на увеличивающуюся в среднем сложность циклов, даже в области малых значений параметра а существуют точки, при которых дискретный аттрактор имеет простую структуру и состоит из единственного простейшего нетривиального2 цикла, имеющего только по одному витку в каждом из полупространств х < 0 и х > 0. Пространственное положение этих циклов в процессе снижения шага решетки стабилизируется, поэтому уместно говорить о существовании предела при а —»■ 0. Аналогичная картина происходит и с другими циклами. На основании проведенных численных экспериментов в качестве правдоподобной гипотезы можно выдвинуть утверждение о том, что всю совокупность циклов, полученных при всевозможных шагах решетки, можно разбить на классы эквивалентности, каждому из которых будет сопоставлен свой предельный цикл при а —У 0.

Пространственное расположение дискретных циклов в области аттрактора определяется положением так называемых нестабильных периодических орбит (unstable periodic orbit UPO), которые являются замкнутыми решениями исходной недискре-тизированной системы. Существование этих объектов доказано аналитически, и имеются разнообразные вычислительные методы по их поиску (см. [19-30]). Если предположить, что между классами эквивалентных циклов и UPO существует взаимооднозначное соответствие, а это проверено для некоторого количества случаев, то рассматриваемый алгоритм дискретизации может быть использован не только для локализации UPO, но и для их классификации. Вышеупомянутые предельные циклы при определенных условиях на процедуру снятия регуляризации могут рассматриваться в качестве «хороших кандидатов» в UPO.

Отыскание UPO актуально в разделе теории управления, где

1 Построение более сложных характеристик хаотических систем на основе дискретных циклов приведено в работе [60].

2Нетривиальными мы называем циклы, лежащие по обе стороны от плоскости х = 0решаются задачи «регуляризации» хаотических систем (control, optimal control, digital control (см. [31-37])). Контроль хаотической динамической системы означает такое ее изменение или внешнее воздействие, которые исключают ее хаотическое поведение. Важным является соблюдение условия малости соответствующих изменений или воздействий. В случае применения рассматриваемого в настоящей работе алгоритма дискретизации и выборе параметров, при которых аттрактор представлен одним простым циклом, оптимальный контроль осуществляется посредством особенностей внутренней динамики дискретной системы. Для системы Лоренца, введение решетки, узлы которой не совпадают с началом координат, являющимся устойчивой фиксированной точкой, практически исключает зависимость результата контроля от начальных условий, так как почти все траектории попадают на единственный цикл аттрактора. Возможность варьировать параметры, не изменяя при этом структуры аттрактора, допускает применение метода к реальным физическим системам с целью регуляризации их хаотической динамики.

В контексте теории алгоритмической информации Колмогорова необходимо выделить особую роль, играемую шагом решетки а в процессе дискретизации. С одной стороны, будучи параметром дискретной системы, он существенным образом определяет ее динамику. С другой стороны, имеет смысл точности, с которой мы подходим к изучению исходной математической модели. Тогда, во-первых, проекции непрерывных участков функции 1(a) на ось а приобретают смысл допустимых погрешностей, не влияющих на динамику дискретизированной системы. При этом каждому значению точности будет соответствовать своя погрешность, в среднем уменьшающаяся с увеличением точности. Во-вторых, в силу стохастической зависимости структуры аттрактора от шага решетки на шкале точности в окрестности любой ее точки не только существуют выделенные непрерывные интервалы, где аттрактор представлен единственным простейшим циклом, но и участки, где аттрактор имеет наперед заданную структуру из допустимых верхним пределом флуктуаций, который определяется текущей точностью. Следовательно, каждому значению точности а можно сопоставить два характерных масштаба: погрешность 6(а) и интервал Д(а), определяющий окрестность точки а, в рамках которой гарантированно найдется точка, соответствующая требуемой структуре аттрактора. При фиксированном а дискретизированная система регулярна. Ее динамика устойчива относительно вариаций меньших 5(а). Если по каким-либо причинам, в процессе дискретизации шаг решетки нельзя поддерживать в рамках то мы получим нерегулярную дискретную систему.

Различные характеристики дискретной системы, которые в той или иной степени инвариантны относительно изменения параметров алгоритма, очевидно, должны иметь отношение к исходной математической модели. К таким характеристикам относятся степенные показатели \х и р, о которых говорилось выше. Факт существования классов эквивалентных циклов, также может быть доказан только накоплением статистической информации о дискретной системе путем изменения параметров.

Таким образом, явления, связанные с фиксацией конкретных значений параметров алгоритма, есть то новое, что привносит дискретизация в математическую модель. Получить же информацию об исходной модели, исследуя ее дискретный образ, можно по пути поиска каких-либо инвариантов.

Дискретизированная система Лоренца принадлежит к системам, которые при фиксированных параметрах не проявляют хаотической динамики. Свидетельством хаоса исходной модели является только нетривиальная топология циклов аттрактора. Во втором блоке вопросов, рассматриваемых в настоящей работе, посвященном особенностям внутренней динамики самоорганизующихся нейронных сетей, исследуется модифицированная модель нейронной сети Кропотова-Пахомова, относящаяся к сложным системам, которые, напротив, обладают нерегулярной динамикой при фиксированных параметрах.

Оригинальная немодифицированная модель Кропотова-Пахо-мова была предложена авторами для изучения поведения ансамблей нервных клеток, возбуждаемых внешними сигналами, и отражает важные характеристики динамики реальных нейронов (см., например, [38]), такие как возвращение мембранного потенциала к исходному состоянию после разряда нейрона, наличие порога генерации потенциала действия, кратковременный спад синаптической эффективности в ответ на кратковременную стимуляцию пресинаптического окончания и др. В силу наличия диссипативных свойств модель нетривиально эволюционирует только при наличии внешнего воздействия. Для исследования особенностей внутренней динамики, обусловленной механизмами межнейронного взаимодействия, оригинальная модель была модифицирована и в новом варианте обладает устойчивыми динамическими режимами и при отсутствии внешних стимулов.

В области исследования нейронных сетей можно выделить два основных направления. Доминирующим является прикладное, так как нейросетевые конструкции позволяют решать массу практических задач. Второе направление состоит в детальном моделировании физиологических особенностей работы мозга и нервной системы. Отсюда разделение сетей на искусственные (см. [39-42]) и реалистические (см. [43-45]).

Промежуточную нишу с прикладной стороны занимают исследования динамики искусственных нейронных сетей и моделей сложных природных и социальных процессов (см. [46-49]). Последние часто именуются сложными сетями (complex networks). С противоположной от прикладного направления стороны в нише находятся нейросетевые модели, обладающие той или иной степенью абстрактности (см. [50-52]) по сравнению с реалистическими моделями «низкого уровня». Модифицированную модель Кропотова-Пахомова можно отнести именно к этой группе нейронных сетей. Важность построения и исследования подобных абстрактных моделей сложных систем отмечает К. Канеко (К. Kaneko) в книге [53]:

Благодаря неотделимости сложной системы от внешней среды одной модели самой по себе недостаточно для отражения реальности, даже, если она очень детализирована. Наоборот, модель не может совершенно потерять связь с реальностью, даже находясь на высоком абстрактном уровне. Поэтому требуются модели на различных уровнях обобщения и, несомненно, конструирование разноуровневых моделей является неотъемлемой частью процесса познания сложной сущности природы.3

Отметим, что наша основная цель состоит не в моделировании работы мозга на определенном уровне, а в изучении внутренних динамических свойств самоорганизующихся нейронных сетей, применяемых в качестве инструмента исследования сложных систем и процессов. Модель Кропотова-Пахомова представляется для этого достаточно удачным выбором, так как строилась авторами для прикладных исследований и хорошо отражает специфику поведения ансамблей нервных клеток, а в модифицированном виде проявляет некоторые важные свойства общие для данного типа нейронных сетей.

Модифицированная модель, как и ее оригинальный вариант относится к классу однослойных полносвязных сетей и, будучи заданной системой конечноразностных уравнений, развивается в дискретном времени. Методология работы с модифицированной сетью состояла в следующем. В начальный момент времени бралась сеть с нулевыми связями и тривиальными значениями динамических переменных, затем в течение определенного времени она подвергалась воздействию случайного сигнала, после чего исследовалась динамика сети без внешнего стимулирования. Характер первичного сигнала, как и воздействие на сеть в процессе установившегося движения, могут повлиять на динамику сети только в областях фазовых переходов и так называемых смешанных фаз (см. параграф 2.5), где внешние импульсы способны перевести сеть из одного динамического режима в другой. Вдали от областей высокой чувствительности установившаяся динамика сети при отсутствии стимулирования не зависит от типа внешнего воздействия, которое оказывалось на нее ранее. Именно такие динамические режимы подробно рассмотрены в настоящей работе. Кроме того, в исследованных режимах количество нейронов также не играло существенной роли, а именно, выбиралось такое их количество, при котором дальнейшее увеличение числа элементов сети уже не влияло на характер динамики.

3 Переведено с английского автором диссертации.

Для устойчивого эволюционирования модифицированной нейронной сети в определенном динамическом режиме в ней должен сохраняться соответствующий этому режиму уровень беспорядка, проявляющийся в рассогласованном поведении нейронов и различных численных значениях межнейронных связей. Максимальная упорядоченность сети происходит в случае полной синхронизации нейронов, что приводит к так называемому обнулению, в результате которого динамика сети становится тривиальной: все нейроны неактивны, а значения межнейронных связей стремятся к нулю. Максимальный уровень беспорядка достигается во время воздействия на нейронную сеть случайными импульсами. После снятия сигнала, а в некоторых случаях еще до момента его отключения, в сети начинаются переходные процессы, связанные с ее упорядочиванием, в результате которых нейронная сеть либо попадает в один из устойчивых динамических режимов, либо обнуляется.

В периодическом режиме нейронная сеть обладает структурой связей, которая формируется в результате разбиения сети на группы синфазно-колеблющихся нейронов. Зависимости всех динамических переменных модели от времени в периодическом режиме, а также тип соответствующей этому режиму структуры связей, могут быть аналитически найдены по временным зависимостям активностей нейронов4. Частоты колебаний разных нейронов сети в периодическом режиме могут отличаться друг от друга, но количество этих частот ограничено и в проведенных экспериментах не превышало двух.

При непериодическом динамическом режиме нейроны сети могут переключаться с одной частоты колебаний на другую. Количество допустимых частот также ограничено. При этом существуют доминирующие частоты, на которых нейроны находятся наибольшее время. Промежутки времени, в течение которых нейрон колеблется с доминирующей частотой и не переходит на другие частоты, подчиняются кусочно-степенному распределению и по величине могут на два-три порядка превосходить период колебаний. В результате при непериодическом режиме в нейронной сети могут появляться короткоживущие

4 Активность нейрона является одной из его динамических переменных структуры подобные тем, которые образуются в периодических режимах.

Необходимо отметить, что вышеупомянутые колебания нейронов являются результатом модификации модели и не имеют аналога в оригинальном варианте. Именно благодаря наличию этих высокочастотных колебаний, выполняющих роль своеобразной подпитки диссипативной сети, последняя может устойчиво эволюционировать независимо от внешнего воздействия. Однако интерес представляют не сами колебания, а их модуляции. Если исключить из рассмотрения высокочастотную составляющую, то каждому периодическому режиму будет соответствовать свое стационарное состояние с определенной структурой связей.

Интересно, что при определенных условиях в некоторых областях высокой чувствительности сети к внешним воздействиям в ней возникают так называемые длиннопериодические колебания, период которых может в тысячи раз превосходить период высокочастотных колебаний нейронов. Обнаружены, как собственные, так и вынужденные длиннопериодические колебания. В обоих случаях поведение большинства нейронов не изменяется, и они образуют своеобразный фон, на котором оставшаяся малая часть нейронов эволюционирует по сложному закону. Длиннопериодические колебания представляют собой модулированные по фазе или частоте высокочастотные колебания. Вынужденные колебания появляются при воздействии на один или несколько нейронов сети периодическими импульсами. Замечательно, что период вынуждающих импульсов должен быть по порядку величины равен периоду высокочастотных колебаний. Таким образом, мы имеем явление, в котором период вынужденных колебаний на несколько порядков превосходит периоды вынуждающих импульсов и собственных колебаний.

Результаты диссертации опубликованы в работах [54-60].

Материал изложен в диссертации следующим образом.

В главе 1 приводятся результаты исследования аттрактора дискретизированной системы Лоренца. Параграф 1.1 содержит определения алгоритмов дискретизации. В параграфе 1.2 вводится понятие дискретного аттрактора и описываются типы циклов. В параграфе 1.3 рассматриваются свойства дискретного аттрактора в зависимости от параметров алгоритма дискретизации: строятся инвариантные характеристики аттрактора; изучаются особенности его структуры; вводится понятие вершин циклов и исследуется характер их распределения по аттрактору и циклам. В приложении к главе 1 описано использованное при численных экспериментах программное обеспечение.

В главе 2 изучается модифицированная модель нейронной сети Кропотова-Пахомова. В параграфе 2.1 формулируется оригинальная модель, в 2.2 — модифицированная. Выбор параметров модифицированной модели и его обоснование — в 2.3. Классификация динамических режимов сети, фаз и фазовых переходов приведены в параграфах 2.4 и 2.5. В параграфе 2.6 вводятся определения энтропий и рассматриваются зависимости последних от времени в переходных и устойчивых процессах. Результаты исследования особенностей динамики и структурообразо-вания в нейронной сети при периодическом и непериодическом режимах приведены в параграфах 2.7 и 2.8 соответственно. В приложении 1 предлагается способ записи в нейронную сеть последовательностей образов. Описание программного обеспечения, разработанного для исследования модифицированной модели нейронной сети Кропотова-Пахомова, приведено в приложении 2.

Основные результаты, полученные в настоящей работе, могут быть сформулированы следующим образом.

1. Подробно исследована структура аттрактора дискрети-зированной системы Лоренца. Дискретизация выполнялась по одному из двух предложенных алгоритмов, являющихся видоизменениями метода, впервые описанного в работе [18]. Найдены характеристики системы, независящие от численных значений параметров алгоритма дискретизации. Экспериментально показаны нечувствительность системы к микровариациям параметров алгоритма в рамках некоторых интервалов, с одной стороны, и сильная зависимость структуры аттрактора к изменениям параметров, превышающим упомянутые интервалы — с другой. Последнее позволяет найти такие значения параметров, при которых дискретный аттрактор будет иметь определенную заранее структуру, а в совокупности с предыдущим свойством использовать предложенный метод дискретизации для практического применения в области регуляризации хаотических систем. Исследованы характеристики циклов, образующих дискретный аттрактор в зависимости от параметров. Отмечена связь между дискретными циклами и нестабильными периодическими орбитами исходной непрерывной системы. Показано, что совокупность всевозможных циклов, полученных при различных параметрах алгоритма, может быть разбита на классы эквивалентных циклов, каждому из которых можно поставить в соответствие некоторый предельный цикл при снятии регуляризации. Разработан комплекс консольных приложения для исследования различных характеристик хаотических систем, дис-кретизированных описанными в работе алгоритмами.

2. На основе модели реалистической нейронной сети Кропо-това-Пахомова [9-11] построена модифицированная модель самоорганизующейся нейронной сети, отличающаяся от своего прообраза способностью эволюционировать в различных устойчивых динамических режимах. Особенностью новой модели является стремление при переходных процессах развиваться в сторону меньшей энтропии, что проявляется в кластеризации связей и синхронизации нейронов. Показано, что каждому устойчивому динамическому режиму можно сопоставить свой относительный уровень энтропии, который в среднем сохраняется постоянным в процессе эволюции сети. Тип динамического режима задается параметрами модели. Исследованы основные особенности периодических и непериодического динамических режимов. Для периодических режимов детально рассмотрен механизм кластеризации сети; предъявлено аналитическое решение, позволяющее по поведению активностей нейронов найти периодические функции, к которым стремятся зависимости связей от времени; найдены типы структур связей, образующиеся в результате кластеризации. Обнаружен и исследован эффект возникновения собственных и вынужденных длиннопериодических колебаний, возникающих в областях высокой чувствительности сети к внешним воздействиям и локальным вариациям параметров. Для непериодического режима показано, что зависимость активности любого из нейронов сети от времени можно разбить на интервалы, в рамках которых поведение нейрона строго периодическое с длинами периодов в среднем значительно меньших длин интервалов. Найдено распределение длин интервалов, соответствующих одной доминирующей частоте. Полученное распределение имеет кусочно-степенную форму. Вычислены степенные коэффициенты для отдельных участков распределения. Предложен способ записи в нейронную сеть последовательностей образов с возможностью их многократного воспроизведения. С целью исследования модели создан обширный пакет программ, объединяющий в себе удобство работы благодаря разветвленному интерфейсу и высокую скорость вычислений.

Заключение

1. Е. Fredkin. Digital mechanics: an informational process based on reversible universal CA. Physica D. 1990. V. 45. P. 254-270.

2. G. G. Athanasiu, G. G. Floratos. Coherent states infinite quantum mechanics. Nucl. Phys. 1994. V. B425. P. 343-364.

3. G. G. Athanasiu, E. G. Floratos, S. Nicolis. Holomorphic quantization on the torus and finite quantum mechanics. J. Phys. A. 1996. V. 29. P. 6737-6745.

4. L. Kauffman. Noncommutativity and discrete physics. Physica D. 1998. V. 120. P. 125-138.

5. J. Marsden, M. West. Discrete mechanics and variational integrators. Acta Numerica. 2001. V. 10. P. 357-514.

6. S. Wolfram. A new kind of science. Wolfram Media. 2002.

7. D. Tran. The end of probability and the new meaning of quantum physics. Infinity Publishing.com. 2002.

8. E. N. Lorenz. Deterministic nonperiodic flow. J. Atmosph. Sci. 1963. V. 20. P. 130-141.

9. Ю. Д. Кропотов, С. В. Пахомов. Математическое моделирование механизмов обработки сигналов нейронными популяциями в головном мозге. Сообщение I. Постановка задачи и основные свойства модели. Физиология человека. 1981. Т. 7. № 1. С. 152-162.

10. Ю. Д. Кропотов, С. В. Пахомов. Математическое моделирование механизмов обработки сигналов нейронными популяциями в головном мозге. Сообщение III. Изучение вызванных реакций нейронных ансамблей. Физиология человека. 1984. Т. 10. № 5. С. 813-821.

11. А. N. Kolmogorov. Three approaches to the quantitive definition of Information. Problems of Information Transmission. 1965. V. 1. P. 1-17.

12. G. J. Chaitin. Algorithmic information theory. Cambridge University Press. 1987.

13. G. J. Chaitin. Information, randomness and incompleteness. World Scientific. 1987.

14. M. Li, P. Vitanyi. An introduction to Kolmogorov complexity and its applications. Springer-Verlag. 1997.

15. P. D. Grunwald, P. M. B. Vitanyi. Shannon information and Kolmogorov complexity. IEEE Trans. Information Theory. Submitted.

16. K. Gödel. Uber formal unentscheidbare Sätze der Principia Mathematica und verwandter Systeme. Monatshefte für Mathematik und Physik. 1931. V. 38. P. 173-198.

17. F. Rannou. Numerical study of discrete plane area-preserving mappings. Astron. Astrophys. 1974. V. 31. P. 289-301.

18. D. Ruelle. Statistical mechanics, thermodynamic formalism. Addison-Wesley, Reading MA. 1978.

19. M. Gutzwiller. Chaos in classical and quantum mechanics. Springer-Verlag. 1990.

20. R. Artuso, E. Aurell, P. Cvitanovic. Recycling of strange sets: I. Cycle expansions. Nonlinearity. 1990. V. 3. P. 325-359.

21. V. Franceschini, С. Giberti, Z. Zheng. Characterization of the Lorenz attractor by unstable periodic orbits. Nonlinearity. 1993. V. 6. P. 251-258.

22. P. So, E. Ott, S. J. Schiff, D. T. Kaplan, T. Sauer, С. Grebogi. Detecting unstable periodic orbits in chaotic experimental data. Phys. Rev. Lett. 1996. V. 76. P. 4705-4708.

23. P. Schmelcher, F. K. Diakonos. General approach to the localization of unstable periodic orbits in chaotic dynamical systems. Phys. Rev. E. 1998. V. 57. P. 2739-2746.

24. F. Diakonos, P. Schmelcher, O. Biham. Systematic computation of the least unstable periodic orbits in chaotic attractors. Phys. Rev. Lett. 1998. V. 81. P. 4349-4352.

25. E. Kazantsev. Unstable periodic orbits and attractor of the lorenz model. Research report 3344. INRIA. 1998.ftp://ftp.inria.fr/inria/publication/rr/rr-3344.ps.gz.

26. R. L. Davidchack, Y.-C. Lai. Efficient algorithm for detecting unstable periodic orbits in chaotic systems. Phys. Rev. E. 1999. V. 60. P. 6172-6175.

27. D. Pingel, P. Schmelcher, F. K. Diakonos, O. Biham. Theory and applications of the systematic detection of unstable periodic orbits in dynamical systems. Phys. Rev. E. 2000. V. 62. P. 21192134.

28. P. Cvitanovic, R. Artuso, R. Mainieri, G. Tanner, G. Vattay. Chaos: classical and quantum. Niels Bohr Institute. 2003.

29. Y. Lan, P. Cvitanovic. Variational method for finding periodic orbits in a general flow. Phys. Rev. E. 2004. V. 69, 016217.

30. E. Ott, C. Grebogi, J. A. Yorke. Controlling chaos. Phys. Rev. Lett. 1990. V. 64. P. 1196-1199.

31. H. G. Sinister. Handbook of chaos control. Willey-VCH. Wei-heim. 1999.

32. K. Pyragas. Continuous control of chaos by self-controlling feedback. Phys. Lett. A. 1992. V. 170. P. 421-428.

33. D. Auerbach, C. Grebogi, E. Ott, J. A. Yorke. Controlling chaos in high dimensional systems. Phys. Rev. Lett. 1992. V. 69. P. 3479-3482.

34. S. Boccaletti, C. Grebogi, Y.-C. Lai, H. Mancini, D. Maza. The control of chaos: theory and applications. Phys. Rep. 2000. V. 329. P. 103-197.

35. G. Kociuba, N. R. Heckenberg. Controlling the complex Lorenz equations by modulation. Phys. Rev. E. 2002. V. 66, 026205.

36. J. D.Skufca, E. M. Bollt. Feedback control with finite accuracy: more knowledge and better control for free. Physica D. 2003. V. 179. P. 18-32.

37. Дж. Г. Николас, A. P. Мартин, Б. Дж. Валлас, П. А. Фукс. От нейрона к мозгу. УРСС. 2003.

38. В. Miller, J. Reinhardt. Neural networks. An indroduction. Springer-Verlag. 1991.

39. M. Б. Беркинблит. Нейронные сети. МИРОС. 1993.

40. И. С. Суровцев, В. И. Клюкин, Р. П. Пивоварова. Нейронные сети. Воронеж, ВГУ. 1994.

41. А. К. Jain, J. Мао, К. М. Mohiuddin. Artificial neural networks: a tutorial. Computer. 1996. V. 29. P. 31-44.

42. H.-J. Chang, W. J. Freeman, В. C. Burke. Biologically modeled noise stabilizing neurodynamics for pattern recognition. Int. J. Bifurcation and Chaos. 1998. V. 8. No. 2. P. 321-345.

43. K. Tateno, H. Hayashi, S. Ishizuka. Complexity of spatiotemporal activity of a neural network model which depends on the degree of synchronization. Neur. Netw. 1998. V. 11. P. 5-23.

44. M. Yoshida, H. Hayashi, K. Tateno, S. Ishizuka. Stochastic resonance in the hippocampal CA3-CA1 model: a possible memory recall model. Neur. Netw. 2002. V. 15. P. 1171-1183.

45. Y. Chen, Y. H. Wang, K. Q. Yang. The macroscopic dynamics in separable neural networks. Phys. Rev. E. 2001. V. 63, 041901.

46. R. Albert, A-L. Barabäsi. Statistical mechanics of complex networks. Rew. Mod. Phys. 2002. V. 74. P. 47-97.

47. S. Bornholdt, T. Röhl. Self-organized critical neural networks. Phys. Rev. E. 2003. V. 67, 066118.

48. W. К. Theumann. Mean-field dynamics of sequence processing neural networks with finite connectivity. Physica A. 2003. V. 328. P. 1-12.

49. M. Kawato. Internal models for motor control and trajectory planning. Current Opinion in Neurobiology. 1999. V. 9. P. 718727

50. M. Heerema, W. A. Leeuwen. A recurrent neural network with ever changing synapses. J. Phys. A: Math. Gen. 2000. V. 33. P. 1781-1795.

51. S. Miyoshi, H.-F. Yanaib, M. Okada. Associative memory by recurrent neural networks with delay elements. Neur. Netw. 2004. V. 17. P. 55-63.

52. К. Kaneko, I. Tsuda. Complex systems: chaos and beyond. A constructive approach with applications in life sciences. Springer-Verlag. 2001.

53. Г. А. Черных, Ю. M. Письмак. Модифицированный принцип Хэбба в модели нейронной сети Кропотова. Вестник С.-Петерб. ун-та. 2001. Сер. 4. Вып. 3. №20. С. 104-107.

54. I. Kunin, В. Kunin, G. Chernykh. Lorenz-type controlled pendulum. Int. J. Engineering Science. 2003. V. 41. P. 433-448.

55. B. Yamrom, I. Kunin, R. Metcalfe, G. Chernykh. Discrete systems of controlled pendulum type. Int. J. Engineering Science. 2003. V. 41. P. 449-458.

56. B. Yamrom, I. Kunin, G. Chernykh. Centroidal trajectories and frames for chaotic dynamical systems. Int. J. Engineering Science. 2003. V. 41. P. 465-473.

57. В. Yamrom, I. A. Kunin, G. A. Chernykh. Method of algorithmic transformations with applications to chaotic systems. Int. J. Engineering Science. 2003. V. 41. P. 475-482.

58. S. Preston, I. Kunin, Y. E. Gliklikh, G. Chernykh. On the geometrical characteristics of chaotic dynamics. Int. J. Engineering Science. 2003. V. 41. P. 495-506.

59. N. Morioka, T. Shimizu. Transition between turbulent and periodic states in the Lorenz model. Phys. Lett. A. 1978. V. 66. p. 447-449.

60. JI. П. Шильников, В. С. Афраймович, В. В. Быков. О притягивающих негрубых предельных множествах типа аттрактора Лоренца. Труды Моск. матем. о-ва. 1982. Т. 44. С. 150-212.

61. С. Sparrow. The Lorenz equations: bifurcations, chaos, and strange attractors. Springer-Verlag. 1982.

62. E. A. Jackson. The lorenz system: I. The global structure of its stable manifolds. Phys. Scr. 1985. V. 32. P. 469-475.

63. E. A. Jackson. The Lorenz system: II. The homoclinic convolution of the stable manifolds. Phys. Scr. 1985. V. 32. P. 476-481.

64. К. H. Alfsen, J. Froyland. Systematics of the Lorenz model at a = 10. Phys. Scr. 1985. V. 31. P. 15-20.

65. О. E. Rossler. An equation for continuous chaos. Phys. Lett. A. 1976. V. 57. P. 397-398.

66. G. Chernykh, B. Yamrom. On some invariants of chaotic systems in the space time discretization method. Int. Conf. Advanced Problems in Mechanics 2002, St. Petersburg. Russia.

67. K. A. Mardanov, Y. M. Pismak, Y. M. Potyagailo. General properties of realistic neural network dynamics. Сотр. Math. Appl. 1997, V. 34, N. 7/8, P. 675-685.

68. D. O. Hebb. The organization of behavior. A neuropsychlogical theory. N.Y.: Wiley k Sons. 1949. P. 355.

69. T. Kohonen. S elf-organized formation of topologically correct feature maps. Bio. Cybern. 1982. V. 43. N. 1. P. 56-69.

70. R. Hegger, H. Kantz, T. Schreiber. Practical implementation of nonlinear time series methods: the TISEAN package. Chaos. 1999. V. 9(2). P. 413-435.

71. Особую признательность выражаю своему научному руководителю Юрию Михайловичу Письмаку, а также сотрудникам кафедры Физики Высоких Энергий и Элементарных Частиц НИИ Физики Санкт-Петербургского Государственного Университета за оказанную поддержку.