автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Исследование и синтез клеточно-нейронных сетей первого порядка

Введение

1 КНС первого порядка как динамическая система

1.1 Основные понятия и обозначения.

1.1.1 Формальное представление КНС.

1.1.2 Структура и веса связей.

1.1.3 Функционирование клетки.

1.2 Функционирование КНС

1.2.1 Общие правила функционирования. Условия устойчивости

1.2.2 Описание исследуемых моделей.

1.3 Задачи анализа и синтеза КНС.

1.3.1 Содержание задач.

1.3.2 Сходство и отличие исследуемых моделей

1.3.3 Обоснование выбора метода обучения.

1.4 Выводы к первой главе.

2 Исследование и синтез неоднородных КНС

2.1 Условия устойчивости неоднородных КНС

2.1.1 Адаптация метода персептрона для неоднородных КНС

2.1.2 Структурные условия устойчивости.

2.1.3 Векторная интерпретация условий устойчивости

2.1.4 Влияние смещения на основные свойства неоднородных КНС.

2.2 Метод обучения с параметрами.

2.2.1 Разработка метода обучения с параметрами

2.2.2 Расчет весов автосвязи.

2.3 Сравнительный анализ методов синтеза неоднородных КНС.

2.3.1 Методы синтеза.

2.3.2 Методы обучения.

2.4 Выводы ко второй главе.

3 Исследование однородных КНС

3.1 Классы устойчивых образов. Постановка задачи

3.2 Свойства устойчивых состояний

3.2.1 Известные результаты: одномерные КНС

3.2.2 Известные результаты: двумерные КНС.

3.2.3 Диаграммы устойчивых состояний в 2-Б КНС

3.3 Обучение однородных КНС

3.3.1 Подход к обучению КНС.

3.3.2 Метод обучения для прототипов с серыми клетками

3.3.3 Особенности обучения однородных КНС.

3.4 Выводы к третьей главе.

4 Экспериментальная проверка полученных результатов

4.1 Моделирование неоднородных КНС.

4.1.1 Построение экспериментов.

4.1.2 Результаты экспериментов: хранение информации

4.1.3 Результаты экспериментов: устойчивость к искажениям

4.1.4 Результаты экспериментов: влияние смещения

4.1.5 Результаты экспериментов: локальная прозрачность

4.2 Моделирование однородных КНС.

4.2.1 Цель экспериментов.

4.2.2 Результаты экспериментов для одномерной КНС

4.2.3 Результаты экспериментов для двумерной КНС

4.3 Выводы к четвертой главе.

Актуальность темы.

В последнее время вычислительная техника занимает все большее место в научных исследованиях, в частности, в исследовании пространственной динамики физических сред. Широкое распространение параллельных ЭВМ, как спецпроцессоров для массовой обработки, так и мультикомпьютеров, а также упрощение доступа к ним через Интернет, привело к необходимости разработки технологичного параллельного программного обеспечения, пригодного для использования на компьютерах различных архитектур. При этом традиционные математические модели пространственной динамики, описываемые в виде систем (интегро-) дифференциальных уравнений в частных производных, зачастую плохо поддаются распараллеливанию, поскольку существующие методы вычислительной математики не ориентированы на создание параллельных алгоритмов. Более того, некоторые явления, имеющие место в биологии, а также в активных средах в физике и химии, вообще не имеют математических моделей. Поэтому ведется поиск новых, альтернативных моделей пространственной динамики, которые должны, исходя из современных требований к технологичности параллельных вычислений, удовлетворять следующим требованиям.

1. Адекватность моделируемому явлению на микроуровне.

2. Настр айв аемостъ на решение определенного класса задач.

3. Параллельность, т.е. представление модели в виде большого числа взаимодействующих процессов.

4■ Локальность взаимодействий.

5. Реализуемость как в виде программной модели на параллельном компьютере, так и на аппаратном уровне.

Из приведенных требований следует, что модели должны обладать свойствами мелкозернистого параллелизма, а это означает, что пространство разбито на клетки (ячейки, частицы), поведение которых зависит только от состояния их ближайшего окружения. Имеющиеся на сегодняшний день модели мелкозернистого параллелизма можно разбить на следующие классы:

Статистические и кинетические машины [1, 2] для исследования моделей бесструктурного параллелизма.

Клеточные автоматы (КА) [3], среди которых известны КА-модели газовой динамики [4], акустики [5], электромагнитных полей [6], которые при этом не являются дискретной аппроксимацией соответствующих дифференциальных уравнений. В частности, Машина Статистических Клеточных Автоматов [7] использовалась для исследования ряда химических реакций, не поддающихся другим математическим описаниям.

Искусственные нейронные сети [8] - [11], которые используются для различной обработки данных [12] - [14], и обладают такими полезными свойствами как обучаемость и ассоциативность.

И, наконец, клеточно-нейронные сети (КНС), которые впервые были предложены Ь.О.Оша [15] в 1988 году и соединяют в себе, с одной стороны, коннекционизм и обучаемость искусственных нейронных сетей, а с другой стороны - локальность связей клеточного автомата, благодаря чему они могут быть легко реализованы как на аппаратном, так и на программном уровне.

Изначально КНС были предложены как сети из одинаковых аналоговых устройств, и в большей степени предназначались для обработки изображений [15]. В дальнейшем стали активно исследоваться дискретные модели [16, 17], и стало увеличиваться число изменяемых параметров сети, вплоть до возможности подбора свойств отдельных элементов. В настоящее время исследуются различные аспекты изучения и применения КНС: с одной стороны, в обработке визуальной информации (ассоциативная память [18, 19], распознавание движения и выделение траекторий [20]), в области биологического и искусственного зрения (роботы) [21]. С другой стороны, подобно некоторым К А моделям, они исследуются как динамические системы, имитирующие пространственную динамику активных сред. Таким образом, КНС является примером самоорганизующихся систем из одинаковых элементов, поведение которых подчинено внутренним законам их взаимодействия, что является объектом изучения синергетики [22]. При этом изучаются возможности применения КНС для порождения статических и динамических образов [23], бегущего фронта [24], спиральных и круговых волн [25, 26], пространственно-временного хаоса [27, 28], и т.д.

КНС представляет собой множество клеток, обычно расположенных в узлах ортогональной или гексагональной решетки, либо в вершинах регулярного графа. Каждая клетка имеет взвешенные связи со своим ближайшим окружением, и характеризуется внутренним состоянием, выходом и, возможно, смещением. На первом этапе все клетки устанавливаются в начальное состояние, после чего начинается процесс вычислений в сети, который может быть как непрерывным по времени, так и дискретным, в зависимости от модели. В этой работе будут исследоваться только дискретные модели, в процессе функционирования которых все клетки синхронно вычисляют взвешенную сумму от состояния выходов своих соседей, в соответствии с которой меняется их внутреннее состояние. Выход клетки получается как нелинейная функция ее внутреннего состояния.

В зависимости от структуры связей, различают потоковые сети, в которых сигнал распространяется от входного слоя к выходному (выделение траекторий движения [20]), и рекуррентные, функционирующие итеративно и составляющие подавляющее большинство всех моделей. Порядок рекуррентных сетей определяется числом уравнений, описывающих функционирование клетки. КНС первого порядка при определенных условиях приходят в устойчивое состояние, и моделируют реакционно-диффузионные процессы возникновения дисси-пативных структур, а модели второго порядка в основном моделируют возникновение динамических структур типа автоволн и спиралей. Если набор весов связей клетки с соседями одинаков для всех клеток, то такие сети называются однородными, и получаются клонированием некоторого шаблона весов по всей поверхности КНС. В противном случае они называются неоднородными.

В этой работе будут изучаться как однородные, так и неоднородные КНС первого порядка, формирующие устойчивые состояния. Главной особенностью является то, что эта молодая область знаний находится на стыке наук и еще не имеет своих сложившихся приемов исследования и критериев оценок. В настоящее время исследования КНС первого порядка происходят в двух направлениях:

1) анализа - когда исследуются общие свойства модели и ищутся зависимости между параметрами сети (веса связей) и такими свойствами устойчивых состояний (аттракторов), как их устойчивость и аттрактивность;

2) синтеза - по заданным аттракторам или их свойствам необходимо найти веса связей или в процессе их итерационного приближения (обучения), или путем их прямого расчета (синтеза).

В области анализа КНС первого порядка достигнуты следующие результаты: изучена устойчивость положений равновесия таких систем [23, 29] и найдены условия, накладывающие определенные ограничения на веса связей [30]; исследованы свойства устойчивых состояний для некоторого класса сетей [31]; изучались процессы возникновения устойчивых состояний [23]. В области синтеза основные результаты касаются только неоднородных КНС, поскольку они соответствуют сетям Хопфилда [8, 9] с разреженной матрицей связей специальной структуры. Дальнейшее изучение КНС и разработка методов их синтеза актуально как с точки зрения разработки новых моделей мелкозернистого параллелизма, так и их возможного применения.

При этом направления исследований неоднородных и однородных КНС имеет некоторые различия, определяющиеся их назначением.

Неоднородные КНС первого порядка обычно используются в качестве ассоциативной памяти. Они на сегодняшний день изучены наиболее полно, поскольку методы их анализа и синтеза иногда можно перенести из теории полносвязных сетей Хопфилда, для которых известно много работ по теории устойчивости и аттрактивности. Однако не все методы из теории сетей Хопфилда легко переносятся на клеточно-нейронную ассоциативную память (КНАП), поскольку приходится иметь дело с сильно разреженными матрицами специальной структуры. При этом неоднородные КНС за счет малого количества связей обладают более бедными характеристиками по сравнению с сетями Хопфилда, но в то же время и большими преимуществами с точки зрения реализации. Поэтому жесткие ограничения на структуру связей заставляют искать алгоритмы, наиболее полно использующие все возможности КНС. Причем их предельные характеристики полностью не изучены, есть только несколько экспериментальных работ [18, 32] по выявлению свойств конкретных методов обучения, но никак не КНАП в целом. Поэтому исследование предельных возможностей КНС и разработка метода обучения для их достижения являются актуальными проблемами, поскольку это позволяет решать проблемы восстановления утерянной информации и фильтрации изображения от помех, не прибегая к использованию полносвязных сетей Хопфил-да.

Исследование однородных КНС, которые можно рассматривать как частный случай неоднородных, на текущий момент направлено на изучение механизмов возникновения диссипативных структур и находится в стадии анализа: изучения возможностей модели и описания получаемых устойчивых состояний, причем только для простейших случаев [33]. В частности, наиболее полно исследованы случаи КНС с шаблонами ближайших окрестностей в одномерном и двумерном случае. Экспериментально показано, что при некоторых значениях весов связей однородные КНС формирует устойчивые состояния, напоминающие раскраску камней, животных, рыб, насекомых, а при больших размерах соседства получаемые образы имеют более сложную структуру [23, 33]. Т.е. на сегодняшний день подбор КНС-модели, формирующей образы с заданными характеристиками, аналогичные встречающимся в реальных явлениях, происходит только путем перебора параметров сети. В то же время, возникающие причудливые структуры в активных средах требуют своего объяснения. Разница между однородными и неоднородными КНС первого порядка состоит только в степенях свободы при выборе весов связей между клетками: в неоднородной структуре мы можем обеспечивать разные условия устойчивости для разных клеток, в то время как в однородных КНС условия формирования устойчивого состояния одинаковы для всех клеток. Таким образом, неоднородные КНС характеризуются относительно небольшим числом устойчивых состояний и большой гибкостью в настройке параметров сети, что определяет их область применения в качестве ассоциативной памяти. В однородных КНС устойчивых состояний гораздо больше, следовательно, имеет смысл говорить не о наборе образов, а об их характерных свойствах, т.е. рисунках (мотивах), заполняющих некоторые пространства (области) более или менее систематически и параметрах границ между этими областями, такими как ширина пограничного слоя, его кривизна и т.п. Причем изменение параметров шаблона весов изменяет как мотивы, так и свойства границ между областями. Подбирая шаблон весов, можно добиться получения устойчивого состояния, напоминающего раскраску какого-нибудь животного, или неравномерное распределение реагирующих веществ в химической реакции. В этой работе исследуются однородные КНС первого порядка, анализируются свойства устойчивых состояний, и решается проблема синтеза однородных сетей по примеру устойчивого состояния. Это актуально с точки зрения возможностей моделирования тех явлений экологии, биологии, химии, которые не имеют математических моделей.

В завершение отметим, что относительная простота реализации КНС и открывающиеся перспективы привели к разработке спецустройств, предназначенных для ускорения КНС-вычислений. К настоящему времени уже реализована аналоговая КНС-машины с производительностью 1 Тера аналоговых операций в сек. [34], что позволяет решать многие задачи в реальном времени. Поэтому изучение возможностей КНС и разработка методов их синтеза по заранее заданными свойствам особенно актуально с точки зрения программного обеспечения таких машин.

Цель работы

Исследовать устойчивость и аттрактивность КНС первого порядка, изучить зависимость устойчивых состояний от параметров сети и разработать методы синтеза для получения весов связей по заданным аттракторам или их свойствам. Для этого надо решить следующие задачи:

1) Исследовать динамические свойства КНС первого порядка, т.е. определить общие условия устойчивости и сформулировать задачи анализа и синтеза для сетей с однородной и неоднородной структурой связей.

2) Оценить предельные возможности неоднородных КНС в зависимости от размеров соседства клетки, в том числе их способности к хранению и восстановлению информации.

3) На основе полученных результатов для неоднородных КНС разработать метод синтеза, позволяющий достигать предельных значений характеристик как по числу хранимых образов, так и по их устойчивости к искажениям.

4) Исследовать зависимость свойств устойчивых состояний (мотивов и параметров границ между областями), возникающих в однородных КНС, от параметров шаблона весов.

5) Разработать метод синтеза шаблона весов в однородных КНС по заданному аттрактору.

6) Создать программное обеспечение в системе моделирования \¥шА1/Т, и провести экспериментальную проверку всех полученных теоретических результатов.

Научная новизна работы

Научная новизна работы состоит в том, что впервые задача синтеза клеточно-нейронных сетей первого порядка решена в полном объеме. В частности:

1) Обоснованы основные принципы синтеза КНС, и, как следствие, сделан выбор идей метода обучения персептрона в качестве основы для построения более совершенных алгоритмов обучения КНС любой структуры.

2) Выделен набор локальных характеристик КНАП, позволяющих оценивать эффективность методов обучения/синтеза.

3) Разработан метод синтеза неоднородных КНС, позволяющий реализовать предельные возможности сети по хранению и восстановлению информации.

4) Выделены свойства формируемых образов (аттракторов) однородных КНС, определяющие классы эквивалентности шаблонов весов.

5) Разработан метод обучения однородных КНС, позволяющий найти параметры шаблона весов по заданному устойчивому состоянию.

Методы исследования

Методы обучения нейронных сетей, теория КА, теория устойчивости, методы линейной алгебры, экспериментальная проверка полученных результатов на программных моделях.

Практическая ценность работы

1) КНС первого порядка могут быть использованы как вычислительная модель с мелкозернистым параллелизмом для исследования реактивно-диффузионных явлений в самоорганизующихся системах.

2) Алгоритмы обучения неоднородных КНС могут быть использованы в системах обработки изображений для фильтрации помех, восстановления зашумленной или потерянной информации.

3) Модели однородных КНС могут быть использованы в научных исследованиях для объяснения возникающих явлений в однородных активных средах и для изучения этапов формирования диссипатив-ных структур.

4) Предложенные алгоритмы синтеза КНС подходят как для моделирования на универсальных компьютерах, так и для программирования КНС-машин.

Апробация работы

По теме исследования опубликовано 15 работ. Результаты докладывались на следующих конференциях и семинарах:

IV Всероссийский семинар "Нейроинформатика и ее приложения", октябрь 5-7, 1996, Красноярск, Россия.

The First International Workshop on Distributed Interactive Simulation and Real Time Applications, January 9-10, 1997, Eilat, Israel.

The Fourth International Conference "Parallel Computing Technologies" (PaCT-97), September 8-12, 1997, Jaroslavl, Russia.

V Всероссийский семинар "Нейроинформатика и ее приложения", октябрь 3-5, 1997, Красноярск, Россия (два доклада).

Третий сибирский конгресс по прикладной и индустриальной математике (ИНПРИМ-98), июнь 22-27, 1998, Новосибирск, Россия.

The Fifth International Conference "Parallel Computing Technologies" (PaCT-99), September 6-10, 1999, St.Petersburg, Russia.

II Всероссийский семинар "Моделирование неравновесных систем" (МНС-99), октябрь 16-17, 1999, Красноярск, Россия.

Workshop on Cellular Automata 4th IFIP WG 1.5 Meeting "AU-TOMATA'99", October 27-29, 1999, Ecole Normale Superiore de Lyon, France.

VIII Всероссийский семинар "Нейроинформатика и ее приложения", октябрь 6-8, 2000, Красноярск, Россия.

Трижды на конференциях молодых ученых ИВМиМГ СО РАН, обсуждались на семинарах в ИВМиМГ СО РАН.

Структура и объем работы

Диссертация состоит из введения, четырех глав, заключения и списка литературы.

4.3 Выводы к четвертой главе

Была проведена серия экспериментов в системе имитационного моделирования WnLA.LT.

1. Исследовалась способность КНАП хранить информацию. -Для шаблона связей размера 5 на 5 клеток сеть обучалась хранить до 50 образов в виде букв, цифр, скобок, стрелок и т.п. Все образы были индивидуально устойчивы в КНАП без автосвязи при обучении клеток по методу персептрона. Тест на случайных образах показал, что при том же размере соседства в сети может храниться 12-18 образов.

2. Исследовалась устойчивость к искажениям КНАП, обученной по разработанному методу обучения с параметрами. Получено, что при числе прототипов порядка д/2, т.е. 10-12 при 25 соседях, можно обеспечить устойчивость к 1-искажениям. Эксперименты показали, что расчет весов автосвязи стабилизирует поведение КНС и улучшает устойчивость к 1-искажениям в 10-20 раз.

3. Сравнивалось соотношение между локально неразличимыми клетками и прозрачными клетками в КНАП, обученной по локальному методу проекторов для случайных образов. Эксперименты показали, что при числе прототипов больше 12 (для 25 соседей клетки) число прозрачных клеток в 5-10 раз превышает число локально неразличимых клеток.

Эксперименты подтвердили, что а) КНАП может заменить сети Хопфилда для числа прототипов порядка числа связей клеток, и при этом обеспечить приемлемый уровень устойчивости к искажениям; б) методы обучения, основанные на методах обучения персептрона, лучше используют возможности КНАП по хранению информации, чем методы синтеза, основанные на матричных преобразованиях, и

Заключение

В результате проведенных исследований получены следующие результаты:

1) Исследованы динамические свойства КНС первого порядка, определены общие и структурные условия устойчивости. Сформулированы общие требования к методу синтеза КНС, обоснован выбор метода обучения персептрона в качестве основы для разработки новых методов обучения.

2) На основе полученных результатов для неоднородных КНС разработан метод обучения с параметрами, позволяющий достигать предельных значений характеристик как по числу хранимых образов, так и по их устойчивости к искажениям. Предложен алгоритм расчета весов автосвязи клеток, стабилизирующий поведение КНС и повышающий ее устойчивость к искажениям.

3) Проведен сравнительный анализ методов обучения сетей Хоп-филда с локальными связями, который показал, что характеристики предложенного метода синтеза обладают лучшими значениями по сравнению с существующими методами как по числу хранимых образов, так и по устойчивости к их искажениям. Это позволило адаптировать для КНАП ряд имеющихся результатов из теории сетей Хопфилда и оценить ее предельные способности как по хранению информации, так и по устойчивости к искажениям.

4) Исследованы зависимости свойств устойчивых состояний (мотивов и параметров границ между областями), возникающих в однородных КНС, от параметров шаблона весов. Это позволило, во-первых, разбить шаблоны весов на классы эквивалентности по отношению к свойствам формируемых образов, что уменьшило на 1 число независимых параметров в шаблонах весов, а во-вторых, обосновать применимость идей метода персептрона для обучения однородных КНС.

140

5) Разработан метод обучения однородных КНС по заданному аттрактору на основе идей метода обучения персептрона.

6) Создано программное обеспечение в системе моделирования Win ALT, и проведен ряд экспериментов по проверке полученных теоретических результатов. Показано, что КНАП может с успехом заменить сети Хопфилда для относительно небольшого числа прототипов (по сравнению с их размерами), особенно для случая, когда искажения разбросаны равномерно по входному образу.

1. Кирдин А.Н. Идеальная ансамблевая модель параллельных вычислений. - В кн.: Тезисы V всероссийского семинара "Нейроин-форматика и ее приложения". Красноярск, КГТУ, 1997, стр.101.

2. Frish U., d'Humiere D., Hasslacher В., Lallemand P., Peaumeau Y., Rivet J.-P. Lattice-gas hydrodinamics in two or three dimensions. -Complex systems. Vol.1, 1987, pp.649-707.

3. Hardy J., de Pazzis 0., Pomeau Y. Molecular dymanics of a classical lattice gas. Transport properties and time correlation functions. -Physical Review, A13, 1976, pp.1949-1960.

4. Simons N.R., Briges G.E., Cuhaci M. A latice gas automaton capable of modeling tree-dimensional Electromagnetic Fields. Journ. of Computational Physics 151, 1999, pp.816-835.

5. Латкин Е.И. SCAM: химический компьютер. Теория вычислений и языки спецификаций. Новосибирск, 1995. - Вып.152: Вычислительные системы. С. 140-151.

6. Hopfield J.J., Tank D.W. Computing with Neural Circuits: a Model, Science, Vol.233, 1986, p. 625.

7. Тэнк Д.У., Хопфилд Д.Д. Коллективные вычисления в нейроно-подобных электронных схемах. В мире науки. 1988, N 2, С. 44-53.

8. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. Новосибирск: Наука. Сибирская издательская фирма РАН, 1996. - 276 с.

9. Нейроинформатика / Горбань А.Н., Дунин-Барковский B.JL, Кирдин А.Н. и др. Новосибирск: Наука. Сибирское предприятие РАН, 1998. - 296 с.

10. Сыслов В.В. Нейросетевая система распознавания иероглифов. -Нейрокомпьтер, №2 (1995), стр.9-14.

11. Логовский A.C. Методы решения обыкновенных дифференциальных уравнений в нейросетевом базисе. Нейрокомпьютер, №2 (1992), стр. 15-20.

12. Галушкин А.И., Судариков В.А. Адаптивные нейросетевые алгоритмы решения задач линейной алгебры. Нейрокомпьтер, №2 (1992), стр. 21-28.

13. Chua L.O., Yang L. Cellular Neural Networks: Theory and Application. IEEE Trans. Circuits and Systems, CAS-35, 1257 - 1290 (1988).

14. Harrer H., Nossek J.A. Discrete-time Cellular Neural Networks. -Int. j. c. th. appl. 20, 453 (1992).

15. Zhang J., Zhang Li, Yan D., He A., Liu L. Local Interconnection Neural Network and its Optical Implementation. Optics Communication, Vol.102, 1993, pp. 13-20.

16. Pessa E., Palma C., Penna M. Cellular Neural Networks for Realizing Associative Memories. In: Proceedings of the Second Conference on Cellular Automata for Research and Industry, Milan, Italy, 16-18 October 1996, pp. 127-134.

17. Brucoli M., Carnimeo L., Grassi G. A Global Approach To The Design of Discrete-Time Cellular Neural Networks For Associative Memories. Int. Journ. of Circ. Theory and Appl. vol.24, p.489-510 (1996).

18. Короткин А.А., Панкратов А.В. Селекция траекторий клеточно-нейронной сетью. В кн: Тезисы докладов III Всероссийского семинара "Нейроинформатика и ее приложения". Красноярск, 1995. Стр.28.

19. Werblin F., Roska Т., Chua L.O. The analogic cellular neural network as a bionic eye. Int. J. Circuit Theor. Appl. 23, pp.541-569.

20. Хакен Г. Синергетика: Иерархии неустойчивостей в сомооргани-зующихся системах и устройствах. М.: Мир, 1985. - 423 с.

21. Thiran P., Crounse К., Chua L.O., Hasler М. Pattern Formation Properties of Autonomous Cellular Neural Networks. IEEE trans, on circ. and syst.-l: fund, theory and appl., vol.42, NO. 10, October 1995.

22. Perez-Munuzuri V., Gomez-Gesteria M., Perez-Villar V., Pivka L., Chua L.O. Nonlinear waves, patterns and spatio-temporal chaos in cellular neural networks. Phil. Trans. Roy. Soc. London, Series A, N.353, 1995, pp.101-113

23. Perez-Munuzuri A., Perez-Munuzuri V., Perez-Villar V., Chua L.O. Spatiotemporal structures in discretely-coupled arrays of nonlinear circuits: a review. Int. J. Bifurcation and Chaos, 1995, v.5(l), pp.17-50

24. Perez-Munuzuri A., Perez-Munuzuri V., Perez-Villar V., Chua L.O. Spiral waves on a 2-D array of nonlinear circuits. IEEE Trans. Circuits Syst., v.40, N.ll, 1993, pp.872-877

25. Aziz-Alaoui M.A. Multispiral Chaos. In: Proceedings of II Int. Conf. 'Control of Oscillations and Chaos' (COC 2000), St.-Petersburg, Russia, 2000, pp.88-91

26. Liu D., Michel A. Robustness analysis and design of a class of neural networks with sparse interconnecting structure. Neurocomputing, 12 (1996) 59-76.

27. Arik S., Tavsanoglu V. Equilibrium Analysis of Non-Symmetric CNNs. International Journal of Circuit Theory and Applications, Vol.24, 269-274 (1996).

28. Perfetty R. Some Properties of the Attractors of Discrete-Time Cellular Neural Networks. International Journal of Circuit Theory and Applications, vol. 23, pp. 485-499 (1995).

29. Zhuang X., Huang Y., Yu F.A. Design of Hopfield Content-Addressable Memories. IEEE Transactions on Signal Processing, v.42, N2, p.1834-1837.

30. Chua L. О. CNN: a Paradigm for Complexity. World Scientific, Series on Nonlinear Science, Vol. 31, 1998.

31. Roska Т., Chua L.O. The CNN Universal Machine: an analogic array computer. IEEE Trans, on Circuits and Systems - Part II, v.40, 1993. pp. 163-173

32. Bandman O.L. Cellular-Neural Computations, Formal Model and Possible Applications. Lecture Notes in Computer Science, 964, 1995, p.21-35.

33. Michel A., Wang K., Liu D., Ye H. Qualitative Limitations Incurred in Implementations of Recurrent Neural Networks. IEEE Control Systems, June 1995, pp.52-65.

34. Liu D., Lu Z. A New Synthesis Approach for Feedback Neural Networks Based on the Perceptron Training Algorithm. IEEE Trans. Neural Networks, Vol.8, pp.1468-1482, Nov.1997.

35. Пудов С.Г. Обучение клеточно-нейронной ассоциативной памяти. Автометрия, N 2, 1997, стр. 107-120.

36. Pudov S.G. Influence of Self-Connection Weights on Cellular-Neural Network Stability. Lecture Notes in Computer Science, 1277, p. 7682.

37. Пудов С.Г. Влияние автосвязи на устойчивость клеточно-нейронной ассоциативной памяти. Автометрия, N 1, 1998, стр. 90-96.

38. Rosenblatt F. Principles of Neurodynamics. Washington, Spartan, 1959.

39. Минский M., Пейперт С. Персептроны. "Мир", Москва, 1971. 261 с.

40. Liu D., Michel A.N. Sparsely Interconnected Neural Networks for Associative Memories With Applications to Cellular Neural Networks. -IEEE Transactions on Circuits and Systems II: Analog and Digital Signal Processing, v.41, N.4, 1994, p. 295-307.

41. Bandman O.L., Pudov S.G. Stability of stored patterns in cellular-neural associative memory. Bulletin of the Novosibirsk Computer Center. Series: Computer Science, issue 4, 1996, p. 1-16.

42. Cottrell M. Stability and Attractability in Associative Memory Networks. Biological Cybernetics 58, 1988, p. 129-139.

43. Пудов С.Г. Влияние смещения порога на основные свойства клеточно-нейронной ассоциативной памяти. Автометрия, № 1, 2000г, стр.31-41.

44. Marks II R.J., Oh S., Atlas L.E. Alternating Projection Neural Networks. IEEE Transactions on Circuits and Systems, v.36, N.6, 1989, p.846-857.

45. Perzonas L., Guyon I., Dreyfus G. Collective Computational Properties of Neural Networks: New Learning Mechanism. Physical Review, A, vol 34, November, 1986,p. 4217 - 4228.

46. Cheung K.F., Atlas L.E., Marks II R.J. Synchronous vs asynchronous bechavior of Hopfield's CAM neural net. Applied Optics, 1987, Vol. 26, No. 22, pp. 4808 - 4813.

47. Bian S., Xu K., Hong J. Near Neighboring Neurons Interconnected Neural Network. Optics Communications, Vol. 76 (1990), No. 3,4. pp. 199-202.

48. Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities. Proc. Natl. Acad. Sci. USA. -1982. - Vol.79. - p. 2554.

49. Gorodnichy D.O. Desaturating Coefficient for Projection Learning Rule. Lecture Notes in Computer Science, 1112, 1996, p.469 - 476.

50. Li J., Michel A.N., Porod W. Analysis and Synthesis of a Class of Neural Networks: Linear Systems Operating on a Closed Hypercube. IEEE Transactions on Circuits and Systems, v.36, N.ll, 1989, p.1405-1422.

51. Yen G., Michel A.N. A Learning and Forgetting Algorithm in Associative Memories: The Eigenstructure Method. IEEE Transactions on Circuit and Systems-II: Analog and Digital Signal Processing, vol.39, pp. 212-225, Apr.1992.

52. Bo M., Martinelli G., Perfetty R. Estimating the storage capasity of space-vatying cellular neural networks. Electronic Letters, 29th September 1994, Vol.30, No.20, pp.1691-1693.

53. Cimagalli V., Balsi M. Cellular Neural Networks: A Review. In: Proceedings of Sixth Italian Workshop on Parallel Architectures and Neural Networks. Vietri sul Mare, Italy, May 12-14,1993, World Scientific (E.Caianiello, ed.).