автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Модели разобучения в аттракторных нейронных сетях

В последние десятилетия в различных областях фундаментальной и прикладной науки отмечается стабильный и повышенный интерес к математическим моделям многокомпонентных систем со сложной динамикой - нейронным сетям. В естественных науках изучают общие свойства этих моделей, позволяющие разумно объяснять наблюдаемые феномены и прогнозировать эксперименты. Так, например, в нейрофизиологии на основе моделей взаимодействующих реалистичных нейронов пытаются объяснять наблюдаемые факты и выдвигать гипотезы о возможных функциях популяций биологических нейронов. Для приложений робототехники, обработки сигналов, распознавания речи и образов и многих других, порожденных прогрессом технологии, представляет интерес возможность нейросетевого решения задач обработки информации, таких как комбинаторная оптимизация, аппроксимация отображений, предсказание временных рядов, ассоциативная память и др. Теоретические исследования конкретных математических моделей нейронных сетей позволяют сделать правильный прогноз их потенциальных возможностей и выявить фундаментальные ограничения.

Термин нейронная сеть широко используется в различных, часто имеющих мало общего друг с другом областях науки и техники, таких как, например, распознавание образов и нейробиология. Отсюда неизбежно возникает множественность в его смысловой нагрузке. В данной работе под нейронной сетью мы будем подразумевать математическую модель. Она описывает сложную систему из связанных процессоров (нейронов), обменивающихся сигналами. Задание множества внутренних состояний нейрона и правил преобразования входных сигналов в выходной определяют нейрон, а структура межнейронных связей определяет направление движения потока информации в сети. Ключевым понятием для искусственных нейронных сетей является понятие обучения. В процессе обучения нейронной сети происходит настройка (адаптация) межнейронных связей к данной задаче обработки информации, что означает численное определение соответствующих им весовых коэффициентов. Часто в ущерб строгости искусственную нейронную сеть определяют как устройство параллельной обработки информации, способное к обучению на примерах (обсуждение различных определений нейронной сети см. в [1], [2], математические аспекты моделирования нейронных сетей рассматриваются в [3]-[10]).

В данной работе исследуется класс искусственных нейронных сетей, выполняющих функцию автоассоциативной памяти. Под последней обычно понимают восстановление (распознавание) некоторой запомненной информации по какой-либо ее части. Эта функция может быть реализована в нейромоделях различными способами (для обзора см., например, [11]-[14]). Наиболее разработанным направлением является концепция вычислений на основе аттракторов сетевой динамики [15],[16], которая связана с именем Джона Хопфилда. Следуя парадигме Хопфилда [17]-[21], определяют соответствие между аттракторами динамики системы нейронов (притягивающие точки, циклы, и т.п.) и информацией для запоминания, которая может быть представлена, например, набором заданных состояний системы нейронов или, в принятой терминологии, прототипов (статические объекты), или же их последовательностью (динамические объекты). Далее информация для запоминания с помощью некоторой процедуры обучения записывается в матрице межнейронных связей, при этом формируется распределенное представление запоминаемой информации. Очевидно, что при заданной сетевой динамике типы аттракторов и их области притяжения непосредственно определяются процедурой обучения. Некоторые из аттракторов могут оказаться "ложными", т.е. не имеющими прообраза в множестве запомненной информации, например, притягивающие точки, соответствующие смесям прототипов. Актуальными задачами обучения аттракторных нейронных сетей являются формирование требуемых наборов аттракторов и управление их областями притяжения.

Принципиальные трудности при обучении могут возникать в условиях отсутствия априорных знаний о характеристиках запоминаемого информационного набора и/или условиях его запоминания. В частности, в случае автоматического запоминания может оказаться, что неизвестными (или быстро флуктуирующими) характеристиками являются первые моменты распределения векторов-прототипов и/или относительный вклад каждого из прототипов при построении синаптической матрицы. Как известно [22]-[25], итерационные обучающие процедуры позволяют сделать прототипы притягивающими точками сетевой динамики, что является важным этапом на пути к реализации функции автоассоциативной памяти. Однако формирование областей притяжения этих аттракторов, например, для сильно коррелированных прототипов, плохо поддается контролю [16]. В этом случае эффективным может быть дообучение на основе самоорганизации системы в некотором итерационном процессе, на каждом шаге которого вначале тестируются аттракторы системы нейронов и затем, с использованием результатов этого теста, модифицируется синаптическая матрица. Кроме того, схема "первичное обучение с последующим дообучением" оказывается единственно возможной, если в силу разных причин прототипы доступны для обучения только ограниченное время, что не позволяет осуществить обучение нейронной сети с заданным критерием качества.

В данной работе будут рассматриваться схемы дообучения без использования прототипов (без учителя), а именно, вызывающие в последние годы стабильный интерес [26]-[35] процедуры разобучения. Являясь достаточно эффективной схемой дообучения, разобучение, с другой стороны, несвободно от некоторых существенных недостатков. Во-первых, почти все известные алгоритмы разобучения (ислючение составляет алгоритм разобучения локальных полей [36]- [43]) имеют критическое время, после которого наступает полное разрушение памяти о прототипах. Во-вторых, время выхода на плато, на котором синаптическая матрица обладает оптимальными свойствами с точки зрения автоассоциативной памяти, довольно велико, а длина самого плато незначительна, что, в принципе, может затруднять его идентификацию в приложениях. В-третьих, за исключением случая алгоритма разобучения локальных полей, не существует удовлетворительного аналитического описания динамики разобучения. В-четвертых, до настоящего времени нет достаточного понимания базовых механизмов раз-обучения (см., однако, [32]). Таким образом, многие вопросы и проблемы в этой области являются открытыми и ждут своего решения.

С целью проведения систематического исследования базовых механизмов, лежащих в основе действия разобучения, автором диссертации совместно с С.А. Семеновым была предложена концепция параллельного разобучения, которая, как было показано, в пределе больших систем допускает аналитическое описание в терминах параметров порядка [44]. Параллельное разобучение может рассматриваться как предел обычного алгоритма разобучения, когда размер шага алгоритма и интервал между шагами стремятся к нулю. Этот процесс использует знание общих свойств системы, таких как структура локальных минимумов и размеры их областей притяжения.

Недавно А.Ю. Плаховым и С.А. Семеновым [36]-[43] был предложен алгоритм разобучения локальных полей, который при некоторых условиях сходится к матрице проектирования на линейное подпространство, натянутое на вектора-прототипы [45]-[47]. Условия сходимости получили рассмотрение не в полной мере, в частности, остался невыясненным вопрос о вероятности сходимости для случайных прототипов.

Перечислим связанные с вышесказанным проблемы теории:

1. Обобщение аналитического аппарата теории аттракторных нейронных сетей на случай параллельного разобучения.

2. Анализ базовых механизмов разобучения.

3. Поиск новых более эффективных алгоритмов разобучения.

4. Определение условий сходимости алгоритма разобучения локальных полей для случайных прототипов.

Целью работы является: - на основе аналитического и численного анализа динамики параллельного раз-обучения исследовать его базовые механизмы,

- изучить возможности и ограничения нового предлагаемого автором в данной работе алгоритма разобучения,

- вычислить вероятность сходимости алгоритма разобучения локальных полей для случайных прототипов и ее зависимость от параметров системы.

При этом будут частично разрешены указанные выше проблемы теории.

Результаты диссертации представляют собой последовательное развитие теории аттракторных нейронных сетей. Для их получения использовались методы теории динамических систем, теории вероятности и численного моделирования, которые были применены к сложным многокомпонентным динамическим системам - моделям разобучения.

О структуре диссертационной работы.

Диссертация состоит из введения, 6 глав, разбитых на 31 подраздел, заключения, приложения, 38 рисунков, б таблиц и списка литературы из 104 наименований. Общий объем работы - 137 страницы машинописного текста.

Основные результаты, изложенные в диссертации, докладовались на семинаре "Нейронные схемы" (руководитель B.JI. Дунин-Барковский), конференции в Московском инженерно-физическом институте (Техническом университете) в 2000 г., а также на конференции EUFIT'98 в г. Аахен, Германия в 1998 г.

По теме диссертации опубликовано 7 статей.

Автор выражает благодарность научному руководителю В.Н. Каданцеву за внимание и поддержку, а также А.Ю. Плахову за полезные обсуждения.

Заключение

Результаты, представленные к защите, связаны с изучением новых моделей и базовых механизмов разобучения в аттракторных нейронных сетях и получены с использованием теории динамических систем, теории вероятности и численного моделирования.

В диссертации получены следующие результаты:

Исследовано несколько сценариев разобучения. Проведен сравнительный анализ различных сценариев.

1. (i) Разработана концепция параллельного разобучения. Оно может быть представлено как предел классического разобучения, когда размер шага алгоритма стремиться к нулю, а число шагов в единицу времени стремится к бесконечности. В детерминистическом случае вклады аттракторов параллельной динамики нейронов (притягивающих точек и 2-циклов) в приращение синаптической матрицы выбираются пропорциональными их областям притяжения. В стохастическом варианте разобучаемые аттракторы взвешиваются с фактором Больцмана. и) Получена самосогласованная система уравнений параллельного разобучения, состоящая из уравнения эволюции для подрешеточной намагниченности и итерационного отображения для приведенной синаптической матрицы. iii) На основе проведенных исследований сделан вывод о базовом механизме действия детерминистического параллельного разобучения, а именно: в результате перераспределения весов подрешеточных наборов стираются в памяти высоколежащие локальные минимумы, соответствующие смешанным состояниям. После некоторого (оптимального) времени разобучения система способна восстанавливать прототипы, запомненные с малыми весами и/или коррелирующие с остальными. iv) При стохастическом параллельном разобучении продолжительность плато может в несколько раз превосходить время разобучения до достижения плато. Разобучение неэффективно при больших значениях параметров смещения и корреляции. Обнаружено, что базовым механизмом разобучения является подавление глобальных корреляций между прототипами или группами прототипов в их распределенном представлении. v) Детально исследовано параллельное разобучение в случае, когда число прототипов фиксировано. Предполагается, что алгоритм стартует с обобщенного правила Хебба; исследована система аттракторов уравнения эволюции, их областей притяжения и бифуркация рождения нетривиального решения. Построены диаграммы устойчивости в пространстве параметров модели.

2. Аналитически и численно исследован алгоритм разобучения локальных полей. Для случайных несмещенных прототипов в термодинамическом пределе N —>■ оо вычислена вероятность успешного разобучения полей как функция загрузки памяти, силы разобучения и весов прототипов. Скорость ее аппроксимации с ростом N исследована в численных экспериментах.

3. Предложена модификация алгоритма разобучения локальных полей, при которой последние вычисляются на стационарных состояниях параллельной динамики нейронов. Новый алгоритм позволяет в несколько раз уменьшить время разобучения и по крайней мере на порядок увеличить продолжительность плато разобучения по сравнению с классическими схемами, и, кроме того, существенно расширить рабочую область параметров.

4. На основе анализа нейрофизиологических данных выдвинута рабочая гипотеза о функции парадоксального сна (REM sleep), согласно которой в этот период происходит отбор следов кратковременной памяти для перевода их в долговременную.

В завершение укажем, что рассмотренные модели разобучения могут быть использованы как одни из возможных методов дообучения аттракторных нейронных сетей, а знание базовых механизмов параллельного разобучения может быть полезно при построении и изучении новых алгоритмов разобучения.

1. Taylor J. The promise of neural networks. - Cambridge: Cambridge University Press, 1993.

2. Дискуссия о нейрокомпьютерах. Ред. Ежов А.А. МИФИ, 2000.

3. Т. Heskes, В. Kappen "Mathematical Foundation of Neural Networks", ed by J. Taylor. Amsterdam: Elsevier, 1993.

4. Веденов А.А., Ежов А.А., Левченко Е.Б. Архитектурные модели и функции нейронных ансамблей // Сб. Итоги науки и техники. Физические и математические модели нейронных сетей. 1990. Т. 1. С. 44 - 92.

5. F.I. Karpelevich, V.A. Malyshev, A.N. Rybko Stochastic evolution of neural networks Markov Processes Relat. Fields 1995 1, 141-161

6. V.A. Malyshev Networks and dynamical systems Adv. Appl. Prob. 1993 25, 140-175

7. Koch H. A scaling limit of the Glauber dynamics for a class of neural network models J. Math. Phys. 1991 32 №ll, 3162-3167

8. Koch H. A free energy bound for the Hopfield model Journal of Physics A 1993 26 №6, L353

9. Koch H., Piasko J. Some rigorous results on the Hopfield neural network model J. Stat. Phys. 1989 55 N°5/6, 903-928

10. Koiran P. Dynamics of discrete time, continuous state Hopfield networks Neural Computation 1994, 6, N3, 459-468

11. Simon Haykin "Neural Networks: A Comprehensive Foundation". New York: Macmillan and IEEE Computer Society, 1994.

12. Mohammed H. Hassoun (ed) "Associative Neural Memories, Theory, and Implementations". Oxford: Oxford University Press, 1993, 376 pp.

13. Hertz J., Krogh A., Palmer R.G. "Introduction to the theory of neural computation", Addison-Wesley, Redwood City, CA, 1991.

14. Фролов А.А., Муравьев И.П. Нейронные модели ассоциативной памяти. -М.: Наука, 1987.

15. Amit D.J. Modelling brain function: The world of attractor neural networks. -Cambridge: Cambridge University Press, 1989.

16. Domany E., van Hemmen J.L., Schulten K. Models of neural networks. Berlin: Springer, 1991.

17. Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities // Proc. Nath. Acad. Sci. USA. 1982. V. 79. P. 2554 - 2558.

18. Hopfield J.J. Neurons with graded response have collective computational properties like those of two-state neurons // Proc. Nath. Acad. Sci. USA. 1984. V. 81.- P. 3088 3092.

19. Hopfield J.J. Artificial neural networks // IEEE circuits and devices magazine. 1988. V. 4. P. 3 - 10.

20. Hopfield J.J. Dynamics and neural network computation // Int. J. Quantum. Chem. 1990. N. 24. P. 633 - 644.

21. Hopfield J.J. Neurons, dynamics and computation // Physics Today. 1994. V. 47. P. 40 - 46.

22. Diederich, S. and Opper, M. Learning of correlated patterns in spin-glass networks by local learning rules. Phys. Rev. Lett. (1987) 58: 949-952.

23. Krauth, W. and Mezard, M. Learning algorithms with optimal stability in neural networks. J. Phys. A (1987) 20: L745-L752.

24. Berryman К W, Inchiosa M E, Jaffe A M and Janowsky S A 1990 J. Phys. A 23 L223

25. Blatt M G and Vergini E G 1991 Phys. Rev. Lett. 66 1793

26. Hopfield, J.J., Feinstein, D.I., and Palmer, R.G. "Unlearning" has a stabilizing effect in collective memories. Nature (1983) 304: 158-159

27. Kleinfeld D. and Pendergraft D.B. "Unlearninig" increases the storage capacity of content addressable memories 1987 Biophys. J. 51 47

28. J.L. van Hemmen Hebbian learning and unlearning Proc. STATPHYS 17 Workshop, Neural Networks and Spin Glasses, Brazil, 8-11 Aug. 1989, pp.91114, eds. W.K.Theumann, R. Koberle

29. J.L. van Hemmen, W. Gerstner Encoding and decoding of patterns which are correlated in space and time, from: "Konnektionismus in Artificial Intelligence und Kognitionsforschung" (Salzburg, 19-21 Sept., 1990), ed. G. Dorffner (Springer, 1990), 153-162

30. Wimbauer, U., Klemmer, N., and van Hemmen, J.L. Universality of unlearning. Neural Networks (1994) 7: 261-270

31. Hemmen J.L. van 1997 Network: Comput. Neur. Syst. 8 VI

32. Horas J.A. and Pasinetti P.M. On the unlearning procedure yielding a high-performance associative memory neural network. J. Phys. A 1998 31 L463

33. K. Nokura Unlearning in the paramagnetic phase of neural networks. Journal of Physics A 1996 29 N°14, 3871-3891

34. Plakhov A.Yu., Semenov S.A. The modified unlearning procedure for enhancing storage capacity in Hopfield network // Proc. RNNS/IEEE Symposium on Neuroinformatics and Neurocomputers, Rostov-on-Don, 1992. V. 1. P. 242

35. Плахов А.Ю., Семенов С.А. Модифицированная процедура разобучения для достижения точного запоминания в нейронных сетях // Сб. науч. тр. Процессы и структуры в открытых системах. М.: ИФТП, 1992. - С. 50 - 56.

36. Plakhov A.Yu., Semenov S.A. An unlearning-type procedure for the self-correction of Hebbian connectivity // Neural Network World. 1993. V. 4. -P. 405 412.

37. Plakhov A.Yu., Semenov S.A. Neural networks: Iterative unlearning algorithm converging to the projector rule matrix //J. Phys. I (France). 1994. V. 4. P. 253 - 260.

38. Плахов А.Ю. Динамика разобучения в нейронной сети Хопфилда // Изв. высш. уч. зав. Радиофизика. 1994. Т. 37. - С. 22 - 30.

39. Plakhov A.Yu. The converging unlearning algorithm for the Hopfield neural network: Optimal strategy // Proc. 12th Int. Conf. on Pattern Recognition, Jerusalem, 1994.

40. Плахов А.Ю. Об асимптотическом поведении одного класса случайных матричных итераций. // Фундаментальная и прикладная математика. 1995. Т. 1. вып. 4. С. 1009 - 1018.

41. Плахов А.Ю. О распределении собственных значений в некоторых ансамблях больших случайных матриц. // Фундаментальная и прикладная математика. 1997. Т. 3. вып. 3. С. 903 - 923.

42. S.A. Semenov, and I.В. Shuvalova, "Exhaustive unlearning: evolution equations approach" In: Proceedings of the 6th European Congress on Intelligent

43. Techniques and Soft Computing (ELITE'98), Aachen, Germany, Sept. 7-10, 1998, v.l, pp.265-269.

44. Personnaz, L., Guyon, I., and Dreyfus, G. Information storage and retrieval in spin-glass like neural networks J. de Phys. Lett. France (1985) 46: L359-L365

45. Kanter, I. and Sompolinsky, H. Associative recall of memory without errors. Phys. Rev. A (1987) 35: 380-392.

46. P. Kuhlmann, J.K. Anlauf The number of metastable states in the projection rule neural network Journal of Physics A 1994 27 №17, 5857-5870

47. Mezard M., Parisi G., Virasoro M. Spin glass theory and beyond. Singapore: Singapore world scientific, 1988.

48. Glauber R.J. Transitions in spin systems // J. Math. Sci. 1963. V. 4. P. 294 - 307.

49. Heidelberg Colloquium on Glassy Dynamics, ed by van Hemmen J.L. and Morgenstern I. Berlin: Springer, 1987. P. 430 - 576.

50. G. Deco, D. Obradovic Statistical physics theory of query learning by an ensemble of higher-order neural networks Phys.Rev.E 1995 52 N°2, 1953-1957

51. Gardner E., Derrida B. Optimal storage properties of neural network models // J. Phys. A. 1988. V. 21. P. 271 - 284.

52. Gardner E. Optimal basins of attraction in randomly sparse neural network models // J. Phys. A. 1989. V. 22. P. 1969 - 1974.

53. Gardner E., Stroud N., Wallace D.J. Training with noise and the storage of correlated patterns in a neural network model //J. Phys. A. 1989. V. 22. P. 2019 - 2030.

54. Wong K.Y.M., Sherrington D. Neural networks optimally trained with noisy data // Phys. Rev. E. 1993. V. 47. P. 4465 - 4482.

55. Bolle D., Dupont P., van Mourik J. The optimal storage capacity for a neural network with multi-state neurons // Europhys. Lett. 1991. V. 15. P. 893 -898.

56. A. Engel, H.M. Kohler, F. Tschepke, H. Vollmayr, A. Zippelius Storage capacity and learning algorithms for two-layer neural networks Phys.Rev.A 1992 45 №10, 7590-7609

57. M. Lewenstein, W. Tarkowski Optimal storage of correlated patterns in neural-network memories Phys.Rev.A 1992 46 N°4, 2139-2142

58. M. Lewenstein, M. Olko Storage capacity of quantum neural networks Phys.Rev.A 1992 45 N°12, 8938-8943

59. R. Monasson Storage of spatially correlated patterns in autoassociative memories Journal of Physics A 1993 26 N°5, 1141-1152

60. L.F. Cugliandolo, M.V. Tsodyks Capacity of networks with correlated attractors Journal of Physics A 1994 27 N°3, 741-756

61. H. English, V. Mastropietro, B. Tirozzi The B.A.M. storage capacity Journal de Physique I (France) 1995 5 №l, 85-9663. 0. Bernier Stochastic analysis of synchronous neural networks with asymmetric weights // Europhys. Lett. 1991. V. 16. P. 531 - 536.

62. Coolen A.C.C., Sherrington D. Dynamics of fully connected attractor neural networks near saturation // Phys. Rev. Lett. 1993. V. 71. P. 3886 - 3889.

63. Gandolfo D., Ruiz J., Zagrebnov V. On the parallel dynamics of the diluted clock neural network // Physica A. 1994. V. 196. P. 2057 - 2067.

64. L. Viana, C. Martinez Dynamics of a neural network composed by two Hopfield subnetworks interconnected unidirectionally Journal de Physique I (France) 1995 5 №5, 573-580

65. D.Y. Jee, B.L. Hu, T.L. Chen Parallel dynamics of Hopfield network with self-coupling terms Comm. Theor. Phys. 1995 23 N°3, 363-370

66. S. Gomi, F. Yonezawa A new perturbation theory for the dynamics of the Little-Hopfield model Journal of Physics A 1995 28 N°17, 4761-4775

67. Opper M. Calculation of learning steps for the perceptron algorithm // Phys. Rev. A. 1988. V. 38. P. 3824 - 3830.

68. J. Anlauf, M. Biehl Europhys. Lett. (1989) 10: 687

69. T. Tanaka Mean-field theory of Boltzmann machine learning. Phys. Rev. E (1998) 58 №2, 2302-2310

70. J.F. Fontanari Generalization in a Hopfield neural network J.Phys.France 1990 51 №21, 2421-2430

71. D. Bolle, D.M. Carlucci and G.M. Shim Thermodynamic properties of extremely diluted symmetric Q-Ising neural networks J.Phys.A (2000) 33: 6481-6495

72. T. Heskes, and B. Kappen Learning processes in neural networks. Phys. Rev. A (1991) 44 pp. 2718-2726.

73. T.M. Heskes, E.T.P. Slijpen, B. Kappen Learning in neural networks with local minima Phys.Rev.A 1992 46 N°8, 5221-5231

74. T.M. Heskes, E.T.P. Slijpen, B. Kappen Cooling schedules for learning in neural networks Phys.Rev.E 1993 47 N°6, 4457-4464

75. T. Heskes On Fokker-Planck approximations of on-line learning processes. J. Phys. A (1994)

76. W. Wiegerinck, A. Komoda, and T. Heskes Stochastic dynamics of learning with momentum in neural networks. J. Phys. A (1994) 27 pp. 4425-4437.

77. R.W. Penney, A.C.C. Coolen and D. Sherrington Coupled dynamics of fast spins and slow interactions in neural networks and spin systems J.Phys. A (1993) 26 3681-3695

78. Coolen A.C.C., Penney R.W., Sherrington D. Coupled dynamics of fast spins and slow interactions: An alternative perspective on replicas // Phys. Rev. B. 1993.V. 48. P. 16116 - 16118.

79. Feldman D.E., Dotsenko V.S. Partially annealed neural networks //J. Phys. A. 1994. V. 27. P. 4401 - 4411.

80. Semenov, and I.B. Shuvalova, "Some results on convergent unlearning algorithm" In: "Advances in Neural Information Processing Systems 8", D.S. Touretzky, M.C. Mozer, M.E. Hasselmo eds., MIT Press, 1996, pp.358-364.

81. Семенов С.А., Шувалова И.Б. Некоторые результаты по сходящемуся алгоритму разобучения // Сб. науч. тр. Нелинейные явления в открытых системах. М.: ИФТП, 1995. - С. 105 - 115.

82. Шувалова И.Б. Области притяжения в модели Хопфилда: коррелированные паттерны, запомненные с весами // Сб. науч. тр. Нелинейные явления в открытых системах. М.: ИФТП, 1997. - С. 22 - 36.

83. Krauth W., Nadal J.-P., Mezard M. The roles of stability and symmetry in the dynamics of neural networks // J. Phys. A. 1988. V.21. PP.2995-3011.

84. Amaldi E., Nicolis S. Stability-capacity diagram of a neural network with Ising bonds // J. Phys. (France). 1989. V. 50. P. 2333 - 2345.

85. Gardner E., Derrida В., Mottishaw M. Zero temperature parallel dynamics for infinite range spin glasses and neural networks // J. de Physique. 1987. V.48. PP.741-755.

86. Coolen A.C.C., Sherrington D. Dynamics of fully connected attractor neural networks near saturation // Phys. Rev. Lett. 1993. V.71. PP.3886-3889.

87. Abbott L.F., Kepler Т.В. Optimal learning in neural network memories // J. Phys. A. 1989. V.22. L711-L717.

88. Kohring G.A. Dynamical interference between the attractors in a neural network // Europhys. Lett. 1989. V.8. PP.697-702.

89. Coolen A.C.C., Jonker H.J.J, Ruijgrok Th.W. , Size of the domains of attraction in the Hopfield model // Phys. Rev. A. 1989. V.40. PP.5295-5298.

90. Viana L., Coolen A.C.C. Attraction domains in neural networks //J. Phys. I (France). 1993. V.3. PP.777-786.

91. Herz A., Sulzer В., Kuhn R., van Hemmen J.L. Sublattice magnetization approach in neural network models // J. Stat. Phys. 1988. V. 50. P. 231 -257.

92. Шувалова И.Б. Точные результаты статистической модели разобучения: уравнения эволюции для конечного числа паттернов // Сб. науч. тр. Искусственный интеллект в технических системах М.: ИФТП, 1997. - С. 116 - 131.

93. W. Whyte, D. Sherrington, A.C.C. Coolen Competition between pattern recall and sequence processing in a neural network storing correlated patterns // J. Phys. A 1995 V. 28. P. 3421 - 3437.

94. J.D. Crawford Introduction to bifurcation theory Rev. Mod. Phys. 1991 63 № 4, 991-1037

95. S.N. Laughton, А.С.С. Coolen Macroscopic Lyapunov functions for separable stochastic neural networks with detailed balance J. Stat. Phys. 1995 80 №l/2, 375-387

96. Шувалова И.Б, Семенов С.А. Синхронизация активности в системе нейронов Хиндмарша-Розе // Сб. науч. тр. Нелинейные явления в открытых системах М.: ИФТП, 1998. - С. 33 - 43.

97. Freud S. The Interpretation of Dreams. London: Hogarth Press and The Institute of Psyho-Analysis, 1953.

98. Crick F.H.C., Mitchison G. The function of dream sleep // Nature (London) 1983. V.337. P.129-132.

99. Hennevin E., Hars В., Maho C., Bloch V. Processing of learned information in paradoxical sleep: relevance for memory // Behav. Brain. Res. 1995. V.69. P.125-135.

100. D. Horn, N. Levy and E. Ruppin Neuronal regulation versus synaptic unlearning in memory maintenance mechanisms // Network: Comput. Neural Syst. (1998) 9 577-586

101. Шувалова И.Б. О функции парадоксального сна // Сб. науч. тр. Нелинейные явления в открытых системах М.: ИФТП, 1999. - С. 92 - 103.