автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Методика построения нейросетевых прогнозирующих моделей на основе анализа реконструированных аттракторов



На правах рукописи

Борисов Юрий Юрьевич

МЕТОДИКА ПОСТРОЕНИЯ НЕЙРОСЕТЕВЫХ ПРОГНОЗИРУЮЩИХ МОДЕЛЕЙ НА ОСНОВЕ АНАЛИЗА РЕКОНСТРУИРОВАННЫХ АТТРАКТОРОВ

05 13 17 —Теоретические основы информатики

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Работа выполнена в ГОУ ВПО «Московский государственный университет приборостроения и информатики» на кафедре «Экономические информационные системы»

Научный руководитель

доктор технических наук, доцент Евгений Витальевич Никуль4ев

Официальные оппоненты

доктор технических наук, профессор Игорь Владимирович Солодовников

Ведущая организация

ГОУ ВПО «Московский институт электроники и математики (государственный технический университет)

Защита состоится «01» ноября 2007 г в 11-00 на заседании диссертационного совета К 212 147 02 в ГОУ ВПО«Московский гос университет печати» по адресу 127550, Москва, ул Прянишникова, 2а

С диссертацией можно ознакомиться в библиотеке МГУП. *

Автореферат разослан «29» октября 2007 г

кандидат технических наук, доцент Елизавета Натановна Каширская

Ученый секретарь диссертационного совета д т н, профессор

В H Агеев

Общая характеристика диссертационной работы

Актуальность Задачи прогнозирования и построения математических моделей различных процессов и явлений имеет первостепенное значение во многих областях науки и жизнедеятельности человека

В большинстве технических, экономических и социальных системах возникают процессы, являющиеся результатом взаимодействия множества составляющих, что не позволяет строить адекватные математические модели исходя только из априорных знаний. Вместе с тем часто имеется потребность строить не модели явлений, а эволюционные модели изменений динамики конкретного процесса, являющегося наблюдаемым параметром сложной системы Особый интерес представляют эволюционные модели, дающие качественные прогнозирующие значения моделируемого процесса Такие модели могут быть использованы в системах принятия решений, управлении, прогнозирования и оценки качества сложных систем Таким образом, прогнозирующие модели строятся на основании наблюдения за процессами с учетом имеющейся информации и предположений о структуре и классе системы

Значительное время единственным доступным теоретическим и практическим средством прогнозирования временных рядов являлись статистические методы. Однако, фундаментальные ограничения статистических подходов, исходящие из сложности проверки предположений о вероятностных характеристиках и стохастических закономерностях исследуемой реализации приводят к невозможности объяснения многих явлений, и, как следствие, устранению неточных прогнозов

В последнее время все большее развитие получает теория нелинейных динамических систем, в рамках которой разработаны методики, позволяющие по наблюдаемой скалярной реализации восстанавливать аттрактор, качественно эквивалентный исследуемой детерминированной системе В тоже время, аппарат нейронных сетей является мощным практическим инструментом аппроксимации функций и используется во многих работах для оценки оператора эволюции исследуемых динамических систем Однако для построения нейросетевых моделей не достаточно широко применяются современные методики нелинейной динамики

Исследование восстановленного аттрактора позволит выбрать его наиболее информативные характеристики, минимизируя при этом размерность входного вектора и структуру нейросегевой модели

Исследование ближайших соседних траекторий на аттракторе позволит вычислить оценку качества прогноза наблюдаемого временного ряда

Совместное использование методов нелинейной динамики и аппарата нейронных сетей позволит разработать методику построения прогнозирующих моделей реальных технических, экономических систем

Таким образом, разработка и исследование методов построения нейросетевых прогнозирующих моделей на основе исследования

реконструированных по наблюдаемым данным аттракторов является актуальной

Цель разработка методики построения нейросетевых прогнозирующих моделей на основе исследования и обработки аттракторов, реконструированных по наблюдаемым данным методом Паккарда-Такенса

Основные задачи исследования

1 Проведение обзора методов построения нейросетевых моделей и исследования нелинейных динамических систем

2 Обоснованный выбор подходов к структурной и параметрической идентификации эволюционных уравнений динамических систем

3 Выбор вида моделей, учитывающих возможность локального, глобального и синтетического прогноза, идентифицируемых на основе анализа локальных окрестностей реконструированного аттрактора

4. Разработка методики оптимальной предобработки локальных областей восстановленного аттрактора

5 Разработка схемы построения нейросетевых прогнозирующих моделей структурно-сложных динамических систем на основе реконструированного аттрактора динамической системы

6 Разработка методики пошаговой реконструкции локальной прогнозирующей модели, обеспечивающей принадлежность точек аттрактора на интервале прогнозирования к устойчивой локальной области фазового пространства

7. Формулировка критерия оценки качества прогноза и разработка методики выбора прогнозирующей модели в соответствии с сформулированным критерием качества.

8 Разработка программного обеспечения для прогнозирования поведения модельных и реальных практически значимых структурно-сложных динамических систем.

Объект исследования Временной ряд, являющийся результатом функционирования структурно-сложной наблюдаемой системы, обладающий автоколебательной регулярной или хаотической динамикой для которого может быть восстановлен аттрактор

Методы исследования. В работе используются методы теории нейронных сетей, машинного обучения, фильтрации данных, нелинейной динамики, качественной теории динамических систем и системного анализа

Научная новизна

Полученный в работе комплекс теоретических и практических результатов позволил создать методики построения прогнозирующих моделей на основе анализа аттракторов нелинейных динамических систем, реконструированных на основании экспериментальных данных При этом

1 Разработана динамическая модель, идентифицируемая по одномерной реализации на основе анализа локальных окрестностей реконструированного аттрактора, обеспечивающая построение локального, глобального и синтетического прогноза

2 Разработана схема построения нейросетевой прогнозирующей модели динамического поведения структурно-сложной системы на основе разработанных алгоритмов предобработки локальных областей реконструированного аттрактора и выбранного метода машинного обучения.

3 Разработана методика пошаговой реконструкции локальной прогнозирующей модели, обеспечивающей принадлежность точек аттрактора на интервале прогнозирования к устойчивой локальной области фазового пространства

4 Сформулирован критерий выбора прогнозирующей модели в виде минимальной суммарной ошибки прогнозирования значений ближайших соседних траекторий реконструированного аттрактора.

Практическая ценность На основе исследований, проведенных в диссертационной работе, реализован комплекс, программных средств, позволяющий проводить идентификацию, прогнозирование и оценку инвариантных характеристик динамических систем по известным одномерным реализациям.

Реализация результатов работы Разработанное программное обеспечение используется в учебном процессе кафедры «Управление и моделирование систем» Московского государственного университета приборостроения и информатики в рамках дисциплин «Математическое моделирование», «Моделирование систем», в учебном процесса кафедры «Прикладная математика и моделирование систем» Московского государственного университета печати по дисциплине «Применение интеллектуальных технологий в экономических системах»

Апробация результатов работы Результаты работы докладывались и обсуждались на четырех конференциях

- Пятой Всероссийской научной конференции молодых ученых по математическому моделированию и информационным технологиям (Новосибирск, 2004),

- Юбилейной научной конференции, посвященной 70-летию МГАПИ (Москва, 2006),

- Семинаре молодых ученых «Задачи системного анализа, управления и обработки информации» (Москва, 2006),

- Научно-методическом семинаре кафедры «Прикладная математика и моделирование систем» Московского гос. университета печати под рук д т н Е В Никульчева

Публикации по теме диссертации Основные результаты диссертации опубликованы в 6-ти работах, в том числе 2 статьи в журналах, рекомендованном ВАК РФ

Структура и объем диссертации Диссертация изложена на 132 с машинописного текста, и состоит из введения, четырех глав, заключения и двух приложений,

Содержание работы

Во введении обосновывается актуальность исследования характеристик восстановленных аттракторов динамических систем, разработки методов их реконструкции и построения прогнозирующих моделей Также формулируются цели, задачи, предмет, объект и методы исследования, приводится краткая характеристика основных разделов диссертации

Первая глава диссертации посвящена обзору современных методов исследования нелинейных динамических систем Проведен анализ методов реконструкции аттракторов систем по наблюдаемой скалярной реализации Определен объект исследования и его основные характеристики с позиции теории систем Проведен обзор методов обучения нейронной сети и определены способы использования аппарата нелинейной динамики для построения прогнозирующих нейросетевых моделей

Рассмотрена общая постановка задачи реконструкции динамических моделей Пусть в результате эксперимента получен скалярный временной ряд, являющийся функцией состояния неизвестной динамической системы

*(' + !) = /(*(')), у{1) = Ф(*(<))

Согласно теореме Такенса и условию Мане, фазовый потрет, восстановленный в виде

т = (уИ),У(1 ~О, • ,У«-(т- 1)г)) = (*,(/),*2(/), ,*„(/)), (1 1)

топологически эквивалентен аттрактору исходной динамической системы, обеспечивая глобальное отображение состояние 2(р) в х(1) Здесь *(/) — вектор состояния исходной динамической системы, у(1)— наблюдаемый скалярный временной ряд, — ¡-ая компонента вектора, определяющего точку на восстановленном аттракторе, т — параметр задержки (время пересечения траекториями сечения Пуанкаре), т — размерность реконструкции, определяемая из условия т > пн +1, пк — хаусдорфова размерность

Предложено представить модель оператора эволюции в виде вектор-функции

отображающей характеристики аттрактора в области 7. на координаты вектора состояния в следующий момент времени, что обеспечивает возможность учета локального, глобального и синтетического прогноза при реконструкции уравнений состояния исследуемых систем

Исследованы разделы нелинейной динамики Проведен обзор и рассмотрены особенности методов качественного анализа нелинейных автоколебательных динамических систем (А, Пуанкаре, А М Ляпунова, Л С Понтрягина, А А Андронова, Е А Леонтович, А Г Майера, Д Д Биркгофа, В И Арнольда и др) Также рассмотрены важные для практического применения методы реконструкции аттрактора и вычисления инвариантных характеристик по временному ряду (Ф Такенс, Д Рюэль, Н. Пакард, А Вольф,

Г Г Малинецкий, В С Анищенко, П Гросберг, М Розенштейн, Р Хеггер, И Проксиа, Н Канц, Т Сауэр, В В. Астахов, А Б Нейман и др.)

Обоснованно выбраны нейронные сети для построения прогнозирующих моделей Проведен анализ классов алгоритмов обучения нейронных сетей, в том числе алгоритм обратного распространения ошибки и его модификации посредством адаптивной скорости обучения, алгоритмы сопряженных градиентов (Полака-Райбера, Флетчера-Ривеса, Пауэла, Моллера), квазиньютоновский алгоритм, эвристический алгоритм Рвдмиллера и Брауна, алгоритм Левенберга-Марквардта

Показано, что проблема параметрической идентификации нейросетевой модели с заданной структурой 5 определяется как поиск параметров Щ, минимизирующих величину ошибки

I

где у/ — нейросетевая оценка оператора эволюции, 5 — структура нейросетевой модели (количество слоев, число нейронов в каждом слое, вид функций активации); — набор матриц весовых коэффициентов, —-

область на восстановленном аттракторе системы

На основании проведенного обзора сделан вывод о возможности использования аппарата нелинейной динамики для определения структуры модели с последующим построением нейронных прогнозирующих моделей рассматриваемого класса систем

Во второй главе рассматривается процесс построения прогнозирующих моделей на основе качественных и количественных свойств восстановленных аттракторов динамических систем Приведен анализ и определена система формального представления локальных, глобальных и синтетических моделей Разработан алгоритм, экспериментально доказывающий эффективность синтетических моделей Разработан алгоритм поиска методов предобработки локальных областей восстановленных аттракторов с целью получения информативных векторов фиксированных размерностей, используемых в качестве входных характеристик для прогнозирующих моделей.

В работе исследуются авторегрессионные модели вида + 1 ) = у/(2), где 2 — некоторое подмножество точек на восстановленном аттракторе, ц/ — преобразование, использующее предыдущие состояния для вычисления последующего состояния Показано что, различные методы прогнозирования различаются лишь способом формирования окрестности 2 и методом оценки функции у/

Вводится система формирования и формального описания окрестности на восстановленном аттракторе, позволяющая обобщить и структурировать локальные, глобальные, синтетические авторегрессионные модели

Предложено рассматривать окрестность 2 как матрицу, центральный элемент которой является текущей точкой 2(1) восстановленного аттрактора системы, а центральный столбец состоит из упорядоченных по возрастанию

расстояния от точки 2(1) ее ближайших соседей - 2,(/1),2'2(/2),. ,г2г((2г) Строки матрицы 2 соответствуют непрерывным участкам траекторий, центрами которых являются ближайшие соседи точки Таким образом,

матрица 2 имеет вид

гд/,+/сдг)

о

ггиг + Ш)

?,(>, +д0 о

г2('2 +Л1)

2,(0 т

Ч',)

2,(1, -до

2(1 -Ы) 22«2 -М)

2,(1, - кем) г^-Ш) г2(12 - Ш)

{ г2г(12г+ш) г2г(12г +до г1г(12г) г^-ы) г^-кы) ) Нулевые элементы в центральной строке матрицы Z объясняются отсутствием данных в точках 2(1), где 7 > 1

Для глобальных моделей матрица 2. имеет вид

Го о о о о

0 0 0 0 о

0 О 2(0 2(1-ДО 2(1 -Ш) 0 0 0 0 0

(2 1)

Для локальных моделей матрица 2 может быть записана в виде (2 2) или (2 3)

2 =

2 =

(о +Д<) 0 0

о + до оо о

о о ооо

о 22(12 +Д/) 0 0 О

о 22,(г2г+до оо о

+Л0 ^ггМгг-д 0

(2 2)

+Д0 о

22(1г +лс)

2,(0 о 2(0 о г2(12) о

(2 3)

1° ^,(/2,+до г2г(12г) о Матрица (2 2) определяет метод локального прогнозирования, основанный на усреднении значений ближайших соседних точек на аттракторе системы, в то время как в (2 3) используются значения изменений данных точек Математические модели, использующие виды окрестностей отличные от (2 1), (2 2), (2 3) являются синтетическими.

Разработан алгоритм, позволивший экспериментально доказать эффективность применения синтетических моделей в задачах прогнозирования Алгоритм можно переставить в виде шести шагов

Шаг 1. Выполнить реконструкцию аттрактора системы по заданному временному ряду

Шаг 2. Сформировать очередную конфигурацию матрицы Z Выполнить N раз шаг 3 и шаг 4:

Шаг 3. Построить нейросетевую модель

Шаг 4. Получить ошибку прогноза на тестовом множестве для построенной модели

Шаг 5. Оценить качество прогноза для данной конфигурации матрицы Z с учетом качества N нейросетевых моделей

Шаг 6. Выбрать к конфигураций матрицы Z, для которых были получены наилучшие результаты

Предложено преобразование у/ представить как последовательное выполнение этапов предобработки и вычисления выходных характеристик имеющейся модели

где у/р — функция предобработки локальной окрестности; у/п — нейросетевая модель

Установлено, что методики предобработки у/р решают три следующие

задачи фильтрация, учет прогноза альтернативных моделей для текущей ситуации (положение на аттракторе) и учет ошибки прогноза идентичных по структуре моделей для похожих ситуаций Основная идея предлагаемой комбинированной методики предобработки заключается в оценке характеристик локальной окрестности, направленных на решение каждой из выделенных задач

Для каждой из выделенных задач введен соответствующий класс Методы, осуществляющие фильтрацию принадлежат классу 1 (classl); методы, учитывающие прогноз альтернативных моделей - классу 2 (classl), методы, использующие ошибки прогноза идентичных по структуре моделей - классу 3 (class3)

Систематизированы методы предобработки в соответствии с введенной классификацией (табл 1)

Разработан алгоритм поиска оптимального набора методов предобработки для восстановленного аттрактора системы Алгоритм выполняется в четыре шага

Шаг 1. Зафиксировать число скрытых и выходных нейронов модели Задать допустимую ошибку прогнозирования Ed Сформировать множество наборов методов предобработки аттрактора вида ,<?„), где каждый

набор методов q,, содержит хотя бы один метод предобработки для каждого из выделенных классов

Для всех г = \,п выполнить N раз шаг 2 и шаг 3

Шаг 2. Выполнить предобработку, соответствующую набору методов д, Шаг 3. Построить нейросетевую модель и получить ошибку прогноза Е на тестовом множестве

Шаг 4. Выбрать набор методов предобработки, обеспечивающий минимальную размерность входного вектора, и выполнение условия Е<ЕЛ

Таблица 1 Классификация методов предобработки

№ Описание Класс

1 Точки вида >>(*-£,), ,у((-к„) /я1(А,, ,кП) class]

2 Усреднение по Л,, ,кп предыдущим точкам т2(к1, Д„) class], class!

3 Усреднение по А:,, ,кп ближайшим соседям тЗ(к1, ,к„) classl, class2

4 Взвешенное усреднение по к{, ,кп предыдущим точкам тЩ,, А) classX , class2

5 Ошибки прогнозирования идентичных по структуре моделей т5(к„ А) classi

Разработана общая схема обучения и функционирования нейросетевой модели (рис 2 1)

Разработанный алгоритм поиска оптимальных методов предобработки является частью разработанной методики построения нейросетевых прогнозирующих моделей динамических систем, которую можно представить в виде следующей последовательности шагов

Шаг 1. Восстановить аттрактор системы как последовательность точек вида гЦ) = (ф\хг{(),...,хя{()).

Шаг 2 Выполнить алгоритм поиска оптимальных методов предобработки, определив при этом минимальную размерность входного вектора М

Последовательно изменяя количество скрытых нейронов г = \,2М +1 выполнить шаг 3.

Шаг 3 Провести I раз процесс обучения нейронной сети по алгоритму Левенберга-Марквардта, используя найденный набор методов предобработки

Шаг 4 Выбрать нейросетевую модель, обеспечивающую наименьшую ошибку на тестовом множестве данных

Показано, что в результате применения приведенной выше методики подбирается структура и параметры нейросетевой модели так, чтобы минимизировать ошибку обобщения для минимально возможного числа нейронов в распределительном слое

Методы Нелинейной динамини и методы

Аппарат нейронных сетей

Точки восстановленного аттрак/ппра

Рис.2,1, Общая схема обучения и функционирования нейросетевой модели

Сделан вывод о том, что исследование ней р о сетевых моделей, а также структуры и способов обработки локальных окрестностей восстановленных аттракторов позволило разработать методику построения динамических моделей структурно-сложных систем по наблюдаемой скалярной реализации.

Третья глава диссертации посвящена вопросам улучшения качества прогнозирования. Сформулирован критерий оценки точности прогноза нейросетевой модели, позволяющий исключать заведомо неточные прогнозы. На основе сформулированного критерия разработана методика выбора одной из нескольких моделей при прогнозировании одномерных временных рядов и метод оценки параметра доходности в задаче портфельного инвестирования. Разработана методика пошаговой реконструкции, рассмотрены способы применения данной методики как самостоятельной прогнозирующей модели и в качестве средства визуализации структурной устойчивости прогнозирующих моделей.

Показано, что по выходной активности нейросетевых моделей не может быть сделан вывод о предполагаемой точности получаемого прогноза. Предложено для оценки точности прогноза нейросетевой модели использовать критерий в виде суммарной среднеквадратичной ошибки прогнозирования точек, принадлежащих ближайшим соседним траекториям аттрактора:

^ = = + (3.1)

где (?),/:) — суммарная ошибка прогнозирования к ближайших соседей точки ; Хк +1) — к -ая ближайшая соседняя точка по отношению к точке Z{t) в следующий момент времени, — прогноз для к-ой

ближайшей соседней точки

Разработана методика выбора прогнозирующей модели, в соответствии с которой, на очередном шаге прогнозирования выбирается прогноз той модели, которая минимизирует критерий (3 1) Так, прогноз на основе методики выбора модели строится в виде

У ~ а\У\ + агУг + - +апУп (3 2)

= ¡1, если Еу(1) = тт(Еш),Т^йг,

(О, иначе,

где у, — прогноз, построенный г -ой моделью, Е^ — ошибка / -ой модели при прогнозировании будущих значений ближайших соседних траекторий

Методику выбора модели для прогнозирования одномерных временных рядов можно представить в виде трех этапов Этап 1. Провести реконструкцию аттрактора Этап 2. Построить N нейросетевых моделей

Этап 3. Провести выбор прогноза одной из N моделей с помощью функции (3 2)

Схема применения методики выбора модели для прогнозирования одномерных временных рядов показана на рис 3 1.

Методика построения Критерий оценки

нейросетевой модели точности прогноза

Рис 3 1 Схема применения методики выбора модели на каждом шаге

прогнозирования

Разработан метод оценки параметра доходности в задаче портфельного инвестирования Так, предложено доходность /-го финансового инструмента вычислять в виде

(у, если £ (1) < d,

п тг 7 (33)

[О, Ev(l) > d,

где Rt — доходность i -го финансового инструмента, Ev(t) — ошибка i -ой

модели при прогнозировании будущих значений ближайших соседних траекторий, d — минимально допустимая величина суммарной среднеквадратичной ошибки прогнозирования ближайших соседних траекторий на аттракторе, при которой получаемый прогноз у считается достоверным

Оценка параметра доходности в виде (3 3) позволяет исключить из портфеля те ценные бумаги, для которых построить достоверный прогноз с помощью имеющихся моделей не представляется возможным

Представлена методика пошаговой реконструкции, суть которой состоит в изменении параметров реконструкции на каждом шаге прогнозирования так, чтобы точки аттрактора на интервале прогнозирования принадлежали локальной области аттрактора с наибольшей степенью устойчивости Если(1 1) записать в виде

Z(t) = A(F(y(t))) = (/(<),/(' - г), ,/(t-{т- 1)г» = (2,(0,^(0, ,ги(<)), (3 4) то параметрами реконструкции будут являться m,z,F, где F ■— некоторое преобразование известного временного ряда

Показано, что методика пошаговой реконструкции основывается на классификации локальных областей фазового пространства Предложено считать локальную область фазового пространства устойчивой, если принадлежащие ей соседние точки в момент времени t остаются соседними и в момент времени / +1 Если же на следующем временном интервале изначально соседние траектории более не являются соседними, то локальная область считается неустойчивой Количественная характеристика локальной устойчивости Я0 определена как максимальное расстояние в следующий момент времени между соседними точками, принадлежащими области D, и имеет вид

-;---, (Z(0,Z,(f,))cD, (3 5)

где D — локальная область аттрактора системы, S{Zl(tl +l),Z;(iy + 1)) —

функция расстояния между точками Zl(tl +1) и Z](t] +1)

Показано, что для эффективного применения локальных прогнозирующих моделей в области D необходимо максимизировать введенный коэффициент локальной устойчивости (3 5) в данной области Вводится соответствующий критерий качества реконструкции

где т,т,Р — параметры реконструкции

Установлено, что точность оценки Лв в (3 5) зависит от количества локальных траекторий, проходящих через область О Таким образом, необходимо также увеличить концентрацию локальных траекторий в области О Данное требование определяет следующий критерий качества реконструкции

где т,т,Р —параметры реконструкции, |/)| —мощность множества О

Показано, что, в общем случае, максимизировать критерии У, и одновременно не представляется возможным Фиксируя величину локальной устойчивости (критерий У,), и максимизируя точность ее оценки (критерий Jг), получим компромиссное решение в виде параметров реконструкции т,т,Е. Формально это можно записать в виде.

Лт,т,П = \п2/ (3 6)

где Ла —- заданная допустимая величина локальной устойчивости

Для аттрактора, соответствующего найденному компромиссному решению, строится прогноз с помощью локальной модели вида

+ (37)

п м

где 2(1 +1) = (г, (/ +1),г2(Г +1), ,гт(/ +1)) — прогнозируемая точка аттрактора

системы, 2(11 +1) = (г, (1/ +1), гг (/J +1),. , гт (^ +1)) — ближайшие соседи

прогнозируемой точки на аттракторе

Для визуализации структурной устойчивости прогнозирующей модели предложен следующий вид оператора Р.

Е¥ (3 8)

где Еу — ошибка модели при прогнозировании будущих значений ближайших соседних траекторий, + 1) — прогноз модели для момента времени г + 1

Представлена разработанная методика пошаговой реконструкции для прогнозирования временных рядов в виде следующей последовательности шагов

Шаг 1 Применяя к исходному временному ряду у(/) преобразования Г, извлечь и признаков вида 2,(1), 22(1), ,2„(1), 1-1,Г

Для С" возможных комбинаций признаков 2,(1), 22(1), ,2т(г) и значений параметра задержки г = 1,ттах выполнить шаги 2-3

Шаг 2 Выполнить реконструкцию аттрактора в т -мерном пространстве

Шаг 3 Для точки аттрактора найти ближайшие соседние точки и рассчитать для них композитный критерий J(m,т,F) (3 6)

Шаг 4 Восстановить аттрактор с параметрами, максимизирующими J(m,т,F)

Шаг 5 Построить прогноз для точки +1) с помощью локальной модели (3 7)

Таким образом, на основе анализа ближайших соседних траекторий восстановленного аттрактора получены критерии оценки качества получаемого прогноза и разработана методика выбора модели для прогнозирования временных рядов

В четвертой главе диссертационной работы приведены результаты применения разработанных методик для прогнозирования нелинейных динамических систем

Рассмотрена задача прогнозирования поведения структурно-сложных систем на примере американского фондового индекса Б&Р 500 На рис 4 1 (а) показан исходный вид индекса Б&Р 500 Исключив тренд, получаем стационарную составляющую данного индекса (рис 4 1 (Ь))

a) 1400 -1200

I 1000

<е и

800 600

О 200 400 600 800 1000 1200 1400

I

b) 60 40

I 20

а.

«в

« о

■а

I "20

■а

-40 -60

О 200 400 600 800 1000 1200 1400

I

Рис 4 1 Исходный вид индекса Б&Р500 (а) и индекс 8&Р500 за вычетом

тренда (Ь)

Аттракторы, восстановленные по исходной реализации и стационарной составляющей индекса, представлены на рис 4 2 и рис. 4 3

Рис 4 2 Аттрактор, восстановленный по индексу Б&Р500

Рис 4 3 Аттрактор, восстановленный по стационарной составляющей индекса Б&РБОО

На практике интерес представляет не столько абсолютное значение индекса, сколько направление его движения через установленный интервал прогнозирования

Рассмотрен способ применения разработанной методики построения нейросетевой модели для прогнозирования знака дневного изменения стационарной составляющей индекса Б&РЗОО

На рис 4 4 и рис 4 5 показаны примеры работы полученной прогнозирующей модели на обучающем и тестовом множестве данных

/

Рис 4 4 Прогнозирование нейросетевой моделью обучающего множества

данных

Рис 4 5 Прогнозирование нейросетевой моделью тестового множества

данных

Методы предобработки, для которых получена наименьшая ошибка на тестовом множестве данных, отображены в табл 4 1

Структура наилучшей прогнозирующей модели показана в таблице 4 2

Таблица 4 1 Методы предобработки, обеспечившие наименьшую ошибку _прогнозирования на тестовом множестве данных_

№ Методы предобработки Процент верно определенного направления на тестовом множестве, %

1 т1(0,1,3),т2(15,13,10,6),т3(1,2),т5(1,2,3) 68

2 т1(0,3), т2(15,13,7,6,2), т3(1,2),т5(1,2,3) 64

3 т 1 (0,1,2,3),т2( 15,13,2),т3(1,2),т5( 1,2,3) 62

Таблица 4 2 Структура наилучшей прогнозирующей модели

Размерность Число Число нейронов Вид функции Суммарное

входного вектора нейронов в в выходном активации количество

скрытом слое слое связей

12 24 1 Сигмоидальная и линейная функция 312

Показано, что исключение из интервала прогнозирования точек, для которых неверно прогнозируется направление хотя бы одной из четырех ближайших соседних траекторий, увеличивает адекватность наилучшей прогнозирующей модели до 79%

Полученные результаты вычислений и построения прогнозирующих моделей финансовых временных рядов позволяют сделать вывод об эффективности применения разработанных алгоритмов и методик моделирования динамики реальных структурно-сложных систем

Основные результаты работы

1 Проведен обзор методов построения прогнозирующих нейросетевых моделей и исследования нелинейных динамических систем

2 Обоснован выбор методов нелинейной динамики для проведения структурной идентификации и аппарата нейронных сетей для параметрической идентификации эволюционных уравнений динамических систем

3 Проведен выбор вида моделей, учитывающих возможность локального, глобального и синтетического прогноза, идентифицируемых на основе анализа локальных окрестностей реконструированного аттрактора

4 Разработана методика предобработки локальных областей восстановленного аттрактора, минимизирующая ошибку прогнозирования на тестовом множестве

5 Разработана схема построения нейросетевых прогнозирующих моделей структурно-сложных динамических систем на основе сформированного аттрактора динамической системы

6 Разработана методика пошаговой реконструкции локальной прогнозирующей модели, обеспечивающей принадлежность точек аттрактора на интервале прогнозирования к устойчивой локальной области фазового пространства

7 Сформулирован критерий оценки качества прогноза в виде минимальной суммарной ошибки прогнозирования значений ближайших соседних траекторий реконструированного аттрактора и разработана методика выбора прогнозирующей модели в соответствии с сформулированным критерием

8 Разработано программное обеспечение для прогнозирования поведения модельных и реальных практически значимых структурно-сложных динамических систем

Публикации по теме диссертации

1 Борисов Ю Ю Построение прогнозирующих моделей динамических систем на основе исследования окрестностей реконструированных аттракторов // Автоматизация и современные технологии— 2007 — №2 —С 32-37

2 Борисов Ю Ю Метод пошаговой реконструкции для построения локальных прогнозирующих моделей хаотических временных рядов. // Известия вузов. Проблемы полиграфии и издательского дела — 2007 — №2 —С 51-56

3 Борисов Ю Ю Разработка системы распознавания рукописных знаков на основе применения нейросетевых технологий // 5-я Всероссийская научная конф. молодых ученых по математическому моделированию и информационным технологиям Материалы — Новосибирск ИВТ СО РАН, 2004 —С 41

4 Борисов Ю Ю. Применение концепции русел и джокеров для совершенствования методики локального прогнозирования хаотических временных рядов // Новые информационные технологии Сборник трудов IX Всероссийской научно-техническоц конференции / Под ред А П Хныкина —М. МГУПИ, 2006 — С 9-15

5 Борисов Ю Ю Разработка метода поиска структур локальных окрестностей аттракторов динамических систем для повышения точности прогнозирующих моделей // Задачи системного анализа, управления и обработки информации Межвуз сб науч трудов — М МГУП, 2006 — С 46-53

6 Борисов Ю Ю Пошаговая реконструкция локальных прогнозирующих моделей динамических систем // Вестник МГУП — 2007. — № 3 — С 26-30

Подписано в печать 27 09 07

Формат 60x84/16 Печ л 1.25 Тираж 100 экз Заказ № 300/251 Отпечатано в РИО Московского государственного университета печати 127550, Москва, ул Прянишникова, 2а

ВВЕДЕНИЕ.

ГЛАВА 1. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ПОСТРОЕНИЯ НЕЙРОСЕТЕВЫХ ПРОГНОЗИРУЮЩИХ МОДЕЛЕЙ НЕЛИНЕЙНЫХ ДИНАМИЧЕСКИХ СИСТЕМ.

1.1. Обзор методов моделирования нелинейных динамических систем.

1.1.1. Методы качественной теории нелинейных систем.

1.1.2. Построение инвариантных характеристик по наблюдаемым данным

1.1.3. Реконструкция систем по экспериментальным данным.

1.2. Нейросетевые методы моделирования.

1.2.1. Обучение нейронных сетей.

1.2.2. Математические основы алгоритма обратного распространения ошибки.

1.2.3. Алгоритм обратного распространения ошибки.

1.2.4. Критерии качества функционирования нейронных сетей.

Выводы по главе.

ГЛАВА 2. ИССЛЕДОВАНИЕ ДИНАМИЧЕСКИХ СИСТЕМ С ПОМОЩЬЮ АНАЛИЗА СТРУКТУР ЛОКАЛЬНЫХ ОКРЕСТНОСТЕЙ НА ВОССТАНОВЛЕННЫХ АТТРАКТОРАХ.

2.1. Система формального описания окрестности на восстановленном аттракторе.

2.2. Методика предобработки локальных окрестностей.

2.2.1. Усредненные характеристики локальной окрестности.

2.2.2. Взвешенное усреднение компонентов локальной окрестности.

2.2.3. Дискретное косинусное преобразование.

2.2.4. Ошибки прогноза ближайших соседних траекторий.

2.2.5. Комбинированная методика предобработки.

2.3. Процесс построения и функционирования нейросетевой прогнозирующей модели.

2.3.1. Математические основы градиентных методов обучения нейронных сетей.

2.3.2. Ньютоновские алгоритмы оптимизации.

2.3.3. Методика построения нейросетевых прогнозирующих моделей.

Выводы по главе.

ГЛАВА 3. МЕТОДИКА УЛУЧШЕНИЯ КАЧЕСТВА ПРОГНОЗИРОВАНИЕ

3.1. Концепция детерминированных и случайных областей фазового пространства.

3.2. Методика пошаговой реконструкции.

3.2.1. Формальное описание процесса реконструкции.

3.2.2. Основная идея методики пошаговой реконструкции.

3.2.3. Метод количественной оценки локальной устойчивости траекторий на аттракторе.

3.2.4. Критерии качества реконструкции.

3.2.5. Методика локального прогнозирования.

3.3. Применение методики пошаговой реконструкции.

3.3.1. Визуализация структурной устойчивости прогнозирующих моделей

3.3.2. Прогнозирование одномерных временных рядов.

3.4. Улучшение качества прогнозирования.

3.4.1. Метод оценки параметра доходности в задаче портфельного инвестирования.

Выводы по главе.

ГЛАВА 4. ТЕХНОЛОГИЯ ЭКСПЕРИМЕНТАЛЬНОГО МОДЕЛИРОВАНИЯ НЕЛИНЕЙНЫХ ДИНАМИЧЕСКИХ СИСТЕМ ПО НАБЛЮДАЕМЫМ ДАННЫМ.

4.1. Особенности аппаратно-программной реализации методов исследования динамических систем.

4.2. Построение прогнозирующей модели экономической системы по наблюдаемой реализации.

4.3. Применение методики пошаговой реконструкции для формирования портфеля ценных бумаг.

Выводы по главе.

Актуальность. Задачи прогнозирования и построения математических моделей различных процессов и явлений имеет первостепенное значение во многих областях науки и жизнедеятельности человека.

В большинстве технических, экономических и социальных системах возникают процессы, являющиеся результатом взаимодействия множества составляющих, что не позволяет строить адекватные математические модели исходя только из априорных знаний. Вместе с тем часто имеется потребность строить не модели явлений, а эволюционные модели изменений динамики конкретного процесса, являющегося наблюдаемым параметром сложной системы. Особый интерес представляют эволюционные модели, дающие качественные прогнозирующие значения моделируемого процесса. Такие модели могут быть использованы в системах принятия решений, управлении, прогнозирования и оценки качества сложных систем. Таким образом, прогнозирующие модели строятся на основании наблюдения за процессами с учетом имеющейся информации и предположений о структуре и классе системы.

Значительное время единственным доступным теоретическим и практическим средством прогнозирования временных рядов являлись статистические методы. Однако, фундаментальные ограничения статистических подходов, исходящие из сложности проверки предположений о вероятностных характеристиках и стохастических закономерностях исследуемой реализации приводят к невозможности объяснения многих явлений, и, как следствие, устранению неточных прогнозов.

В последнее время все большее развитие получает теория нелинейных динамических систем, в рамках которой разработаны методики, позволяющие по наблюдаемой скалярной реализации восстанавливать аттрактор, качественно эквивалентный исследуемой детерминированной системе. В тоже время, аппарат нейронных сетей является мощным практическим инструментом аппроксимации функций и используется во многих работах для оценки оператора эволюции исследуемых динамических систем. Однако для построения нейросетевых моделей не достаточно широко применяются современные методики нелинейной динамики.

Исследование восстановленного аттрактора позволит выбрать его наиболее информативные характеристики, минимизируя при этом размерность входного вектора и структуру нейросетевой модели.

Исследование ближайших соседних траекторий на аттракторе позволит вычислить оценку качества прогноза наблюдаемого временного ряда.

Совместное использование методов нелинейной динамики и аппарата нейронных сетей позволит разработать методику построения прогнозирующих моделей реальных технических, экономических систем.

Таким образом, разработка и исследование методов построения нейросетевых прогнозирующих моделей на основе исследования реконструированных по наблюдаемым данным аттракторов является актуальной.

Цель: разработка моделей и методик построения нейросетевых прогнозирующих моделей на основе исследования и обработки аттракторов, реконструированных по наблюдаемым данным методом Паккарда-Такенса.

Основные задачи исследования.

1. Проведение обзора методов построения нейросетевых моделей и исследования нелинейных динамических систем.

2. Обоснованный выбор подходов к структурной и параметрической идентификации эволюционных уравнений динамических систем.

3. Выбор вида моделей, учитывающих возможность локального, глобального и синтетического прогноза, идентифицируемых на основе анализа локальных окрестностей реконструированного аттрактора.

4. Разработка методики оптимальной предобработки локальных областей восстановленного аттрактора.

5. Разработка схемы построения нейросетевых прогнозирующих моделей структурно-сложных динамических систем на основе реконструированного аттрактора динамической системы.

6. Разработка методики пошаговой реконструкции локальной прогнозирующей модели, обеспечивающей принадлежность точек аттрактора на интервале прогнозирования к устойчивой локальной области фазового пространства.

7. Формулировка критерия оценки качества прогноза и разработка методики выбора прогнозирующей модели в соответствии с сформулированным критерием качества.

8. Разработка программного обеспечения для прогнозирования поведения модельных и реальных практически значимых структурно-сложных динамических систем.

Объект исследования. Временной ряд, являющийся результатом функционирования структурно-сложной наблюдаемой системы, обладающий автоколебательной регулярной или хаотической динамикой для которого может быть восстановлен аттрактор.

Методы исследования. В работе используются методы теории нейронных сетей, машинного обучения, фильтрации данных, нелинейной динамики, качественной теории динамических систем и системного анализа.

Научная новизна.

Полученный в работе комплекс теоретических и практических результатов позволил создать методики построения прогнозирующих моделей на основе анализа аттракторов нелинейных динамических систем, реконструированных на основании экспериментальных данных. При этом:

1. Разработана динамическая модель, идентифицируемая по одномерной реализации на основе анализа локальных окрестностей реконструированного аттрактора, обеспечивающая построение локального, глобального и синтетического прогноза.

2. Разработана схема построения нейросетевой прогнозирующей модели динамического поведения структурно-сложной системы на основе разработанных алгоритмов предобработки локальных областей реконструированного аттрактора и выбранного метода машинного обучения.

3. Разработана методика пошаговой реконструкции локальной прогнозирующей модели, обеспечивающей принадлежность точек аттрактора на интервале прогнозирования к устойчивой локальной области фазового пространства.

4. Сформулирован критерий выбора прогнозирующей модели в виде минимальной суммарной ошибки прогнозирования значений ближайших соседних траекторий реконструированного аттрактора.

Практическая ценность. На основе исследований, проведенных в диссертационной работе, реализован комплекс программных средств, позволяющий проводить идентификацию, прогнозирование и оценку инвариантных характеристик динамических систем по известным одномерным реализациям.

Реализация результатов работы. Разработанное программное обеспечение используется в учебном процессе кафедры «Управление и моделирование систем» Московского государственного университета приборостроения и информатики в рамках дисциплин «Математическое моделирование», «Моделирование систем», в учебном процесса кафедры «Прикладная математика и моделирование систем» Московского государственного университета печати по дисциплине «Применение интеллектуальных технологий в экономических системах».

Апробация результатов работы. Результаты работы докладывались и обсуждались на четырех конференциях:

- Пятой Всероссийской научной конференции молодых ученых по математическому моделированию и информационным технологиям (Новосибирск, 2004),

- Юбилейной научной конференции, посвященной 70-летию МГАПИ (Москва, 2006),

- Семинаре молодых ученых «Задачи системного анализа, управления и обработки информации» (Москва, 2006),

- Научно-методическом семинаре кафедры «Прикладная математика и моделирование систем» Московского гос. университета печати под рук. д. т. н. Е. В. Никульчева.

Публикации по теме диссертации: Основные результаты диссертации опубликованы в 6-ти работах, в том числе 2 статьи в журналах, рекомендованном ВАК РФ.

Структура и объем диссертации. Диссертация изложена на 132 с. машинописного текста, и состоит из введения, четырех глав, заключения и двух приложений.

Основные результаты работы

1. Проведен обзор методов построения прогнозирующих нейросетевых моделей и исследования нелинейных динамических систем.

2. Обоснован выбор методов нелинейной динамики для проведения структурной идентификации и аппарата нейронных сетей для параметрической идентификации эволюционных уравнений динамических систем.

3. Проведен выбор вида моделей, учитывающих возможность локального, глобального и синтетического прогноза, идентифицируемых на основе анализа локальных окрестностей реконструированного аттрактора.

4. Разработана методика предобработки локальных областей восстановленного аттрактора, минимизирующая ошибку прогнозирования на тестовом множестве.

5. Разработана схема построения нейросетевых прогнозирующих моделей структурно-сложных динамических систем на основе сформированного аттрактора динамической системы.

6. Разработана методика пошаговой реконструкции локальной прогнозирующей модели, обеспечивающей принадлежность точек аттрактора на интервале прогнозирования к устойчивой локальной области фазового пространства.

7. Сформулирован критерий оценки качества прогноза в виде минимальной суммарной ошибки прогнозирования значений ближайших соседних траекторий реконструированного аттрактора и разработана методика выбора прогнозирующей модели в соответствии с сформулированным критерием.

8. Разработано программное обеспечение для прогнозирования поведения модельных и реальных практически значимых структурно-сложных динамических систем.

Публикации по теме диссертации

1. Борисов Ю. Ю. Построение прогнозирующих моделей динамических систем на основе исследования окрестностей реконструированных аттракторов // Автоматизация и современные технологии.— 2007.— №2.—С. 32-37.

2. Борисов Ю. Ю. Метод пошаговой реконструкции для построения локальных прогнозирующих моделей хаотических временных рядов. // Известия вузов. Проблемы полиграфии и издательского дела. — 2007. — №2.—С.51-56.

3. Борисов Ю. Ю. Разработка системы распознавания рукописных знаков на основе применения нейросетевых технологий // 5-я Всероссийская научная конф. молодых ученых по математическому моделированию и информационным технологиям: Материалы.— Новосибирск: ИВТ СО РАН, 2004. —С. 41.

4. Борисов Ю. Ю. Применение концепции русел и джокеров для совершенствования методики локального прогнозирования хаотических временных рядов // Новые информационные технологии: Сборник трудов IX Всероссийской научно-техническоц конференции / Под ред. А. П. Хныкина.—М.: МГУПИ, 2006.— С. 9-15.

5. Борисов Ю. Ю. Разработка метода поиска структур локальных окрестностей аттракторов динамических систем для повышения точности прогнозирующих моделей // Задачи системного анализа, управления и обработки информации: Межвуз. сб. науч. трудов / Под общ. ред. М. В. Ульянова, Е. В. Никульчева.— М.: МГУП, 2006.— С. 46-53.

6. Борисов Ю. Ю. Пошаговая реконструкция локальных прогнозирующих моделей динамических систем // Вестник МГУП. — 2007. — № 3.— С.26-30.

ЗАКЛЮЧЕНИЕ

1. Андронов А. А. Предельные циклы Пуанкаре и теория автоколебаний // Собрание трудов А. А. Андронова.— М.: Изд-во АН СССР, 1956.

2. Андронов А. А., Леонтович Е. А., Гордон И. И., Майер А. Г. Качественная теория динамических систем второго порядка.— М.: Наука, 1966.

3. Андронов А. А., Леонтович Е. А., Гордон И. И., Майер А. Г. Теория бифуркаций динамических систем на плоскости.— М: Наука, 1967.

4. Анищенко В. С. Знакомство с нелинейной динамикой: лекции соросовского профессора: Учебное пособие.— Саратов: Изд-во ГосУНЦ «Колледж», 2000.

5. Анищенко В. С., Астахов В. В., Вадивасова Т. Е. и др. Нелинейные эффекты в хаотических и стохастических системах / Под ред. В. С. Анищенко.— М.-Ижевск: Институт компьютерных исследований, 2003.

6. Анищенко B.C., Вадивасова Т.Е., Постнов Д.Э., Сафонова М.А. Внешняя и взаимная синхронизация хаоса // Радиотехника и электроника.— 1991.— Т.36.— С.338.

7. Анищенко B.C., Павлов А.Н., Янсон Н.Б. Реконструкция динамических систем в приложении к защите информации // ЖТФ.— 1998.— т.68.— №12.

8. Арнольд В. И. Доказательство теоремы Колмогорова о сохранении условно-периодических движений при малом изменении функции Гамильтона //УМН.— 1963.—Т. 18.—Вып. 5 (113).—С. 130.

9. Арнольд В. И. Малые знаменатели и проблема устойчивости движения в классической и небесной механике // УМН.— 1963.—■ Т. 18.— Вып. 6(114)—. С. 81-192.

10. Ахромеева Т.С., Курдюмов С.П., Малинецкий Г.Г., Самарский А.А. Нестационарные структуры и диффузионный хаос.— М.: Наука, 1992.

11. Баутин Н. Н., Леонтович Е. А. Методы и приемы качественного исследования динамических систем на плоскости.— М.: Наука, 1976.

12. Берже П., И. Поио, Видаль К. Порядок в хаосе. О детерминистском подходе к турбулентности: пер. с франц.— Череповец: Меркурий-ПРЕСС, 1998.

13. Беркс У. Пространство — время, геометрия, космология.— М.: Мир. 1985.

14. Биркгоф Дж. Д. Динамические системы.— М.-Ижевск: НИЦ «Регулярная и хаотическая динамика», 2002. (переизд. 1941)

15. Бланк М. JI. Устойчивость и локализация в хаотической динамике.— М.: МЦНМО, 2001

16. Блум Ф., Лейзерсон А., Хофстедтер Л., Мозг, разум и поведение, М., Мир, 1988.

17. Головко В.А. Нейроинтеллект: Теория и применения. Книга 1. Организация и обучение нейронных сетей с прямыми и обратными связями Брест:БПИ, 1999, - 260с.

18. Головко В.А. Нейроинтеллект: Теория и применения. Книга 2. Самоорганизация, отказоустойчивость и применение нейронных сетей -Брест:БПИ, 1999,-228с.

19. Головко В.А. Нейронные сети: обучение, организация и применение. Кн.4: Учеб. пособие для вузов / Общая ред. А.И.Галушкина. -М.:ИПРЖР, 2001.256 с.

20. Горбань А.Н., В.Л.Дунин-Барковский, А.Н.Кардин и др. Нейроинформатика, Отв. Ред. Новиков Е.А., РАН, Сиб. Отд., Институт выч. Моделирования Новосибирск: Наука, 1998.

21. Горбань А.Н., Обучение нейронных сетей, М.: СП ПараГраф, 1991

22. Гукенхеймер Дж. Странный, странный аттрактор // Кн. : Марсден Дж., Мак-Кракен М. Бифуркация рождения цикла и ее приложения. Гл. 12.— М.: Мир, 1980,—С. 284-293

23. Джеффри Е. Хинтон. Как обучаются нейронные сети.// В мире науки -1992 N 11 - N 12 - С. 103-107

24. Ежов А.А., Шумский С.А. Нейрокомпьютинг и его применение в экономике и бизнесе //М.:МИФИ, 1998

25. Жевакин С.А. Об отыскании предельных циклов в системах, близких к некоторым нелинейным // ПММ.— 1951.— Т. 15.— Вып. 2.— С. 237244.

26. Калошин Д. А. О построении бифуркационной поверхности существования гетероклинических контуров седло-фокусов в системе Лоренца // Дифференциальные уравнения.— 2004.— Т. 40.— № 12.— С. 1705-1707

27. Капица П.Л. Динамическая устойчивость маятника при колеблющейся точке подвеса // ЖЭТФ,— 1951.— Т.21.— С.588

28. Каплан Д.Л., Йорке Дж.А. Предтурбулентность: режим, наблюдаемый в течении жидкости, описываемой моделью Лоренца // В сб. «Странные аттракторы».— М.: Мир, 1981.

29. Колмогоров А.Н. О сохранении условно-периодических движений при малом изменении функции Гамильтона // ДАН СССР.— 1954.— Т. 98.— С. 527-530.

30. Малинецкий Г. Г. Математические основы синергетики. Хаос, структуры, вычислительный эксперимент. Изд. 4-е.— М.: КомКнига, 2005.

31. Малинецкий Г.Г. Потапов А.Б. Современные проблемы нелинейной динамики.— М.: Эдиториал УРСС. 2000.

32. Малинецкий Г.Г., Курдюмов С.П. Нелинейная динамика и проблемы прогноза // Доклады РАН.— 2001,— т. 71.— № 3.— С. 210-232

33. Минаев Ю.Н., Филимонова О.Ю., Бенамеур Лиес. Методы и алгоритмы решения задач идентификации и прогнозирования в условиях неопределенности в нейросетевом логическом базисе. М.: Горячая линия Телеком, 2003

34. Музыкин С. Н., Родионова Ю. М. Моделирование систем.— М.: МГАПИ, 2004.

35. Никульчев Е. В. Качественное исследование управляемых систем с нелинейной динамикой на центральном многообразии // Вестник МГАПИ. Естественные и технические науки.— 2006.— № 1.— СЛ 50— 161.

36. Никульчев Е. В., Назаркин И. А. Обработка данных и формирование обучающей выборки для прогнозирования динамического поведениясложных технических систем // Вестник МГАПИ. Естественные и технические науки.— 2005.— №1.— С.150-161.

37. Никульчев Е. В., Волович М. Е. Модели хаоса для процессов изменения курса акций // Exponenta Pro. Математика в приложениях.— 2003.— №1.— C.49-52.

38. Назаров А.В., Лоскутов А.И. Нейросетевые алгоритмы прогнозирования и оптимизации систем. СПб.: Наука и Техника, 200341.0совский С. Нейронные сети для обработки информации. М.: Финансы и статистика, 2002

39. Павлов А. Н., Янсон Н. Б., Анищенко В. С. Реконструкция динамических систем // Радиотехника и электроника.— 1999.— Т.44.— №9.— С. 1075-1092.

40. Понтрягин Л.С. О динамических системах, близких к гамильтоновым // ЖЭТФ.— 1934.— Т. 4.— Вып. 9.— С. 883-885.

41. Рюэль Д., Такенс Ф. О природе турбулентности. Странные аттракторы.—М.: Мир, 1981.—С. 117-151

42. Селезнев Е. П., Захаревич А. М. Динамика нелинейного осциллятора при квазипериодическом воздействии // Письма в ЖТФ.— 2005.— Т. 31.—Вып. 17.—С. 13-18

43. Смейл С. Дифференцируемые динамические системы // Успехи мат. наук.— 1970.— Т.25.— №1С. 113-185

44. Смейл С. Математические проблемы следующего столетия // Кн.: Современные проблемы хаоса и нелинейности.— Ижевск : ИКИ, 2002.—с. 280-303

45. Соколов Е. Н., Вайтнявичус Г. Г. Нейроинтеллект: от нейрона к нейрокомпьютеру. М.: Наука, 1989. С. 283.

46. Уоссерман Ф., Нейрокомпьютерная техника: Теория и практика, М. Мир, 1992.

47. Чернышев В. Е. Сильно устойчивые слоения над контурами лоренцова типа // Вестник С.-Пб. гос. у-та. Сер. 1.— 1996.— Вып. 4 (№22).— С.44-52.

48. Шильников J1. П. К вопросу о структуре расширенной окрестности грубого состояния равновесия типа седло-фокус // Матем. сборник.— 1970.— Т. 81(123).— №1 — С. 92-103.

49. Янсон Н. Б., Павлов А. Н., Капитаниак Т., Анищенко В. С. Глобальная реконструкция по нестационарным данным // Письма в ЖТФ.— 1999.— Т.25,—Вып. 10 —С.75-81.

50. Aguirre L. A., Billings S. A. Identification of models for chaotic systems from noisy data: implications for performance and nonlinear filtering // Physica D.— 1995.—V.85.—P. 239-258.

51. Aguirre L. A., Mendes E. M. Global nonlinear polynomial models: structure, term clustering and fixed points // Int. J. Bifurc. Chaos.— 1996.— V.6(2).— P.279-294.

52. Battiti, R., "First and second order methods for learning: Between steepest descent and Newton's method," Neural Computation, vol. 4, no. 2, pp. 141166, 1992.

53. Beale, E. M. L., "A derivation of conjugate gradients," in F. A. Lootsma, ed., Numerical methods for nonlinear optimization, London: Academic Press, 1972.

54. Bishop C.M.: Neural Networks for Pattern Recognition, Oxford University Press, 1996

55. Brawn R., Rulkov N. F., Tracy E. R. Modelling and synchronizing chaotic systems from time-series data // Pthys. Rev. E — 1994.— V.49.— P. 3784.

56. Breeden J. L., Hubler A. // Phys. Rev. A.— 1990.— V. 42,— N.10 — P.5817-5826.

57. Brent, R. P., Algorithms for Minimization Without Derivatives, Englewood Cliffs, NJ: Prentice-Hall, 1973.61 .Cao L. Practical method for determining the minimum embedding dimension of a scalar time series // Physcai D.— 1997.— V.l 10.— P.43-50.

58. Caudill, M., and C. Butler, Understanding Neural Networks: Computer Explorations, Vols. 1 and 2, Cambridge, MA: the MIT Press, 1992.

59. Caudill, M., Neural Networks Primer, San Francisco, CA: Miller Freeman Publications, 1989.

60. Charalambous, C.,"Conjugate gradient algorithm for efficient training of artificial neural networks," IEEE Proceedings, vol. 139, no. 3, pp. 301-310, 1992.

61. Chen, S., C. F. N. Cowan, and P. M. Grant, "Orthogonal least squares learning algorithm for radial basis function networks," IEEE Transactions on Neural Networks, vol. 2, no. 2, pp. 302-309, 1991.

62. Chua L. O., Komyro M., Matsumoto T. The double scroll family // IEEE Trans. Circuits Syst., CAS-33, 1986.—P. 1072.

63. Chua's Circuit: a Paradigm for Chaos, ed. R.N.Madand.— World Sci. Ser. on Nonlinear Sci. Series В. V. 1., 1993.

64. Cremers X., Hubler A. // Z. Naturforschung A.— 1987.— V. 42.— P.797-802.

65. Crutchfield J.P., McNamara B.S. // Complex Systems.— 1987,— V. 1 .— P.417-452.

66. DARPA Neural Network Study, Lexington, MA: M.I.T. Lincoln Laboratory, 1988.

67. Dennis, J. E., and R. B. Schnabel, Numerical Methods for Unconstrained Optimization and Nonlinear Equations, Englewood Cliffs, NJ: Prentice-Hall, 1983.

68. Elman, J. L.,"Finding structure in time," Cognitive Science, vol. 14, pp. 179211, 1990.

69. Fletcher, R., and С. M. Reeves, "Function minimization by conjugate gradients," Computer Journal, vol. 7, pp. 149-154, 1964.

70. Foresee, F. D., and M. T. Hagan, "Gauss-Newton approximation to Bayesian regularization," Proceedings of the 1997 International Joint Conference on Neural Networks, pages 1930-1935, 1997.

71. Gill, P. E., W. Murray, and M. H. Wright, Practical Optimization, New York: Academic Press, 1981.

72. Gouesbet G, Maquet X. // Physica D.— 1992,— V. 58.— P. 202-215

73. Gouesbet G, Letellier C. // Phys. Rev. E.— 1994.— V.49.— P. 4955^972.

74. Grossberg, S., Studies of the Mind and Brain, Drodrecht, Holland: Reidel Press, 1982.

75. Hagan, M. Т., and M. Menhaj, "Training feedforward networks with the Marquardt algorithm," IEEE Transactions on Neural Networks, vol. 5, no. 6, pp. 989-993,1994.

76. Hagan,M.T. and H.B. Demuth, "Neural Networks for Control," Proceedings of the 1999 American Control Conference, San Diego, CA, 1999, pp. 16421656.

77. Hebb, D. 0., The Organization of Behavior, New York: Wiley, 1949.

78. Himmelblau, D. M., Applied Nonlinear Programming, New York: McGraw-Hill, 1972.

79. Hunt, K.J., D. Sbarbaro, R. Zbikowski, and P.J. Gawthrop, Neural Networks for Control System A Survey," Automatica, Vol. 28, 1992, pp. 1083-1112.

80. Jolliffe, I. Т., Principal Component Analysis, New York: Springer-Verlag, 1986.

81. Kohonen, Т., Self-Organization and Associative Memory, 2nd Edition, Berlin: Springer-Verlag, 1987.

82. Kohonen, Т., Self-Organizing Maps, Second Edition, Berlin: Springer-Verlag, 1997.

83. Li, J., A. N. Michel, and W. Porod, "Analysis and synthesis of a class of neural networks: linear systems operating on a closed hypercube," IEEE Transactions on Circuits and Systems, vol. 36, no. 11, pp. 1405-1422, 1989.

84. Lippman, R. P., "An introduction to computing with neural nets," IEEE ASSP Magazine, pp. 4-22, 1987.

85. Lisboa, P J G (ed.) (1992): Neural Netowrks: Current Applications, Chapman & Hall, London

86. Lorenz E. N. Deterministic Nonperiodic Flow // J. Atmos. Sci.— 1963.— V.20.— P.130-141

87. MacKay, D. J. C., "Bayesian interpolation," Neural Computation, vol. 4, no. 3, pp. 415-447, 1992.

88. McCulIoch, W. S., and W. H. Pitts, "A logical calculus of ideas immanent in nervous activity," Bulletin of Mathematical Biophysics, vol. 5, pp. 115-133, 1943.

89. Moller, M. F., "A scaled conjugate gradient algorithm for fast supervised learning," Neural Networks, vol. 6, pp. 525-533, 1993.

90. Murray, R., D. Neumerkel, and D. Sbarbaro, "Neural Networks for Modeling and Control of a Non-linear Dynamic System," Proceedings of the 1992 IEEE International Symposium on Intelligent Control, 1992, pp. 404-409.

91. N. Purdie, E.A. Lucas and M.B. Talley, "Direct measure of total cholesterol and its distribution among major serum lipoproteins," Clinical Chemistry, vol. 38, no. 9, pp. 1645-1647, 1992.

92. Narendra, K.S. and S. Mukhopadhyay, "Adaptive Control Using Neural Networks and Approximate Models," IEEE Transactions on Neural Networks Vol. 8, 1997, pp. 475-485.

93. Nguyen, D., and B. Widrow, "The truck backer-upper: An example of self-learning in neural networks," Proceedings of the International Joint Conference on Neural Networks, vol 2, pp. 357-363, 1989.

94. Packard, N. H., Crutchfield, J. P., Farmer, J. D., Shaw, R. S. Geometry from a time series // Phys. Rev. Lett.— 1980.— V.45.— P.712-716.

95. Powell, M. J. D., "Restart procedures for the conjugate gradient method," Mathematical Programming, vol. 12, pp. 241-254, 1977.

96. Pragas K. Continuous control of chaos by self-controlling feedback // Phys. Lett. A. — 1992.— V.170.— P.421-428.

97. Riedmiller, M., and H. Braun, "A direct adaptive method for faster backpropagation learning: The RPROP algorithm," Proceedings of the IEEE International Conference on Neural Networks, 1993.

98. Rosenblatt, F., Principles of Neurodynamics, Washington D.C.: Spartan Press, 1961.

99. Rosenstein M. Т., Collins J. J., De Luca C. J. Reconstruction expansion as a geometry-based framework for choosing proper delay times // Physica D.— 1994.— V.73.— P.82-98.

100. Rumelhart, D. E., G. E. Hinton, and R. J. Williams, "Learning internal representations by error propagation,", in D. E. Rumelhart and J. L. McClelland, eds. Parallel Data Processing, vol.1, Cambridge, MA: The M.I.T. Press, pp. 318-362, 1986.

101. Rumelhart, D. E., G. E. Hinton, and R. J. Williams, "Learning representations by back-propagating errors," Nature, vol. 323, pp. 533-536, 1986.

102. Rumelhart, D. E., J. L. McClelland, and the PDP Research Group, eds., Parallel Distributed Processing, Vols. 1 and 2, Cambridge, MA: The M.I.T. Press, 1986.

103. Rychlik M. Lorenz attractors through a Shilnikov-type bifurcation, Part 1. Ergodic theory dynamical systems— 1989.— V.10.—P.793-821.

104. Sauer T. Reconstruction of dynamical systems from interspike intervals // Phys. Rev. Lett.— 1994,— V.72.— P.3811-3814.

105. Scales, L. E., Introduction to Non-Linear Optimization, New York: Springer-Verlag, 1985.

106. Soloway, D. and P.J. Haley, "Neural Generalized Predictive Control," Proceedings of the 1996 IEEE International Symposium on Intelligent Control, 1996, pp. 277-281.

107. Sparrow C. The Lorenz equations : Bifurcations, chaos and strange attractors-N.-Y.: Springer Verlag, 1982.

108. Takens F. Detecting strange attractors in turbulence // Dynamical Syst. and Turbulence / Eds.: Rand D.A., Young L.-S.— Berlin: Springer, 1981.— P. 366-381.

109. Takens F. Detecting nonlinearities in stationary time series // Int. J. of Bifurcation and Chaos.— 1993,—V.3.— P.241-256.

110. Vogl, T. P., J. K. Mangis, A. K. Rigler, W. T. Zink, and D. L. Alkon, "Accelerating the convergence of the backpropagation method," Biological Cybernetics, vol. 59, pp. 256-264, 1988.

111. Wasserman, P. D., Advanced Methods in Neural Computing, New York: Van Nostrand Reinhold, 1993.

112. Widrow, В., and M. E. Hoff, "Adaptive switching circuits," 1960 IRE WESCON Convention Record, New York IRE, pp. 96-104, 1960.

113. Widrow, В., and S. D. Sterns, Adaptive Signal Processing, New York: Prentice-Hall, 1985.

114. Williams R. F. The structure of the Lorenz attractors // Publ. Math. IHES.— 1979.— V.50.— P.321-347

115. Wolf, A., J.B. Swift, L. Swinney, J.A. Vastano, Determining Lyapunov exponents from a time series // Physica D.— 1985.— V.16.— P.285-317.

116. Yorke J. A., Yorke E. D. Metastable chaos : the transition to sustained chaotic oscillations in a model of Lorenz // J. Stat. Phys.—1979.—V.21.— P.263-267.