автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Разработка математического и программного обеспечения автоматизированного прогнозирования временных рядов на основе нейрокомпьютерных технологий

АРТЕМКИН Денис Евгеньевич

РАЗРАБОТКА МАТЕМАТИЧЕСКОГО И ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ АВТОМАТИЗИРОВАННОГО ПРОГНОЗИРОВАНИЯ ВРЕМЕННЫХ РЯДОВ НА ОСНОВЕ НЕЙРОКОМПЬЮТЕРНЫХ

ТЕХНОЛОГИЙ

Специальности:

05.13.01 - Системный анализ, управление и обработка информации (технические системы) 05.13.11 - Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

Автореферат диссертации на соискание ученой степени кандидата технических наук

Рязань 2003

Работа выполнена в Рязанской государственной радиотехнической академии.

Научный руководитель:

Научный консультант: Официальные оппоненты:

Ведущая организация:

заслуженный деятель высшей школы,

доктор технических наук,

профессор Пылькин Александр Николаевич

доктор технических наук Золотарев Валерий Владимирович

доктор технических наук, профессор Скворцов Сергей Владимирович кандидат технических наук, доцент Суснина Алла Васильевна

Московский государственный институт электроники и математики (технический университет)

Защита состоится «01» октября 2003 г. в 12 часов на заседании диссертационного совета Д 212.211.01 в Рязанской государственной радиотехнической академии по адресу: 391000, г. Рязань, ул. Гагарина, 59/3.

С диссертацией можно ознакомиться в библиотеке академии. Автореферат разослан « августа 2003 г.

Ученый секретарь диссертационного совета канд.техн.наук, доцент

В.Н. Пржегорлинский

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Прогнозирование играет важную роль в различных областях народного хозяйства. Поскольку условия технологических процессов и экономические условия ведения бизнеса изменяются во времени, необходимо постоянно отслеживать и предсказывать эти изменения для успешной реализации технических решений или совершения деловых операций.

К настоящему времени разработаны многие методы прогнозирования, конечной задачей которых является предсказание будущих событий с той или иной степенью надежности с целью использования этого прогноза при принятии решений.

Формально имеется два подхода к прогнозированию - качественный и количественный. Методы качественного прогнозирования, такие как метод экспертного оценивания, особенно важны, когда статистические данные за прошедшие периоды времени недоступны и/или ненадежны. Все качественные методы крайне субъективны и подвержены высокой ошибке прогноза.

Количественные методы прогнозирования основаны на существенном использовании информации за прошедшие периоды времени. При исследовании тенденции процесса за прошедшее время удается выяснить основные взаимосвязи между величинами и дать более надежный прогноз на будущее.

Методы прогнозирования, основанные на анализе временных рядов, относятся к классу количественных методов прогнозирования. Прогнозирование временных рядов предусматривает определение прогнозного значения переменной преимущественно на основе прошлых и текущих значений этой же переменной. Если определяются значимые факторы и функциональная или стохастическая зависимость отклика от этих факторов с применением множественного регрессионного анализа, то, как правило, говорят об анализе многомерных временных рядов.

Сегодня, в связи с широким распространением программных средств принятия решений, особенную важность представляет разработка методов автоматизированного прогнозирования для использования результатов прогноза в автоматизированных системах принятия решений.

Автоматизированное прогнозирование с использованием вычислительной техники предполагает функционирование прогнозирующих моделей и алгоритмов с минимальным участием человека, автоматический выбор модели и параметров модели для прогнозирования конкретных показателей, численно выражаемых с помощью временного ряда.

В то же время классические методы прогнозирования временных рядов, в том числе методы, """""""ЩГ нп оргт^т» математической

статистики, обладают рядо{( ро©ййШМ!М!Йь''^трудняющих их

БИБЛИОТЕКА 1 С-Петербург |

ОЭ И)Ъ*)»М!ГОд(а\

)

2 I

отнки, обладмот рядом недостатков, затрудняющих их использование для построения автоматизированных прогнозирующих моделей.

Одним из современных методов, используемых для прогнозирования, являются искусственные нейронные сети.

Теория искусственных нейронных сетей была создана и развита такими учеными, как Ф.Розенблатг, М.Минский, С.Гроссберг, Т.Кохонен. Сегодня вопросам теории и практического использования искусственных нейронных сетей посвящены работы таких ученых России, как

A.И.Галушкин, А.Н.Горбань, В.В.Золотарев, С.Г.Короткий, А.А.Ежов,

B.М.Неделько.

Применение нейронных сетей для прогнозирования включает в себя распознающие модели и модели прогнозирования временных рядов. Одним из главных преимуществ нейронных сетей является их способность к обучению и самообучению, т.е. адаптации модели к решению конкретной задачи. Вышесказанное делает искусственные нейронные сети одним из перспективных направлений в разработке методов автоматизированного прогнозирования.

Цель диссертационной работы состоит в разработке эффективных методов прогнозирования временных рядов на основе искусственных нейронных сетей, позволяющих максимально возможно устранить недостатки существующих методов, обеспечивая при этом высокую достоверность прогноза; создании автоматизированной информационной системы, позволяющей решать задачу прогнозирования временных рядов.

Для достижения цели необходимо решить следующие задачи:

1.Провести анализ существующих методов прогнозирования временных рядов и выявить перспективные направления в области их развития.

2.Исследовать применение искусственных нейронных сетей для автоматизированного прогнозирования временных рядов.

3.Разработать методики повышения эффективности прогнозирующих нейросетевых моделей.

4.Разработать программные средства для автоматизированного прогнозирования временных рядов на основе разработанных методик.

5.Разработать архитектуру автоматизированной информационной системы прогнозирования на основе разработанных методик.

Методы исследования. Разработки и исследования проводились на основе теории вероятностей, математической статистики, системного анализа, математического и имитационного моделирования, теории искусственных нейронных сетей, технологий модульного и объектно-ориентированного программирования.

Научная новизна. В рамках диссертационной работы были получены следующие результаты:

1.Показано, что применение искусственных нейронных сетей позволяет повысить эффективность прогнозирования временных рядов, лишено уяда недостатков классических статистических мелодии анализа и

ряда недостатков классических статистических методов анализа и прогнозирования временных рядов и может служить основой для автоматизированного прогнозирования (с минимальным участием человека).

2.Предложены и исследованы способы повышения эффективности прогнозирующих свойств и скорости обучения искусственной нейронной сети на основе экспоненциального и адаптивного распределения вероятности выбора обучающего факта.

3.Разработан генетический алгоритм комплексной оптимизации прогнозирующих нейросетей, позволяющий уменьшить время обучения.

4.Предложена методика распараллеливания генетического алгоритма оптимизации нейросетей на кластерных архитектурах.

5.Разработан метод уменьшения размерности входов прогнозирующей нейросети на основе сопряжения различных нейросетевых архитектур.

6.Разработана архитектура автоматизированной информационной системы прогнозирования временных рядов на основе нейросетевых технологий.

Практическая ценность работы. Разработаны способы повышения эффективности прогнозирующих свойств и скорости обучения искусственной нейронной сети на основе экспоненциального и адаптивного распределения плотности вероятности выбора обучающего факта. Разработан генетический алгоритм комплексной оптимизации прогнозирующих нейронных сетей, применение которого может уменьшить время обучения в 2-5 раз для многофакторных прогнозирующих моделей. Предложена методика распараллеливания генетического алгоритма, позволяющая реали-зовывать его на параллельных и кластерных архитектурах. Разработана прогнозирующая модель на основе сопряжения архитектур «карта Кохо-нена» - «сеть обратного распространения», позволяющая уменьшить размерность входов и время обучения нейросети. Разработан пакет прикладных программ для автоматизированного прогнозирования временных рядов, реализующий предложенные в диссертационной работе методики. Разработана архитектура автоматизированной информационной системы прогнозирования временных рядов на основе нейросетевых технологий. Преимуществами предложенной архитектуры являются коллективный доступ пользователей на основе технологии «клиент/сервер» и оперативное обновление статистики исходных данных из информационных ресурсов сети Internet.

Достоверность полученных в диссертационной работе результатов подтверждается:

• использованием положений теории вероятностей и математической статистики;

• использованием понятий и выводов теории нейронных сетей;

• разработкой действующих программных средств, подтвержденных свидетельствами об официальной регистрации;

• наличием актов внедрения и использования результатов диссертационной работы.

На защиту выносятся:

1. Способы улучшения прогнозирующих свойств и повышения скорости обучения искусственной нейронной сети на основе экспоненциального и адаптивного распределения вероятности выбора обучающего факта.

2. Генетический алгоритм комплексной оптимизации прогнозирующих нейронных сетей.

3. Метод уменьшения размерности входов прогнозирующей нейро-сети на основе сопряжения различных нейросетевых архитектур.

4. Архитектура автоматизированной информационной системы прогнозирования.

Внедрение результатов. Результаты работы использованы в ООО «Карценто» для решения задач прогнозирования финансово-экономических показателей и принятия на их основе обоснованных производственных решений по ценам на рынке цветных металлов и в Рязанском областном клиническом онкологическом диспансере для прогнозирования отдаленных результатов лечения больных раком молочной железы на основе использования ряда биологических и химических параметров клеток.

Результаты работы внедрены в Центре новых информационных технологий Рязанской государственной радиотехнической академии для прогнозирования трафика и нагрузки на серверы в сетях информационно-вычислительного центра, что позволило провести прогнозирование пиковых нагрузок и повысить эффективность использования компьютерных сетей.

Апробация работы. Основные положения диссертации докладывались на следующих конференциях:

9-я научно-методическая конференция РГРТА, 1-5 февраля 1999 г., г.Рязань.

10-я международная научно-техническая конференция «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций», 14-16 ноября 2001 г., г.Рязань.

11-я международная научно-техническая конференция «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций», 26-27 ноября 2002 г., г.Рязань.

Публикации. По теме диссертации опубликовано 11 печатных работ, из них 3 в соавторстве. В их числе 4 статьи в межвузовских сборниках, 2 депонированные статьи, 2 доклада на международных конференциях, 2 учебных пособия, свидетельство об официальной регистрации программы в РОСПАТЕНТ.

Структура и объем диссертации. Диссертационная работа состоит из введения, пяти глав и заключения. Содержит 140 страниц, 9 таблиц, 39 рисунков. Список литературы состоит из 74 наименований.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертации, определены цель и задачи исследований, представлены основные положения диссертационной работы, выносимые на защиту.

В первой главе «Методы прогнозирования временных рядов» рассмотрены существующие методы прогнозирования временных рядов, разработана их классификация.

По предложенной классификации методы прогнозирования делятся на статистические, опирающиеся непосредственно на аппарат математической статистики, и нестатистические, к которым относятся такие современные направления, как теория динамического хаоса, нечеткие множества, искусственные нейронные сети и графические методы прогнозирования, широко применяющиеся в экономическом прогнозировании.

Показано, что статистические методы прогнозирования обладают рядом недостатков, затрудняющих их использование для автоматизированного прогнозирования (с минимальным участием человека). Статистические методы прогнозирования, позволяющие достичь наиболее высокой точности прогноза, достаточно сложны. Кроме того, при прогнозировании в реальном времени требуется постоянная подстройка параметров модели, а зачастую и изменение самого типа модели.

Перспективным направлением в решении задачи автоматизированного прогнозирования является использование искусственных нейронных сетей.

Во второй главе «Прогнозирование временных рядов на основе нейрокомпьютерных технологий» рассмотрены базовые методы прогнозирования, основанные на аппарате теории искусственных нейронных сетей (ИНС).

В основе теории искусственных нейронных сетей лежит модель искусственного нейрона (ИН). Искусственные нейроны соединяются между собой в структуры различной сложности, получившие название «нейронные сети».

Важнейшим свойством ИНС является наличие алгоритмов их обучения, т.е. адаптации к способности решать конкретную задачу путем подстройки весов между нейронами в ответ на предъявляемые эталонные образцы - обучающие факты.

При построении нейросетевой модели для прогнозирования (в общем случае - для анализа) временных рядов возможны два различных подхода.

В случае «однофакторной» прогнозирующей модели на входы ней-росети подается только предыстория временного ряда хм, х-,.2, ..., х^. В качестве единственного выхода нейросети фигурирует оценка значения временного ряда х, в прогнозируемый момент или интервал времени

При использовании «многофакторной» модели на входы нейросети кроме предыстории прогнозируемого временного ряда подаются значения различных внешних факторов (рис. 1). Фактически здесь речь идет об анализе многомерных временных рядов.

Х.л „

у^тт -'■-►

Нейронная сеть -

р

у(') "1 ь

Рис. 1. Многофакторная нейросетевая прогнозирующая модель для построения интервального прогноза

Основная сложность, возникающая при использовании многофакторной нейросетевой модели, состоит в трудности выбора внешних факторов.

Рассмотрен вопрос построения эффективного функционала минимизируемой ошибки прогнозирующей нейросети.

Для большинства приложений достаточно адекватной является среднеквадратическая ошибка

Е = (1)

^ р ]

Однако для многих временных рядов среднеквадратическая ошибка не имеет большого практического смысла, а гораздо важнее правильность угадывания знака изменения значения ряда.

Для прогнозирующей модели, где выход нейросети представляет собой степень уверенности сети в знаке изменения временного ряда у, € [-1;1] с нелинейностью вида у = 1Ь(8) можно предложить следующий функционал ошибки:

£=-£1п[1 + гр5ёп(уД (2)

р

АХ,

где г,- =--— относительное изменение значения ряда.

XI

Наиболее важным преимуществом использования искусственных нейронных сетей для прогнозирования временных рядов является их адаптируемость во времени без существенного пересмотра

тируемость во времени без существенного пересмотра- прогнозирующей модели. Это их свойство чрезвычайно важно и играет ключевую роль в использовании нейронных сетей для автоматизированного прогнозирования.

Наибольший интерес представляет решение задачи прогнозирования временного ряда, динамично меняющегося во времени, где требуется постоянное переобучение (дообучение) нейронной сети. Примерами областей, где необходимо подобное прогнозирование, являются задачи управления многими техническими процессами: прогнозирование состояния дискретного канала связи, прогнозирование загрузки модемного пула интернет-провайдера и др., прогнозирование биржевых котировок ценных бумаг в реальном времени, прогнозирование в управлении производством на основе анализа рынка предприятия, некоторые задачи военно-прикладного характера.

Для реализации прогнозирования в реальном времени используется модель скользящего окна.

Для прогнозирования в момент времени I, используются значения ряда в моменты ^.ь ..., ^ (э - размер окна), которые рассматриваются как набор из (э—<1+1) фактов для обучения нейронной сети (с1 - размерность входов сети). После обучения сети и получения прогнозного значения скользящее окно смещается на один шаг и нейронная сеть дообучается с учетом вновь полученных данных.

Проведенное сравнение прогнозов, полученных с помощью нейронной сети и модели авторегрессии для широко известного временного ряда чисел солнечной активности (чисел Вольфа), показало, что кроме меньшей среднеквадратической ошибки и более высокого процента угаданных знаков, прогноз нейронной сети имеет меньшее запаздывание относительно исходных данных по сравнению с классическим методом (табл. 1, рис. 2).

Таблица 1

Характеристика Нейронная сеть Модель авторегрессии

Число прогнозируемых отсчетов 56 56

Число угаданных знаков приращения ряда 40 16

Процент угаданных знаков 71% 29%

Среднеквадратическая ошибка прогноза 276,58 904,93

Время, годы данные -»-нейросвть —¿г—скользящее среднее

Рис. 2. Прогнозирование временного ряда чисел Вольфа

Рассмотрен характер зависимости времени обучения нейронной сети от ее структуры и зависимости точности угаданных знаков от времени функционирования нейросети (рис. 3, 4).

Количество скрытых слоев ИНС

Рис. 3. Зависимость времени обучения нейросети от количества скрытых слоев

Рис. 4. Зависимость точности угаданных знаков временного ряда прогнозирующей нейросети от времени функционирования

Предложен метод повышения эффективности прогнозирующей ней-росетевой модели с помощью экспоненциального и адаптивного распределений вероятности выбора обучающего факта.

В классических вариантах обучающих алгоритмов нейросетей выбор отдельных фактов обучающей выборки осуществляется с равными вероятностями, т.е. плотность вероятности выбора обучающего факта является плотностью вероятности равномерного распределения.

Однако для модели скользящего окна, где каждый факт обучающей выборки соответствует тому или иному дискретному моменту времени наблюдения ряда, актуальность данных в качестве образцов для обучения нейросети различна. Для моментов времени, более близких к тому отсчету, для которого обученная нейросеть делает прогноз, соответствующие этим моментам обучающие факты более ценны, чем соответствующие более отдаленным отсчетам, поскольку несут больше информации о процессах, порождающих изменения временного ряда, природа и характеристики которых постоянно меняются, а соответственно им должна меняться прогнозирующая модель. В случае нейросетевого прогнозирования к параметрам прогнозирующей модели относятся весовые коэффициенты нейросети, а также ее архитектура.

Ввиду сказанного можно выбирать более близкие к текущему моменту времени факты с большей вероятностью, чем более отдаленные.

В качестве наиболее простой и естественной модели следует принять экспоненциальное распределение номера обучающего факта:

Г1{х)=Яе~Лх (3)

Для получения номера обучающего факта следует перейти от непрерывно распределенной случайной величины к дискретной.

В качестве развития концепции информационной неоднозначности обучающих фактов предложена модель адаптивного распределения вероятности выбора обучающего факта.

В классическом анализе временные ряды представляются как сумма двух составляющих: сигнал и шум. В различных моделях эти составляющие выделяются по-разному.

Однако в общем случае сигнал характеризует некую «систематическую» составляющую временного ряда, порождаемую объективными причинами, находящими свое отражение в поведении временного ряда. В то же время шум представляет собой случайную составляющую, отражающую влияние трудноучитываемых или несущественных факторов (для анализа одномерных временных рядов).

Можно считать, что обучающие факты в моменты времени с наибольшим соотношением f(T)/uT несут больше информации о природе временного ряда и порождающих его процессах.

Для указанной модели функционирование алгоритма для одной итерации цикла обучения нейронной сети выглядит следующим образом.

1. Для всех обучающих фактов вычисляется величина к„ характеризующая отношение сигнал/шум для данного обучающего факта:

%«->■ (4>

2. По всем обучающим фактам находятся максимальное и минимальное значения величины к,. Обозначим их как max и min соответственно.

Для всех i вычисляется коэффициент

шах- к,

г, =-----. • (5)

max- mm

3. Вычисляется величина

Qi =ripi ■ (6)

4. Вычисляется адаптивная вероятность выбора обучающих фактов

(7)

'я

IfiJ

j* 1

5. Осуществляется случайный выбор факта из обучающей выборки (скользящего окна) с вероятностью Р/.

Результаты проведенного прогнозирования показали, что при применении предложенной модели возрастают как эффективность прогнозирования (точность угаданных знаков), так и время обучения сети (временной ряд котировок фьючерсов РАО Газпром).

Сравнение прогнозов проведено в таблице 2.

Таблица 2

Характеристика Модель авторегрессии Нейронная сеть, равномерный выбор фактов Нейронная сеть, экспоненциальный выбор фактов

Число прогнозируемых отсчетов 47 47 64

Число угаданных знаков приращения ряда 24 26 37

Процент угаданных знаков 51,1% 55,3% 57,8%

Среднеквадратическая ошибка прогноза 2693,25 1878,74 1465,82

Во второй главе также приведен пример прогнозирования с помощью многофакторной модели и рассмотрены вопросы выбора множества факторов (входного вектора) при обучении прогнозирующей нейронной сети.

В третьей главе «Методы повышения эффективности нейросетево-го прогнозирования временных рядов» предложен генетический алгоритм комплексной оптимизации прогнозирующих нейросетей (рис. 5).

Отличительными особенностями предложенного алгоритма являются:

• комплексное, а не поэтапное решение задачи оптимизации прогнозирующей нейросети, когда управляемыми параметрами являются архитектура сети, вектор входов и матрица весов нейронов;

• убывающая нелинейно со временем вероятность мутации:

где I - номер поколения; Ь характеризует плавность убывания Р(1); т - номер поколения, при котором Р(т)=1/2.

С

3

Рис. 5. Блок-схема функционирования генетического алгоритма

Операция кроссинговера в предложенном алгоритме определяется следующим образом:

...

Л)

Л')

гж,

о{1) Чы

№

Ч)

У./+1

(Ч

/+и+1

г < тт(т1,п1), } < тш

(9)

Значения 1 и ] определяют точку разрыва и выбираются случайно. В частном случае, когда структура всех ИНС в популяции одинакова и неизменна (Ш|,=П2,УЬ), МОЖНО ПрИНЯТЬ ^= ГП1-1 = Пц.

Предложен алгоритм распараллеливания генетического алгоритма на кластерных архитектурах для увеличения скорости его функционирования.

Предложена прогнозирующая модель на основе комбинированной архитектуры «карта Кохонена» - «сеть обратного распространения».

Многослойная нейронная сеть без обратных связей, обучаемая с помощью алгоритма обратного распространения, является в общем случае наиболее простой и эффективной парадигмой для решения задачи прогнозирования временных рядов.

Использование нейросетевых парадигм, отличных от многослойного персептрона, требует иных подходов к решению данной задачи.

Так, самоорганизующиеся карты Кохонена дают прекрасные результаты при решении задач классификации, однако в чистом виде для прогнозирования временного ряда неприменимы.

Одним из возможных способов использования преимуществ концепции карт Кохонена являются выявление с их помощью существенных признаков временного ряда и, возможно, их последующее использование в качестве входов многослойной сети.

Например, определяя для сети Кохонена три класса входных векторов, и подавая на входы предысторию временного ряда, можно выделять характер тренда (возрастающий, убывающий, нейтральный). Использование информации такого рода в качестве входов сети, используемой непосредственно для прогнозирования, может понизить размерность входного вектора сети обратного распространения на порядок.

>

Сеть Л обратного _

>

распространения

Рис. 6. Система прогнозирующих нейронных сетей (вариант 1)

Рис. 7. Система прогнозирующих нейронных сетей (вариант 2)

Примеры систем нейронных сетей «карта Кохонена» - «сеть обратного распространения» показаны на рис. 6, 7.

Эффективность применения предложенной модели показана на

рис.8.

—сеть обратного расп р остр ан ем и я 10

—комбиниро ванная архитектура Ь=10

——сеть обратного распространения Ь»20

)( комбинированная архитектура ь*20

1 2 3 4 5

9 10 11 12 13 14 15 16 17 18 19 20 Число нейронов п

Рис. 8. Эффективность использования архитектуры «Карта Кохонена - сеть обратного

распространения»

В четвертой главе «Автоматизированная система прогнозирования на основе нейрокомпьютерных технологий» предложена архитектура ав-

томатизированной информационной системы прогнозирования временных рядов, основанной на архитектуре «клиент/сервер».

Серверная часть системы функционирует под управлением ОС класса Unix, клиентское программное обеспечение - под управлением ОС семейства Windows. Взаимодействие клиентской и серверной частей осуществляется на базе протокола TCP/IP.

Общая архитектура предложенной системы показана на рис. 9.

Серверная часть

Клиентская часть

Рис. 9. Архитектура автоматизированной системы прогнозирования временных рядов на основе нейрокомпьютерных технологий

В пятой главе «Программные средства автоматизированного прогнозирования временных рядов на основе нейрокомпьютерных технологий» рассмотрена разработанная автором библиотека классов, состоящая из трех основных частей, каждой из которых соответствует своя иерархия классов. Каждая из этих составных частей реализует определенную подобласть предметной области:

• классы, реализующие обучение и функционирование различных нейросетевых парадигм;

• классы, реализующие различные приложения ИНС, такие как прогнозирование, распознавание или классификация;

• классы, отражающие специфику применения прогнозирующих ИНС.

На основе предложенной библиотеки классов разработан пакет прикладных программ «№игоРогесазй>, предназначенный для автоматизированного прогнозирования временных рядов с помощью нейронных сетей, реализующий предложенные в диссертационной работе методики.

Пакет прикладных программ зарегистрирован в РОСПАТЕНТ (свидетельство о регистрации программы для ЭВМ № 2002611873).

Пакет прикладных программ «NeuroForecast» разработан в среде Microsoft Visual С++ 6.0 с использованием библиотеки Microsoft Foundation

Classes.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Показано, что применение искусственных нейронных сетей позволяет повысить эффективность прогнозирования временных рядов, лишено ряда недостатков классических статистических методов анализа и прогнозирования временных рядов и может служить основой для автоматизированного прогнозирования (с минимальным участием человека).

2. Предложены и исследованы способы повышения эффективности прогнозирующих свойств и скорости обучения искусственной нейронной сети на основе экспоненциального и адаптивного распределения плотности вероятности выбора обучающего факта.

3. Разработан генетический алгоритм комплексной оптимизации прогнозирующих нейросетей, позволяющий уменьшить время обучения.

4. Предложена методика распараллеливания генетического алгоритма оптимизации нейросетей на кластерных архитектурах.

5. Разработан метод уменьшения размерности входов прогнозирующей нейросети на основе сопряжения различных нейросетевых архитектур.

6. Разработана архитектура автоматизированной информационной системы прогнозирования временных рядов на основе нейросетевых технологий.

7. Разработан пакет прикладных программ (ППП) для автоматизированного прогнозирования временных рядов.

ПУБЛИКАЦИИ ПО ОСНОВНЫМ РЕЗУЛЬТАТАМ ДИССЕРТАЦИИ

1. Артемкин Д.Е., Благодаров А.В., Новиков Г.А. Методы качественного анализа и принятия решений /Под ред. А.Н. Пылькина. Рязань: РГРТА, 1998. 32 с.

2. Артемкин Д.Е. Способы повышения эффективности объектного кода программ //Новые информационные технологии: Межвуз. сб. науч. тр. Рязань: РГРТА, 1998. С. 8-12.

3. Артемкин Д.Е., Пылькин А.Н. Основы работы в системе Mathcad. Рязань: Ряз. обл. ин-т развития образования, 1999. 72 с.

4. Артемкин Д.Е. Система прогнозирования на основе нейросетевых технологий с коллективным доступом на базе протокола ТСРЯР //Проблемы передачи и обработки информации в сетях и системах телекоммуникаций: Материалы 10-й Международной науч.-техн. конф. Рязань: Рязан. гос. радиотехн. акад., 2001. С.182-184.

5. Генетический алгоритм оптимизации многослойных нейронных сетей без обратных связей /Артемкин Д.Е.; Рязан. гос. радиотехн. акад. - Рязань, 2002. 10 е.: ил. Библиогр.: 4 назв. Деп. в ВИМИ № Д08912 от 20.05.02.

6. Архитектура серверной части автоматизированной информационной системы прогнозирования временных рядов /Артемкин Д.Е.; Рязан. гос. радиотехн. акад. Рязань, 2002. 8 е.: ил. Библиогр.: 7 назв. Деп. в ВИМИ №Д08913 от 05.06.02.

7. Артемкин Д.Е. Метод реализации генетических алгоритмов обучения искусственных нейронных сетей на кластерных архитектурах //Новые информационные технологии: Межвуз. сб. науч. тр. Рязань: РГРТА, 2002. С. 11-14.

8. Артемкин Д.Е. Выбор пространства входов искусственной нейронной сети при решении задачи прогнозирования временных рядов //Проблемы передачи и обработки информации в сетях и системах телекоммуникаций: Материалы 11-й Международной науч.-техн. конф. Рязань: Рязан. гос. радиотехн. акад., 2002. С. 17-18.

9. Свидетельство об официальной регистрации программы для ЭВМ №2002611873, Россия. «Система нейросетевого прогнозирования временных рядов» (№игоРогесаз1) /Артемкин Д.Е. Зарегистрировано в РОСПАТЕНТ 04.11.2002, заявка №2002611652.

10.Артемкин Д.Е. Прогнозирование временного ряда с помощью искусственной нейронной сети в режиме скользящего окна //Перспективы развития российской экономики: Межвуз. сб. науч. тр. Вып. №4. СПб.: Санкт-Петербургский военный университет связи, 2002. С.659-660.

11.Артемкин Д.Е., Пылькин А.Н. Использование различных архитектур искусственных нейронных сетей для прогнозирования временных рядов //Перспективы развития российской экономики: Межвуз. сб. науч. тр. Вып. №4. СПб.: Санкт-Петербургский военный университет связи, 2002. С.660-661.

АРТЕМКИН Денис Евгеньевич

РАЗРАБОТКА МАТЕМАТИЧЕСКОГО И ПРОГРАММНОГО

ОБЕСПЕЧЕНИЯ АВТОМАТИЗИРОВАННОГО ПРОГНОЗИРОВАНИЯ ВРЕМЕННЫХ РЯДОВ НА ОСНОВЕ НЕЙРОКОМПЬЮТЕРНЫХ ТЕХНОЛОГИЙ

Автореферат диссертации на соискание ученой степени кандидата технических наук

Подписано в печать Формат бумаги 60x84 1/16.

Бумага офсетная. Печать офсетная. Усл.-печ. л. 1,0. Уч.-изд. л. 1,0. Тираж экз. Бесплатно. Зйс. Рязанская государственная радиотехническая академия. 391000, Рязань, ГСП, ул.Гагарина, 59/1. Редакционно-издательский центр РГРТА.

5

Г*-

!

4

о

f

I

2ooS'fy

¡•133 9 6

ВВЕДЕНИЕ.

1. МЕТОДЫ ПРОГНОЗИРОВАНИЯ ВРЕМЕННЫХ РЯДОВ.

1.1. Статистический анализ временных рядов.

1.2. Классификация методов прогнозирования временных рядов.

1.3. Статистические методы прогнозирования временных рядов.

1.3.1. Адаптивные модели.

1.3.2. Регрессионный анализ.

1.3.3. Кривые роста.

1.3.4. Частотный анализ.

1.4. Нестатистические методы прогнозирования временных рядов.

1.4.1. Графические методы прогнозирования временных рядов.

1.4.2. Аналитические нестатистические методы прогнозирования временных рядов.

1.5. Сравнительный анализ методов прогнозирования временных рядов.

2. ПРОГНОЗИРОВАНИЕ ВРЕМЕННЫХ РЯДОВ НА ОСНОВЕ НЕЙРОКОМПЬЮТЕРНЫХ ТЕХНОЛОГИЙ.

2.1. Общие положения теории нейронных сетей.

2.2. Особенности использования искусственных нейронных сетей для прогнозирования временных рядов.

2.2.1. Модель.

2.2.2. Функционал ошибки прогнозирующих нейронных сетей.

2.3. Нейросетевое прогнозирование временного ряда в режиме скользящего окна.

2.4. Повышение эффективности прогнозирующей нейросетевой модели с помощью адаптивного распределения плотности вероятности выбора обучающего факта.

2.5. Нейросетевое прогнозирование временных рядов на основе многофакторной модели.

2.5.1. Общие положения.

2.5.2. Особенности выбора вектора входов нейронной сети для построения оптимальной прогнозирующей модели.

3. МЕТОДЫ ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ НЕЙРОСЕТЕВОГО ПРОГНОЗИРОВАНИЯ ВРЕМЕННЫХ РЯДОВ.

3.1. Общие замечания.

3.2. Применение генетических алгоритмов для оптимизации прогнозирующих нейронных сетей.

3.2.1. Базовые понятия генетического алгоритма.

3.2.2. Функционирование генетического алгоритма.

3.3. Использование комитетов нейронных сетей.

3.4. Использование параллельных и кластерных архитектур.

3.5. Использование комбинаций различных нейросетевых парадигм.

4. АВТОМАТИЗИРОВАННАЯ СИСТЕМА ПРОГНОЗИРОВАНИЯ НА ОСНОВЕ НЕЙРОКОМПЬЮТЕРНЫХ ТЕХНОЛОГИЙ.

4.1. Общая характеристика и структурная схема системы.

4.1.1. Общая характеристика системы.

4.1.2. Структурная схема системы.

4.1.3. Подсистемы программного обеспечения комплекса.

4.2. Программное обеспечение серверной части системы.

4.2.1. Структурная схема сервера.

4.2.2. Сетевой интерфейс системы.

4.2.3. Обеспечение безопасности работы системы в сети.

4.3. Возможности построения клиентского программного обеспечения . 100 4.3.1. Клиентское программное обеспечение авторизованного доступа!

4.3.2. Са-шлюз.

5. ПРОГРАММНЫЕ СРЕДСТВА АВТОМАТИЗИРОВАННОГО ПРОГНОЗИРОВАНИЯ ВРЕМЕННЫХ РЯДОВ НА ОСНОВЕ НЕЙРОКОМЬЮТЕРНЫХ ТЕХНОЛОГИЙ.

5.1. Библиотека классов.

5.1.1. Общая характеристика.

5.1.2. Иерархия классов.

5.2. Пакет прикладных программ «ЫеигоРогесаБЪ).

5.2.1. Общая характеристика.

5.2.2. Функционирование пакета прикладных программ.

Актуальность темы. Прогнозирование играет важную роль в различных областях народного хозяйства. Поскольку условия технологических процессов и экономические условия ведения бизнеса изменяются во времени, необходимо постоянно отслеживать и предсказывать эти изменения для успешной реализации технических решений или совершения деловых операций.

К настоящему времени разработаны многие методы прогнозирования, конечной задачей которых является предсказание будущих событий с той или иной степенью надежности с целью использования этого прогноза при принятии решений.

Формально имеется два подхода к прогнозированию - качественное и количественное. Методы качественного прогнозирования, такие как метод экспертного оценивания, особенно важны, когда статистические данные за прошедшие периоды времени недоступны и/или ненадежны. Все качественные методы крайне субъективны и подвержены высокой ошибке прогноза.

Количественные методы прогнозирования основаны на существенном использовании информации за прошедшие периоды времени. При исследовании тенденции процесса за прошедшее время удается выяснить основные взаимосвязи между величинами и дать более надежный прогноз на будущее.

Методы прогнозирования, основанные на анализе временных рядов, относятся к классу количественных методов прогнозирования. Прогнозирование временных рядов предусматривает определение прогнозного значения переменной преимущественно на основе прошлых и текущих значений этой же переменной. Если определяются значимые факторы и функциональная или стохастическая зависимость отклика от этих факторов с применением множественного регрессионного анализа, то, как правило, говорят об анализе многомерных временных рядов.

Сегодня, в связи с широким распространением программных средств принятия решений, особенную важность представляет разработка методов автоматизированного прогнозирования для использования результатов прогноза в автоматизированных системах принятия решений.

Автоматизированное прогнозирование с использованием вычислительной техники предполагает функционирование прогнозирующих моделей и алгоритмов с минимальным участием человека, автоматический выбор модели и параметров модели для прогнозирования конкретных показателей, численно выражаемых с помощью временного ряда.

В то же время, классические методы прогнозирования временных рядов, в том числе методы, основанные на аппарате математической статистики, обладают рядом недостатков, затрудняющих их использование для построения автоматизированных прогнозирующих моделей.

Одним из современных методов, используемых для прогнозирования, являются искусственные нейронные сети.

Теория искусственных нейронных сетей была создана и развита такими учеными, как Ф.Розенблатт, М.Минский, С.Гроссберг, Т.Кохонен. Сегодня вопросам теории и практического использования искусственных нейронных сетей посвящены работы таких ученых России, как А.И.Галушкин, А.Н.Горбань, В.В.Золотарев, С.Г.Короткий, А.А.Ежов, В.М.Неделько.

Применение нейронных сетей для прогнозирования включает в себя распознающие модели и модели прогнозирования временных рядов. Одним из главных преимуществ нейронных сетей является их способность к обучению и самообучению, т.е. адаптации модели к решению конкретной задачи. Вышесказанное делает искусственные нейронные сети одним из перспективных направлений в разработке методов автоматизированного прогнозирования.

Цель диссертационной работы состоит в разработке эффективных методов прогнозирования временных рядов на основе искусственных нейронных сетей, позволяющих максимально возможно устранить недостатки существующих методов, обеспечивая при этом высокую достоверность прогноза; создании автоматизированной информационной системы, позволяющей решать задачу прогнозирования временных рядов.

Для достижения цели необходимо решить следующие задачи:

1. Провести анализ существующих методов прогнозирования временных рядов и выявить перспективные направления в области их развития.

2. Исследовать применение искусственных нейронных сетей для автоматизированного прогнозирования временных рядов.

3. Разработать методики повышения эффективности прогнозирующих нейросетевых моделей.

4. Разработать программные средства для автоматизированного прогнозирования временных рядов на основе разработанных методик.

5. Разработать архитектуру автоматизированной информационной системы прогнозирования на основе разработанных методик.

Методы исследования. Разработки и исследования проводились на основе теории вероятностей, математической статистики, системного анализа, математического и имитационного моделирования, теории искусственных нейронных сетей, технологий модульного и объектно-ориентированного программирования.

Научная новизна. В рамках диссертационной работы были получены следующие результаты:

1. Показано, что применение искусственных нейронных сетей позволяет повысить эффективность прогнозирования временных рядов, лишено ряда недостатков классических статистических методов анализа и прогнозирования временных рядов и может служить основой для автоматизированного прогнозирования (с минимальным участием человека).

2. Предложены и исследованы способы повышения эффективности прогнозирующих свойств и скорости обучения искусственной нейронной сети на основе экспоненциального и адаптивного распределения вероятности выбора обучающего факта.

3. Разработан генетический алгоритм комплексной оптимизации прогнозирующих нейросетей, позволяющий уменьшить время обучения.

4. Предложена методика распараллеливания генетического алгоритма оптимизации нейросетей на кластерных архитектурах.

5. Разработан метод уменьшения размерности входов прогнозирующей нейросети на основе сопряжения различных нейросетевых архитектур.

6. Разработана архитектура автоматизированной информационной системы прогнозирования временных рядов на основе нейросетевых технологий.

7. Разработан пакет прикладных программ (ППП) для автоматизированного прогнозирования временных рядов.

Практическая ценность работы. Разработаны способы повышения эффективности прогнозирующих свойств и скорости обучения искусственной нейронной сети на основе экспоненциального и адаптивного распределения вероятности выбора обучающего факта. Разработан генетический алгоритм комплексной оптимизации прогнозирующих нейронных сетей, применение которого может уменьшить время обучения в 2-5 раз для многофакторных прогнозирующих моделей. Предложена методика распараллеливания генетического алгоритма, позволяющая реализовывать его на параллельных и кластерных архитектурах. Разработана прогнозирующая модель на основе сопряжения архитектур «карта Кохонена» - «сеть обратного распространения», позволяющая уменьшить размерность входов и время обучения нейросети. Разработан пакет прикладных программ для автоматизированного прогнозирования временных рядов, реализующий предложенные в диссертационной работе методики. Разработана архитектура автоматизированной информационной системы прогнозирования временных рядов на основе нейросетевых технологий. Преимуществами предложенной архитектуры являются коллективный доступ пользователей на основе технологиии «клиент/сервер» и оперативное обновление статистики исходных данных из информационных ресурсов сети Internet.

Достоверность полученных в диссертационной работе результатов подтверждается:

• использованием положений теории вероятностей и математической статистики;

• использованием понятий и выводов теории нейронных сетей;

• разработкой действующих программных средств, подтвержденных свидетельствами об официальной регистрации;

• наличием актов внедрения и использования результатов диссертационной работы.

На защиту выносятся:

1. Способы повышения эффективности прогнозирующих свойств и скорости обучения искусственной нейронной сети на основе экспоненциального и адаптивного распределения вероятности выбора обучающего факта.

2. Генетический алгоритм комплексной оптимизации прогнозирующих нейронных сетей.

3. Метод уменьшения размерности входов прогнозирующей нейросети на основе сопряжения различных нейросетевых архитектур.

4. Архитектура автоматизированной информационной системы прогнозирования.

Внедрение результатов. Результаты работы использованы в ООО «Кар-центо» для решения задач прогнозирования финансово-экономических показателей и принятия на их основе обоснованных производственных решений по ценам на рынке цветных металлов и в Рязанском областном клиническом онкологическом диспансере для прогнозирования отдаленных результатов лечения больных раком молочной железы на основе использования ряда биологических и химических параметров клеток.

Результаты работы внедрены в Центре новых информационных технологий Рязанской государственной радиотехнической академии для прогнозирования трафика и нагрузки на серверы в сетях информационно-вычислительного центра, что позволило проводить прогнозирование пиковых нагрузок и повысить эффективность использования компьютерных сетей.

Апробация работы. Основные положения диссертации докладывались на следующих конференциях:

9-я научно-методическая конференция РГРТА, 1-5 февраля 1999 г., г.Рязань.

10-я международная научно-техническая конференция «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций», 1416 ноября 2001 г., г.Рязань.

11 -я международная научно-техническая конференция «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций», 2627 ноября 2002 г., г.Рязань.

Публикации. По теме диссертации опубликовано 11 печатных работ, из них 3 в соавторстве. В их числе 4 статьи в межвузовских сборниках, 2 депонированные статьи, 2 доклада на международных конференциях, 2 учебных пособия, свидетельство об официальной регистрации программы в РОСПАТЕНТ.

Структура и объем диссертации. Диссертационная работа состоит из введения, пяти глав и заключения. Содержит 140 страниц, 9 таблиц, 39 рисунков. Список литературы состоит из 74 наименований.

Основные результаты, полученные в диссертационной работе:

1. Показано, что применение искусственных нейронных сетей позволяет повысить эффективность прогнозирования временных рядов, лишено ряда недостатков классических статистических методов анализа и прогнозирования временных рядов и может служить основой для автоматизированного прогнозирования (с минимальным участием человека).

2. Предложены и исследованы способы повышения эффективности прогнозирующих свойств и скорости обучения искусственной нейронной сети на основе экспоненциального и адаптивного распределения вероятности выбора обучающего факта.

3. Разработан генетический алгоритм комплексной оптимизации прогнозирующих нейросетей, позволяющий уменьшить время обучения.

4. Предложена методика распараллеливания генетического алгоритма оптимизации нейросетей на кластерных архитектурах.

5. Разработан метод уменьшения размерности входов прогнозирующей нейросети на основе сопряжения различных нейросетевых архитектур.

6. Разработана архитектура автоматизированной информационной системы прогнозирования временных рядов на основе нейросетевых технологий.

7. Разработан пакет прикладных программ (ППП) для автоматизированного прогнозирования временных рядов.

ЗАКЛЮЧЕНИЕ

1. Андерсон Т. Статистический анализ временных рядов: Пер. с англ. М.: Мир, 1976.-760 с.

2. Анил К. Джейн, Жианчанг Мао, Моиуддин K.M. Введение в искусственные нейронные сети /Открытые системы. 1997, №4. С. 16-24.

3. Артемкин Д.Е. Архитектура серверной части автоматизированной информационной системы прогнозирования временных рядов. Рязань: Рязан. гос. радиотехн. акад., 2002. 8 е.: ил. - Библиогр. 7 назв. - Деп. в ВИМИ № Д08913 от 05.06.02.

4. Артемкин Д.Е. Генетический алгоритм оптимизации многослойных нейронных сетей без обратных связей. Рязань: Рязан. гос. радиотехн. акад., 2002. 10 е.: ил. - Библиогр. 4 назв. - Деп. в ВИМИ № Д08912 от 20.05.02.

5. Артемкин Д.Е. Метод реализации генетических алгоритмов обучения искусственных нейронных сетей на кластерных архитектурах /Новые информационные технологии: Межвуз. сб. науч. трудов. Рязань: РГРТА, 2002. С. 11-14.

6. Артемкин Д.Е. Способы повышения эффективности объектного кода программ /Новые информационные технологии: Межвуз. сб. науч. трудов. Рязань: РГРТА, 1998. С. 8-12.

7. Артемкин Д.Е., Благодаров A.B., Новиков Г.А. Методы качественного анализа и принятия решений. /Под ред. А.Н. Пылькина Рязань: РГРТА, 1998.-32 с.

8. Артемкин Д.Е., Пылькин А.Н. Основы работы в системе Mathcad. Рязань: Ряз. обл. ин-т развития образования, 1999. 72 с.

9. Барский А.Б. Параллельные процессы в вычислительных системах. Планирование и организация. М.: Радио и связь, 1990. - 256 е., ил.

10. Богачев В.В. Метод прогнозирования одномерного временного ряда. /Применение методов вычислительной математики в экономических исследованиях. М.: МЭСИ, 1985.

11. Бокс Дж., Дженкинс Г. Анализ временных рядов, прогноз и управление. -М.: Мир, 1974.

12. Бриллинджер Д. Временные ряды. Обработка данных и теория. М.: Мир, 1980.-536 с.

13. Буч Г. Объектно-ориентированное проектирование с примерами применения: пер. с англ. -М.: Конкорд, 1992. 519 с.

14. Бэстенс Д.-Э., Ван Ден Берг В.-М., Вуд Д. Нейронные сети и финансовые рынки. Принятие решений в торговых операциях. М.: ТВП Научное издательство, 1997.

15. Введение в системный анализ. /Под ред. Л.А. Петросяна. Л.: Изд-во Ленинградского университета, 1988. - 232 с.

16. Вентцель Е.С. Теория вероятностей. М.: Наука, 1964. 576с.

17. Вентцель Е.С., Овчаров Л.А. Прикладные задачи теории вероятностей. М.: Радио и связь, 1983. -416 с.

18. Воеводин B.B. Математические модели и методы в параллельных процессах. М.: Наука, 1986.

19. Галушкин А.И. Современные направления развития нейрокомпьютерных технологий в России /Открытые системы, 1997, №5. С. 93-96.

20. Галушкин А.И. Теория нейронных сетей. М.: ИПРЖР, 2000.

21. Танеев P.M. Математические модели в задачах обработки сигналов. М.: Горячая линия-Телеком, 2002. 83 е.: ил.

22. Горчаков A.A., Половников В.А. Одномерные методы и модели экономического прогнозирования. Ташкент: Мехмат, 1990.

23. Грешилов A.A., Стакун В.А., Стакун A.A. Математические методы построения прогнозов. М.: Радио и связь, 1997. 112 с.

24. Кильдишев Г.С., Френкель A.A. Анализ временных рядов и прогнозирование. М.: Статистика, 1973.

25. Князевский B.C., Житников И.В. Анализ временных рядов и прогнозирование. Ростов н/Д: Рост. гос. экон. акад., 1998. 161 с.

26. Коршунов Ю.М. Математические основы кибернетики. М.: Энергия, 1972.

27. Лбов Г.С., Неделько В.М. Байесовский подход к решению задачи прогнозирования на основе информации экспертов и таблицы данных /Доклады РАН. Том 357. №1, 1997. С. 29-32.

28. Лукашин Ю.П. Адаптивные методы прогнозирования экономических показателей. М.: Статистика, 1979.

29. Мун Ф. Хаотические колебания. М.: Мир, 1990. 312 с.

30. Нейроматематика. Кн.6: Учеб. пособие для вузов /Под ред. А.И. Галушкина. М.: ИПРЖР, 2002. - 448 е., ил.

31. Нейронные сети. STATISTICA Neural Networks: Пер. с англ. М.: Горячая линия - Телеком, 2001. - 182 е., ил.

32. Обнаружение изменения свойств сигналов и динамических систем: Пер с англ./ М. Бассвиль, А. Вилски, А. Банвенист и др.; Под ред. М. Бассвиль, А. Банвениста. М.: Мир, 1989. - 278 е., ил.

33. Розанов Ю.А. Случайные процессы. М.: Наука, 1979. 184 с.

34. Рюэль Д., Такенс Ф. О природе турбулентности. 1971.

35. Сарычев H.A., Сметанников А.Е., Филиппов Д.А. Принципы функционирования генетических алгоритмов /Вычислительные машины, комплексы и сети. Рязань, 1996.

36. Свидетельство об официальной регистрации программы для ЭВМ №2002611873, Россия. «Система нейросетевого прогнозированиявременных рядов» (NeuroForecast) /Артемкин Д.Е. Зарегистрировано в РОСПАТЕНТ 04.11.2002, заявка №2002611652.

37. Скляров В.А. Язык С++ и объектно-ориентированное программирование. Мн.: Выш. шк., 1997. - 478 с.

38. СуперЭВМ. Аппаратная и программная организация/ Под ред. С. Фернбаха: Пер. с англ. М.: Радио и связь, 1991. - 320 е.: ил.

39. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика: Пер. с англ. М.: Мир, 1992. - 240 е., ил.

40. Феллер В. Введение в теорию вероятностей и ее приложения — М.: Мир, 1967.-498 с.

41. Харман Г.Г. Современный факторный анализ. М.: Статистика, 1972.

42. Хэвиленд К., Грэй Д., Салама Б. Системное программирование в UNIX. Руководство программиста по разработке ПО: Пер. с англ. — М.: ДМК Пресс, 2000.-368 е., ил.

43. Четыркин Е.М. Статистические методы прогнозирования. — М.: Статистика, 1977.

44. Шилдт Г. Теория и практика С++: Пер. с англ. СПб.: BHV — Санкт-Петербург, 1996. 416 е., ил.

45. Шукович Г. Применение генетических алгоритмов и систем генерирующих графов для создания модулярных нейросетей /Программирование, 2002, №1. С. 13-20.

46. Шумский С.А., Яровой A.B., Лукьяница A.A. Нейросетевое предсказание финансовых временных рядов /Тезисы III рабочего семинара-совещания «Теория и приложения искусственных нейронных сетей». РФЯЦ — ВНИИТФ, Снежинск, 1-3 апреля 1998г.

47. Шустер Г. Детерминированный хаос. М.: Мир, 1988. 240 с.

48. Элдер А. Основы биржевой игры. Учебное пособие для участников торгов на мировых биржах. Психология. Тактика торгов. Денежный менеджмент. М.: Издательство «Светоч», 1995. 327с.

49. Эфрон Б. Нетрадиционные методы многомерного статистического анализа: Сб. статей: Пер. с англ. М.: Финансы и статистика, 1988. 263 е.: ил.

50. Chorafas D.N. Chaos Theory in the Financial Markets. Probus Publishing, 1994.

51. Colby R.W., Meyers T.A. The Encyclopedia of Technical Market Indicators. IRWIN Professional Publishing, 1988.

52. Fogel D.B. Evolutionary Computation: Toward a New Philosophy of Machine Intelligence. Piscataway, NJ: IEEE Press, 1995.

53. Grossberg S. Competitive Learning: from Interactive Activation to Adaptive Resonance. Cognitive Science, 1987, no. 11, pp.23-63.

54. Hebb D. Self-organization and associative memory. Series in Information Sciences, vol.8. Berlin: Springer Verlag, 1961.

55. Kohonen Т., Self-organizing Maps. Heidelberg: Springer Verlag, 1995.

56. Minsky M.L., Papert S. Perceptrons. Cambridge, MA: MIT Press., 1969. (Минский M.JI., Пейперт С. Персептроны. -М.: Мир, 1971).

57. Muller В., Reinhardt J. Neural networks. Springer Verlag, 1990. - 267p.

58. Rosenblatt F. Principles of neurodynamics. New York: Spartan Books, 1962. (Розенблатт Ф. Принципы нейродинамики. М.: Мир, 1965).

59. Rumelhart D.E., Hinton G.E., Williams R.J. Learning internal representations by error propagation. In Parallel distributed processing, vol.1, pp.318-62. Cambridge, MA: MIT Press, 1986.

60. Sauer T., Yorke J.A., Casdagli M. Embedology. Journal of Statistical Physics. 1991, 65, pp.579-616.

61. Stroustrup B. The C++ Programming Language. AT&T, 1994. - 691p.

62. Vermuri V.R. Rogers R.D eds. Artificial Neural Networks. Forecasting Time Series. IEEE Comp.Soc.Press, 1993.

63. Weigend A. Gershenfield eds. Time series prediction: Forecasting the future and understanding the past. Addison-Wesley, 1994.

64. Zadeh L.A. Fuzzy Sets / Information and Control. Vol.8, 1965. №3. P.338-353.