автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Математические модели временных рядов на основе аппарата искусственных нейронных сетей и программный комплекс для их реализации

□03454Э55

На правах рукописи

Козадаев Алексей Сергеевич

МАТЕМАТИЧЕСКИЕ МОДЕЛИ ВРЕМЕННЫХ РЯДОВ НА ОСНОВЕ АППАРАТА ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ И ПРОГРАММНЫЙ КОМПЛЕКС ДЛЯ ИХ РЕАЛИЗАЦИИ

Специальность 05.13.18 - Математическое моделирование, численные методы и комплексы программ

Автореферат диссертации на соискание ученой степени кандидата технических наук

5 №гт

Тамбов - 2008

003454955

Работа выполнена в Государственном образовательном учреждении высшего профессионального образования «Тамбовский государственный университет имени Г.Р. Державина».

Научный руководитель:

доктор технических наук, профессор Арзамасцев Александр Анатольевич

Официальные оппоненты: доктор технических наук, профессор

Кудинов Юрий Иванович

доктор технических наук, профессор Туголуков Евгений Николаевич

Ведущая организация: ГОУ ВПО «Воронежский государственный университет».

Защита диссертации состоится « 26 » декабря 2008 г. в 14°° часов на заседании диссертационного совета Д 215.023.01 при Тамбовском высшем военном авиационном инженерном училище радиоэлектроники (военном институте) по адресу: 392006, г. Тамбов-6, ул. Комиссара Московского, Тамбовское ВВАИУРЭ (ВИ).

С диссертацией можно ознакомиться в научной библиотеке Тамбовского высшего военного авиационного инженерного училища радиоэлектроники (военного института)

Автореферат разослан «18» ноября 2008 г.

Ученый секретарь

диссертационного совета

Малышев В.А.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Задачи прогнозирования временных рядов на основе математических моделей возникают в различных областях: естественных и технических науках, экономической сфере, социологических и других исследованиях.

Наиболее часто для решения указанных проблем используются методы математической статистики и различные типы авторегрессионных моделей.

Недостатками таких методов являются:

- отсутствие в модели представлений о структуре и системе связей реального объекта, что вносит субъективизм в выбор как самой модели, так и ее структуры;

- трудность построения моделей при условии, что данные хранятся в разных временных рядах и (или) имеют временные сдвиги относительно друг друга;

- недостаточная точность прогноза;

-значительная чувствительность получаемых результатов к недостатку информации и (или) ее зашумленности;

- потребность в высокой квалификации математиков-программистов;

- зависимость результата прогноза от квалификации аналитика в конкретной предметной области.

Указанные недостатки приводят к необходимости постановки и решения научной задачи, которая заключается в разработке новых математических моделей на основе систем искусственного интеллекта, алгоритмов и специализированного программного обеспечения, повышающих надежность и точность прогнозов, способных работать в условиях недостатка информации и (или) ее зашумленности, позволяющих получить результат за короткое время (что особенно важно для задач оперативного управления). Программные реализации данных алгоритмов должны иметь дружественный интерфейс для пользователя, позволять специалисту конкретной предметной области моделировать процесс самостоятельно, без участия специалиста-математика.

Одним из методов решения научной задачи является применение для прогнозирования временных рядов математических моделей, основанных на использовании аппарата искусственных нейронных сетей (ИНС), включающего в себя развитую методологию структурного моделирования и методов обучения, базируемых на хорошо развитой теории нелинейного программирования. Однако использование ИНС для решения задач прогнозирования временных рядов до настоящего времени развито в недостаточной степени.

По этой причине следует считать актуальной тему научного исследования, направленную на разработку специализированных ИНС-моделей,

соответствующих алгоритмов и программного комплекса, предназначенных для решения задач анализа и прогнозирования временных рядов.

Объект исследования. Объектом исследования являются временные

ряды.

Предметом исследования являются ИНС-модели временных рядов различных типов.

Цель исследования. Целью данной работы является повышение эффективности анализа и прогноза временных рядов на основе ИНС-моделей.

Задачи исследования. Данная цель потребовала решения следующих задач:

- анализа существующих методологических приемов прогнозирования временных рядов на основе математических моделей, их достоинств и недостатков;

- разработки ИНС-моделей временных рядов с лучшей адаптируемостью к эмпирическим данным;

- разработки алгоритмов формирования структур ИНС-моделей;

- разработки программного комплекса, реализующего модели и алгоритмы на ПЭВМ и предлагающего удобный интерфейс для пользователей;

- проведения вычислительных экспериментов, подтверждающих эффективность используемых моделей, алгоритмов и программ.

Методы исследования. Выполненные исследования базируются на использовании методов математического и компьютерного моделирования, искусственного интеллекта, теории графов и математического программирования.

Положения, выносимые на защиту. На защиту выносятся следующие основные положения:

- математические модели временных рядов на основе аппарата искусственных нейронных сетей;

- алгоритмы использования ИНС-моделей в задачах исследования и прогнозирования временных рядов;

- алгоритмы формирования обучающих выборок для ИНС-моделей для временных рядов различных типов (одиночных, множественных, множественных со смещением);

- комплекс программ и результаты вычислительных экспериментов, подтверждающих эффективность разработанных моделей, алгоритмов и программ.

Научная новизна работы:

- математические модели временных рядов на базе аппарата искусственных нейронных сетей, отличающиеся от известных лучшей адаптируемостью к исходным данным за счет выбора оптимальной структуры сети, числа входов ИНС-модели и формирования обучающих выборок с учетом временных сдвигов и дальности прогноза;

- алгоритмы использования ИНС-моделей для анализа и прогнозирования временных рядов различных типов (одиночных рядов, множест-

венных связанных рядов, рядов с временными запаздываниями и инерционностью);

алгоритм формирования структуры искусственной нейронной сети, базируемый на феноменах ее обучения, связывающих погрешность обучения ИНС-модели с количеством слоев и числом нейронов в слоях, и позволяющий наращивать структуру сети от минимальной до оптимальной.

Достоверность и обоснованность научных результатов и выводов основана на корректности постановок задач и используемого математического аппарата, адекватности математических моделей и соответствии результатов вычислительных экспериментов реальным данным, а также существующим в науке закономерностям и представлениям.

Практическая значимость. Разработан специализированный программный комплекс, позволяющий осуществлять: формирование обучающих выборок на основе имеющихся временных рядов, их предварительный анализ и коррекцию; формирование и оптимизацию структуры ИНС-модели и ее обучение; анализ и прогнозирование временных рядов на основе ИНС-моделей.

Комплекс имеет дружественный интерфейс и может быть использован для анализа и прогнозирования в различных областях науки и техники.

Программный комплекс, модели и алгоритмы используются в учебных курсах «Математическое и компьютерное моделирование», «Анализ данных на ПК», «Искусственный интеллект и распознавание образов» при обучении студентов специальности 010501 - «Прикладная математика и информатика» в Тамбовском государственном университете им. Г.Р. Державина, для подготовки магистерских программ по аналогичному направлению, а также в курсовом и дипломном проектировании.

Публикация результатов. По результатам диссертации опубликовано 13 печатных работ, из них 6 статей (2 статьи в издании из Перечня ВАК для публикации научных результатов диссертаций на соискание ученой степени доктора и кандидата наук), 6 тезисов докладов в материалах Международных, Всероссийских и внутривузовских конференций, 1 свидетельство о государственной регистрации программы для ЭВМ. Четыре работы выполнены в соавторстве. Личный вклад соавтора (научного руководителя) заключался в постановке задач и общем руководстве.

Апробация работы. Основные результаты диссертации обсуждались на V Международной научно-практической конференции «Исследование, разработка и применение высоких технологий в промышленности» (Санкт-Петербург, 2008), XII Международной научно-практической конференции «Актуальные проблемы информатики и информационных технологий» (Тамбов, 2008), III Всероссийской научной школе молодых ученых «Математические методы в экологии» (Петрозаводск, 2008), Всероссийской научно-методической конференции «Инновационные технологии обучения: проблемы и перспективы» (Липецк, 2008), научных конференциях преподавателей и аспирантов ТГУ им. Г.Р. Державина «Державин-

ские чтения» (Тамбов, 2006-2008 гг., с 2008 г. имеет статус Всероссийской конференции).

Реализация и внедрение результатов работы. Работа проводилась в рамках приоритетного национального проекта «Образование» (Тамбов, ТГУ им. Г. Р. Державина, 2007-2008 гг.), а также в рамках совместного европейского проекта по программе TEMPUS TACIS «System Modernization of University Management» SMOOTH, UM_JEP-214217 (2005-2006 гг.).

Результаты работы внедрены в учебный процесс Тамбовского государственного университета им. Г.Р. Державина и производственный процесс ООО «КреоВектор».

Объем и структура работы. Диссертация включает в себя введение, 3 главы, заключение, список используемых источников из 101 наименования и приложения. Работа изложена на 130 страницах, содержит 55 рисунков и 8 таблиц.

СОДЕРЖАНИЕ РАБОТЫ

Во введении показана актуальность работы, ее научная новизна, теоретическая и практическая значимость. Приведена цель и поставлены задачи диссертационного исследования.

В первой главе «Методы моделирования и прогнозирования временных рядов. Возможности применения ИНС-моделей» приведены основные определения, проведен анализ литературных источников, позволивший сделать выводы, определяющие направления диссертационного исследования.

Под искусственной нейронной сетью будем понимать адекватную в некотором смысле компьютерную модель биологической нейронной сети, отличающуюся от аналога в количественном отношении, но использующую базовые принципы устройства прототипа. В математическом плане ИНС - это набор определенных процедур, хорошо известных в различных областях математики (теория графов, численные методы, методы аппроксимации, методы нелинейного программирования и др.), объединенных с помощью компьютерной программы; универсальный аппроксиматор для функций многих переменных.

Временным рядом будем называть последовательность упорядоченных во времени числовых показателей, характеризующих развитие изучаемого явления или процесса.

Под обучением ИНС-модели будем понимать целенаправленный процесс изменения значений весовых коэффициентов, повторяемый до тех пор, пока сеть не приобретет необходимые свойства.

В разделе 1.1 рассмотрен временной ряд как объект моделирования для статистических и нейросетевых методов, приведены требования к формированию временных рядов.

В разделе 1.2 рассмотрен биологический прототип (общие сведения о центральной нервной системе и объединении нервных клеток в нейрон-

ную сеть, возбуждение и торможение в центральной нервной системе), основные этапы истории развития теории ИНС, модели искусственного нейрона и алгоритмы обучения ИНС-моделей.

В разделе 1.3 проведен обзор существующих нейроэмуляторов с выявлением областей их применения, достоинств и недостатков.

В разделе 1.4 рассмотрены известные подходы, применяемые для формирования обучающих выборок для моделирования временных рядов с использованием ИНС.

Анализ нейросетевых методов моделирования временных рядов и их программных реализаций позволил выявить значительный недостаток -конструирование сети на структурном уровне всегда выполняется вручную пользователем. Для решения данной проблемы необходимы обоснование и разработка математической ИНС-модели, совмещающей формирование ИНС на структурном и параметрическом (обучение) уровнях.

Во второй главе «Математическая ИНС-модель временного ряда и ее оптимизация» поставлены задачи формирования оптимальных с точки зрения прогностической способности математических моделей для временных рядов на основе аппарата ИНС.

В разделе 2.1 рассмотрен порождающий объект и его временной ряд. Пусть объект, порождающий временной ряд, имеет следующую схему (рисунок 1). Будем считать, что размерность вектора входных координат такого объекта задана и равна п. Выходной величиной объекта является лишь одна координата - у. Отметим, что таким образом представим широкий класс объектов встречающихся в различных областях знаний.

Рисунок 1 - Схема порождающего объекта. х\,хг,...^сп- входные координаты объекта, у - выходная координата объекта

Будем считать заданными временные изменения х^/), х2(0, хл(0 на отрезке Математическая модель такого объекта в операторной

форме обычно имеет вид:

В простейшем случае свойства каналов такого объекта представляют собой обычные пропорциональные звенья с передаточными функциями1 \У\($)=к\, ]¥г{\))=к1,..., 1Уп(р)=к„. В других случаях передаточные функции каналов могут быть более сложными. Наиболее часто встречаются аперио-

(1)

1 Определение передаточной функции см , например, в книге Бесекерский В А , Попов Е П Теория систем автоматического регулирования М.: Наука, 1966

дические звенья первого и второго порядков с передаточными функциями

к к

W(p) = -■■ и W{p) = ~.-г-,-7, а также звено чистого запаздывания с

Тр + ] (Г,р + ])(Т2р + \)

передаточной функцией W(p) = e~p'. Здесь Т., Ти Т2, к, г - некоторые коэффициенты, зависящие от природы объекта.

Поэтому, в более общем случае, уравнение (1) может быть записано в виде:

y = f{x,t) = f(x„x2,...,x„,t). (2)

Поскольку обычно именно такая система и является порождающей для временного ряда, необходимо учитывать ее свойства при его анализе и прогнозировании. Главными из свойств, усложняющими прогнозирование значений ряда по его предыстории, являются: инерционность, запаздывание и наличие стохастической составляющей, связанной как с недостатком информации, так и с погрешностями измерений.

Временным рядом будем называть множество значений неко-

торой величины (соответствующей выходу порождающего объекта) в последовательные моменты времени, так что:

(3)

Учитывая, что обычно измерения значений у проводят с постоянным шагом h, т.е. /,=/0+Л-1, i = 1,2,..., ряд (3) может быть записан в виде:

Ь,}={Уо>У1'---Ум'У,'Уи1>---} (4)

В практически важных случаях число членов ряда известно - к, т. е.

\у}^{Уо>У2>--.Ук1 (5)

При прогнозировании временных рядов, порожденных указанным выше объектом, возможно возникновение следующих ситуаций:

- наблюдаемым является только ряд {у}; временные ряды fa }> fa }>•■>{•*„}, характеризующие входы объекта, не являются наблюдаемыми; в этом случае необходимо допустить, что вся информация от векторов fa}>fa}'-->fa,}> преобразованная объектом, содержится в векторе {у}; назовем задачу оптимального выбора структуры и настроек ИНС для моделирования и прогнозов данного временного ряда задачей 1;

- вектор^} и все векторы fa}>fa}>-->fa.} являются наблюдаемыми; назовем задачу оптимального выбора структуры и настроек ИНС для моделирования и прогнозов данного временного ряда задачей 2;

- наблюдаемыми является вектор {у} и часть векторов W>fa}v>fa}; в этом случае необходимо допустить, что вся информация от ненаблюдаемых входных векторов также содержится в векторе {у}; назовем задачу оптимального выбора структуры и настроек ИНС для моделирования и прогнозов данного временного ряда задачей 3.

В разделе 2.2 представлены ИНС-модели временных рядов различных типов. В соответствии с теоремами А.Н. Колмогорова2 о представимости функций нескольких переменных с помощью суперпозиций и сумм функций одного переменного, можно утверждать, что каждая непрерывная функция п переменных, заданная на единичном кубе п-мерного пространства, представима в виде:

где функции А?(и) непрерывны, а функции <Р^(хр),кроме того, еще и стандартны, т.е. не зависят от выбора функции / Так, например, функция 2-х переменных х\ и х2 может быть представлена в виде:

С точки зрения схемотехники ИНС уравнение (7) может быть представлено с помощью следующей ИНС-модели (рисунок 2).

Рисунок 2 - Представление функции двух переменных (7) в виде ИНС-модели. Число степеней свободы такой модели равно количеству синапти-ческих связей сети, т.е. в данном случае составляет 25

" Ко.'шогоров А И. О представлении непрерывных функций нескольких переменных суперпозициями непрерывных функций меньшего числа переменных//Докл АН СССР 1956 Т 108, № 1. С 179-182.

Колмогоров А И. О представлении непрерывных функций нескольких переменных в виде суперпозиции непрерывных функций одного переменного// Докл АН СССР. 1957. Т 114. № 5. С. 953-956. (Цит по книге Горбань А.Н , Россиев Д А Нейронные сети на персональном компьютере Новосибирск- Наука, 1996).

(6)

(7)

Р,

у

Для функции п переменных число синаптических связей, соответствующее формуле (6) и общему принципу схемотехники ИНС (рисунок 2), составит:

Р, = л-(2н + 1)+и-(2и+1)+2л + 1 = 4/г2 + 4/г + 1

(В)

Очевидно, что число строк в обучающей выборке должно быть не меньше числа степеней свободы. Учитывая, что число строк в обучающей выборке можно выразить как Р2= к - п - Л +1 (здесь к - общее число членов временного ряда, 1г - дальность прогноза по ИНС-модели, см. рисунок 3), получим, что должно удовлетворяться следующее неравенство:

Рх <Р2, 4п2 +4/1 + 1 <к-п-к + \г (9)

решением которого будет:

-5-,/25 +16(к-И) "1 --"-. л2 ='

-5 + ^25 + 1б(/с-/1)

(10)

Учитывая также, что должно выполняться п > 1, окончательно получим область допустимых значений для числа входов ИНС для задачи 1:

1 <п<-

-5 + 725 + 16(^-/0

(И)

Длина временного ряда

Число входов ИНС-модели, (") Дальность прогноза,(Л)

п п+И к

Рисунок 3 - Схема, связывающая длину временного ряда, число входов ИНС-модели, дальность прогноза с числом строк в обучающей выборке

При этом обучающая выборка для произвольного, заданного числа входов ИНС для задачи 1 может быть задана матрицами:

/ У, У 2 - Уп > ( \ Ул+Л+1

X = У 2 Уз •• У,,и У = > ■Уц+Л + 2

\Ук-п-Ы Ук-п-Ь*2 ' Ук-и*]) V л ,

При этом начальная структура3 сети ИНС-модели будет следующей: один слой из п входных нейронов, скрытый слой из и-(2/1 + 1) нейронов, реализующих преобразование в соответствии с функциями нейронов

3 Теорема А Н Колмогорова не дает информации о виде нелинейностей ИНС-модели, поэтому ее рекомендации, соответствующие уравнению (6), можно рассматривать лишь как начальную структуру сети, которая в дальнейшем будет усложняться по специальному алгоритму, описанному в следующих разделах

<Pq (xi>), скрытый слой из (2« + l) нейронов, реализующих преобразование в соответствии с функциями нейронов h (рисунок 2) и выходной слой, состоящий из одного нейрона. Эта структура сети в дальнейшем может быть усложнена в соответствии с алгоритмом, описанным в разделе 2.4.

Для определения оптимального числа входов ИНС - п для задачи 1 необходимо определить минимум функционала:

F{W[s(n)В = ||Д|| = ||Y"'W - Y"e'(w| = Jttk'M~y,r Wj -> nün . (13)

V 1=1 i' i "

Вектор w определяется структурой сети S, которая, в свою очередь, связана с числом ее входов п так, что имеется однозначное соответствие п и w(5). Поэтому вектор w\ зависящий от структуры сети и минимизирующий функционал (13), соответствует оптимальной ИНС-модели данного временного ряда {у} и может быть определен как:

w* = argmin F(w), (14)

«ей

где область Q характеризует возможные значения векторов весовых коэффициентов, соответствующих структурам сетей, для которых выполняется условие (11). Необходимо отметить, что для минимизации функционала (13) и поиска аргументов, соответствующих его минимуму (14), в исследовании используются хорошо развитые в настоящее время методы нелинейного программирования. После определения оптимальной ИНС-модели временного ряда {у} ее структура является также определенной, что позволяет говорить и о нахождении оптимального числа входов такой модели - п .На рисунке 3 показано, что количество обучающих векторов всегда будет меньше, чем размер исходного ряда на (n+h).

При рассмотрении множественных временных рядов необходимо рассчитать коэффициенты парной корреляции (15) для выявления необходимого смещения (16) при формировании обучающей выборки.

tx.Y^-Y.X^Y^H.n-k)

(15)

±Х;- ¿.Г, /(„-*)

Определим необходимый сдвиг:

Л = тах{г,,г2,..,г„} (16)

Тогда обучающая выборка с учетом временных сдвигов для решения задач 2 и 3 может быть задана матрицами:

ли-г,

х.

т.

Y =

Ух Ул.1

" у

Ук

В разделе 2.3 представлен обобщенный алгоритм построения ИНС-моделей временных рядов, учитывающий ситуации, представленные задачами 1-3.

В разделе 2.4 предложен алгоритм модификации структуры ИНС. Поскольку уравнение (6) не определяет в общем случае вид функций фи к, может оказаться, что структура ИНС-модели будет отличаться от структуры, предсказанной этой формулой. Указанное обстоятельство объясняется тем, что набор функций формальных нейронов, используемых обычно в программах-симуляторах ИНС, ограничен (как правило, это линейный сумматор, квадратичная, пороговая зависимости, сигмоид). В то же время, структура сети, предсказанная формулой (6), была бы возможна лишь в том случае, если бы вид нелинейностей функций ф и й можно было бы выбирать произвольно. Поэтому для реализации программного комплекса, предназначенного для моделирования временных рядов, необходим алгоритм выбора структуры сети при использовании заданного набора функций нейронов.

Алгоритм базируется на следующих феноменах обучения ИНС (рисунок 4). При добавлении нейронов в первый скрытый слой вначале наблюдается быстрое снижение невязки обучения, определяемой формулой 1 » ,

Е(у/) = - У,"") , где N - количество векторов в выборке, а затем ее

значение стабилизируется на некотором уровне £ост, при котором добавление новых нейронов не приводит к снижению этого значения (рисунок 4 а). Величина Е0„ в этом случае характеризует как степень несоответствия структуры сети структуре порождающего объекта (рисунок 1), так и погрешности эмпирических данных. При наращивании нового скрытого слоя (новых слоев, рисунок 4 Ь) вначале также наблюдается снижение Еост, значение которого впоследствии стабилизируется.

Число кейроноо в слое

а) Ъ)

Рисунок 4 - К методике выбора числа нейронов в скрытом слое и числа скрытых слоев

В данном случае величина Е0„ характеризует погрешность эмпирических данных в обучающей выборке. Анализ данных феноменов позволяет построить конструктивный алгоритм выбора структуры сети, блок-схема которого показана на рисунке 5.

13

s

о v;

a

0 я

Ul

1

ОТ

ta о я

2 P я о a

-a

о ■о

s

w

СП о

■a p

X Ж О

(^АЧАЛсР)

[ Задать число входов п, число выходов к; начальное число слоев 8=0: .

X

Задать лучшую невязку для нейрона Ве$1Еггог; лучшую невязку для слоя нейронов 1.ауегВез1Еггог.

Задать лучшую невязку нейронной сети NeiBestError, величину delta

i =0

NetBestError = LayerBestError

S =S+1

r='n-1 -1

(7) © LayerBest =BestErron

®——

у—10-1-ч

0-/ г=1.п($),1 \-

®-)-<7)

,_ 12 } _

Обучение сети по выбранному алгоритму, получение текущей Веэ1Еггог при использовании функции активации] подбираемого нейрона_

Запись полученных при данной антиаационной функции коэффициентов синаптических связей

Суть алгоритма заключается в постепенном наращивании числа скрытых слоев и нейронов в них до тех пор, пока ошибка обучения сети не перестанет уменьшаться.

В разделе 2.5 представлен вариант обучения ИНС-модели, учитывающий применение алгоритма модификации структуры ИНС.

В разделе 2.6 описаны методы фильтрации, используемые в работе для восстановления недостающей информации при предварительной обработке исходных данных.

В третьей главе «Программный комплекс для моделирования временных рядов и его апробация» приведена архитектура разработанного комплекса программ и описаны практические результаты его использования. Он разработан в среде Borland ® Turbo Delphi ® for Microsoft ® Windows ™ Copyright © 2005 Borland ® Software Corporation. Структура данного комплекса продиктована постановкой задачи и включает в себя программные реализации алгоритмов предварительных преобразований (применение методов фильтрации и формирование обучающих выборок) и нейросетевого моделирования.

В разделе 3.1 дано описание библиотек и алгоритмов, использованных для разработки программного комплекса. Здесь же приведено описание рядов исходных данных, которые использовали для проверки эффективности комплекса: температура воздуха и погодные явления в г. Тамбове, 2000-2005 гг., численность популяции креветки в Индийском океане, 1996-1998 гг., значения котировок на рынке Forex, 2003-2004 гг.

В разделе 3.2 показана архитектура программного комплекса. Он состоит из двух подсистем: подсистемы предварительной обработки данных в задачах прогнозирования временных рядов и подсистемы нейросетевого моделирования.

Подсистема предварительной обработки данных состоит из четырех компонент: 1) модуль формирования обучающей выборки для одиночных временных рядов; 2) модуль формирования обучающей выборки для множественных временных рядов; 3) модуль фильтрации; 4) модуль анализа обучающей выборки.

Модуль формирования обучающей выборки позволяет создавать последнюю для одиночных рядов с учетом требований, сформулированных во второй главе - задача 1.

С помощью модуля фильтрации производится удаление пропусков в исходном временном ряде. В программной реализации в качестве фильтров применены ортогональные вейвлеты (вейвлет Добеши) с использованием быстрого вейвлет-преобразования (алгоритм Малла). Поскольку модуль формирования обучающей выборки для одиночного временного ряда и модуль фильтрации объединены в одно программное решение, допустимо формирование выборки из исходного или преобразованного множества (по выбору пользователя). На данное программное решение получено свидетельство о государственной регистрации программы для ЭВМ [13].

Модуль формирования обучающей выборки для множественных временных рядов предназначен для формирования выборки с учетом задач, сформулированных во второй главе (задача 2 и задача 3).

Модуль анализа обучающей выборки предназначен для оценки качества ранее сформированной (вне данного программного комплекса) выборки. Оценка качества ведется-на основании выполнения основных требований к формированию обучающей выборки - принципов повторяемости и непротиворечивости.

Подсистема нейросетевого моделирования представлена эмулятором искусственной нейронной сети, в основу которого положена ИНС - многослойный персептрон, обучаемый по модифицированному алгоритму обратного распространения ошибки. Модификация состоит в дополнении алгоритма автоматической конфигурацией на этапе структурного синтеза, что позволяет получить адекватную ИНС-модель временного ряда с минимальными затратами времени.

В разделе 3.3 представлены результаты вычислительных экспериментов, показывающих эффективность ИНС-моделей временных рядов.

о Эмпирические данные, 1996-1998 гг 0 с 0 ° Эмпирические данйые после фильтрации (вегалет-преобраэованке), 1996-1997 гг ^ » >< Модель (обучение) -с Модель (прогноз)

Рисунок 6 - Корреляция эмпирических данных по плотности популяции креветки в Индийском океане и расчетов по ИНС-модели

Так, на рисунке 6 показан результат моделирования временного ряда, содержащего данные о популяции креветки в Индийском океане, с заданной дальностью прогноза Л=1, что соответствует реальной продолжительности в 10 суток. За счет выбора оптимальной структуры сети и параметрической идентификации ИНС-модели была достигнута средняя относительная погрешность обучения 0,03%, что позволило получить прогноз с погрешностью в 0,08%. Этот и другие примеры, приведенные в диссертационном исследовании, свидетельствуют об эффективности предложенных моделей, алгоритмов и программ.

В заключении приводятся основные результаты работы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

Анализ существующих математических моделей временных рядов позволил выявить недостатки, связанные с отсутствием в модели представлений о структуре и системе связей порождающего объекта, а также существенным субъективизмом при выборе типа и структуры самой модели. Указанные обстоятельства позволили сформулировать цель и задачи диссертационного исследования.

Разработаны математические модели временных рядов на базе аппарата искусственных нейронных сетей, отличающиеся от известных лучшей адаптируемостью к исходным данным за счет выбора оптимальной структуры сети, числа входов ИНС-модели и формирования обучающих выборок с учетом временных сдвигов и дальности прогноза.

Предложены алгоритмы использования ИНС-моделей для анализа и прогнозирования временных рядов различных типов (одиночных рядов, множественных связанных рядов, рядов с временными запаздываниями и инерционностью).

Разработан алгоритм формирования структуры ИНС-модели, базируемый на эмпирических зависимостях, связывающих погрешность обучения с количеством слоев ИНС и числом нейронов в слоях ИНС-модели.

В ходе вычислительных экспериментов продемонстрирована эффективность предложенных ИНС-моделей, алгоритмов и программ для реальных временных рядов из различных областей знаний: метеорологии, биологии и экономической сферы.

Основные положения диссертационной работы изложены в публикациях

Статьи в журналах, рекомендованных ВАК для публикации результатов диссертаций на соискание ученой степени доктора и кандидата наук:

1 Козадаев, A.C. Прогнозирование временных рядов с помощью аппарата искусственных нейронных сетей. Краткосрочный прогноз температуры воздуха / A.C. Козадаев, A.A. Арзамасцев // Вестн. Тамб. ун-та. Сер. Естеств. и техн. науки. - Тамбов, 2006. - Т. 11. - Вып. 3. - С. 299-304.

2 Козадаев, A.C. Прогнозирование численности популяции креветки в открытой системе с помощью искусственных нейронных сетей / A.A. Арзамасцев, A.C. Козадаев // Вестн. Тамб. ун-та. Сер. Естеств. и техн. науки. - Тамбов, 2005. - Т. 10. - Вып. 2. - С. 187-192.

Другие издания:

3 Козадаев, A.C. Изучение временных рядов на примере прогнозирования температуры окружающей среды с помощью аппарата искусственных нейронных сетей / A.C. Козадаев // XI Державинские чтения: науч. конф. преподавателей и сотрудников, посвящ. 75-летию ИМФИ ТГУ им. Г.Р. Державина: тез. докл., 3 февр. 2006 г. /под общ. ред. проф. Ю.И. Головина, A.A. Арзамасцева, А.И. Булгакова, В.Ф. Молчанова, В.А. Федорова, М.С. Чвановой. - Тамбов: ИМФИ ТГУ им. Г.Р. Державина, 2005. - С. 7275.

4 Козадаев, A.C. Методика определения качества обучающей выборки для искусственных нейронных сетей в задачах прогнозирования временных рядов / A.C. Козадаев // Аспирант и соискатель. - М., 2008. - № 2. -С. 175-180.

5 Козадаев, A.C. Предварительная обработка данных для искусственных нейронных сетей в задачах прогнозирования временных рядов. Вейвлет преобразование / A.C. Козадаев // Вестн. Тамб. ун-та. Сер. Естеств. и техн. науки. - Тамбов, 2008.-Т. 13.-Вып. 1.-С. 98-99.

6 Козадаев, A.C. Предварительная оценка качества обучающей выборки для искусственных нейронных сетей в задачах прогнозирования временных рядов / A.C. Козадаев // Вестн. Тамб. ун-та. Сер. Естеств. и техн. науки. - Тамбов, 2008. - Т. 13. - Вып. 1. - С. 99-100.

7 Козадаев, A.C. Принципы реализаций искусственной нейронной сети / A.C. Козадаев // Вестн. Тамб. ун-та. Сер. Естеств. и техн. науки. -Тамбов, 2007.-Т. 12.-Вып. 1.-С. 108-110.

8 Козадаев, A.C. Прогнозирование временных рядов с помощью аппарата искусственных нейронных сетей / A.C. Козадаев // Инновационные технологии обучения: проблемы и перспективы: сб. науч. тр. Всерос. на-уч.-метод, конф., Липецк, 29-30 марта 2008 г. - Липецк: ЛГПУ, 2008. -С. 120-123.

9 Козадаев, A.C. Современные проблемы понимания искусственных нейронных сетей / A.C. Козадаев // Инновационные технологии обучения: проблемы и перспективы: сб. науч. тр. Всерос. науч.-метод, конф., Липецк, 29-30 марта 2008 г. - Липецк: ЛГПУ, 2008. - С. 123-124.

10 Козадаев, A.C. Специализированная модель искусственной нейронной сети в задачах прогнозирования временных рядов / A.C. Козадаев // Исследование, разработка и применение высоких технологий в промышленности: сб. пятой Междунар. науч.-практ. конф., С.-Петербург, 28-30 апр. 2008 г. - СПб., 2008. - С. 82-84.

11 Козадаев, A.C. Трансформация данных в задачах прогнозирования временных рядов с помощью аппарата искусственных нейронных сетей / A.C. Козадаев // Актуальные проблемы информатики и информационных технологий: сб. XII Междунар. науч.-практ. конф., Тамбов, 4-5 сент. 2008 г. - Тамбов: ТГУ им. Г.Р. Державина, 2008. - С. 117-118.

12 Козадаев, A.C. Моделирование биосферных процессов на основе искусственных нейронных сетей / A.A. Арзамасцев, A.C. Козадаев // Математические методы в экологии: сб. третьей Всерос. науч. школы молодых ученых, Петрозаводск, 24-29 авг. 2008 г. - Петрозаводск, 2008. -С. 32-35.

13 Свидетельство о государственной регистрации программы для ЭВМ 2008611022 Российская Федерация. Программа вейвлет-анализа и предварительной обработки данных для обучения искусственной нейронной сети / A.C. Козадаев, A.A. Арзамасцев. (RU); правообладатели A.C. Козадаев, A.A. Арзамасцев. №2008611022; заявл. 28.12.07; зарегистрировано в реестре программ для ЭВМ 26.02.08. - 1 с.

Подписано в печать 13.11.2008 г. Формат 60x84/16. Гарнитура Times NR. Объем 1,0 усл. п. л. Тираж 100 экз. Заказ № 1155. Оригинал-макет подготовлен и тиражирован в Издательском доме Тамбовского государственного университета имени Г.Р. Державина. 392008, г. Тамбов, ул. Советская, 181г.

ПЕРЕЧЕНЬ УСЛОВНЫХ ОБОЗНАЧЕНИЙ

ВВЕДЕНИЕ

1 МЕТОДЫ МОДЕЛИРОВАНИЯ И ПРОГНОЗИРОВАНИЯ ВРЕМЕННЫХ РЯДОВ. ВОЗМОЖНОСТЬ ПРИМЕНЕНИЯ ИНС-МОДЕЛЕЙ

1.1 Временной ряд как объект математического моделирования

1.1.1 Основные понятия и определения

1.1.2 Традиционные методы в задачах моделирования временных рядов.

1.1.3 Искусственные нейронные сети в задачах моделирования временных рядов.,.

1.2 Модели искусственных нейронных сетей.

1.2.1 Биологический прототип

1.2.2 Модели искуственного нейрона.

1.2.3 Обучение искусственных нейронных сетей.

1.3 Обзор существующих нейроэмуляторов.

1.4 Формирование обучающей выборки в задачах нейросетевого моделирования временных рядов.

1.5 Выводы по главе 1 и постановка задачи диссертационного исследования.

2 МАТЕМАТИЧЕСКАЯ ИНС-МОДЕЛЬ ВРЕМЕННОГО РЯДА И ЕЕ ОПТИМИЗАЦИЯ

2.1 Порождающий объект и его временной ряд.

2.2 ИНС-модели временных рядов.

2.3 Обобщенный алгоритм построения ИНС-моделей временных рядов

2.4 Алгоритм модификации структуры ИНС.

2.5 Алгоритм обучения.

2.6 Обучающая выборка и ее оптимизация

2.7 Выводы по главе 2.

3 ПРОГРАММНЫЙ КОМПЛЕКС ДЛЯ МОДЕЛИРОВАНИЯ ВРЕМЕННЫХ РЯДОВ И ЕГО АПРОБАЦИЯ

3.1 Алгоритмы и методы.

3.2 Программный комплекс для моделирования временных рядов на основе аппарата ИНС.

3.2.1 Архитектура программного комплекса для моделирования и прогнозирования временных рядов.

3.2.2 Разработка графического интерфейса пользователя

3.2.3 Подсистема предварительной обработки данных

3.2.4 Подсистема нейросетевого моделирования.

3.3 Вычислительные эксперименты.

3.3.1 Моделирование одиночных временных рядов.

3.3.2 Моделирование множественного ряда.

3.3.3 Моделирование множественного ряда (неполный)

3.4 Выводы по главе 3.

Актуальность темы. Задачи прогнозирования временных рядов на основе математических моделей возникают в различных областях: естественных и технических науках, экономической сфере, социологических и других исследованиях.

Наиболее часто для решения указанных проблем используются методы математической статистики и различные типы авторегрессионных моделей.

Недостатками таких методов являются:

- отсутствие в модели представлений о структуре и системе связей реального объекта, что вносит субъективизм в выбор как самой модели, так и ее структуры;

- трудность построения моделей при условии, что данные хранятся в разных временных рядах и (или) имеют временные сдвиги относительно ДРУГ друга;

- недостаточная точность прогноза; значительная чувствительность получаемых результатов к недостатку информации и (или) ее зашумленности;

- потребность в высокой квалификации математиков-программистов;

- зависимость результата прогноза от квалификации аналитика в конкретной предметной области.

Указанные недостатки приводят к необходимости постановки и решения научной задачи, которая заключается в разработке новых математических моделей на основе систем искусственного интеллекта, алгоритмов и специализированного программного обеспечения, повышающих надежность и точность прогнозов, способных работать в условиях недостатка информации и (или) ее зашумленности, позволяющих получить результат за короткое время (что особенно важно для задач оперативного управления [69]). Программные реализации данных алгоритмов должны иметь дружественный интерфейс для пользователя, позволять специалисту конкретной предметной области моделировать процесс самостоятельно, без участия специалиста-математика.

Одним из методов решения научной задачи является применение для прогнозирования временных рядов математических моделей, основанных на использовании аппарата искусственных нейронных сетей (ИНС) [8], включающего в себя развитую методологию структурного моделирования и методов обучения, базируемых на хорошо развитой теории нелинейного программирования. Однако использование ИНС для решения задач прогнозирования временных рядов до настоящего времени развито в недостаточной степени.

По этой причине следует считать актуальной тему научного исследования, направленную на разработку специализированных ИНС-м одел ей, соответствующих алгоритмов и программного комплекса, предназначенных для решения задач анализа и прогнозирования временных рядов.

Объект исследования. Объектом исследования являются временные ряды.

Предметом исследования являются ИНС-модели временных рядов различных типов.

Цель исследования. Целью данной работы является повышение эффективности анализа и прогноза временных рядов на основе ИНС-моделей.

Задачи исследования. Данная цель потребовала решения следующих задач: анализа существующих методологических приемов прогнозирования временных рядов на основе математических моделей, их достоинств и недостатков; разработки ИНС-моделей временных рядов с лучшей адаптируемостью к эмпирическим данным;

- разработки алгоритмов формирования структур ИНС-моделей;

- разработки программного комплекса, реализующего модели и алгоритмы на ПЭВМ и предлагающего удобный интерфейс для пользователей;

- проведения вычислительных экспериментов, подтверждающих эффективность используемых моделей, алгоритмов и программ.

Методы исследования. Выполненные исследования базируются на использовании методов математического и компьютерного моделирования, искусственного интеллекта, теории графов и математического программирования.

Положения, выносимые на защиту. На защиту выносятся следующие основные положения:

- математические модели временных рядов на основе аппарата искусственных нейронных сетей;

- алгоритмы использования ИНС-моделей в задачах исследования и прогнозирования временных рядов;

- алгоритмы формирования обучающих выборок для ИНС-моделей для временных рядов различных типов (одиночных, множественных, множественных со смещением);

- комплекс программ и результаты вычислительных экспериментов, подтверждающих эффективность разработанных моделей, алгоритмов и программ.

Научная новизна работы:

- математические модели временных рядов на базе аппарата искусственных нейронных сетей, отличающиеся от известных лучшей адаптируемостью к исходным данным за счет выбора оптимальной структуры сети, числа входов ИНС-модели и формирования обучающих выборок с учетом временных сдвигов и дальности прогноза;

- алгоритмы использования ИНС-моделей для анализа и прогнозирования временных рядов различных типов (одиночных рядов, множественных связанных рядов, рядов с временными запаздываниями и инерционностью);

- алгоритм формирования структуры искусственной нейронной сети, базируемый на феноменах ее обучения, связывающих погрешность обучения ИНС-модели с количеством слоев и числом нейронов в слоях, и позволяющий наращивать структуру сети от минимальной до оптимальной.

Достоверность и обоснованность научных результатов и выводов основана на корректности постановок задач и используемого математического аппарата, адекватности математических моделей и соответствии результатов вычислительных экспериментов реальным данным, а также существующим в науке закономерностям и представлениям.

Практическая значимость. Разработан специализированный программный комплекс, позволяющий осуществлять: формирование обучающих выборок на основе имеющихся временных рядов, их предварительный анализ и коррекцию; формирование и оптимизацию структуры ИНС-модели и ее обучение; анализ и прогнозирование временных рядов на основе ИНС-моделей.

Комплекс имеет дружественный интерфейс и может быть использован для анализа и прогнозирования в различных областях науки и техники.

Программный комплекс, модели и алгоритмы используются в учебных курсах «Математическое и компьютерное моделирование», «Анализ данных на ПК», «Искусственный интеллект и распознавание образов» при обучении студентов специальности 010501 - «Прикладная математика и информатика» в Тамбовском государственном университете им. Г.Р. Дер-жавина, для подготовки магистерских программ по аналогичному направлению, а также в курсовом и дипломном проектировании.

Публикация результатов. По результатам диссертации опубликовано 13 печатных работ, из них 6 статей (2 статьи в издании из Перечня ВАК для публикации научных результатов диссертаций на соискание ученой степени доктора и кандидата наук), 6 тезисов докладов в материалах Международных, Всероссийских и внутривузовских конференций, 1 свидетельство о государственной регистрации программы для ЭВМ. Четыре работы выполнены в соавторстве. Личный вклад соавтора (научного руководителя) заключался в постановке задач и общем руководстве.

Апробация работы. Основные результаты диссертации обсуждались на V Международной научно-практической конференции «Исследование, разработка и применение высоких технологий в промышленности» (Санкт-Петербург, 2008), XII Международной научно-практической конференции «Актуальные проблемы информатики и информационных технологий» (Тамбов, 2008), III Всероссийской научной школе молодых ученых «Математические методы в экологии» (Петрозаводск, 2008), Всероссийской научно-методической конференции «Инновационные техно-логии обучения: проблемы и перспективы» (Липецк, 2008), научных конференциях преподавателей и аспирантов ТГУ им. Г.Р. Державина «Державинские чтения» (Тамбов, 2006-2008 гг., с 2008 г. имеет статус Всероссийской конференции).

Реализация и внедрение результатов работы. Работа проводилась в рамках приоритетного национального проекта «Образование» (Тамбов, ТГУ им. Г. Р. Державина, 2007-2008 гг.), а также в рамках совместного европейского проекта по программе ТЕМ-PUS TACIS «System Modernization of University Management» SMOOTH,

UMJEP-214217 (2005-2006 гг.).

Результаты работы внедрены в учебный процесс Тамбовского государственного университета им. Г.Р. Державина и производственный процесс ООО «КреоВектор».

Объем и структура работы. Диссертация включает в себя введение, 3 главы, заключение, список используемых источников из 101 наименования и приложения. Работа изложена на 130 страницах, содержит 55 рисунков и 8 таблиц.

Основные результаты диссертационной работы:

1 Анализ существующих математических моделей временных рядов позволил выявить недостатки, связанные с отсутствием в модели представлений о структуре и системе связей порождающего объекта, а также существенным субъективизмом при выборе типа и структуры самой модели. Указанные обстоятельства позволили сформулировать цель и задачи диссертационного исследования.

2 Разработаны математические модели временных рядов на базе аппарата искусственных нейронных сетей, отличающиеся от известных лучшей адаптируемостью к исходным данным за счет выбора оптимальной структуры сети, числа входов ИНС-модели и формирования обучающих выборок с учетом временных сдвигов и дальности прогноза.

3 Предложены алгоритмы использования ИНС-моделей для анализа и прогнозирования временных рядов различных типов (одиночных рядов, множественных связанных рядов, рядов с временными запаздываниями и инерционностью).

4 Разработан алгоритм формирования структуры ИНС-модели, базируемый на эмпирических зависимостях, связывающих погрешность обучения с количеством слоев ИНС и числом нейронов в слоях ИНС-модели.

5 В ходе вычислительных экспериментов продемонстрирована эффективность предложенных ИНС-моделей, алгоритмов и программ для реальных временных рядов из различных областей знаний: метеорологии, биологии и экономической сферы.

ЗАКЛЮЧЕНИЕ

1. Абакумов, А.И. Методология математического моделирования природных и экономических систем / А.И. Абакумов // Труды Дальрыбвтуза (ТУ). Владивосток, 1996. - Вып. 7. - С. 11-16.

2. Андрейчиков, А.В. Интеллектуальные информационные системы: учебник / А.В. Андрейчиков. М.: Финансы и статистика, 2006. -424 е.: ил.

3. Арнольд, В.И. О представлении функций нескольких переменных в виде суперпозиции функций меньшего числа переменных / В.И.Арнольд // Мат. просвещение. 1958. - Вып. 3. - С. 41-61.

4. Архангельский, А.Я Программирование в Delphi 6 / А.Я.Архангельский. М.: БИНОМ, 2001. - 1120 е.: ил.

5. Архангельский, А.Я. Delphi 2006: яз. Delhi, классы, функции Win32 и .NET: справ, пособие / А.Я. Архангельский. М.: Бином-Пресс, 2006.- 1152 е.: ил.

6. Архангельский, А.Я. Object Pascal в Delphi / А.Я. Архангельский. -М.: БИНОМ, 2002. 384 е.: ил.

7. Астафьева, Н.М. Вейвлет-анализ: основы теории и примеры применения / Н.М. Астафьева // Успехи физ. наук. 1996. - Т. 166, № 11. - С. 1145-1170.

8. Бакнелл, Д.М. Фундаментальные алгоритмы и структуры данных в Delphi: пер. с англ. / Д.М. Бакнелл. СПб.: ДиаСофтЮП, 2003.560 с.

9. Бахвалов, Н.С. Численные методы / Н.С. Бахвалов, Н.П. Жидков, Г.М. Кобельников. 4-е изд. - М:. БИНОМ. Лаборатория знаний, 2006.- 636 е.: ил.

10. Бесекерский, В.А.Теория систем автоматического регулирования / В.А. Бесекерский, Е.П Попов. М.: Наука, 1972. - 760 с.

11. Благодатских, В.А. Стандартизация разработки программных средств: учеб. пособие / В.А. Благодатских, В.А. Волнин, К.Ф.Поскакалов; под ред. О.С. Разумова. М.: Финансы и статистика, 2006. - 288 е.: ил.

12. Бокс, Дж. Анализ временных рядов. Прогноз и управление / Дж.Бокс, Г.Дженкинс. М.: Мир, 1974. - 406 с.

13. Боровский, А.Н. Программирование в Delphi 2005 /А.Н. Боровский. -СПб.: БХВ Петербург, 2005. - 448 е.: ил.

14. Брауде, Э. Технология разработки программного обеспечения / Э.Брауде. СПб.: Питер, 2004. - 655 е.: ил.

15. Бриллинждер, Д. Временные ряды / Д. Бриллинджер. М.: Мир, 1980. - 536 с.

16. Вагин, В.Н. Достоверный и правдоподобный вывод в интеллектуальных системах / В.Н. Вагип; под ред. Д.А. Поспелова. М.: ФИЗМАТЛИТ, 2004. - 704 с.

17. Вапник, В.Н. Теория распознавания образов: (стат. проблемы обучения) / В.Н. Вапник, А.Я. Червоненкис. М.: Наука, 1974. - 416 с.

18. Вирт, Н. Алгоритмы и структуры данных / Н. Вирт. М.: Мир, 1989. - 360 с.

19. Горбань, А.Н. Обучение нейронных сетей / А.Н.Горбань. М.: ПараГраф, 1990. - 160 с.

20. Горбань, А.Н. Существуют ли функции многих переменных, которые нельзя представить с помощью функции одного переменного? / А.Н.Горбань // Соросов, образоват. журн. 1998. - № 12. - С. 105112.

21. Горбань, А.Н. Нейронные сети на персональном компьютере /

22. A.Н.Горбань, Д.А. Россиев. Новосибирск: Наука. Сибир. отд-ние, 1996. - 276 с.

23. Гофман, В.Э. Delphi 6 / В.Э. Гофман, А.Д. Хомоненко. СПб.: ИРМ-Саикт-Петербург, 2001. - 1152 с.

24. Дарахвелидзе, П.Г. Программирвоание в Delphi 7 / П.Г.Дарахвелидзе, Е.П.Марков. СПб.: БХВ-Петербург, 2003. - 784 е.: ил.

25. Дарахвелидзе, П.Г. Delphi 2005 для Win32/ П.Г.Дарахвелидзе, Е.П.Марков. СПб.: БХВ-Петербург, 2005. - 1136 е.: ил.

26. Добеши, И. Десять лекций по вевлетам / И. Добепти. Ижевск: Регуляр. и хаот. динамика, 2001. - 464 с.

27. Домбровский, Ю.А. Обзор методов моделирования рыбных популяций и сообществ: прил. к ихтиофауне Азов, моря / Ю.А. Домбровский, Ю.В. Тютюнов, Н.И. Опущенко. М., 1986. - 83 с. - Деп. в ВИНИТИ, № 2841-В86.

28. Дремин, И.М. Вейвлеты и их использование / И.М. Дремин, О.В.Иванов, В.А. Нечитайло // Успехи физ. наук. 2001. - Т. 171, № 5. - С. 465-501.

29. Дьяконов, В.П. Энциклопедия Mathcad 2001i и Mathcad 11 /

30. B.П.Дьяконов. М.: СОЛОН-Пресс, 2004. - 832 е.: ил.

31. Емельянов, А.А. Имитационное моделирование экономических процессов: учеб. пособие / А.А. Емельянов, Е.А. Власова, Р.В. Дума. -Изд. 2-е, перераб. и доп. М.: Финансы и статистика, 2006. - 416 с.

32. Заенцев, И. В. Нейронные сети: основные модели: учеб. пособие к курсу «Нейрон, сети» / И.В. Заенцев. Воронеж: Воронежский государственный университет, 1999. - 76 с.

33. Кафаров, В.В. Математическое моделирование основных процессов химических производств: учеб. пособие для вузов / В.В Кафаров, М.Б.Глебов. М.: Высш. шк, 1991. - 400с.: ил.

34. Козадаев, А.С. Методика определения качества обучающей выборки для искусственных нейронных сетей в задачах прогнозирования временных рядов / А.С. Козадаев // Аспирант и соискатель. 2008. - № 2. - С. 175-180.

35. Козадаев, А.С. Предварительная обработка данных для искусственных нейронных сетей в задачах прогнозирования временных рядов. Вейвлет преобразование / А.С. Козадаев // Вести. Тамб. ун-та. Сер. Естеств. и техн. науки. 2008. - Т. 13, вып. 1. - С. 98-99.

36. Козадаев, А.С. Предварительная оценка качества обучающей выборки для искусственных нейронных сетей в задачах прогнозирования временных рядов / А.С. Козадаев // Вестн. Тамб. ун-та. Сер. Естеств. и техн. науки. 2008. - Т. 13, вып. 1. - С. 99-100.

37. Козадаев, А.С. Принципы реализаций искусственной нейронной сети / А.С. Козадаев // Вестн. Тамб. ун-та. Сер. Естеств. и техн. науки. -2007. Т. 12, вып. 1. - С. 108-110.

38. Козадаев, А.С. Прогнозирование численности популяции креветки в открытой системе с помощью искусственных нейронных сетей / А.А.Арзамасцев, А.С. Козадаев // Вестн. Тамб. ун-та. Сер. Естеств. и техн. пауки. 2005. - Т. 10, вып. 2. - С. 187-192.

39. Козадаев, А.С. Современные проблемы понимания искусственных нейронных сетей / А.С. Козадаев // Инновационные технологии обучения: проблемы и перспективы: сб. науч. тр. Всерос. науч.-метод. конф., 29-30 марта 2008 г. Липецк: ЛГПУ, 2008. - С. 123-124.

40. Колмогоров, А.Н. О представлении непрерывных функций нескольких переменных суперпозициями непрерывных функций меньшего числа переменных / А.Н. Колмогоров // Доклад АН СССР. 1956. - Т. 108, № 2. - С. 179-182.

41. Колмогоров, А.Н. О представлении непрерывных функций нескольких переменных в виде суперпозиции непрерывных функций одного переменного / А.Н. Колмогоров // Доклад АН СССР. 1957.- Т. 114, № 5. С. 953-956.

42. Колмогоров, А.Н Элементы теории функций и функционального анализа / А.Н. Колмогоров, Фомин С.В. М.: Физматлит, 2004. -572 с.

43. Кормен, Т. X. Алгоритмы: построение и анализ: пер. с англ. / Т.Х.Кор-мен и др.. 2-е изд. - М.: Вильяме, 2005. - 1296 е.: ил.

44. Корн, Г. Справочник по математике: определения, теоремы, формулы: (для науч. работников и инженеров) / Г. Корн, Т. Корн. 6-е изд., стер. - СПб.: Лань, 2003. - 832 с.

45. Культин, Н.Б. Delphi 6. Программирование на Object Pascal / Н.Б.Культин. СПб.: БХВ-Петербург, 2001. - 528 с.

46. Кэпту, М. Delphi 2005. Для профессионалов / М. Кэнту. СПб.: Питер, 2006. - 912 с.

47. Лукашин, Ю.П. Адаптивные методы краткосрочного прогнозирования временных рядов: учеб. пособие / Ю.П. Лукашин.- М.: Финансы и статистика, 2003. 416 е.: ил.

48. Макконелл, Дж. Анализ алгоритмов: ввод, курс / Дж. Макконелл. -М.: Техносфера, 2002. 304 с.

49. Макконелл, Дж. Основы современных алгоритмов / Дж. Макконелл.- 2-е изд., доп. М.: Техносфера, 2004. - 368 с.

50. Мандел, Т. Дизайн интерфейсов: пер. с англ. / Т. Мандел. М.: LVR Пресс, 2005. - 416 е.: ил.

51. Марчук, Г.И. Методы вычислительной математики / Г.И. Марчук. -М.: Наука, 1989. 608 с.

52. Моделирование активных миграций пространственно распределенной популяции / В.Н. Говорухин и др. // Обозрение прикладной и промышленной математики. 1999. - Т. 6, вып. 2. - С. 271-295.

53. Нейроинформатика / А.Н.Горбань и др.. Новосибирск: Наука. Сибир. предприятие РАН, 1998. - 296 с.

54. Новиков, JI.B. Основы вейвлет-анализа сигналов: учеб. пособие / Л.В.Новиков. СПб.: Модус+, 1999. - 152 е.: ил.

55. Орлов, С.А. Технологии разработки программного обеспечения: учеб. для вузов / С.А. Орлов. 3-изд. - СПб.: Питер, 2004. - 527 е.: ил.

56. Осовский, С. Нейронные сети для обработки информации / С.Осов-ский; пер. с пол. И.Д. Рудинского. М.: Финансы и статистика, 2002.- 344 е.: ил.

57. Петров, А.А. Опыт математического моделирования экономики / А.А.Петров, И.Г.Поспелов, А.А. Шананин. М.: Энергоатомиздат, 1996. - 544 с.

58. Раскин, Дж. Интерфейс: новые направления в проектировании компьютерных систем / Дж. Раскин. М.: Символ-Плюс, 2005. - 272 с.

59. Ревич, Ю.В. Нестандартные приемы программирования на Delphi / Ю.В. Ревич. СПб.: БХВ-Петербург, 2005. - 560 е.: ил.

60. Реклейтис, Г. Оптимизация в технике: пер. с англ.: в 2 ки. / Г.Реклей-тис, А. Рейвидран, К. Рэгсдел. М.: Мир, 1986. - Кн. 1 345 е.: ил.

61. Реклейтис, Г. Оптимизация в технике: пер. с англ.: в 2 кп. / Г.Реклейтис, А. Рейвидран, К. Рэгсдел. М.: Мир, 1986. - Ки. 2 320 е.: ил.

62. Сенина, И.Н. Эвристическая модель миграционного цикла популяции тюльки Азовского моря / И.Н. Сенина, Ю.В. Тютюнов // Компьютерное моделирование. Экология / под.ред. Г.А.Угольниц-кого. М., 2004. - Вып. 2. - С. 92-100.

63. Сирота, А.А. Компьютерное моделирование сложных систем: учеб. пособие / А.А. Сирота. Воронеж: Изд-во Воронеж, гос. ун-та, 2006. - 248 с.

64. Спиди, К. Теория управления / К. Спиди, Р. Браун, Дж. Гудвин. -М.: Мир, 1973. 248 с.

65. Статистический анализ многомерных объектов произвольной природы / В.И. Васильев и др.. М.: ИКАР, 2004. - 382 с.

66. Стивене, P. Delphi. Готовые алгоритмы: пер. с англ. / Р. Стивене. -М.: ДМК Пресс, 2001 384 е.: ил.

67. Структуры данных и алгоритмы: учеб. пособие: пер. с англ. / А. Ахо и др.. М.: Вильяме, 2000. - 384 е.: ил.

68. Сухарев, М.В. Основы Delphi. Проффессиональный подход / М.В.Сухарев. СПб.: Наука и техника, 2004. - 600 с.

69. Тарасенко, Р.А. Предварительная оценка качества обучающей выборки для нейронных сетей в задачах прогнозирования временных рядов / Р.А. Тарасенко, В.А. Крисилов // Труды Одесского политехнического университета. Одесса, 2001. - Вып. 1 (13). - С. 90-93.

70. Уоррен, Г.С. Алгоритмические трюки для программистов: пер. с англ. / Г.С: Уоррен. М.: Вильяме, 2003. - 288 е.: ил.

71. Физиология человека / под ред. Г.И. Косицкого. 3-е изд., перераб. и доп. - М.: Медицина, 1985. - 544 е.: ил.

72. Фленов, М.Е. Библия Delphi / М.Е. Фленов. СПб.: БХВ-Петербург, 2004. - 880 е.: ил.

73. Фленов, М.Е. Delphi 2005. Секреты программирования / М.Е. Фленов.- СПб.: Питер, 2006. 266 е.: ил.

74. Хокинс, Дж. Об интеллекте: пер. с англ. / Дж.Хокинс, С. Блейксли.- М.: Вильяме, 2007. 240 е.: ил.

75. Уоссермэн, Ф. Нейрокомпьютерная техника / Ф.Уоссермэн М.: Мир, 1992. - 104 с.

76. Anil, K.J. Mohiuddin Artificial Neural Networks A Tutorial / K.J. Anil, K.M. Mao // Computer. 1996. - Vol. 29, № 3. - Pp. 31-44.

77. Mallat, S. A theory for multiresolutional signal decomposition: the wavelet representation / S. Mallat // Pattern Analysis and Machine Intelligence.- 1989. № 7. - Pp. 674-693.

78. McCulloch, W.S. A logical calculus of the ideas immanent in nervous activity / W.S. McCulloch, W. Pitts // Bull. Matn. Biophys. 1943. -№ 5. - P. 133.

79. Rumelhart, D.E. Learning internal reprentations by error propagation. In Parallel distributed processing / D.E. Rumelhart, G.E. Hinton, R.J.Williams. Cambridge: MA: MIT Press, 1986 - Pp. 318-362.1. Электронные ресурсы

80. Библиотека алгоритмов Электронный ресурс. Электрон, дан. -Режим доступа: http://www.alglib.net, свободный. - Загл. с экрана.

81. Болдырев, М. ТОРА-Центр Нейросети и анализ временных рядов Электронный ресурс. / М. Болдырев. Электрон, дан. - Режим доступа: http://www.tora-centre.ru/library/ns/neuro2.htm, свободный.- Загл. с экрана.

82. Вейвлст-преобразование Электронный ресурс. Электрон, дан. - Режим доступа: http://chaos.ssu.runnefc.ru/kafed-ra/eduwork/textbook/khovanovs-01/node25.html, свободный. -Загл. с экрана.

83. Курсы валют и котировки forex Электронный ресурс. Электрон, дан. - Режим доступа: http://www.dealingcity.ru/ru/news/ratesarchi-ve.htm, свободный. - Загл. с экрана.

84. Ляхов, А.Б. Сравнительный анализ математических методов подавления шума на поляризационных кривых Электронный ресурс. / А.Б. Ляхов. Электрон, дан. - Режим доступа: http://www.chem.msu.ru/rus/vmgu/016/424.pdf, свободный. - Загл. с экрана.

85. Метод скользящего окна / / Глоссарий BaseGroup Labs Электронный ресурс. - Электрон, дан. - Режим доступа: http://www.basegroup.ru/glossary/definitions/windowing/, свободный.- Загл. с экрана.

86. Набор библиотек низкоуровневых задач Электронный ресурс. -Электрон, дан. Режим доступа: http://www.alglib.net/translator/ap-lib.zip, свободный. - Загл. с экрана.

87. Нейронная сеть позволит посадить подбитый самолет // Проект «Космические новости» Электронный ресурс. Электрон, дан. -Режим доступа: http://news.cosmoport.eom/2002/08/06/5.htm, свободный. - Загл. с экрана.

88. Основы теории вейвлет-преобразования // BaseGroup Labs Электронный ресурс. Электрон, дан. - Режим доступа: http://www.basegroup.ru/library/cleaning/intro-to-wavelets/, свободный. - Загл. с экрана.

89. Остроухов, И. Нейросети: работа над ошибками Электронный ресурс. / И. Остроухов, П. Панфилов. Электрон, дан. - Режим доступа: http://www.toracentre.ru/library/iiscalp/spekulant02.htm, свободный. -Загл. с экрана.

90. Поликар, P. Iowa State University. Введение в вейвлет преобразование Электронный ресурс. / Р. Поликар. Электрон, дан. - Режим доступа: http://www.autex.spb.ru/download/wavelet/books/tutorial.pdf, свободный. - Загл. с экрана.