автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Разработка и исследование методов прогнозирования на основе SVM-моделей

На правах рукописи

Шумков Дмитрий Сергеевич

РАЗРАБОТКА И ИССЛЕДОВАНИЕ МЕТОДОВ ПРОГНОЗИРОВАНИЯ НА ОСНОВЕ вУМ-МОДЕЛЕЙ

Специальность 05.13.18 - Математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Санкт-Петербург 2009

003488543

Работа выполнена в государственном образовательном учреждении высшего профессионального образования «Марийский государственный технический университет».

Научный руководитель:

доктор технических наук, профессор Сидоркина Ирина Геннадьевна

Официальные оппоненты:

доктор технических наук, профессор Гатчин Юрий Арменакович

кандидат технических наук, доцент Лячек Юлий Теодосович

Ведущая организация:

Казанский государственный технический университет им. А.Н. Туполева

Защита диссертации состоится «23» декабря 2009 г. в 1530 часов на заседании диссертационного совета Д 212.227.06 при Санкт-Петербургском государственном университете информационных технологий, механики и оптики по адресу: 197101, г. Санкт-Петербург, пр. Кронверкский, д. 49

С диссертацией можно ознакомиться в библиотеке СПбГУ ИТМО. Автореферат разослан «23» ноября 2009 г.

Ученый секретарь диссертационного совета,

доктор технических наук, доцент

Лисицына Л. С.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Процессы, протекающие в технических, экономических, экологических системах, представляют собой объекты с большим количеством внутренних связей, которые находятся в постоянном взаимодействии друг с другом и могут рассматриваться в качестве динамических. Данные, накапливаемые при их изучении, могут представлять собой временные ряды, отражающие процесс развития системы. В связи с этим проблема разработки и совершенствования методов прогнозирования временных рядов, применяемых при изучении сложных динамических систем с целью повышения эффективности их функционирования, является актуальной.

Известные технологии прогнозирования, включающие сплайны и методы, основанные на декомпозиции в ортогональные системы, характеризуются тем, что при увеличении сложности исследуемой системы число используемых коэффициентов при обучении растет экспоненциально (феномен «проклятия размерности»), что значительно ограничивает область применения таких решений. При использовании нейронных сетей необходимо заранее выбрать ее архитектуру или иметь некоторый эвристический метод для ее изменения, однако, даже в этом случае сложно обосновать, что предложенная архитектура сети является оптимальной, так как всегда существует вероятность того, что при обучении сети будет найден локальный минимум.

Метод опорных векторов (SVM) свободен от перечисленных недостатков и позволяет получить уникальное решение при построении прогнозирующей модели. В рамках данного направления были достигнуты успехи в области прогнозирования сложных динамических систем. Большой вклад в развитие теоретических основ SVM внесли отечественные ученые: В. Вапник и А. Червоненкис. Вопросам усовершенствования и модификации работы SVM посвящены труды Б. Босера, И. Гуйона, К. Воронцова, Ю. Лифшица, Б. Шолькопфа, А. Смолы, К. Бишопа, М. Типпинга и др. Задачами оптимизации SVM занимаются В. Вапник, Дж. Платт, Э. Осуна.

На сегодняшний день являются актуальными задачи разработки и совершенствования методов и алгоритмов обучения и поиска входных параметров прогнозирующей модели SVM. Известные методы, применяемые для решения этого вопроса, такие как перекрестная проверка, «выборки с замещением» (bootstrap), методы, базирующиеся на оценке размерности Вапника-Червоненкиса, обладают рядом недостатков, свя-

занных как со скоростью их работы, так и с точностью найденных значений. Решение данных задач позволит повысить точность прогноза, т.е. уменьшить среднеквадратическую ошибку между реальными и прогнозными значениями и увеличить скорость обучения БУМ. Кроме того, для повышения качества и стабильности прогнозирования является необходимым исследование методов построения комбинированных прогнозов на основе использования различных БУМ-моделей.

Целью диссертационной работы является исследование и разработка методов повышения точности прогнозирования сложных динамических систем путем использования оригинальных методов обучения и подбора входных параметров БУМ-модели и построения комбинированных прогнозов.

В соответствии с поставленной целью в диссертационной работе решаются следующие задачи:

-анализ методов прогнозирования временных рядов с возможностью применения БУМ в процессе математического моделирования;

- исследование методов, применяемых при обучении и подборе входных параметров БУМ-модели, а также выявление их особенностей и недостатков;

- разработка метода обучения и подбора входных параметров БУМ, позволяющего увеличить скорость обучения модели и повысить точность прогноза;

- исследование методов оценки эффективности альтернативных БУМ-моделей;

-разработка и исследование методов повышения точности и стабильности прогнозирования временных рядов путем интеграции различных БУМ-моделей и построения комбинированных прогнозов;

- разработка программного обеспечения для прогнозирования временных рядов на основе БУМ с учетом поиска входных параметров модели и возможностью построения комбинированных прогнозов;

- апробация результатов исследования, проведение вычислительных экспериментов, подтверждающих эффективность предложенных методов и алгоритмов.

Объектом исследования являются физические, природные и промышленные процессы, протекающие в различных динамических системах и представленные в виде временных рядов.

Предметом исследования являются методы и алгоритмы поиска входных параметров БУМ-модели и построения комбинированных прогнозов, а также БУМ-модели временных рядов различных видов.

Методы исследования. Выполненные исследования базируются на использовании метода опорных векторов, теории вероятностей и математической статистики, теории нелинейных динамических систем и статистического обучения.

Положения, выносимые на защиту:

- метод обучения и подбора входных параметров БУМ-модели;

- критерий Е// для сравнения эффективности альтернативных БУМ-моделей;

- комбинированный метод прогнозирования на основе итеративного и прямого подходов.

Научная новнзна. В работе получены следующие новые научные результаты:

- разработан метод обучения и подбора входных параметров БУМ, отличающийся от известных тем, что позволяет учитывать текущее состояние динамической системы и требует меньшего времени обучения модели по сравнению с перекрестной проверкой, скользящим контролем и выборкой с замещением;

- предложен критерий Е// для сравнения эффективности альтернативных 5УМ-моделей, учитывающий одновременно как ошибку, так и сложность модели;

- предложен комбинированный метод прогнозирования, основанный на интеграции итеративного и прямого подходов, позволяющий снизить среднеквадратическую ошибку БУМ-модели на тестовых данных.

Достоверность и обоснованность научных результатов и выводов основаны на адекватности математических моделей, соответствии результатов вычислительных экспериментов реальным данным и подтверждены апробацией результатов диссертационной работы на научно-практических конференциях.

Практическая значимость. Разработаны специализированные алгоритмы обучения и подбора входных параметров БУМ-модели, построения комбинированных прогнозов. Данные алгоритмы были реализованы в программном обеспечении, позволяющем осуществлять: формирование обучающих выборок на основе имеющихся временных рядов, их предварительный анализ и коррекцию; формирование и оптимизацию входных параметров БУМ-модели и ее обучение; анализ и прогнозирование временных рядов на основе полученной модели.

С помощью разработанного программного обеспечения было проведено прогнозирование реальных и смоделированных временных рядов на основе построенных SVM-моделей вместе с их входными параметрами, основанных на теоретических (полигармонических и хаотических рядах) и реальных данных (процесса флуктуации лазера дальнего инфракрасного диапазона, потребления электроэнергии, колец деревьев).

Получены акты о внедрении результатов диссертационной работы в виде программной библиотеки SVM в Санкт-Петербургском филиале Учреждения Российской Академии Наук «Институт земного магнетизма, ионосферы и распространения радиоволн им. Н. В. Пушкова РАН», Марийском государственном техническом университете и ОАО «Инвестиционная компания «Земля-Инвест».

Публикация результатов. По результатам диссертации опубликовано 7 статей (1 статья в издании из Перечня ВАК для публикации научных результатов диссертаций на соискание ученой степени доктора и кандидата наук), получено 1 свидетельство о государственной регистрации программы для ЭВМ № 2009616227.

Апробация работы. Основные результаты диссертации обсуждались на Всероссийских научно-практических конференциях «Информационные технологии в профессиональной деятельности и научной работе» (Йошкар-Ола, 2007 и 2009), международной научно-технической конференции «Интеллектуальные системы» (AIS'07) и «Интеллектуальные САПР» (CAD-2007) (Дивноморск, 2007), конференции «Технологии Microsoft в теории и практике программирования» (Нижний Новгород, 2007).

Реализация и внедрение результатов работы. Результаты работы внедрены в учебный процесс Марийского государственного технического университета, Санкт-Петербургского филиала Учреждения Российской Академии Наук «Институт земного магнетизма, ионосферы и распространения радиоволн им. Н. В. Пушкова РАН» и производственный процесс ОАО «Инвестиционная компания «Земля-инвест».

Объем и структура работы, Диссертация включает в себя введение, 4 главы, заключение, список литературы из 133 наименований и 3 приложения. Работа изложена на МЗ страницах, содержит 57 рисунков и 20 таблиц.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы, определена цель и сформулированы решаемые в диссертации задачи, приведены новые научные положения, полученные в работе, показана их практическая ценность и представлены результаты апробации.

В первой главе проведен анализ известных методов прогнозирования временных рядов, выявлены их особенности и недостатки, связанные с поиском закономерностей при ограниченном количестве имеющихся наблюдений.

На практике типичны ситуации, когда основным источником информации о поведении объекта являются данные измерений скалярной или векторной величины х (наблюдаемой), проведенных в последовательные моменты времени. Такой набор данных называют временным рядом и обозначают

где х, =я(У(), = Ш, Д/- интервал выборки; N - длина выборки.

Создание моделей по экспериментальным временным рядам в математической статистике и теории автоматического управления получило название идентификации систем. При этом одним из критериев оптимальности считается модель, у которой сумма квадратов отклонений реальных л: и прогнозных х' значений будет минимальной, т.е. минимизируется функционал

Данный подход является частным случаем более общей задачи теории статистического обучения - минимизации эмпирической функции риска

где Ь(хпа) - функция потерь (риска); а - параметр из множества параметров Л.

Особенностью рассматриваемого подхода является то, что он позволяет получать достоверные результаты при большом количестве исходных данных (ЛГ-»со), а при ограниченном наборе не всегда является оптимальным. Предложенный В. Н. Вапником принцип минимизации структурной функции риска свободен от этого ограничения, потому как

учитывает качество аппроксимации по имеющимся данным и сложность аппроксимирующей функции. Данный подход реализован в методе опорных векторов (БУМ). Основная идея данного метода заключается в преобразовании входных данных X с помощью некоторого нелинейного отображения (функция ядра), выбранного априори, в пространство большей размерности т, где строится оптимальная разделяющая гиперплоскость.

Ввиду того, что метод чувствителен к используемым входным параметрам, например С (отношение между величиной эмпирической ошибки и сложностью модели), у (при выборе радиально-базисных функций в качестве ядра), то на сегодняшний день остро стоит задача разработки методов поиска значений этих параметров в зависимости от исходных данных. Такие методы, как перекрестная проверка, метод «скользящего контроля» вместе с использованием технологии «Решетка», являются чрезвычайно ресурсоемкими в вычислительном плане. Подход, основанный на асимптотически оптимальных значениях £, не учитывает количество исходных данных. Исследованные методы могут быть оптимизированы и улучшены за счет использования алгоритмов параллельной обработки и адаптации к имеющимся данным.

Анализ программных комплексов, реализующих БУМ, показал, что можно выделить два класса подобных систем: универсальные ^айзНса, \Veka и др.) и специализированные (ОрепБУМ, БУМ^М и др.). Особенностью первого класса является то, что они позволяют решать задачи классификации и регрессии, но не предоставляют возможности автоматического преобразования исходных данных и построения рекуррентных прогнозных моделей вида:

= /(,Х!-1 >Х1-М > ••■1Х1 ) > (1)

где I - размерность входного вектора.

Второй класс программного обеспечения характеризуется тем, что системы, входящие в его состав, либо представляют собой программные библиотеки без графического интерфейса и требуют интеграции в другие программные комплексы, либо требуют ручной настройки входных параметров БУМ-модели, что является недостатком и ограничивает их распространенность.

В работе также проведено исследование методов повышения точности прогноза БУМ путем использования комбинированных предикторов на основе ансамблей. Показано, что для решения задачи можно приме-

нить прогнозирующие функции с разной дальностью прогноза и провести объединение их результатов в один.

Таким образом, исследование и анализ существующих методов прогнозирования временных рядов на основе БУМ и их программных реализаций позволил выявить следующие недостатки:

- невозможность построения прогнозирующих рекуррентных моделей;

- сложность подбора входных параметров БУМ-модели.

Для устранения обнаруженных недостатков необходимо разработать новые или усовершенствовать известные методы и алгоритмы, а также с целью повышения точности прогноза использовать модели, основанные на построении ансамблей предикторов.

Во второй главе проведено исследование интервалов изменения и влияния на прогнозную модель основных входных параметров БУМ, предложен оригинальный метод их подбора, позволяющий увеличить скорость обучения 8УМ-модели.

Для метода опорных векторов выделяют две группы входных параметров: глобальные и специфичные для определенной функции ядра. К первой группе относятся параметры: С, характеризующий отношение между величиной эмпирической ошибки и сложностью модели, и е или и в зависимости от типа БУМ (е- ЯУМ или и - 5 КМ ).

Ниже приводятся различные функции ядра К и их параметры:

- ц , Ъ и <1: К(х,-,ху) = (//х,--х^- полиномиальная функция ядра;

- у : К(х;,х;) = ехр(-||х,-х7|| !у) - гауссовская функция ядра;

- т] и Ь: = шh(t]x¡xj+Ь) - сигмоидальная функция ядра.

Стоит отметить, что существует еще один важный параметр, который рассматривается в диссертационной работе, - это размерность входного вектора I, используемая в выражении (1). Исследование данной характеристики обусловлено тем, что недостаточная длина вектора не позволит уловить динамику исследуемого процесса, а чрезмерная приведет к увеличению сложности модели.

На рис. 1 показаны некоторые зависимости между значениями входных параметров (С, I и у), ошибкой на тестовых данных (Е) и сложностью БУМ-модели ( См).

Рис. 1. Зависимость ошибки на тестовых данных и сложности модели от значений входных параметров 8УМ

Предложенный метод обучения и подбора входных параметров вУМ-модели основан на поиске «похожих» паттернов (участков) в исходном временном ряду. Его особенностью является то, что он позволяет учитывать текущее состояние динамической системы. В отличие от известных методов, использующих в качестве тестовой области значения, взятые в конце временного ряда или случайно, в данном методе при построении прогнозной модели учитывается не только глобальная, но и локальная динамика исследуемого процесса.

В предложенном методе выделяются два этапа. Первый этап состоит в «грубой» оценке входных параметров близ оптимальных значений путем разбиения исходной выборки на п частей и в независимом обучении и тестировании БУМ-моделей при различных значениях оптимизируемого параметра (например, С). При этом остальные входные параметры остаются постоянными. Данный шаг позволяет идентифицировать несколько прогнозирующих моделей, отражающих глобальную динамику исследуемого процесса. Его особенностью, по сравнению с известным методом перекрестной проверки, является то, что значения оптимизируемого параметра на разных участках отличаются друг от друга. Для каждого участка высчитываются нормализованная средне-квадратическая ошибка Е и сложность модели См . Далее из полученного набора альтернативных 8УМ-моделей выбирается т наилучших с помощью критерия эффективности Е//, позволяющего сравнивать альтернативные модели в зависимости от ошибок, которые они дают на тестовых данных, и их сложности. Одной из особенностей данного метода является то, что он может быть легко реализован в алгоритмах параллельной обработки данных, потому что обучение осуществляется на различных участках с разными значениями входных параметров.

Второй этап связан с поиском такой SVM-модели, которая отражала бы не только глобальную динамику исследуемого процесса, но и учитывала бы локальную. Для этого тестирование модели проходит на тех участках временного ряда, которые имеют динамику, схожую с текущим состоянием. В этом заключается отличие от классического подхода, где в качестве тестовой выборки берутся значения в конце временного ряда или случайно. В качестве определения схожести двух участков временного ряда используется значение косинуса угла между двумя векторами х и у, т.к. каждый участок временного ряда может быть представлен в виде соответствующего вектора. Чем ближе оно к единице, тем векторы считаются более схожими. Результирующей моделью будет та, у которой нормализованная среднеквадратическая ошибка минимальна как на выборке, участвовавшей в обучении, так и на «похожем» участке.

Применение косинуса угла между векторами для выявления схожести участков между собой было обосновано тем, что известные оценки, применяемые для решения данной задачи и основанные на расстоянии векторов в евклидовом пространстве или корреляции Пирсона, обладают рядом недостатков, например неустойчивостью к выбросам.

При прогнозировании временных рядов эффективность прогнозной модели характеризуется ошибкой Е, которую она дает, и ее сложностью См . Это объясняется тем, что рассчитать точное значение ошибки обобщения невозможно, но при этом можно снизить ошибку обучения до нуля, используя очень сложную модель (феномен «переобучения»). С математической точки зрения, наиболее эффективной будет та модель, у которой значение следующего функционала будет минимально, т.е.

Eff = arg min /(£, Сл/),

где / - некоторая целевая функция (критерий), позволяющая оценить

эффективность модели.

Существуют следующие зависимости между ошибкой при обучении Еtrain и тестовой Е,а, (рис. 2), £,„, и сложностью модели См (рис. 3). В работе используется следующий расчет сложности модели

Г

N '

где Nsy - количество опорных векторов SVM-модели; N - общее количество векторов при обучении.

Сложность SVM-модели находится в диапазоне от 0 до 1. 'Etat Си

Рис. 2. Зависимость между ошибкой при обучении и ошибкой на тестовой выборке

Рис. 3. Зависимость между сложностью модели и ошибкой на тестовой выборке

В работе было проведено исследование известных критериев А1С и В1С, применяемых для сравнения эффективности различных моделей. В результате данного анализа было выявлено, что рассмотренные критерии не учитывают особенность БУМ-моделей, заключающуюся в том, что сложность модели См находится в определенном диапазоне, в связи с чем использование данных критериев в ряде случаев может давать неадекватную оценку эффективности модели. В качестве альтернативного решения был предложен следующий критерий .

Пусть имеются две альтернативные модели: М, и М2. Будем считать, что эффективность модели Л/, не меньше Мг, т.е. м > Мг, если выполняется следующее условие:

где Е - нормализованная среднеквадратическая ошибка; а1 - несмещенная дисперсия х; г - дальность прогнозирования.

Далее представлены результаты вычислительных экспериментов на модельных данных (полигармонические и хаотические ряды), доказана эффективность использования предложенных решений, а также даны оценки точности прогноза на основе предложенного метода подбора входных параметров БУМ-модели.

В качестве примера в табл. 1 представлены усредненные результаты работы прогнозирования по 30 независимым генерациям хаотического ряда Лоренца с количеством отсчетов // = 1200 и дальностью прогноза

г = 100.

Таблица 1

Результаты прогнозирования хаотического ряда Лоренца

Метод Время обучения Сложность См Ошибка Е

Перекрестная проверка 3,2 0,440 0,0053

Выборки с замещением 2,3 0,201 0,0055

Предложенный метод 1 0,440 0,0050

Согласно этим данным, предложенный метод позволяет добиться сравнимой точности прогноза за меньшее время обучения модели. В данном примере время обучения удалось сократить в 3,2 и 2,3 раза по сравнению с методом перекрестной проверки и выборок с замещением, соответственно, что доказывает эффективность предложенного решения.

В третьей главе обосновано использование методов повышения точности прогнозирования временных рядов на основе ансамблей предикторов. Предложен метод комбинированного прогнозирования на основе БУМ и представлен критерий, позволяющий определить целесообразность интеграции различных моделей для уменьшения ошибки прогноза.

Прогнозирование на несколько шагов вперед может быть представлено следующим образом:

(•*|+1> ■•■> -*1+т) ~ /(•*!-/> х1-м< —> -0> (2)

где г - дальность прогнозирования.

Для этого используются два подхода: итеративный (рекурсивный) и прямой (блочный). Существенным недостатком итеративного прогноза является его зависимость от предыдущих значений. Это связано с тем, что прогнозное и реальное значения могут отличаться друг от друга из-за наличия шумов в исходных данных. Тогда с каждой новой итерацией ошибка будет накапливаться и оказывать влияние на последующие вычисленные значения прогноза. При втором подходе мы в явном виде применяем формулу (2), т.е. используем функцию с несколькими выходами. Количество выходов соответствует параметру дальности прогнозирования г.

Исследование БУМ показало, что итеративный метод многошагового прогнозирования имеет меньшую ошибку при небольшом количестве шагов вперед по сравнению с прямым, а при значительном увеличении дальности прогнозирования т точность прямого метода превосходит итеративный.

Предложенный метод комбинированного прогнозирования временных рядов основан на объединении двух описанных выше подходов прогнозирования для получения более качественного прогноза на всем участке тестовых данных. Для этого строятся две альтернативные БУМ-модели: одна на основе итеративного подхода, другая — на основе прямого.

Расчет долгосрочного прогноза итеративным методом при работе БУМ реализуем, а прямое прогнозирование в явном виде невозможно ввиду того, что мы получаем только одно выходное значение. Для решения этой задачи необходимо воспользоваться следующим алгоритмом, а именно сначала необходимо построить несколько одношаговых прогнозов с различной дальностью прогнозирования. Формально это выглядит так:

х1+к ~ •••>'х»)

Хпт ~ fm\Xt~l> Х1 /+1' ■■■>Хг)

Затем эти результаты используются для прямого прогнозирования, т.е.

(Х1+к ' •••> Xl+m ) = (fk ' •"> fm ) .

Результаты итеративного и прямого прогнозирования объединяются для получения окончательного прогноза. С этой целью вводятся весовые коэффициенты /? для результатов каждого из методов, и уже с использованием этих коэффициентов синтезируется результирующий прогноз. В ходе экспериментов было доказано, что весовые коэффициенты для итеративного прогноза должны быть больше на начальных участках и уменьшаться по мере увеличения дальности прогнозирования. С другой стороны, коэффициенты прямого прогнозирования меньше в начале и возрастают с дальностью прогноза, т.е.

X'i+r ~ Pi UПег )/+r + 0 ~ Pi)Udirect )i+r > где /-■= 1 .. г, р е [0, \\,Pj > /?J+1.

В ходе исследования было также выявлено, что в некоторых случаях объединение прогнозов не позволит уменьшить общую ошибку, получаемую на основе комбинированного метода. С этой целью был введен критерий, позволяющий определить, нужно ли объединять прогнозы от итеративного и прямого методов или выбирать тот, который дает минимальную ошибку.

Обозначим ошибку итеративного метода как Еиеп а ошибку прямого метода - ЕЛгеа. Тогда объединение прогнозов уменьшит общую ошибку в случае, когда

к Ед

В результате исследования было выявлено, что значение к должно быть не больше двух.

На практике часто встречаются ряды нестационарной природы, т.е. такие, у которых статистические характеристики (математическое ожидание и дисперсия) могут меняться со временем. В таких случаях использование исходного временного ряда для обучения БУМ-модели может не дать возможности достижения приемлемой точности прогнозирования. Тогда для повышения качества прогноза предлагается использовать следующий алгоритм нормализации (рассмотрен вариант для прогнозирования на один шаг вперед):

1. Исходный временной ряд {х,, ..., хн} преобразуют к виду

(х„Л), где

Хм + Я, хы + XI хМ+\ + Х/

I - размерность входного вектора; N - количество отсчетов во временном ряду.

Таким образом, производится нормализация исходного ряда к относительным величинам на основе первого значения входного вектора .

2. Происходит обучение БУМ-модели на модифицированном ряде {((*м»Л+1)> ••■> (%'..>У)} > гДе »=1 - N',N' = N-1.

3. При прогнозировании значение у', полученное на выходе БУМ-модели, необходимо преобразовать к нормальному (ненормализованно-

1 + /,

му) виду по следующей формуле: у, ~ у,/---.

у)

В результате вычислительных экспериментов было выявлено, что данный вид нормализации позволяет значительно снизить ошибку (до 39%) на модельных временных рядах.

В четвертой главе представлена реализация предложенных методов и алгоритмов в разработанном программном обеспечении, а также описаны практические результаты его использования. Для проверки эффективности предложенных решений приведены результаты вычислительных экспериментов на реальных рядах различной природы (природные, промышленные и физические).

Архитектура программного комплекса включает подсистемы: 1) предварительной обработки данных; 2) БУМ прогнозирования временных рядов; 3) визуализации результатов вычислительных экспериментов.

Подсистема предварительной обработки данных состоит из двух компонентов:

1) модуль формирования обучающей выборки для одиночных временных рядов, необходимый для подготовки исходных данных с последующей обработкой. Пользователь может также задать диапазон, используемый для обучения БУМ-модели, если требуется ограничить или указать отдельный участок временного ряда;

2) модуль нормализации данных при прогнозировании рядов нестационарной природы.

Подсистема БУМ прогнозирования состоит из трех компонентов:

1) модуль расчета входных параметров БУМ-модели, позволяющий ускорить процесс обучения;

2) модуль прогнозирования, используемый для обучения и тестирования БУМ'Моделей при заданных пользователем или рассчитанных комплексом входных параметрах;

3) модуль интеграции двух различных прогнозов в один комбинированный.

Полученные результаты вычислительных экспериментов показывают эффективность БУМ-моделей временных рядов в совокупности с предложенными в работе методами и алгоритмами. В качестве первого примера рассмотрим результаты прогнозирования физического временного ряда, представленного процессом флуктуации лазера дальнего инфракрасного излучения (рис. 4 и 5), и сравним полученный прогноз с результатами других исследователей.

Рис. 4. Процесс флуктуации лазера Рис. 5. Результат прогноза

Согласно представленным результатам, предложенное в работе решение превосходит многие другие методы по точности прогнозирования, что доказывает его эффективность (табл. 2). Данный прогноз был достигнут с помощью БУМ-модели, имеющей следующие параметры: / = 18, С= 10000, у = 10000, е = 1.

Таблица 2

Сравнение методов прогнозирования процесса флуктуации лазера

Метод Ошибка £,%

Предложенный метод обучения и подбора входных параметров SVM-модели -

Kernel recursive least squares algorithm [Y. Engel] 17,12

Нейронная сеть [E. Wan] 22,97

Локальная регрессионная модель [G. Bontempi] 26,13

Нейронная сеть [M. Small] 197,30

Локальная линейная модель [Т. Sauer] 246,85

Векторное квантование [G. Dangelmayr ] 1012,61

SVM (полиномиальная функция ядра) [Н. Wendt ] 1170,27

Linear dynamical model in kernel space [L. Ralaivola] 4539,64

Примечание. Е означает, на сколько ошибка данного метода больше ошибки предложенного метода.

В качестве второго примера рассмотрим прогнозирование промышленного временного ряда - потребление электроэнергии (рис. 6). Его особенностью является нестационарность и присутствие трендов, что доказывает медленное убывание автокорреляционной функции. По оси X показаны временные отсчеты, по оси Y - значение потребления электроэнергии.

300 280 260 240 220 200 130 160 140

Результаты прогноза представлены на рис. 7 и в табл. 3.

0 100 200 300 400 500 600 700 800 800 1000

Рис. 6. Промышленный временной ряд потребления электроэнергии

650 В60 670 660 Б90 800 010 820 830

Рис. 7. Результат прогноза комбинированным методом

Таблица 3

Ошибка прогнозирования и сложность модели для различных методов

Метод Сложность См Ошибка Е

Итеративный 0,6947 1,4358

Прямой 0,9974 1,854

Комбинированный 1,6921 1,2256

АШМА - 2,6467

Для сравнения эффективности предложенного комбинированного метода было также проведено сравнение с известной АШМА-моделью. Согласно представленным результатам, применение комбинированного метода позволило уменьшить ошибку по сравнению с итеративным и прямым методами на 15% и 33%, соответственно. С другой стороны, точность АШМА-модели более чем в 2 раза уступает разработанному методу.

В заключении приводятся основные результаты работы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Разработан метод обучения и подбора входных параметров 8УМ, обеспечивающий адаптацию модели к исходным данным за счет выделения похожих участков и обучения на их основе. Это позволило учитывать как глобальную, так и локальную динамику исследуемых процессов (физических, природных, промышленных и модельных рядов). Время обучения модели сократилось в среднем в 3 раза для полигармонических и хаотических временных рядов.

2. Предложен критерий Е£[ для сравнения эффективности альтернативных БУМ-моделей, учитывающий в равной степени сложность модели и ошибку на тестовых данных. Выявлено, что известные критерии А1С и В1С не учитывают особенности 8УМ-моделей и поэтому в ряде случаев могут обеспечивать неоптимальный результат.

3. Разработан комбинированный метод повышения точности прогнозирования временных рядов на основе 8УМ, заключающийся в интеграции итеративного и прямого подходов. Применение данного метода позволило уменьшить значение нормализованной среднеквадратиче-ской ошибки на модельных и реальных временных рядах. Точность прогноза для промышленного временного ряда увеличилась в среднем на 24%. Сформулирован критерий, определяющий границы применимости предложенного комбинированного метода. Использование данного критерия дает возможность заранее определить целесообразность объеди-

нения итеративного и прямого методов с целью повышения точности прогнозирования.

4. Предложен алгоритм нормализации исходных данных, позволяющий уменьшить ошибку прогнозирования. На модельных данных значение нормализованной среднеквадратической ошибки уменьшилось на 39% по сравнению с исходным временным рядом.

5. Разработано программное обеспечение, реализующее предложенные методы и алгоритмы и позволяющее проводить подготовку исходных данных к последующей обработке, поиск входных параметров БУМ-модели, прогнозирование временных рядов и объединение результатов в один прогноз. В ходе вычислительных экспериментов продемонстрирована эффективность предложенных БУМ-моделей, алгоритмов и программ для модельных (полигармонических и хаотических) и реальных временных рядов из различных областей: промышленности, биологии и физики.

ОСНОВНЫЕ ПОЛОЖЕНИЯ ДИССЕРТАЦИОННОЙ РАБОТЫ ИЗЛОЖЕНЫ В ПУБЛИКАЦИЯХ

Статьи в журналах, рекомендованных ВАК для публикации результатов диссертаций на соискание ученой степени доктора и кандидата наук:

1. Шумков, Д. С. Метод прогнозирования временных рядов с использованием кусочно-линейной аппроксимации / Д. С. Шумков, И. Г. Сидоркина // Вестник Чувашского университета. - Чебоксары, 2008,-№2.-С. 199-203.

Другие издания:

2. Шумков, Д. С. Повышение точности прогнозирования БУМ на основе блочного и итеративного подхода / Д. С. Шумков // Всероссийская научно-практическая конференция «Информационные технологии в профессиональной деятельности и научной работе». - Йошкар-Ола: Марийский государственный технический университет, 2009. -С. 49-53.

3. Шумков, Д. С. Выбор «оптимальных» технических индикаторов для алгоритма прогнозирования временных рядов / Д. С. Шумков // Информационные технологии в профессиональной деятельности и научной работе: сборник материалов Всероссийской научно-практической конференции с международным участием. - Йошкар-Ола: Марийский государственный технический университет, 2007. - С. 136-140.

4. Шумков, Д. С. Технические индикаторы и деревья решений для алгоритма прогнозирования временных рядов / Д. С. Шумков // Труды Международных научно-технических конференций «Интеллектуальные системы» (AIS'07) и «Интеллектуальные САПР» (CAD-2007): в 4 т. -М.: Физматлит, 2007.-Т. 3.-С. 118-121.

5. Шумков, Д. С. Исследование индикаторов технического анализа для решения задачи прогнозирования временных рядов / Д. С. Шумков, Е. С. Кузнецов, И. Г. Сидоркина // Технологии Microsoft в теории и практике программирования: материалы конференции / под ред. проф. Р. Г. Стронгина. - Нижний Новгород: Изд-во Нижегородского госуниверситета, 2007. - С. 314-316.

6. Шумков, Д. С. Применение методов прогнозирования в решении задачи информационной безопасности / Д. С. Шумков, А. В. Егошин, Р. В. Казанцев, И. Г. Сидоркина // Материалы региональной научно-практической конференции студентов и молодых ученых. - Йошкар-Ола: Марийский государственный технический университет, 2007. -С. 261-264.

7. Шумков, Д. С. Философия информационной безопасности: прогнозирование событий на основе накопленной информации / Д. С. Шумков, А. В. Егошин, И. Г. Сидоркина // Материалы региональной научно-практической конференции студентов и молодых ученых. -Йошкар-Ола: Марийский государственный технический университет, 2007.-С. 257-261.

Усл. п. л. 1,0. Тираж 100 экз. Заказ № 4239.

Редакционно-издательский центр Марийского государственного технического университета 424006 Йошкар-Ола, ул. Панфилова, 17

Список математических обозначений.

Введение.

1. Исследование и анализ методов прогнозирования временных рядов.

1.1. Решение задачи прогнозирования временных рядов при ограниченном наборе данных.

1.2. Методы обучения и подбора входных параметров SVM-модели.

1.3. Особенности и недостатки программных средств на основе SVM.

1.4. Методы повышения точности прогнозирования SVM.

Актуальность темы. Процессы, протекающие в технических, экономических, экологических системах, представляют собой объекты с большим количеством внутренних связей, которые находятся в постоянном взаимодействии друг с другом и могут рассматриваться в качестве динамических. Данные, накапливаемые при их изучении, могут представлять собой временные ряды^ отражающие процесс развития системы. В: связи с этим проблема разработки и совершенствования методов прогнозирования временных рядов, применяемых при изучении сложных динамических систем с целью повышения эффективности их функционирования, является актуальной.

Известные технологии прогнозирования, включающие сплайны и методы, основанные , на декомпозиции» в ортогональные системы, характеризуются тем, что при увеличении сложности исследуемой системы число- используемых коэффициентов, при- обучении растет экспоненциально (феномен «проклятия < размерности»), что значительно ограничивает область применения таких решений; При использовании нейронных сетей необходимо- заранее- выбрать ее архитектуру или иметь некоторый эвристический метод для. ее: изменения/ однако, даже в: этом: случае "сложно обосновать, что предложенная архитектура сети является оптимальной, так. как. всегда существует вероятность того, что при обучении сети будет найден локальный минимум: . • Метод опорных векторов': (SVM) свободен ог перечисленных недостатков' и позволяет получить уникальное решение, при построении . прогнозирующейгмодёлш ф рамках; данного^ направления: были достигнуты успехи в области- прогнозированиям сложных' динамических • систем. Большой вклад вфазвитие теоретичёёкихбосновр ЗУМ внесли отечественные ученые: В. Вапник и А. Червоненкис. Вопросам, усовершенствования: и модификации работы SVM посвящены труды Б. Босера, И. Гуйона, К. Воронцова.

Ю. Лифшица, Б. Шолькопфа, А. Смолы, К. Бишопа, М. Типпинга, и др. Задачами оптимизации SVM занимаются В. Вапник, Дж. Платт, Э.! Осуна. На сегодняшний; день являются) актуальными задачи разработки и совершенствования методов и алгоритмов обучения и поиска входных параметров прогнозирующей модели SVM: Известные методы, применяемые для решения этого вопроса, такие как перекрестная проверка, «выборки с замещением» (bootstrap), методы, базирующиеся на оценке размерности Вапника-Червоненкиса, обладают рядом недостатков^ связанных как со скоростью их работы, так и с точностью найденных значений. Решение данных задач позволит повысить точность прогноза^ т.е. уменьшить среднеквадратическую ошибку между реальными и прогнозными значениями и увеличить скорость обучения SVM. Кроме того, для повышения качества и стабильности прогнозирования является необходимым исследование методов; построения комбинированных прогнозов на основе использования различных SVM-моделей.

Целью диссертационной работы является, исследование, и разработка, методов повышения точности прогнозирования сложных динамических систем путем; использования оригинальных методов обучения; и подбора входных параметров SVM-модели и построения; комбинированных прогнозов.

В соответствии с поставленной . целью в диссертационной работе решаются следующие задачи:

-анализ: методов прогнозирования временных рядов с возможностью применения8¥Мвпроцессематематическогомоделирования; исследование методов, применяемых: при?;обучении и подборе-входных параметров SVM-модели; а также выявление, их особенностей . и недостатков; 7 '•'': ■ '••;.Г:.-.

-разработка метода обучения. и подбора входных параметров SVM, позволяющего увеличить скорость. обучения модели и повысить точность прогноза; \

- исследование методов, оценки эффективности альтернативных SVM-моделей;

- разработка и исследование методов повышения точности и стабильности прогнозирования временных рядов путем интеграции различных SVM-моделей и построения комбинированных прогнозов;

- разработка программного обеспечения для прогнозирования временных рядов на основе SVM с учетом поиска входных параметров модели и возможностью построения комбинированных прогнозов;

- апробация результатов исследования, проведение вычислительных экспериментов^ подтверждающих эффективность используемых методов и алгоритмов.

Объектом исследования являются физические, природные и промышленные процессы, протекающие в различных динамических системах и представленные в виде временных рядов:

Предметом исследования являются методы и алгоритмы поиска входных параметров SVM-модели и построения комбинированных прогнозов, SVM-модели временных рядов различных видов:

Методы исследования. Выполненные исследования базируются на использовании метода опорных векторов, теории вероятности, математической статистики, теории нелинейных динамических систем и статистического обучения. •

Положения, выносимые на защиту:

- метод обучения и подбора входных параметров SVM-модели;

- критерий Eff для; сравнения эффективности альтернативных SVM моделей; ','''/ v^V '■'•':.-. /' •."',. ••>."/'''■' '\--VV- . V 7

- комбинированный метод прогнозирования наг основе итеративного и прямого подходов.

Научная новизна. В работе получены следующие новые научные результаты:

- разработан метод обучения и подбора входных параметров SVM, отличающийся от известных тем, что позволяет учитывать текущее состояние динамической системы и требует меньшего времени обучения модели по сравнению с перекрестной проверкой, скользящим контролем и выборкой с замещением;

- предложен критерий Eff для сравнения эффективности альтернативных SVM-моделей, учитывающий одновременно; как ошибку, так и сложность модели;

- предложен комбинированный метод прогнозирования, основанный на интеграции итеративного и прямого: подходов^ позволяющий снизить среднеквадратическую ошибку SVM-модели на тестовых данных.

Достоверность и обоснованность научных результатов и выводов основаны на адекватности; математических моделей; соответствии результатов ' вычислительных экспериментов реальным? данным и подтверждены апробацией результатов диссертационной работы, на научно-практических конференциях. . . :

Практическая значимость. Разработаны специализированные алгоритмы, обучения и подбора/ входных параметров SVM-модели, построения комбинированных; прогнозов; Данные ; алгоритмы были реализованы- в программном? обеспечении; .позволяющем. осуществлять: формирование обучающих выборок: на основе имеющихся временных рядов, их предварительный анализ и коррекцию: формирование. и оптимизацию? входных; параметров SVM-m од ели. и ее обучение; анализ, и; прогнозирование: вреМенных рядовшаЮсновешолученноймодели^-- . ■ ч ч'чч-Чч ':'.'.• С • помощью разработанного . программного' обеспечениям'; было ■ проведено- прогнозирование реальных и смоделированных временных рядов? • на. основе построенных: S VM-моделей вместе с их: входными; параметрами, основанных на теоретических (полигармонических и хаотических рядах) и реальных данных (процесса флуктуации лазера дальнего инфракрасного диапазона, потребления электроэнергии, колец деревьев).

Получены акты о внедрении результатов диссертационной работы в виде программной библиотеки SVM в : Санкт-Петербургском филиале Учреждения Российской Академии Наук «Институт земного магнетизма, ионосферы и распространения радиоволн им. Н.В. Пушкова РАН», Марийском государственном техническом университете и ОАО «Инвестиционная компания «Земля-Инвест».

Публикация результатов. По результатам диссертации опубликовано 7 статей (1 статья в издании из Перечня ВАК для публикации научных результатов диссертаций на соискание ученой степени доктора и кандидата наук), получено 1 свидетельство о государственной регистрации программы для ЭВМ №2009616227.

Апробация работы. Основные результаты диссертации обсуждались на- Всероссийских научно-практических конференциях «Информационные технологии в профессиональной, деятельности: и научной работе» (Йошкар-Ола, 2007 и 2009), международной научно-технической конференции «Интеллектуальные системы» (AIS' 07) и «Интеллектуальные САПР» (СAD-2007) (Дивноморск, 2007), конференции «Технологии Microsoft в теории и практике программирования» (Нижний Новгород, 2007).

Реализация и внедрение результатов работы. Результаты работы внедрены в учебный процесс Марийского; государственного технического университета, Санкт-Петербургского- филиала .Учреждения Российской Академии Наук «Институт земного магнетизма,-, ионосферы и распространения? радиоволн им:.Н.В. Пушкова РАН»' и производственный пррцесс-©А0ч<Инвестйционная|ко^ : ; • ; V <':

Объем и структу ра- работы. Диссертация включает в себя;'введение,; 4 главы, заключение, список литературы из 133 . наименований и 3 приложения. Работа изложена на 143 страницах, содержит 57' рисунков и 20 таблиц. . •':

Основные результаты и выводы по главе

1. Разработано программное обеспечение, позволяющее проводить подготовку исходных данных к последующей обработке, подбор подходящих входных параметров SVM-модели, прогнозирование временных рядов и объединение результатов в один прогноз.

2. Рассмотрен метод ускорения скорости обучения SVM-моделей при использовании алгоритма Alpha Seeding.

3. Проведено сравнение эффективности прогнозирования с помощью SVM-моделей и предложенного метода обучения и подбора входных параметров с результатами других исследователей на примере процесса физического временного ряда, представленного процессом флуктуации лазера.

4. Показана эффективность комбинированного метода прогнозирования на различных временных рядах, взятых из биологии и промышленности. Применение комбинированного прогноза для промышленного' временного ряда улучшило точность, на 15% и 33% по сравнению с итеративным и прямым методами, соответственно.

5. В ходе вычислительных экспериментов продемонстрирована эффективность предложенных SVM-моделей, алгоритмов и программ для реальных временных рядов из различных областей: промышленности, биологии и физики.

Заключение

1. Показано, что в условиях ограниченного набора исходных данных необходимо руководствоваться не принципом эмпирической минимизации риска, используемого в классических методах, а принципом структурной минимизации риска, реализованного в рамках метода опорных векторов.

2. Выявлен ряд недостатков, связанных со сложностью выбора входных параметров SVM-модели, а также неоптимальным выбором области для тестирования разных прогнозирующих моделей для выявления наилучшей.

3. Разработан метод обучения и подбора входных параметров SVM, обеспечивающий адаптацию модели к исходным данным за счет выделения похожих участков и обучения на их основе. Это позволило учитывать как глобальную, так и локальную динамику исследуемых процессов (физических, природных, промышленных и модельных рядов). Время обучения модели сократилось в среднем в 3 раза для полигармонических и хаотических временных рядов.

4. Предложен критерий Eff для сравнения эффективности альтернативных SVM-моделей, учитывающий в равной степени сложность модели и ошибку на тестовых данных. Выявлено, что известные критерии AIC и BIC не учитывают особенности SVM-моделей и поэтому в ряде случаев могут обеспечивать неоптимальный'результат.

5. Показано, что исследования, в области ансамблей- предикторов, проводимые в рамках технологии Boosting и Bagging, могут повысить точность прогнозирования, а также повысить эффективность использования SVM-моделей.

6. Разработан комбинированный метод повышения точности прогнозирования временных рядов на основе SVM, заключающийся в интеграции итеративного и прямого подходов. Данный метод позволил уменьшить значение нормализованной среднеквадратической ошибки на модельных и реальных временных рядах. Точность прогноза для промышленного временного ряда увеличилась в среднем на 24%.

7. Сформулирован критерий, позволяющий определить границы применимости предложенного комбинированного метода. Использование данного критерия позволяет заранее определить, что объединение итеративного и прямого методов не позволит повысить точность прогнозирования.

8. Предложен алгоритм нормализации исходных данных, позволяющий уменьшить ошибку прогнозирования. На модельных данных значение нормализованной среднеквадратической ошибки уменьшилось на 39% по сравнению с исходным временным рядом.

9. Разработано программное обеспечение, реализующее предложенные методы и алгоритмы и позволяющее проводить подготовку исходных данных к последующей обработке, поиск входных параметров SVM-модели, прогнозирование временных рядов и объединение результатов в один прогноз.

10. В ходе вычислительных экспериментов продемонстрирована эффективность предложенных SVM-моделей, алгоритмов и программ для модельных (полигармонических и хаотических) и реальных временных рядов из различных областей: промышленности, биологии и физики.

1. Айвазян, С. А. Прикладная статистика и основы эконометрики: Учебник для вузов. — М.: Юнити, 1998. — 1022 с.

2. Афанасьев, В.Н. Анализ временных рядов и прогнозирование: Учеб-ник / В.Н. Афанасьев, М.М. Юзбашев. М.: Финансы и статистика, 2001.-228 с.

3. Бокс, Дж. Анализ временных рядов. Прогноз и управление / Дж. Бокс, Г. Дженкинс. М.: Мир. - 1974. - 604 с.

4. Бурдо, А. И. К вопросу систематизации методов и алгоритмов прогнозирования // Материалы межрегиональной конференции "Студенческая наука экономике научно-технического прогресса". -Ставрополь: СевКав ГТУ, 2001. - С. 33-34.

5. Буч, Г. Объектно-ориентированный анализ и проектирование с примерами приложений на С++ / Г. Буч. М.: Издательство Бином. - 1999. — 720 с.

6. Вапник, В. Н. Теория распознавания образов / В. Н. Вапник, А. Я. Червоненкис. -М.: Наука, 1974. 416 с.

7. Вапник, В.Н. Восстановление зависимостей по эмпирическим данным / В.Н. Вапник. М.: Наука, 1979. - 448 с.

8. Дуброва, Т. А. Статические методы прогнозирования в экономике / Т. А. Дуброва. М.: Московский международный институт эконометрики, информатики, финансов и права, 2003. — 50 с.

9. Дюк, В. Data Mining: учебный курс / В. Дюк, А. Самойленко. СПб.: Питер, 2001.-367 с.

10. Льюнг, JI. Идентификация систем. Теория для пользователя / Л. Льюнг. М.: Наука, 1991.-- 320 с.

11. Кремер, Н. Ш. Эконометрика / Н. Ш. Кремер, Б. А. Путко. М.: ЮНИТИ, 2002.-311 с.

12. Орлова, И.В. Экономико—математические методы и модели. Выполнение расчетов в среде EXCEL / Практикум: Учебное пособие для вузов. -М.: ЗАО «Финстатинформ», 2000. 136 с.

13. Отнес, Р. Прикладной анализ временных рядов / Р. Отнес, JI. Эноксон. М.: Мир, 1982. - 429 с.

14. Петере, Э. Хаос и порядок на рынках капитала. Новый аналитический взгляд на циклы, цены и изменчивость рынка / Э. Петере. -М.: Мир, 2000.-333 с.

15. Стадник, М. П. Модификация критерия Мэллоуза-Акаике для подбора порядка регрессионной модели / М. П. Стадник // Автоматика и телемеханика. 1988. - № 4. - С. 44-45.

16. Тихонов, Э. Е. Методы прогнозирования в условиях рынка: учебное пособие / Э. Е. Тихонов. Н.: Невинномысск, 2006. -221 с.

17. Тюрин, Ю. Н. Анализ данных на компьютере / Ю. Н. Тюрин, А.А. Макаров. М.: ИНФРА-М, 2003. - 544 с.

18. Цыпкин, Я. 3. Основы информационной теории идентификации / Я. 3. Цыпкин. М.: Наука, 1984. - 320 с.

19. Шумков, Д.С. Метод прогнозирования временных рядов с использованием кусочно-линейной аппроксимации / Д.С. Шумков, И.Г. Сидоркина // Вестник Чувашского университета. Чебоксары, 2008. - № 2.-с. 199-203.

20. Шумков, Д.С. Философия информационной безопасности:прогнозирование событий на основе накопленной информации /

21. Д.С. Шумков, А.В. Егошин, И.Г. Сидоркина // Йошкар-Ола: материалы, региональной научно—практической конференции студентов и молодых ученых. Йошкар-Ола: Марийский^ государственный технический университет, 2007. — с. 257 - 261.

22. Abarbanel, H.D.I. Analysis of, observed chaotic data / H.D.I: Abarbanel. first ed. - New York: Springer, 1996.

23. Abe, S. Support vector machines for pattern classification / S. Abe. -New York: Springer, 2005. 350 p.

24. Angeline, P.J. Evolving predictors for chaotic time series / P.J. Angeline; S. Rogers, D. Fogel, J. Bezdek,and B. Bosacchi, eds. Proceedings of SPIE: Application and Science of Computational Intelligence, vol. 3390. - 1998. -p. 170-180.

25. Anguita, D. Evaluating the generalization ability of Support Vector Machines through the Bootstrap / D. Anguita, A. Boni, S. Ridella // Neural Processing Letters. 2000. - № 11.-p. 51-58, 162, 168, 170.

26. Anguita, D. Hyperparameter design criteria for support vector classifiers / D. Anguita, S. Ridella, F. Rivieccio, R. Zunino // Neurocomputing. 2003. -№51. -p. 109-134, 162, 171.

27. Anthony, M. Cross-validation for binary classification by real-valued functions: theoretical analysis / M. Anthony, S.B. Holden // Proc. of the 11th Conf. on Computational Learning Theory. 1998. - p. 218-229, 167.

28. Aussem, A. Dynamical recurrent neural networks towards prediction and modeling of dynamical systems / A. Aussem // Neurocomputing. 1999. -№28.-p. 207-232.

29. Bartlett, P. Model selection and error estimation / P. Bartlett, S. Boucheron, G. Lugosi // Machine Learning. 2001. - № 48. - p. 85-113.

30. Bengio, Y. No unbiased estimator of the variance of K-fold cross validation / Y. Bengio, Y. Grandvalet // Advances of Neural Processing Systems. -The MIT Press, 2004 № 16. - p. 166, 168.

31. Blum, A. Beating the hold-out: bounds for K-fold and progressive cross-validation / A. Blum, A. Kalai, J. Langford // Proc. of the 12th Conf. on Computational Learning Theory. 1999. - p. 203-208, 166.

32. Bontempi, G., Birattari, M. A multi-step-ahead prediction method based4 on local dynamic properties / G. Bontempi, M. Birattari // ESANN 2000 Proceedings European Symposium on Artificial Neural Networks. - 2000. -p. 311-316.

33. Boser, В A training algorithm for optimal margin classifiers / B. Boser // Proceedings of the 5th Annual ACM Workshop on Computational Learning Theory. ACM Press, 1992.-p. 144-152.

34. Bousquet, O. Introduction to Statistical Learning Theory / O. Bousquet, S. Boucheron, G. Lugosi // Advanced Lectures on Machine Learning Lecture. -Germany, 2004. p. 169-207.

35. Bousquet, O. Stability and generalization / O. Bousquet, A. Elisseeff// Journal of Machine Learning Research. 2002. - № 2. - p. 499-526, 168.

36. Breiman, L. Bagging Predictors / L. Breiman // Machine Learning. -1996. -№24. -p. 123-140.

37. Burges, C. J. A tutorial on support vector machines for pattern recognition, 1998.

38. Cao, L. Support vector machines experts for time series forecasting / Cao L. // Neurocomputing. 2003. - №51. - p. 321-339.

39. Castillo, E. A minimax method for learning functional networks / J. M. Gutierrez, A. Cobo, C. Castillo // Neural Process. Lett. 11. 2000. - № 1. -p. 39-49.

40. Cauwenberghs, G. Incremental and decremental support vector machine learning / G. Cauwenberghs, T. Poggio // Advances in Neural Information Processing Systems (NIPS 2000). -2001. -№13. p. 409-415.

41. Chalimourda, A. Experimentally optimal in support vector regression for different noise models and parameter settings / A. Chalimourda, B. Scholkopf, A. Smola//Neural Networks. -2004. -№17 (1). p. 127-141.

42. Chang, C.-C. LIBSVM: a Library for Support Vector Machines / CC. Chang, C.-J. Lin // Dept. of Computer Science and Information Engineering. -National Taiwan University. Режим- доступа: www/URL: http://csis.ntu.edu.tw/~cjlin. - 10.10.2007 г.

43. Chapelle, О. Choosing multiple parameters for support vector machines / O. Chapelle, V. Vapnik, O. Bousquet, S. Mukherjee // Machine Learning. 2002. -№46 (1-3).-p. 131-159.

44. Cherkassky, V. Practical selection of svm parameters and noise estimation for svm regression / V. Cherkassky, Y. Ma // Neural Networks. 2004. -№17 (1). -p.l 13-126.

45. Corona, F. Variable scaling for time series prediction / F. Corona, A. Lendasse // Proc. ESTSP 2007. 2007. - p. 69-76.

46. Cortes, C. Support vector networks / C. Cortes, V. Vapnik // Machine Learning. 1995. -№ 20. - p. 1-25.

47. Cristianini, N. An introduction to support vector machines and other kernel-based learning methods / N. Cristianini, J. Shawe-Taylor. Cambridge University Press, 2001. - p. 160.

48. De Coste, D. Alpha seeding for support vector machines / D. De Coste, K. Wagstaff// Proc. of the 6th ACM SIGKDD Int. Conf. on Knowledge Discovery and Data Mining. 2000. - p. 345-349.

49. Duan, K. Evaluation of simple performance measures for tuning svm hyperparameters / K. Duan, S. Keerthi, A. Poo // Neurocomputing. 2003. - №5. -p. 41-59.

50. Dudul, S.V. Prediction of a lorenz chaotic attractor using two-layer perceptron neural network / S.V. Dudul // Applied Soft Computing. 2004.

51. Dudley, R. Central limit theorems for empirical measures // Annals of Probability. 1978. - № 6. - p. 899-929.

52. Efron, B. An introduction to the Bootstrap / B. Efron, R. Tibshirani. -Chapman and Hall, 1993.

53. Engel, Y. The kernel recursive least-squares algorithm / Y. Engel, S. Mannor, R. Meir // IEEE Transaction on Signal Processing 52. 2004. - № 8. -p. 2275-2285.

54. Floyd, S. Sample compression, learnability, and the Vapnik-Chervonenkis dimension / S. Floyd, M. Warmuth // Machine Learning. 1995. — №21-p. 269-304.

55. Farmer, J.D. Predicting chaotic time series / J.D. Farmer, J.J. Sidorowich // Physical Review Letters . 1997. - № 8 . - p. 845-848.

56. Fernandez, R. Predicting time series with a local support vector regression machine / R. Fernandez . Springer, 1999. -170 p.

57. Fletcher, R. Practical methods of optimization / R. Fletcher . 2nd ed. -John Wiley & Sons Ltd., Chichester, 1987. - 425 p.

58. Gers, F. A. Applying LSTM to time series predictable through time-window approaches / F.A. Gers, D. Eck, J. Schmidhuber // Lecture Notes in Computer Science. 2001. - 669 p.

59. Gine, E. Some limit theorems for empirical processes / E. Gine, J. Zinn // Annals of Probability. 1984. -№ 12. - p. 929-989.

60. Grassberger, P. Measuring the strangeness of strange attractors / P. Grassberger, I. Procaccia // Physica D. 1983 . - № 9. - p. 189-208.

61. Gunn, S. Support vector machines for classification and regression / S. Gunn . Tech. report, Department of Electronics and Computer Science, University of Southampton, 1998. - 56 p.

62. Han, M. Prediction of chaotic time series based on the recurrent predictor neural network / M. Han, J. Xi, F. Yin // IEEE Transactions on Signal Processing 52. 2004. - № 12. - p. 3409-3416.

63. Hastie, T. The Elements of Statistical Learning / T. Hastie, R. Tibshirani, J. Friedman. Springer, 2001. - 533 p.

64. Hegger, R. Practical implementation of nonlinear time series methods: The tisean package / R. Hegger, H. Kantz, T. Schreiber // Chaos 9. 1999. - № 2. -p. 413-435.

65. Henon, M. A two-dimensional mapping with a strange attractor / M. Henon. Comm.Math.Phys. 50. - 1976. - № 1. - p. 69-77.

66. Herbrich, R. Learning Kernel Classifiers / R. Herbrich. The Mit Press. -2002.-p. 160.

67. Huber, P. Robust estimation of location parameter / P. Huber. Annals of Mathematical Statistics 35 . - 1964 . - p. 73-101.

68. Joachims, T. Making large-scale svm learning practical / T. Joachims, B. Scholkopf, C. Burges, A. Smola eds. // Advances in Kernel Methods Support Vector Learning. - 1999. - p. 169-184.

69. Joachims, T. The maximum-margin approach to learning text classifiers: method, theory and algorithms: Ph.D. thesis / T. Joachims. University of Dortmund, 2001.

70. Kohavi, R. A study of cross-validation and boostrap for accuracy estimation and model selection / R. Kohavi // Proc. of the Int. Joint Conf. on Artificial Intelligence. 1995. - p. 164.

71. Kohlmorgen, J. Data set a is a pattern matching problem / J. Kohlmorgen, K. -R. Miiller // Neural Process. Lett. 7. 1998 . - № 1 . - p.43-47.

72. Koltchinskii, V. Rademacher penalties and structural risk minimization // IEEE Transactions on Information Theory. 2001. - № 47. - p. 1902-1914.

73. Kugiumtzis, D. Chaotic time series: Part i. estimation of invariant properties in state space, / D. Kugiumtzis, B. Lillekjendlie, N. Christophersen // Modeling, Identification and Control 15. 1994 . - № 4 . - p. 205-224.

74. Kwok, J. Linear dependency between and the input noise in the support vector regression / J. Kwok // IEEE Transactions on Neural Networks ICANN 2001, 2003.-p.405-410.

75. Langford, J. Quantitatively tight sample bounds / J. Langford. -Carnegie Mellon University, 2002.-p. 163, 172.

76. Lapedes, A. How neural nets work / A. Lapedes, R. Farber. Neural Information Processing Systems, 1987 . - p. 442-456.

77. Lillekjendlie, B. Chaotic time series: System identification and prediction / B. Lillekjendlie, D. Kugiumtzis, N. Christophersen // Modeling, Identification and Control 15 . 1994 . - № 4 . - p. 225-243.

78. Lin, Y. Statistical properties and adaptive tuning of support vector machines/ Y. Lin, G. Wahba, H. Zhang, and Y. Lee // Machine Learning. 2002. -№48.-p. 115-136.

79. Lorenz, E.N. Deterministic nonperiodic flow / E.N. Lorenz. Science, 1963.-p. 130-141.

80. Luxburg, U. A compression approach to support vector model selection / U. Luxburg, O. Bousquet, B. Scholkopf // The Journal of Machine Learning Research. 2004. - № 5. - p. 293-323.

81. Mackey, M.C. Oscillation and chaos in physiological control systems / M.C. Mackey and L. Glass . Science, 1977. - p. 287-289.

82. McNames, J. Local averaging optimization for chaotic time series prediction / J. McNames // Neurocomputing. 2002. - № 4. - p. 279-297.

83. Mendelson, S. A few notes on statistical learning theory / S. Mendelson, A. Smola // Advanced Lectures in Machine Learning. LNCS 2600. Springer, 2003.-p. 1-40.

84. Miiller, K. An introduction to kernel-based learning algorithms / K. Miiller, S. Mika, G. Ratsch, K. Tsuda, B. Scholkopf . IEEE Transactions on Neural Networks, 2001 .-p. 181-201.

85. Miiller, K. Predicting time series with support vector machines / K. Miiller, A. Smola, G. Ratsch, B. Scholkopf, O. Kohlmorgen, V. Vapnik . -Artificial Neural Networks ICANN 97 . - Springer, 1997. -218 p.

86. Oliveira, К. A. Using artificial neural networks to forecast chaotic time series / K.A. Oliveira, A. Vannucci, E.C. Silva . Physica A, 2000 . - p. 393-^104.

87. Omidvar, A.E. Configuring radial basis function network using fractal scaling process with application to chaotic time series prediction / A.E. Omidvar // Chaos, Sol. and Fract. -2004 . № 4 . - p.757-766.

88. Optimal embedding parameters: A modelling paradigm. Physica D, 2004. - p. 283-296.

89. Parker, T.S. Practical numerical algorithms for chaotic systems / T.S. Parker, L.O. Chua. -first ed. -Springer, New York, 1989. 425 p.

90. Piatt, J. Fast training of support vector machines using sequential minimal optimization / J. Piatt // Advances in Kernel Methods: Support Vector Learning / под общ. ред. В. Scholkopf, C.J.C. Burges, A. Smola. The MIT Press, 1999-p. 161.

91. Quinonero-Candela, J. Time series prediction based on the relevance vector machine with adaptive kernels / J. Quinonero-Candela, L. K. Hansen . -International Conference on Acoustics, Speech, and Signal Processing, 2002. -p.985-988.

92. Ralaivola, L. Dynamical modeling with kernels for nonlinear time series prediction / L. Ralaivola, F. d'Alche Buc // Modeling, Identification and Control 15.-2004 .-№5 .-p. 125-138.

93. Ratsch, G. Soft margins for AdaBoost / G. Ratsch, T. Onoda, K.-R. Muller // Machine Learning. 2001. - № 42. - p. 287-320.

94. Rosipal, R. Prediction of chaotic time-series with a resourceallocating RBF network / R. Rosipal, M. Koska, I. Farkas // Neural Processing Letters 7 . -1998 №3 .-p. 185-197.

95. Russell, D.A. Dimension of strange attractors / D.A. Russell, J.D. Hanson, E. Ott // Phys. Rev. Let. 45 . 2000 . - p. 1175-1178.

96. Riiping, S. SVM kernels for time series analysis / S. Riiping // Technical report, CS Department, University of Dortmund. Dortmund, 2001. -p. 43-50.

97. Sauer, Т. Embedology / Т. Sauer, Y. Yorke, M. Casdagli // J. Stat. Phys. 65. 1991 . - p. 579-616.

98. Sauer, T. Time series prediction by using delay coordinate embedding / T. Sauer; A.S. Weigend, N.A. Gershenfeld, eds. Time Series Prediction: Forecasting the Future and Understanding the Past. - Addison-Wesley, 1994.

99. Scholkopf, B. Learning with Kernels: Support Vector Machines, Regularization, Optimization, and Beyond (Adaptive Computation and Machine Learning) / B. Scholkopf, A. Smola. The MIT Press, 2001 - 644 p.

100. Scholkopf, B. New support vector algorithms / B. Scholkopf, P. Bartlett, A. Smola, R. Williamson // Neural Computation. 2000 . - №12 . -p.1207-1245.

101. Scholkopf, B. Statistical learning and kernel methods / B. Scholkopf // Machine Learning. 2006. - № 98. - p.63-95.

102. Scholkopf, B. Support vector regression with automatic accuracy control / B. Scholkopf, P. Bartlett, A. Smola, R. Williamson // Proceedings of ICANN'98: Perspectives in neural computing (Berlin) . Springer, 1998 . -p. 111-116.

103. University of London, 1998.

104. Small, M. Minimum description length neural networks for time series prediction / M. Small, С. K. Tse // Physical Review E (Statistical, Nonlinear, andi

105. Soft Matter Physics). 2002 . - № 6, 066701. i 113. Smola, A. A tutorial on support vector regression /А. Smola,

106. B. Sch'olkoptf/ Statistics and Computation. 2004. - № 13. - p. 199-222.

107. Smola, A. Generalization bounds and learning rates for regularized principal manifolds / A. Smola, R. Williamson, B. Scholkopf . Tech. report, Royal Holloway, University of London, 1998.

108. Smola, A. Learning with kernels / A. Smola. Tech. report, GMD Forschungszentrum Informationstechnik. - St. Augustin, 1998.

109. Smola, A. On a Kernel-based Method for Pattern Recognition, Regression, Approximation, and Operator Inversion / A. Smola, B. Scholkopf, J. Lemm and others. Algorithmica, 1997.

110. Smola, A. Regression estimation with support vector learning machines / A. Smola. Tech. report, Physik Department, Technische Universitat Munchen, 1996.

111. Takens, F. Detecting strange attractors in turbulence, Dynamical Systems of Turbulence (Berlin) / F. Takens; D. A. Rand, B. S. Young, eds. vol. 898 of Lecture Notes in Mathematics. - Springer, 1981. - p. 366-381.

112. Tay, F. Modified support vector machines in financial time series forecasting / F. Tay, L. Cao // Neurocomputing. 2002 . - № 14. - p. 847-861.

113. Thissen, U. Using support vector machines for time series prediction / U. Thissen, R. van Brakela, A. P. de Weijerb, W. J. Melssena, L. M. C. Buyden // Chemometrics and Intelligent Laboratory Systems. 2003 . - № 1 . - p. 35-49.

114. Vapnik, V. An overview of statistical learning theory / V. Vapnik // IEEE Transactions on Neural Networks. 1999. - № 10. - p. 998-1000.

115. Vapnik, V. Estimation of dependencies based on empirical data / V. Vapnik. Springer Verlag, New York, 1982.

116. Vapnik, V. Bounds on the error expectation for support vector machines / V. Vapnik, O. Chapelle // Neural Computation. 2000. - № 12. -p. 2013-2036.

117. Vapnik, V. Necessary and sufficient conditions for the uniform convergence of means to their expectations / V. Vapnik, A. Chervonenkis // Theory of Probability and its Applications. 1981. - № 26. - p. 821-832.

118. Vapnik, V. Statistical Learning Theoiy / V. Vapnik. John Wiley, New York, 1998-760 p.

119. Vapnik, V. The Nature of Statistical Learning Theory / V. Vapnik. -Springer Verlag, New York, 1995. 315 p.

120. Wah, B.W. Violation guided neural-network learning for constrained formulations in time-series predictions / B.W. Wah, M. Qian // Int'l Journal on Computational Intelligence and Applications. -2001 . № 4 . - p.383-398.

121. Wan, E.A. Time series prediction by using a connestionist network with internal delay lines / E.A. Wan; A.S. Weigend, N.A. Gershenfeld, eds. Time Series Prediction: Forecasting the Future and Understanding the Past. — Addison-Wesley, 1994.-p. 195-217.

122. Wang, L. Support Vector Machines: Theory and Applications / L. Wang. Spinger, 2005. - 435 p.

123. Wang, X. Time-line hidden markov experts for time series prediction / X. Wang, P. Whigham, D. Deng, M. Purvis // Neural Information Processing -Letters and Reviews . 2004 . - № 2 . - p. 39^48.

124. Weigend, A.S. Time series prediction: Forecasting the future and understanding the past /A.S. Weigend , N.A. Gershenfeld. Addison-Wesley, 1994.

125. Wendt, H. Support vector machines for regression estimation and their application to chaotic time series prediction / H. Wendt. Finkenweg, 2005. -103 p.

126. Williamson, R. Generalization performance of regularization networks and support vector machines via entropy numbers of compact operators / R. Williamson, A. Smola, B. Scholkopf // IEEE Transactions on Information Theory. 2001. - № 6. - p. 2516-2532.