автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Кусочно-линейная аппроксимация нелинейных моделей фильтрации сигналов в дискретном и непрерывном времени, основанная на рандомизированном разбиении временного интервала

на правах рукописи

Мисюра Илья Владимирович

КУСОЧНО-ЛИНЕИНАЯ АППРОКСИМАЦИЯ НЕЛИНЕЙНЫХ МОДЕЛЕЙ

ФИЛЬТРАЦИИ СИГНАЛОВ В ДИСКРЕТНОМ И НЕПРЕРЫВНОМ ВРЕМЕНИ, ОСНОВАННАЯ НА РАНДОМИЗИРОВАННОМ РАЗБИЕНИИ ВРЕМЕННОГО ИНТЕРВАЛА

Специальность 05.13.18 — «Математическое моделирование, численные методы

и комплексы программ»

АВТОРЕФЕРАТ

диссертации на соискание учёной степени кандидата физико-математических наук

1 7 ИЮН 2015

005570107

Ростов-на-Дону - 2015

005570107

Работа выполнена в Федеральном государственном автономном образовательном учреждении высшего образования «Южный Федеральный Университет» (ЮФУ) на кафедре высшей математики и исследования операций.

Научный руководитель - доктор технических наук, профессор

Белявский Григорий Исаакович

Официальные оппоненты: доктор физико-математических наук, профессор

Гдиклих Юрий Евгеньевич, Воронежский государственный университет

Кандидат физико-математических наук, доцент Русаков Олег Витальевич,

Санкт-Петербургский государственный университет

Ведущая организация: Казанский (Приволжский) федеральный университет

Защита диссертации состоится 2 июля 2015 г. в 14:00 на заседании диссертационного совета Д212.208.22 при Южном федеральном университете по адресу: 347928, г. Таганрог, пер. Некрасовский, 44, ауд. Д-406

С диссертацией можно ознакомиться в зональной научной библиотеке ЮФУ им. Ю. А. Жданова, расположенной по адресу: 344103, г. Ростов-на-Дону ул. Зорге, 21 Ж, а также на сайте http://hub.sfedu.ru/diss/announcement/

Автореферат разослан «_»_.2015 г.

Ученый секретарь

диссертационного совета Д212.208.22, доктор технических наук, профессор

Целых А.Н.

Общая характеристика работы

Актуальность тематики исследования. Основное содержание работы посвящено разработке математических моделей временных рядов и численных методов их анализа. Основой исследования является модель стохастической волатильности. Задачи, которым посвящено исследование, в основном являются классическими задачами фильтрации, интерполяции и экстраполяции сигнала. В настоящее время процессы стохастической волатильности используются при моделировании различных естественных явлений, таких как диффузия потоков в пористых средах и плазме, лазерное охлаждение, молекулярные столкновения, долговременные изменения климата, движение молекул в разреженном газе, помехи в каналах связи, модели телетрафика, флуктуации доходности финансовых активов и многих других. На траекториях процессов стохастической волатильности можно обнаружить спокойные периоды, с относительно малой дисперсией и периоды турбулентности с высокой изменчивостью

В нашей работе изменчивость волатильности используется для описания возможности резкого изменения свойств траектории сигнала. Модель стохастической волатильности относится к нелинейным моделям сигналов. Основная проблема заключается в том, что уравнения нелинейной фильтрации, интерполяции и экстраполяции нельзя получить в замкнутом виде, за исключением условного гауссовского распределения и смеси условно-гауссовских распределений. В остальных случаях применяются сложные вычислительные методы. Рассматриваемые в диссертации модели приводят к потраекторной смеси условных гауссовских распределений. Это позволяет исследовать более широкий класс моделируемых сигналов и предложить эффективные вычислительные методы анализа. В связи с этим, тема диссертации находится в тренде исследований по математическому моделированию и является актуальной.

Степень разработанности темы. Модель стохастической волатильности впервые появилась в работах H. Johnson and D. Shanno, J. Hull and A. White, L. Scott, J. Wiggins. Исследования были продолжены в работах Е. Stein and J. Stein, S. Heston, R. Schobel and J. Zhu, L. Rogers and L. Veraart.

Задачам фильтрации, интерполяции и экстраполяции для нелинейных моделей сигналов посвящены как монографии, так и многочисленные статьи. Особо следует отметить исследования А.Н.Ширяева, Р.Ш.Липцера, Р.Л.Стратоновича, Г Кушнера, Г. Галустова, A. Bain, D. Crisan, Z. Schass В основном это работы, в которых используются различные варианты диффузионных моделей.

Цель и задачи диссертационной работы. Как уже отмечалось, диссертационное исследование посвящено математическим моделям временных рядов, полученных на базе процессов стохастической волатильности. Цель исследования состоит в разработке эффективных методов вычисления специальных функционалов на траекториях временных рядов, использующих численные методы решения обыкновенных дифференциальных уравнений в

сочетании с методами Монте-Карло и вычислительные процессы с теплицевыми матрицами. Разработке программного обеспечения для удаления помех, прогнозирования нелинейных стохастических моделей временных рядов с помощью нейро-сети.

Для достижения поставленной цели были решены следующие задачи:

• для модели стохастической волатильности предложены численные методы решения эволюционного уравнения Кушнера — Стратоновича, использующие аналитические и численные методы решения дифференциальных уравнений в сочетании с методом Монте-Карло;

• исследована задача обработки сигнала в вариационной постановке и предложен итерационный алгоритм ее решения;

• предложены численные методы решения задач фильтрации интерполяции и экстраполяции для дискретных аналогов модели стохастической волатильности;

• предложена нейро-сетевая имитационная модель временного ряда для модели стохастической волатильности типа GARCH;

• разработано программное обеспечение, с помощью которого решены прикладные задачи очищения сигнала от помех и экстраполяции сигнала с помощью нейросети.

Методы исследования.

Для решения поставленных задач применялись методы исследования, относящиеся к численным методам и математическому моделированию в области статистики временных рядов со случайной волатильностью и условной неоднородностью.

Программная реализация исследуемых моделей и методов выполнена на языке высокого уровня С++ с использованием кроссплатформенного фреймворка Qt в среде разработки Qt Creator. Для численного решения задач применялись средства распараллеливания вычислений.

Научная новизна.

• В области моделирования. Исследован класс моделей сигнала с кусочно-постоянной случайной волатильностью. Этот класс моделей существенно расширяет свойства линейных моделей (фильтр Калмана-Бьюси) и позволяет предложить более эффективные методы вычислений по сравнению с диффузионными моделями общего вида. Помимо этого, исследованный класс моделей можно использовать для аппроксимации диффузионных моделей общего вида. Эта аппроксимация связана со стохастическим разбиением временной оси моментами остановки и обладает существенным преимуществом по сравнению с детерминированным разбиением. Для нелинейных моделей сигнала сложной структуры предложена нейро-сетевая модель с использованием вейвлет-базиса. Модель предоставляет возможность настройки параметров и предназначена для прогноза временного ряда сложной структуры. Предложена и детально изучена модель конечномерного сигнала, в которой применяются стохастические разностные уравнения со случайной диагональной матрицей. Модель предназначена для описания сигналов со скачками. В некотором смысле модель

можно рассматривать как результат дискретизации моделей под управлением процессов Леви, а также и как самостоятельный класс конечномерных моделей.

• Основными результатами в численных методах являются методы фильтрации, интерполяции и экстраполяции сигнала, сочетающие вычислительные методы решения дифференциальных уравнений с имитационным моделированием. Новым результатом является метод решения задачи динамического программирования, которая возникает в задаче анализа сигнала при апостериорной постановке, базирующийся на обобщенном координатном спуске. На каждой итерации этого метода решаются более простые по сравнению с исходной задачей задачи динамического программирования. В этом методе анализа сигнала одновременно оценивается сигнал и волатильность. Предложен также дискретный аналог этого метода для вычисления максимально-правдоподобной оценки сигнала и волатильности в конечномерном случае. Для конечномерной модели разработаны вычислительные методы, связанные со свойствами теплицевых матриц. Предлагаемые вычислительные методы по сравнению с наиболее распространенными и близкими методами малого параметра и линеаризации в большей степени учитывают специфику исследуемых моделей и позволяют получать более точные результаты, поскольку методы малого параметра применимы при условии малого уровня шума, а в методах линеаризации необходимо изменение структуры измерений, что не всегда возможно. К новым численным методам относится алгоритм обучения нейронной сети. Метод относится к градиентным методам обучения. Научная новизна заключается в вычислении градиента генетическим алгоритмом.

• В области программного обеспечения разработан программный комплекс для моделирования и анализа сигналов на основе теоретических результатов первой главы.

Достоверность.

Достоверность полученных результатов обеспечена математически обоснованным анализом моделей и вычислительных методов, положительными вычислительными экспериментами, как с модельными, так и с реальными данными, совпадением в частных случаях с известными результатами других авторов.

Полученные в диссертации результаты нашли применение в научно-исследовательских разработках в рамках выполнения гранта РФФИ (№ 1401-00579 а, рук. Белявский Г.И.).

Практическая значимость. Результаты диссертации воплощены в программном комплексе и могут быть использованы при удалении помех и прогнозировании временных рядов.

На защиту выносятся следующие основные результаты и положения.

В области математического моделирования:

• нейро-сетевая модель сигнала на базе модели условной неоднородности с вейвлет ядром;

• непрерывная модель сигнала с кусочно постоянной случайной волатильностью;

• разностная модель конечномерного сигнала со случайной диагональной матрицей.

В области численных методов:

• вычислительные методы решения задач фильтрации, интерполяции и экстраполяции для модели стохастической волатильности, использующие численные методы решения дифференциальных уравнений в сочетании с имитационным моделированием;

• алгоритм обучения нейро-сетевой модели с применением генетического программирования для вычисления градиента функции ошибки;

• итерационный метод решения задачи оптимального управления, связанной с фильтрацией, интерполяцией и экстраполяцией в рамках модели стохастической волатильности;

• вычислительный метод решения задач фильтрации, интерполяции и экстраполяции для конечномерного случая, основанный на спектральном разложении теплицевых матриц.

В области программного обеспечения:

• программное обеспечение, которое может быть использовано для моделирования случайных процессов сложной структуры, удаления помех из сигнала и прогнозирования временных рядов с условной неоднородностью.

Апробация работы. Результаты диссертации докладывались на семинарах кафедры высшей математики и исследования операций института математики, механики и компьютерных наук Южного Федерального Университета, XI Всероссийском симпозиуме по прикладной и промышленной математике (осенняя открытая сессия) (Сочи - Дагомыс, 16-23 октября 2010 г.); XII Всероссийском симпозиуме по прикладной и промышленной математике (осенняя открытая сессия) (Сочи - Адлер, 1-8 октября 2011 г.); XX Всероссийской Школе-коллоквиуме по стохастическим методам и XIV Всероссийском симпозиуме по прикладной и промышленной математике (весенняя сессия) (Йошкар-Ола, 12—18 мая 2013 г.); XV Всероссийском Симпозиуме по прикладной и промышленной математике ( весенняя сессия ) (Кисловодск, 1—8 мая 2014 г.).

Публикации. По теме диссертации опубликовано 10 печатных работ. Из них 5 статей опубликовано в рецензируемых изданиях из списка ВАК РФ для публикации результатов диссертационных исследований. Одна публикация входит в базу данных Scopus.

Структура н объем диссертации. Диссертация содержит введение, три главы, заключение и список литературы из 114 наименований. Общий объем диссертации 114 страниц, включая 26 рисунков и 1 таблицу.

Краткое содержание работы

Введение. Во введении описывается тематика исследования, ставятся цели и задачи исследования. Обосновывается актуальность тематики, анализируется новизна исследования. Приводятся основные результаты исследования, описывается структура диссертации.

Содержание первой главы.

В главе рассматриваются задачи фильтрации, интерполяции и экстраполяции сигнала для модели с изменчивой волатильностью в непрерывном времени.

Задача фильтрации сигнала заключается в следующем. Для двухкомпонентного адаптированного процесса У., =(Х,,)',) на полном

стохастическом базисе с фильтрацией, удовлетворяющей

стандартным условиям, требуется для заданной функции / вычислить условное математическое ожидание: М,(/) = Е^{х,)1 Р^. Фильтрация а - подалгебр Г? определяется стандартным образом: FJ = сг(ст(}; :0<где N - семейство событий нулевой вероятности на полном вероятностном пространстве (П,Р,Р). Предполагается, что 2 - сас!^ процесс, поэтому = р/. Аналогично определяется фильтрации Р^ и Р,х.

Задача интерполяции - это задача вычисления условного математического ожидания: /«,(/) = Е^/(х,)/<Т. Здесь т является горизонтом и в принципе: Т = да.

Задача экстраполяции состоит в вычислении условного математического ожидания: Он, (/) = Е^/(ХТ)/Р^,1 < Т.

Уравнения Закаи и Кушнера-Стратоновнча

Рассмотрим стационарное стохастическое дифференциальное уравнение, связывающее наблюдаемый процесс У с ненаблюдаемым процессом X:

¿У, = Л(Х,)Ж + сМУ, , Г0=0. (и>

Определение 1.1. Генератором процесса X называется оператор

I

С:£>(<7)-»£, для которого процесс /(Х,) =/(Х0)~ ¡С/(Х5)<1.ч является

о

мартингалом. Множество В является банаховым пространством ограниченных функций, подмножество О(С) банахова пространства В - область определения оператора в, то есть С/еВ, для всех /еД(С). Использование генератора позволяет записать уравнение для неизвестного процесса:

¿м, (/) = м, (с/)л+[м, (/А)-м, (/)м, (л)][л; - м, [л)л]. (1.2)

Уравнение (1.2) называется эволюционным уравнением Кушнера-Стратоновича.

Определение 1.2. Процесс /, = У,- ]"м5(Л)гй называется инновационным

о

процессом.

Инновационный процесс является квадратично-интегрируемым мартингалом с независимыми приращениями и непрерывными траекториями, поэтому согласно характеризации Леви, является броуновским движением. Инновационный процесс можно использовать в уравнении (1.2), что приводит уравнение к виду:

ам, (/) = м, (с/)Л+[м, {/А)-м, (/)м, (л)]<//, (1.3)

Основная сложность уравнения (1.3) заключается в том, что в этом уравнении присутствуют пять неизвестных процессов. Для того, чтобы разработать вычислительные методы, необходима конкретизация модели. Наибольшее число работ по нелинейной фильтрации связано с диффузионной моделью. Для диффузионной модели генератор ненаблюдаемого процесса X имеет вид:

т л ( ь2(*)д2/ (1-4)

С/(х) = а(х)~ + ■———4г.

^ ' К 'дх 2 дх2

Для условного математического ожидания: /(х) = х и данного генератора уравнение Кушнера-Стратоновича (1.2) приобретает вид:

ам, (х) = М, \а)а1 + [м, (хА)-М, {х)М, (А)][сПГ,-М, (А)аГ\. (1 -5)

В этом уравнении участвуют четыре неизвестных процесса: М,(х),М,(а),М,(хА) и М,(л). Для того, чтобы получить замкнутую систему уравнений необходимо установить дополнительные связи между этими процессами. Наиболее простые соотношения получаются в линейном случае (Фильтр Калмана-Бьюси):

ат(1) = {(<а-А2г(1))т^а1 + Аг(1)а¥1, С1-6)

^ (/) = (2а/(/) - ЛУ (/) + б2 ) Л. В (1.6) приняты следующие обозначения: - условное математическое

ожидание, /(/) - условная дисперсия. Уравнения (1.6) называются уравнениями фильтра Калмана-Бьюси. Рассмотрим нелинейные модели, которые сводятся к фильтру Калмана-Бьюси. Один из классов таких моделей - это модели, сводящиеся к линейной модели при помощи нелинейного преобразования. Другой класс - это модели, которые получаются в результате конкатенации линейных моделей. Остановимся подробнее на втором классе моделей.

Линейные модели под управлением марковской цепи

Рассмотренным в диссертации обобщением фильтра Калмана-Бьюси является линейная модель, в которой параметры переключаются в случайные моменты времени. За счет переключения параметров модель становится нелинейной. Модель, которая далее рассматривается, имеет следующий вид:

аУ,=АХ,а1 + сИГ„ (1.7)

ах, = а (Ь (I, т)) Х,Л + ст (б (/, от)) с!Уг В этой модели процесс 6(/,ст) - однородная марковская цепь с 6(лст)е/ = {1,...Д} и матрицей интенсивностей Л. Траектория ш является кусочно-постоянной

траекторией: = ,,глг)(')> 4X0 позволяет отождествить множество

траекторий с множеством случайных последовательностей

причем тг<Т< г,.+|. Далее мы будем

использовать последовательность 0 вместо кусочно-постоянной траектории ш в выкладках и рассматривать в как параметр. Таким образом, для модели (1.7) условный закон распределения Цт{х,1Р? ) является смесью условно -

гауссовских законов распределения. Следует отметить, что смеси гауссовских законов распределения в качестве альтернативы гауссовских законов распределения широко используются в математическом моделировании. Особую известность приобрели гиперболические распределения, которые в 1977 году ввел О. Бандорфф-Нильсен.

Последовательность в является двумерной марковской последовательностью с переходными вероятностями:

Р(ЬеА,ткеВ/(х,у))= (1.8)

Ах,х [;.,оо)глв ¡*х 2-, Ах,к

Рассмотрим условное математическое ожидание: т(1,0) = Е^Х,/Р^01 и условную дисперсию: у(^,0) = Уаг(х,1 для которых, в силу (1.6), будут

справедливы дифференциальные уравнения:

с/т({,0) = ^а^,в)-А2у(^т(1,0)у1 + А/(1,0)аУ„ С1-9)

ау(1,0) = (2а(1,0)у(1,0)-А2у2(1,0) + Ь2(1,в)}а1. Начальные условия: т(О,0) = Е(Хо/Го),у(О,0) = Уаг(Хо/Уо).

Коэффициенты а и 6 в этих дифференциальных уравнениях являются кусочно-постоянными функциями: = /[г- , г-)(0 11 /[г 1 г)(0-

I /

Отметим, что задача Коши для дифференциального уравнения с кучно-постоянными коэффициентами может не иметь единственного решения. В нашем случае справедлива следующая теорема.

Теорема 1.1. Задача Коши (1.9) имеет бесконечное множество решений.

При доказательстве теоремы рассматриваются функции, к которым будем обращаться ниже:

rM,«) = ir,{1,в,а^)1ы<1 srj}(0, (1Л0)

j=l

т(ив,р) = ±»Ъ {t,OJU)l[Ti iii<r:} (/) . î-1

Функции n{t,e,ai-1) и m,(t,0,Pi-t)являются решениями задач Коши: dm(t,в,Д.,) = ((Vi -A2y(t,ам))m(t,в,))dt + Ay{t,в,«,._,)</К„ (1 •11 )

dy {t,9,а,_, ) = (2аУмг (/,в,)-А2у2 (t,в,ан ) + Ъ1^ ) А, / е [rw,г,),

с начальными условиями: т(г1_х,в,р,_\) = r{t,0,ai_x) = ai_x, причем

До = Е{Х0 /70),«о = М^о ■

Выбор единственного решения требует дополнительных условий. Рассмотрим наиболее естественное. Пусть X, (0) решение уравнения:

dX,=a(b(e))Xldt + a(b(0))dVl, тогда y(t,0,a) = E(Xl(0)-m(t,û,a)f - средне-квадратическая ошибка в момент времени t. Интегральная ошибка на интервале

[0,Г] имеет вид: jy(t,a,0)dt = } У,(t,0,a^x)dt. Поэтому естественно выбирать а,

(1.12)

о

исходя из решения задач:

агм (в) = arg min J Г]- (t,0,S)dl.

CCi_.....

s

Задача (1.12) является задачей оптимального управления следующего типа:

мп \ x(t)dt,x = 2ax-A2x2 +Ь2 ^ ^

min

и> о

с начальным условием: х{т,_х) = и. Является справедливой теорема. Теорема 1.2. Решением задачи (1.13) является и = 0. Опираясь на теорему, получим решение второго уравнения (1.11)

(1.14)

, | - ---Г| -- |\" -/—1/11

" к xj - х'2 exp (-А2 - x'i ) _ г/-1 )) [Г'"Г')

В (1.14) х( и х\ корни квадратного уравнения: А2х2 -2aj. х-Ь2. ^ =0.

Рассмотрим первое уравнение (1.11), которое является линейным уравнением следующего вида:

dß (t,G) = Ht (t, в) x{i) (/, в) dt + F(t, 0) dY,,t e [ri4, r,), (1 •15)

в котором Hf —oj —A2y((,0,O),F = Ay(/,0,O). Естественным начальным условием является: х^ (т:_х,0) = lim Это начальное условие означает, что

rtrM

оптимальная оценка ищется как непрерывная функция. Решение задачи Коши (1.15) имеет следующий вид:

х(,)М) =

*(,)(г/-1>0)+ iexP - J Hj(v,0)dv

F(S,0)dYs

exp

J H,(s,0)ds

(1.16)

(1.17)

(1.18)

Через решение (1.16) выражается условная оценка:

m{t,e) = ±£\t,e)i{Ti_iil<Ti)(t) i=\

Оптимальная оценка:

m(t) = Eg{m{t,0)), y{t) = Ee(y(t,9)). '

Формулы (1.18) совместно с формулами (1.17) и (1.14) определяют оптимальный фильтр. Для вычисления внешнего математического ожидания предлагается использование метода Монте-Карло.

Далее рассматриваются линейные модели с переключением параметров в марковские моменты. В организации модели участвуют моменты остановки: 0< г, <г2 <..., причем Нтгп=со; и последовательность случайных величин (<х,о-,),

причем ai,uieFr. Снос и волатильность определяются равенствами

40 = Zi'.WCT(') = 2>i/M'!' Уравненне фильтра будет иметь вид:

i i

dYt=AX,dt + d\V„ (1.19)

dX,=a(t)X,dt + a{t)dVr В результате, как и в предыдущем параграфе, получаем конкатенацию линейных моделей:

dY,=AX,dt + dW„ (1.20)

dx\= atX^dt + (7idV„te[ rM, г,-),

/

На модель (1.20) распространяются результаты описанные выше, следовательно, для вычисления оптимальной оценки могут быть использованы формулы (1.14), (1.17) и (1.18) с незначительными изменениями:

a) 0 = {(г„^о-,)};

b) х[ и х'2 корни квадратного уравнения: у fx2 - 2aiAx - af_{ = 0;

c) Hj = а,_!-A2y(t,0,O),F = Ay(t,O,O).

В главе рассматриваются аппроксимационные возможности линейной модели со случайным переключением параметров. В качестве основных примеров рассматриваются наиболее известные нелинейные модели: ARCH, GARCH и стохастической волатильности.

Метод Монте-Карло, потраекторная реализация

Далее рассматривается модель стохастической волатильности с несколько иных позиций. В рассматриваемых моделях присутствует трехкомпонентный процесс (Y,X,b), в котором компонента Y является наблюдаемой компонентой.

(1.21)

(1.22)

Процесс волатильности Ь оказывает опосредованное влияние на процесс Y через процесс X. Особенность этой ситуации заключается в том, что в уравнении Кушнера-Стратоновича следует рассматривать функцию от двух переменных: f{x,y). В уравнении генератор двухкомпонентного процесса (Х,Ь) имеет следующий вид:

J К ' дх УИ П ду дх2 д2у ,

Для функции /(*) = * получим следующую систему уравнений:

dM, (х) = аМ, (x)dt +A [~М, (х2 )-(М, (л:))2 j dl,, dM, (х2 ) = \2аМ, {х2 ) + М, (j>)] dt + А [м, (д:3 ) - М, (х) М, (х2 )] dl,, М, (д:3 ) = М, (дг)[зл/, (л:2) -2A/,2 (*)].

Непосредственное использование (1.22) невозможно из-за неизвестного процесса М,{у). Один из способов преодолеть эту трудность состоит в замене М,(у) в уравнениях (1.22) на траекторию Ь,. Замена приводит к иному второму уравнению В (1.22): dM, (я2) = \гаМ, {х2) + Ь^Л + а[м, (д:3)-М, (дг)М, (д:2dl,.

В результате получим уравнения для приближенной оценки условного математического ожидания и условной дисперсии:

dm] = am\dt + А/ (t)dl,, (1-23)

dri(t)-

2 аг!(<УА2(г'(1))2+Ь;

dt,

/=1 1=1

в (1.23) Ц- 1-я реализация (траектория) процесса волатильности Ь,. Для использования (1.23) необходимо генерировать в необходимом количестве траектории волатильности. В качестве примера использования потраеторного метода рассматривается модели квадратного корня и Орнштейна-Уленбека.

Далее рассматривается одновременное оценивание сигнала и волатильности как минимизация функционала энергии:

5(0,д:0,з'0)= min f

df

(1.24)

Для ее решения предложен итерационный алгоритм, основанный на методе спуска по обобщенным координатам. Рассмотриваются две, связанные оптимизационные задачи:

1ТПП |

Д-(.)ЕС1/Л(О)=дго0'

5(2)(0,д:о'о)= шт [ ¿(,)еС1//,(о)=л6

Ь(1)

"7{6>0) +

(ь(1)-а(м-ь,))

(1.25)

Л,

Л.

Метод является итерационным. Пусть на итерации с номером г нам известно приближение к волатильности - Ьт(1). Для вычисления приближения

хг+{ решаем первую задачу (1.25) с Ь = ЬТ.

Уравнение Гамильтона-Якоби-Беллмана для этой задачи будет иметь вид:

^ (1.26)

¿»О

= -{у-Ах)2 сО)

ах

с-

дх

С краевым условием: .V1 '(Т,х) = 0. Отсюда приближение

обыкновенного дифференциального уравнения:

<к Ьт

— = ах---,

Л 2 дх

является решением (1.27)

х(0) = т0.

Для вычисления оценки 6Г+1 необходимо решить вторую задачу из (1.25) с +1. Уравнение Гамильтона-Якоби-Беллмана для этой задачи будет иметь вид:

55'

■(2)

---*у>о}

55'

■СП

ду

-а(у-у)

дУ

(2)

(1.28)

ду

дг у " ' 4

с краевыми условиями: 5'2'(7,,>') = 0,5'2'(/,0) = 0. Приближение является

решением уравнения:

с!Ь , . а — = а{11-Ь)--

а х ' 2

55(2) (/,6)

(1.29)

6(0) = й0.

Каждая итерация требует решения двух 2-6 уравнений в частных производных и двух обыкновенных дифференциальных уравнений.

Обоснованием алгоритма является следующая теорема.

Теорема 1.3. Итерационный алгоритм является сходящимся.

Далее рассматриваются задачи интерполяции и экстраполяции сигнала. Заканчивается глава анализом полученных результатов и оценкой вычислительной сложности предложенных алгоритмов.

Во второй главе диссертации исследуется дискретная модель сигнала. В начале анализируются дискретные аналоги непрерывных моделей, рассмотренных в первой главе и устанавливается следующий факт, что эти дискретные аналоги являются частными случаями дискретной модели:

Г = ЛГ + лЛГ, АХ = В + йМ, (2.1)

в которой векторы N и М - независимы и распределены по нормальному закону с нулевым математическим ожиданием и единичной ковариационной матрицей. Первое уравнение означает, что рассматривается задача оценки сигнала на фоне белого шума. Матрица £> - диагональная матрица со случайными элементами. Матрица А и вектор В зависят от вида математической модели сигнала. Устанавливается, что условный закон распределения:

11/ + Л2 I , 1 ч (2.2)

у (2лг52) ^ 21 ^ ;

В (2.2) приняты следующие обозначения: I - единичная матрица, "х/гл = (7 + )"'[Схт'пхю +У), Схт= А~102(л"1)Т.

Далее рассматривается применение метода Монте-Карло для вычисления условного математического ожидания Е(Х /У) = е(п1Х1г<0). Для вычисления тх ¡у о применяется разложение трехдиагональной теплицевой матрицы Н = 1+я2(А)Тй2А на произведение нижнетреугольной и верхнетреугольной

двухдиагональных матриц.

Далее в рамках общей модели рассматривается модель сигнала со скачками. Сначала рассматривается задача с не более чем одним скачком. При этом рассматривается два варианта. Первый вариант — это априорное распределение момента скачка известно. Задача рассматривается как задача проверки статистических гипотез. Во втором случае применяется эмпирический байесовский подход. В первом и втором случае используется тот факт, что матрица, которую необходимо обратить отличается от матрицы с известным спектральным разложением на матрицу единичного ранга. Получены эффективные вычислительные методы, для обоснования и сходимости которых сформулированы Теоремы 2.1 и 2.2.

Затем рассматривается задача с произвольным числом скачков. Рассматривается последовательность бинарных случайных величин Ц,...,Ьп. Диагональная матрица = diag(a+L¡ë}. Условная оценка

Предполагается, что Ь - однородная марковская последовательность с двумя состояниями и матрицей переходных вероятностей 2 = ^ ' Единица во

второй строке означает, что скачки не следуют один за другим. Это ограничение не существенно для вычисления оценки. Вычисления методом Монте-Карло приводит к формуле:

(2.4)

X N

где — сгенерированная марковская последовательности. Этот метод

фильтрации состоит из двух элементов: генерации бинарной однородной марковской последовательности и решения СЛАУ с трехдиагональной матрицей с использованием разложения. Каждый из элементов не требует больших вычислительных затрат.

Далее вычисляется одновременная оценка векторов X и I. Использование метода максимального правдоподобия приводит к задаче вычисления минимума гшп [>(*,£) =

2 [а + ЦЗ) У 1

(2.5)

В (2.5) = ^. Начальные значения: Х0=х0,Ь0=10. Решение задачи (2.5)

может быть найдено методом динамического программирования Уравнение Беллмана для этой задачи:

(Ук-хк)2 (Хк-х)2 , -ч , V 1 а \ , ч (2-6)

<Рк-\(х'У)=

+<рк(Хк,Ьк)].

Обозначим через Хк(х,у),£к(х,у)- аргументы, на которых достигается минимум. Краевое условие: ?>„+| (х,у) = 0. Результатом решения задачи является оценка: [хХ)= (2.7)

Непосредственное решение уравнения Беллмана требует больших вычислительных затрат. Поэтому в качестве альтернативного метода рассмотривается метод спуска по обобщенным координатам (Х,Ь). Метод спуска

— итерационный метод, на каждой итерации которого решается две вспомогательные задачи. Первая задача:

Ш1П

X

2*2 2 {а + И,8)2

Вторая задача:

4у('+|и)=1

ГП1П I

^-—' - + 1п (ст + £,<?) + (1 - £м) 1п - + Ц 1п -¡-2- | + (Ц)

2(& + Ь1д)

1-9

(2.8)

(2.9)

где Х'*х - решение задачи (2.8). Вектор вычисляется по формуле (2.3) с

использованием вектора . Вектор - решение задачи (2.9), которое

находится методом динамического программирования при условии, что вектор X фиксирован (X = Итерации продолжаются до тех пор, пока не выполнится

равенство ¿'^ = . Уравнение Беллмана для задачи (2.9) имеет вид:

<Рк-\(у) = ™а

Ц-+ 1п(сг + 1**) + (1-.у) 1П1 + £41П-2- + +

(2.10)

2(ст + £4<У)

Обоснованием алгоритма является следующая теорема

Теорема 2.3. Итерационный алгоритм останавливается за конечное число шагов.

Далее в главе задача фильтрации рассматривается как двухкритериальная задача математического программирования. Использование сингулярного разложения теплицевой матрицы позволяет свести задачу фильтрации в данной постановке к решению нелинейного алгебраического уравнения.

Оставшаяся часть главы посвящена задаче экстраполяции сигнала с помощью нейросети с вейвлет ядром.

Прогноз осуществляется при помощи исторических наблюдений сигнала. Описание модели. Рассматривается модель сигнала:

(2.11)

Хя = а„ + + 4 К + к •

В (2.11) функция <р, равная нулю вне конечного интервала [о,л], принадлежит пространству ¿2[0,л], е - последовательность независимых стандартных нормальных случайных величин. Модель (2.11) относится к условно-гауссовским моделям с условными законами распределения

Ьап(х„/Гп_1)=м Оо+^а^^.^Ьа+^^Х^ , где ^ =сг(£,,...,£,), что позволяет

распределения

плотность

совместного

р(х,,х2,...,хп) = (2я-)~"/2ПИ К +Е6Л2-- ехР

(Р\ К +^Ь,х2к_,

при

фиксированных х]_/,...,х0, где I = тгах {/?,<?}. В частном случае, когда <р(х) = 4х на интервале [0,Л], уравнение (1) является АЯ(р)/АЯСН (д) - уравнением. Допустим,

N-1

что с высокой степенью точности ср{х)=* £ /кНк{х), где х) - вейвлет - базис

НАа{х) = \,хч[0,А\н?{х)--

на интервале [О, А], например, базис Хаара

(\,х е [о, Л/2] (2.12)

[-1,(^/2, А]

Одношаговый прогноз заключается в вычислении условного математического ожидания Хл =Е(хп/Еп_1)=а0+'^а,Х„_1. В этой оценке

отсутствует вторая составляющая модели — случайная волатильность. В этом состоит основной недостаток точеного прогноза. Гораздо эффективней прогноз доверительного интервала с фиксированной доверительной вероятностью - 1 -а:

х!, = "о + + Щ Ь0 + 1х; = а0 + -Щ Ьа +

(2.13)

В (2.13) Х*,Х~ - верхняя и нижняя прогнозные оценки соответственно, параметр к - решение уравнения ф(х)=1-а/2, где ф(х) - функция распределения стандартного нормального закона.

Описание нейросетевого предсказателя. В литературе по дизайну и использованию искусственных нейронных сетей встречаются работы, связанные с нейросетевым представлением нелинейных стохастических моделей временных рядов. Сложность подобного рода моделей преодолевается за счет специально подобранной архитектуры нейронной сети и задания весовых коэффициентов. Важным обстоятельством является то, что веса входят в нейросетевую модель линейно. Структура искусственной нейронной сети для уравнений (2.11) представлена на рис. 2.1.

Функция активации нейрона А - это тождественная функция, функции активации Н1 соответствуют базисным функциям Хаара.

Серьезным преимуществом предлагаемого нейросетевого решения является то обстоятельство, что в нейронную сеть в качестве ядра включен вейвлет-пакет, что позволяет не фиксировать функцию (р, и делает нейронную сеть достаточно универсальной моделью сигнала. Подбор весов осуществляется в результате решения задачи обучения. Задача обучения нейронной сети состоит в вычислении параметров {"\,{Ь} и {/} по обучающей выборке следующей структуры

V = Здесь X~I2,X*I2 - выходные значения

нейросети - выборочные нижний и верхний а/2 квантили. Алгоритм обучения. Предлагаемый ниже алгоритм использует идеи адаптивного алгоритма Г. Белявского, В. Лилы и Е. Пучкова. Обучение производится по обучающей

выборке . Критерий качества обучения средний квадрат ошибки, то есть

ищется:

f((4H{/})= l[fcv-xi{a},{b\{f\v)J + fc- xi{a},{b\{flv)f\

(2.14)

Обозначим параметрическое пространство, через К'", размерность которого т- р+д + М+2 совпадает с числом настраиваемых параметров, включая вейвлет-разложение. Соответственно критерий обучения (2.14) будем рассматривать как функцию от т переменных - /•'(х1,х2,...,х„,). Алгоритм обучения задается рекуррентным соотношением:

/=1

В формуле (2.15) Вычисление градиента V/7 - вычислительно

сложная задача. Один из способов ее решения - обратное распространение ошибки. Другой способ - замена градиента на некий аналог, который вычисляется более просто. В работе предлагается аппроксимировать z = F(.P) в окрестности точки р при помощи гиперплоскости г = (А,Р) положить ~ А. Под е

окрестностью точки р будем понимать гиперкуб Кт

т 8

Наибольшая погрешность возникает в вершинах гиперкуба: Р =Р + г^(-1) ' е,,

1=1

причем «У,- е {0,1}. Будем считать, что (Л,Р) = р(р) . При этом предположении метод наименьших квадратов приводит СЛАУ:

НгНА = иТг, (2.16)

в которой /'-я строка матрицы Н- Коп(Н). Зк (;') - к -я цифра бинарного кода числа ¡', /'-я координата вектора Х- —----. Порядок системы

б

совпадает с размерностью параметрического пространства. Размер матрицы я -поэтому вычисление системы (2.16) может потребовать серьезных

вычислительных затрат.

Компромиссный вариант заключается в следующем. Отбирается множество вершин д = т<1, причем / значительно меньше, чем 2'", и

Лои'(Я)). =|(-1)<5*|, =—----. Вершины в множество Д отбираются с

помощью генетического алгоритма.

Алгоритм отбора вершин гиперкуба.

1. Случайным образом генерируется начальная популяция из / хромосом -бинарных наборов и для каждого набора 5' вычисляется жизненная сила -| |. (Поскольку вычисляется минимум, то хромосома тем здоровее, чем

меньше

2. Для скрещивания отбирается г пар. Отбор родителей производится с вероятностями обратно пропорциональными жизненной силе -

Число г <1/2.

3. Между родителями производится скрещивание (обмен генами) следующим образом. Для каждого гена случайно с заданной вероятностью определяется: подлежит он скрещиванию или нет. Если подлежит, то между родителями происходит обмен информацией. Таким образом, каждая пара производит 2-х потомков. Для потомков вычисляется жизненная сила.

4. С помощью естественного отбора формируется новая популяция из / хромосом.

Алгоритм работает до тех пор, пока популяция не стабилизируется. В результате работы алгоритма формируется множество вершин гиперкуба, которое используется при вычислении градиента.

В главе приводятся результаты вычислительных экспериментов. Причем эксперименты с нейросетью проводились на реальных данных - финансовых индексах. Результаты совпадают с теоретическими результатами.

В заключении проводится анализ результатов и оценивается сложность предложенных алгоритмов.

Третья глава диссертации посвящена программно-вычислительному комплексу для фильтрации, интерполяции и экстраполяции сигнала для моделей стохастической волатильности. Так в первом параграфе обсуждаются требования к разрабатываемому программному обеспечению моделирования сигналов и их обработки. Второй параграф посвящен разработке информационной схемы программного комплекса. В третьем параграфе рассматриваются вопросы разработки программного комплекса: инструментальные средства, объектно-ориентированная модель. Рассказывается о функциональных возможностях программного комплекса. Основное преимущество программного комплекса заключается в том, что он обладает дружественным интерфейсом, средствами имитационного моделирования и обработки сигналов на основе использования теоретических результатов первой и второй глав диссертации и средствами визуализации данных. Это позволяет использовать комплекс, как средство анализа данных и как средство обучения магистров по направлению обработка и

распознавание сигналов и изображений. В комплексе использованы современные средства многопоточной обработки данных для многопроцессорных реализаций. Многопоточная обработка данных позволяет обрабатывать большой объем данных в реальном времени. Комплекс разработан на платформе языка высокого уровня С++ с использованием кроссплатформенного фреймворка Qt в среде разработки Qt Creator. При этом использовалась современная технология объектно- ориентированного программирования. На рисунке 3.1 приведена структура комплекса:

Рис. 3.1. Схема взаимодействия подсистем программного комплекса

1. Ядро системы отвечает за выполнение основных математических операций, как то генерация псевдослучайных чисел, генерация нормально распределенной случайной величины и т.д. Также в ядре определены необходимые для работы системы классы, методы, отвечающие за операции с векторами, в которых хранится информация о сигнале, а также за генерацию случайных отрезков на оси времени, отвечающих требованиям модели стохастической волатильности.

2. Генератор сигналов отвечает за моделирование зашумленных сигналов. Для непрерывного и дискретного случаев генерация происходит с помощью различных функций. Данные, необходимые для моделирования зашумленных процессов, т.е. параметры генерации, подсистема получает из интерфейса пользователя.

3. Обработчик сигналов принимает данные от генератора, т.е. получает в качестве входящей информации зашумленный сигнал, и передает на обработку модулям, реализующим алгоритмы фильтрации сигнала, соответствующие непрерывным и дискретным моделям.

4. Подсистема визуализации получает в качестве входящих данных сигналы от генератора или обработчика сигналов, подготавливает ее для отображения и передает информацию пользовательскому интерфейсу.

5. Интерфейс пользователя предоставляет возможность управления данными, необходимыми для моделирования сигналов, а также графически отображает данные, полученные от подсистемы визуализации.

В главе приводятся результаты обработки данных для различных моделей с использованием комплекса. На рис. 3.2 продемонстрирован один из результатов фильтрации:

Рис. 3.2. Результат фильтрации зашумленного сигнала в модели стохастической волатильности

Далее приводятся и анализируются основные элементы вычислительно-программного комплекса.

В заключении диссертации приводятся и анализируются основные результаты исследования.

Основные публикации по теме диссертации

Публикации в изданиях, рекомендованных ВАК и приравненных к ним

1. Мисюра, И.В. Обработка и фильтрация сигналов. Современное состояние проблемы [Электронный ресурс] / И.В. Мисюра, В.В. Мисюра // Инженерный Вестник Дона, 2013. - №4 - Режим доступа: http://www.ivdon.ru/magazine/archive/n4y2013/2130

2. Белявский, Г.И. Фильтрация сигналов со скачками, возникающими в дискретном времени и с конечным горизонтом / Г.И. Белявский, И.В. Мисюра. // Научно-технические ведомости СПбГПУ. Физико-математические науки, 2014. -выпуск2 (194)-С. 137-143

3. Белявский, Г.И. Нейросетевой предсказатель с вейвлет-ядром / Г.И. Белявский, И.В. Мисюра. // Известия высших учебных заведений. СевероКавказский регион. Естественные науки, 2014. - № 3 - С. 11-13

4. Мисюра, И.В. Фильтрация сигнала для модели стохастической волатильности / И.В. Мисюра // Известия высших учебных заведений. СевероКавказский регион, 2014 - №6 - С. 27-31

5. Beliavskiy, G. I. The signal filtration under switching regime model. The Monte-Carlo évaluation / G. I. Beliavskiy, I. V. Misyura // Applied Mathematical Sciences, 2014.-Vol. 8, no. 177-P. 8833-8840

Публикации в других изданиях

6. Мисюра, И.В. Один метод фильтрации случайного сигнала / И.В. Мисюра. // — Обозрение прикладной и промышленной математики, 2010. - том 17, выпуск 6 -С. 911-912.

7. Мисюра, И.В. Фильтрация в дискретном времени винеровского процесса со скачком / И.В. Мисюра. // Обозрение прикладной и промышленной математики, 2011.-том 18, выпуск 2 - С. 307

8. Мисюра, И.В. Фильтрация в моделях со скачками. Метод Монте-Карло / И.В. Мисюра // Обозрение прикладной и промышленной математики, Москва ТВП, 2013. - том 20, выпуск 3 - С. 517-518.

9. Белявский, Г.И. Одношаговый нейросетевой вейвлет предиктор сигналов / Г.И.Белявский, И.В. Мисюра // Обозрение прикладной и промышленной математики, 2014 - том 21, выпуск 1 - С. 36-37.

10. Мисюра, И. В. Предсказание тенденций развития случайных процессов / И.В. Мисюра, В.В. Мисюра // Обозрение прикладной и промышленной математики, 2014. - том 21, выпуск 1 - С. 652-653.

Результаты, представленные в совместных работах, принадлежат авторам в равной степени.

Сдано в набор 29.05.2015 г. Подписано в печать 29.05.2015 г. Формат 60 X 84 1/16. Цифровая печать. Усл. печ. л. 1,1. Бумага офсетная. Тираж 100 экз. Заказ 2905/01.

Отпечатано в ЗАО «Центр универсальной полиграфии» 344006, г. Ростов-на-Дону, ул. Пушкинская, 140, телефон 8-918-570-30-30 mvw.copy61.ru e-mail: info@copy61.ru