автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Идентификация стохастических систем авторегрессионного типа с нелинейностями и бесконечной дисперсией шума

На правах рукописи

Марков Александр Сергеевич

2 7 АВ Г 2009

ИДЕНТИФИКАЦИЯ СТОХАСТИЧЕСКИХ СИСТЕМ АВТОРЕГРЕССИОННОГО ТИПА С НЕЛИНЕЙНОСТЯМИ И БЕСКОНЕЧНОЙ ДИСПЕРСИЕЙ ШУМА

05.13.01 -Системный анализ, управление и обработка информации (в отраслях информатики, вычислительной техники и автоматизации)

Автореферат диссертации на соискание ученой степени кандидата физико-математических наук

Томск - 2009

003475803

Работа выполнена на кафедре высшей математики и математического моделирования ГОУ ВПО «Томский государственный университет»

Научный руководитель: доктор физико-математических наук,

профессор

Конев Виктор Васильевич

Официальные оппоненты: доктор технических наук,

профессор

Рубан Анатолий Иванович

доктор физико-математических наук, профессор

Кошкин Геннадий Михайлович

Ведущая организация: ИПУ РАН (г. Москва)

Защита диссертации состоится 17 сентября 2009 г. в 10:30 часов на заседании диссертационного совета Д 212.267.12 при ГОУ ВПО «Томский государственный университет» по адресу: 634050, г. Томск, пр. Ленина, 36.

С диссертацией можно ознакомиться в Научной библиотеке ГОУ ВПО «Томский государственный университет» по адресу: 634050, г. Томск, пр. Ленина, 34а.

Автореферат разослан: 10 июля 2009 г.

У ченый секретарь диссертационного совета д.т.н., профессор

В.И. Смагин

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы. В прикладных задачах при обработке эмпирических временных рядов центральной проблемой является выбор адекватной математической модели поведения наблюдаемой системы. Как правило, выбор модели поведения системы осуществляется на основе анализа данных по ее функционированию. В этом случае процесс выбора модели называют идентификацией. Выделяют этапы структурной и параметрической идентификации. При структурной идентификации определяется вид функциональных связей между наблюдениями за стохастической динамической системой с точностью до конечного числа неизвестных параметров. Задачей параметрической идентификации является восстановление неизвестных параметров системы по элементам выборки (наблюдениям за системой).

В задачах управления, фильтрации и прогнозирования широко используются линейные модели временных рядов. Применение линейных моделей особенно оправдано в условиях относительно малого объема наблюдений, а также на этапе предварительного исследования структуры изучаемого объекта. При решении различных прикладных задач обширное применение получила линейная модель авторегрессии вида:

Хп-Л1Хп_1+ +... + ¿рХп_р + еп, где {Хп}п20 - наблюдения за стохастической системой, {^},>0 - ненаблюдаемая последовательность возмущений (шум), - неизвестные параметры модели.

Первоначально исследование характеристик различных процедур оценивания неизвестных параметров проводилось в предположе-

нии, что шумы {¿г, }(2.0 - независимые одинаково распределенные случайные величины с «нормальным» (гауссовым) распределением, а параметры с течением времени не изменяются. Затем был рассмотрен случай, когда распределение шумов неизвестно, а предполагается лишь конечность второго момента. Однако на практике эти ограничения не всегда позволяют отследить динамику реального процесса.

Многочисленные экспериментальные исследования современных систем связи показали, что такие характеристики, как размер файла, вре-

мя, требуемое процессору для выполнения работ, время соединения, время ожидания между пакетами в сети Ethernet и их размер, данные видео конференций проявляют свойства случайных величин с «тяжелыми» хвостами распределений (бесконечной дисперсией). Это вызвало дополнительный интерес к изучению свойств стохастических динамических систем с шумами, распределение которых имеет бесконечную дисперсию.

Однако наличие шумов с бесконечной дисперсией в динамической системе может привести к тому, что методы идентификации ее параметров, разработанные для случая конечной дисперсии, могут оказаться недостаточно эффективными или качественно поменять свои свойства. В этом случае необходимо дополнительное изучение процедур оценивания ее параметров.

В последние годы проявляется интерес к модели авторегрессии в случае, когда параметры модели не являются постоянными, а изменяются с течением времени. В прикладных задачах нашла применение модель пороговой авторегрессии вида:

pj

Xk=eoj+lL eijxk-i + ekJ, когда rH < < i=1

где pj,deR*, j = l,...,m, {0U} -неизвестные параметры модели, - пороги, такие, что - «> = г0 < <... < гт < гт+] = +со.

Одной из важных характеристик различных процедур идентификации неизвестных параметров является совместное асимптотическое (при неограниченном росте числа наблюдений) распределение ошибок оценивания, поскольку оно позволяет строить доверительные области для неизвестных параметров с заданным уровнем доверия.

Цель диссертационной работы. Построение эффективных процедур оценивания параметров модели авторегрессии с бесконечной дисперсии шумов и нелинейной пороговой авторегрессии. Необходимо рассмотреть как классические процедуры оценивания с фиксированным числом наблюдений, так и последовательные, которые характеризуются тем, что число наблюдений определяется в ходе сбора информации согласно некоторому правилу остановки, и исследовать асимптотическое поведение оценок при неограниченном числе наблюдений.

Методы исследования. Для решения поставленных задач применялись методы теории вероятностей, последовательного анализа, теории мартингалов, теории марковских процессов, методов асимптотического анализа сумм зависимых случайных величин.

Научная новизна. Результаты выносимые на защиту. Научная новизна работы состоит в получении асимптотических свойств оценок параметров модели авторегрессии с бесконечной дисперсией и нелинейно-стями (пороговой авторегрессии). Результаты выносимые на защиту:

1. Взвешенная оценка по методу наименьших квадратов для модели линейной авторегрессии первого порядка с бесконечной дисперсией шума.

2. Асимптотическое распределение нормированного уклонения взвешенной оценки.

3. Асимптотическое поведение взвешенной оценки в сравнении с обычной оценкой МНК.

4. Предельное распределение МНК оценок взрывной пороговой авторегрессии первого порядка.

5. Последовательная процедура идентификации параметров пороговой авторегрессии.

6. Совместное асимптотическое распределение ошибок последовательных оценок пороговой авторегрессии.

Теоретическая ценность работы состоит в аналитическом решении задачи оценивания параметров модели авторегрессии с бесконечной дисперсией и пороговой авторегрессии.

Практическое значение работы. Построенные процедуры оценивания неизвестных параметров модели авторегрессии можно использовать на практике при построении прогнозов для стохастических динамических систем, описываемых уравнением авторегрессии или пороговой авторегрессии. Найденные предельные распределения оценок могут быть использованы при построении доверительных интервалов для неизвестных параметров.

Реализация и внедрение результатов работы. Результаты диссертации используются в учебном процессе на факультете естественных наук и математики Томского политехнического университета. Предложенные методы оценивания были реализованы посредством ЭВМ и используются

при построении прогнозов финансовых индексов в рамках деятельности ООО «Эконофизика - Томск».

Апробация работы. Работа выполнялась в рамках научно-исследовательской работы при финансовой поддержке Российского фонда фундаментальных исследований. Основные результаты диссертации обсуждались на кафедре высшей математики и математического моделирования ТГУ, а также на следующих конференциях:

- на Всероссийской научной конференции молодых ученых «Наука. Технологии. Инновации» в г. Новосибирске, НГТУ, декабрь 2005г.;

- на четырнадцатой Всероссийской школе-коллоквиуме по стохастическим методам, восьмом Всероссийском симпозиуме по прикладной и промышленной математике в г. Сочи-Адлер, сентябрь-октябрь 2007г.;

- на пятнадцатой Международной конференции студентов, аспирантов и молодых ученых «Ломоносов» в г. Москва, МГУ, апрель 2008г.;

- на третьей Международной конференции по передовому управлению и компьютерной информации в г. Далянь, Китай, август 2008г.

Публикации. Основные результаты, полученные в диссертации, опубликованы в 6 работах, в том числе 2 работы в журналах из перечня ВАК.

Структура и объем диссертации. Диссертация состоит из введения, 3-х глав, заключения, списка использованной литературы и 3-х приложений. Работа содержит 117 страниц машинописного текста, 35 рисунков и 12 таблиц.

Краткое содержание работы

Во введении раскрывается актуальность исследуемой проблемы, приводится обзор известных результатов, формулируется цель и содержание работы, обосновывается теоретическая и практическая значимость.

В первой главе решается проблема построения оценки неизвестного параметра модели авторегрессии с бесконечной дисперсией вида:

Хк=1Хк_х+£к, Х0=0, к>\, (1)

где Я - неизвестный параметр, | Л |< 1, {ек }4г1 — последовательность независимых одинаково распределенных случайных величин (шум) с симмет-

ричной функцией распределения, правильно меняющейся на бесконечности, с параметром а е (0,2), т.е. для любого х > О

= (2) где L(x) медленно меняется на бесконечности, то есть lim L(tx)/L(x) = 1 для любого / > 0.

К этому типу распределений относятся, например, симметричные устойчивые распределения с характеристической функцией (х.ф.)

у/(0 = <Гс|,Г\ с>0, 0<а <2. Оценку неизвестного параметра Я по наблюдениям Хх,...,Хп предлагается находить из условия минимума суммы взвешенных квадратов невязок

±о>к(хк-АХ^)2,

к=1

используя весовые коэффициенты ак - Хк™ при т > 1. При этом оценка имеет вид:

±xkxl^ -• (3)

*=2

Решается задача поиска асимптотического распределения оценки (3), а также задача сравнения точностных свойств изучаемой оценки в сравнении с обычной оценкой МНК вида:

п

X^iA-i

---(4)

к=2

Используя уравнение (1), получаем вид ошибки оценивания:

= ^-. (5)

V1 у 2/л+2

L,Ak-1 к=2

Показывается справедливость следующей теоремы, которая устанавливает предельное распределение нормированного уклонения взвешенной оценки 1пт .

Теорема 1. Пусть распределение шума {ек}кя в (1) обладает свойством (2). Тогда для любого фиксированного т> 1 асимптотическое распределение нормированного уклонения оценки (5) задается предельным соотношением:

Нш

К.

2/п+1 к-2

2ш+1'

где

а„=:тЦх: >•*)<-[,

2 .

— БШ 71

/ N ( У\ ап I а

[руу

2 Р.

'.С_(А) =

Е

№

к= О

а Ур- симметричная устойчивая случайная величина с х.ф.

а

= е4"7,

с!

причем р-2т + \. Здесь и далее символ = означает, что величины имеют одинаковое распределение.

Замечание 1. Предельное распределение ошибки оценивания можно использовать для построения доверительных интервалов для неизвестного параметра Я. Хотя теорема 1 верна для любого положительного целого т, целесообразно использовать т = 1, так как в этом случае предельное распределение оценки будет иметь наиболее «легкий» хвост.

Следствие 1. В случае, когда шумы имеют симметричное устойчивое распределение, константа Ср(я) принимает вид

Представляет интерес сравнить асимптотические свойства взвешенной оценки (3) с обычной оценкой МНК (4). Известно, что предельное распределение нормированного уклонения оценки МНК Л„ от истинного значения Л определяется равенством:

Ит^-^-Ы^А (6)

где

а„ =шф: Р^,|>*)<1/л}, а„=тф: ф,£2|>;с)<1/л}, е, и е2 независимы и имеют распределение, удовлетворяющее условию (2), а и - некоторые независимые устойчивые случайные величины.

Теорема 2. В условиях теоремы 1 для любого фиксированного т > 1

(7)

ап л->оо

Замечание 2. Из (6) и (7) следует, что

{Лп,т-^)=ор(Лп-Л) при я где - Д.) обозначает величину более высокого порядка малости по вероятности по сравнению с (Яп-Л). Таким образом, взвешенная оценка МНК обладает более высокой асимптотической скоростью сходимости по распределению к истинному значению, чем обычная оценка МНК.

Во второй главе рассматривается модель пороговой авторегрессии первого порядка вида:

** + ек, к > 1, = 0, (8)

/=о

где {Хк}ку0- наблюдаемый процесс, {ек}кгХ - шумовая последова-

тельность, {0,}^,йт - неизвестные параметры модели, 1,к = %{Г1<хк<,м) (%{) - индикаторная функция, / = 0,т), {г,}ск,!>,т, - известные пороги, такие, что -со = г0<г, <...<гт <гт+1 =+0О.

Рассматривается задача идентификации параметров {#, }0£,<т.

В первом разделе второй главы для оценивания неизвестных параметров модели предлагается использовать последовательную процедуру на основе метода наименьших квадратов. Делается предположение, что последовательность шумов {£к}кл - это последовательность независимых одинаково распределенных случайных величин с непрерывной всюду положительной плотностью, причем Еех= 0, Ее^ =1.

Для построения процедуры оценивания неизвестных параметров вх,в2 для каждого Я > О вводятся моменты остановки:

г;(я)= : ^ (здесь и далее ] = 0,т),

при УjJ¡ = Хк1 ¡к. Вводятся 0 < аДя) < 1 такие, что

г,<Я>-1

Е у],к-\ +аАн)У%Ану 1 = н, к=2

И

Последовательные МНК - оценки записываются в виде: Ф)

-Ч (9)

■Е/Уя)^., Я"2

к=г

При этом ошибка оценивания параметра в} записывается в виде:

1 'А")

■ (Ю)

п к=г

Здесь коэффициенты к (н) вводятся для того, чтобы оценки (9) в отличие от обычных оценок МНК обладали свойством несмещенности, то есть Е0](н)=в]. Для формулировки основного результата делаются следующие обозначения:

х = {х0,х„...,хт)Т, Фт+1(х)=ф(х0)-ф(х,)-.--Ф(хи), где Ф(-) - функция распределения стандартного нормального закона.

Показана справедливость следующей теоремы, которая показывает, что оценки #Дя) асимптотически независимы, а их предельное распределение является стандартным гауссовым.

Теорема 3. Пусть для некоторого компактного множества К с Ят*х и любого 5>0 и 7 = 0 ,т выполняются следующие условия:

1<ш5ирр/э«>р: ^¿Е^-^О, (11)

Р^веК *=2 )

lim supPiy ■ > a)= 0 для любого n> 2. (12)

«->" е<=к

Тогда ошибки (10) удовлетворяют предельному соотношению: lim sup sup к(Уя(?(//)-^х)-Фт1(х]| = 0.

Замечание 3. Теорема 3 устанавливает, что оценки (9) обладают свойством равномерной по параметрам совместной асимптотической нормальности, когда исходный процесс удовлетворяет условиям (11), (12). Известно, что для обычных оценок МНК данное свойство не выполнено.

Рассматривается частный случай процесса (8) при т = 1, гх= 0, а именно

1 + при Хк_х <0, [02Хы+ПРИ Хк-л >0-Показывается следующая лемма, которая устанавливает, что условия теоремы 3 выполняются для любого компакта из области

Лемма 1. Для любого компакта К а 0 и любого 5 > 0

lim sup l(Зп > т: у\ , ><5£ у\А 1 = 0, m-»"°(ei,fli)EK V JU2 ;

lim sup HyL >a)=0 для любого я >2.

Во втором разделе второй главы рассматривается взрывная модель пороговой авторегрессии вида:

+ + Х0 =0, ¿>1, где - независимые одинаково распределенные случайные величи-

ны, А,, ¿2 - неизвестные параметры, удовлетворяющие условию:

Я, <0,^ <0,Л1Л2>1. Рассматривается оценка Лп параметра Я = [а,,Я2]г по методу наименьших квадратов

к—1

где

Х-к-1

м я= YJk-\Yk-\ =

t=i

Или покомпонентно

1 " - 1 " Кп > n = >

k=i *=i

(13)

где £ = i{x;J, s; = ±{xkJ.

/ы

Ошибки оценивания записываются в виде

1 " - 1 "

\п ~ = "ГГ ЦХк-\£к > И,^к-\ек ■

\ *=1 *=•

Издается предельное поведение ошибок оценивания в случае, когда

распределение шумов имеет плотность /(х), для которой выполняются

условия:

A. Для любого х е Л f(x) > О;

B. Для любого xeR f(x)= f(-x);

C. Для некоторых^ > 0, р > 0, х" > О

F(-x)=l-F(x)<bxe для х>/. Теорема 4. При выполнении условий А-С для оценок (13) справедливо предельное соотношение:

liin sup

(л - я)< х, - я) < у)- F(x)F(y]| = О,

где /•'(■) — функция распределения случайной величины

1

к-0

Замечание 4. В случае стандартных гауссовых шумов случайная величина 4 также будет иметь стандартное гауссово распределение.

В третьей главе приводятся результаты имитационного моделирования для:

1. взвешенной оценки МНК параметра авторегрессии первого порядка с бесконечной дисперсией (первый раздел);

2. последовательных оценок МНК параметров пороговой авторегрессии первого порядка (второй раздел).

3. обычной оценки МНК параметров взрывной пороговой авторегрессии первого порядка (третий раздел);

В первом разделе главы 3 представлены результаты численного моделирования взвешенной и обычной оценок МНК параметра модели авторегрессии с бесконечной дисперсией. Имитационное моделирование процесса (1) проводилось с использованием симметричного устойчивого распределения и симметричного распределения типа Парето, для которого >.*:)= (1 + х)'1, х>0, а е (ОД). В рамках численного моделирования необходимо определить насколько отличается выборочное распределение взвешенной оценки Л„, от асимптотического. Согласно утверждению теоремы 1 нормированное уклонение оценки Лл1 вычислялось по формуле:

Т^Т-ЛЛм-А).

(14)

На рисунке 1 приводится оценка плотности распределения величины (14), построенная по 10 ООО повторений процедуры оценивания (пунктирная линия) и ее теоретическая предельная плотность р(х) с характеристической функцией (/(/)= е^" (непрерывная линия) для и = 50, а = 1,5, А = -0,5.

Рис 1 Теоретическая предельная плотность р(х) (непрерывная линия) и оценка гшотности нормированного уклонения при п = 50, а = 1,5, Я = -0,5.

Как видно из рисунка, выборочная плотность по сравнению с теоретической имеет более высокий пик в окрестности нуля, а на хвостах плотности практически совпадают. Это говорит о том, что при малом числе наблюдений доверительные границы могут быть несколько завышены.

Для сравнения точности оценивания взвешенной оценки А„, и обычной оценки МНК Лп вводится функция относительной эффективности оценок

, 0</?<а, (15)

щлпЛ -л\

которая является отношением абсолютных моментов порядка р для обычной оценки МНК и взвешенной оценки Л„д.

Для оценки математических ожиданий в (15) для каждого значения параметра Л = 0,01/, /' = -100,...,100, процедуры оценивания запускались 100 000 раз. При этом значение параметра р выбиралось равным а/2. На рисунке 2 приводятся оценки функции относительной эффективности для п - 25 и п = 100 при шумах с распределением Коши (а = 1,0).

Рис. 2. Функция относительной эффективности оценок при а = 1,0.

Из рисунка 2 видно, что в большинстве точек значение функции относительной эффективности больше единицы для а = 1,0. Это означает, что среднее порядка а/2 для абсолютного уклонения оценки МНК больше, чем для взвешенной оценки МНК. Отметим, что значение функции эффективности в целом возрастает при увеличении объема наблюдений с 25 до 100.

Для сравнения точностей взвешенной и обычной оценок МНК в зависимости от «тяжести» хвоста распределения (значения параметра а) наряду с (15) вычислялась функция средней относительной эффективности оценок

р(а,р,п,5) = --1— ' Г0<р<а, ик , 2_25 I р

которая является средним по параметру Я от функции относительной эффективности (15).

На рисунке 3 приводятся выборочные функции средней относительной эффективности при р = а/2, <5 = 0,01 для и = 25 и ?? = 50 взависимости от значений параметра а (построенные по 100 ООО повторений процедур оценивания) для устойчивых шумов.

Рис. 3. Функция средней относительной эффективности оценок.

Во втором разделе главы 3 представлены результаты численного моделирования последовательных оценок параметров процесса пороговой авторегрессии первого порядка с одним порогом в нуле. Приводятся оценки плотностей распределений оценок параметров, а также выборочные характеристики:

1. Оценки плотностей распределений нормированных ошибок оценивания н)-в}).

2. Л у (//) - среднее число наблюдений.

3. /);(#)- выборочные дисперсии ошибок (^(я)-^).

4. р(н) - выборочная корреляция ошибок (¿Дя)-^).

5. Д(я) - максимальное отклонение двумерной эмпирической функции распределения от теоретического предельного распределения.

На рисунке 4 представлены оценки плотностей нормированных уклонений и теоретические предельные плотности (плотность стандартного нормального распределения) для 0, =0,35, 02 = -0,45 при Я = 5 в предположении, что шумы имеют стандартное нормальное распределение. На рисунке р(х) показывает предельную плотность, а ~р(х) - оценку плотно-

сти нормированного уклонения. В таблице 1 приводятся выборочные характеристики 2-5.

в2

Рис. 4. Теоретическая предельная плотность р(х) и ее оценка ~р(х). Сверху для 0,. Снизу для 0г. = 0,35, в2 = -0,45, Я = 5. Таблица 1. Выборочные характеристики оценок. в1 = 0,35,#2 = -0,45, Я = 5.

Л^я) Д(Я) о2(я) р(н) Д(Я)

5,321710 8,554390 0,395957 0,408710 -0,000996 0,020570

Из рисунка 4 и таблицы 1 видно, что уже при малом пороге Н, когда среднее число наблюдений по каждому параметру не превышает 9, выборочная плотность практически совпадает с теоретической предельной.

В третьем разделе главы 3 для взрывной модели пороговой авторегрессии приводятся оценки плотностей распределений ошибок оценок параметров по методу наименьших квадратов, построенные по 10 000 повторений процедуры оценивания для различных значений параметров А,, Я2 при нормальном распределении шумов.

На рисунке 5 представлены выборочные плотности распределения

ошибок оценивания для Я, = -2, /Ц = -1 при п = 20. _

--0,45-

/ 0,3 \

......РМ

/ 0,15 ■

\ -Р(Х)

--1—— |-,-9- -1-—---1

¿2

Рис 5. Теоретическая предельная плотность р(х) и ее оценка ~р(х).

Сверху для Я,. Снизу ДЛЯ * — , — — 1, /1 = 20.

Как видно из рисунка 5, уже при объеме наблюдений п = 20 выборочные плотности нормированных ошибок оценивания практически совпадают с теоретической предельной гауссовой плотностью. Выборочная корреляция при п = 20 составила 0,018814.

В заключении формулируются основные теоретические и практические результаты диссертации, которые состоят в следующем:

1) Построена взвешенная оценка по методу наименьших квадратов для оценивания параметра модели авторегрессии с бесконечной дисперсией.

2) Найдено асимптотическое распределение ошибки взвешенной оценки параметра авторегрессии в случае, когда шумы обладают функцией распределения, правильно меняющейся на бесконечности.

3) Установлено, что взвешенная оценка обладает более высокой асимптотической скоростью сходимости к истинному значению параметра в сравнении с обычной оценкой по методу наименьших квадратов.

4) Для оценивания параметров модели пороговой авторегрессии предложены последовательные оценки со специальными моментами остановки.

5) Найдено совместное предельное распределение ошибок последовательных оценок параметров пороговой авгорегрессии. Показана асимптотическая независимость оценок.

6) Найдено асимптотическое распределение ошибок оценок параметров взрывной пороговой авторегрессии с одним порогом по методу наименьших квадратов. Во взрывной области исходный процесс не является эргодическим.

7) Проведено имитационное моделирование рассмотренных процедур оценивания неизвестных параметров посредством ЭВМ. Все полученные теоретические результаты были подтверждены с помощью компьютерного моделирования. Проведено численное сравнение рассмотренных процедур оценивания с классическими методами.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Марков A.C. Оценивание параметра авторегрессии с бесконечной дисперсией шума // Автоматика и Телемеханика. - 2009/ -№1, - С. 104-118.

2. Марков A.C. Последовательная идентификация пороговой авторегрессии II Известия ТПУ. - 2009/- Т. 314, №2/- С. 21-26.

3. Марков A.C. Оценивание параметра авторегрессии с бесконечной дисперсией шума II Наука. Технологии. Инновации : материалы Всеросс. науч. конф. молодых ученых. 08-11 декабря 2005. Новосибирск. - Новосибирск : НГТУ. - 2006. - 4.1. - С. 57-58.

4. Марков A.C. Оценивание параметра авторегрессии при бесконечной дисперсии шумов // Обозрение прикладной и промышленной математики : Четырнадцатая школа-коллоквиум по стохастическим методам. - 2007. - Т. 15, вып. 1.-С. 92-93.

5. Марков A.C. Последовательная идентификация пороговой авторегрессии // Материалы докладов XV Международной конференции студентов, аспирантов и молодых ученых «Ломоносов», М. : Изд-во МГУ; СП МЫСЛЬ, 2008. - 1 электрон, опт. диск (CD-ROM). - С. 3031.

6. Markov A.S. Parameter Estimation in an Autoregression Model with Infinite Variance [Online resource] // 3rd International Conference on Innovative Computing Information and Control. - Dalian, China, 2008. - P. 586-587. - URL: http://doi.ieeecomputersociety.Org/10.l 109/ICICIC. 2008.414.

Тираж 100 экз. Отпечатано в КЦ «Позитив» 634050 г. Томск, пр. Ленина 34а

ВВЕДЕНИЕ.

Глава 1. Оценивание параметра авторегрессии с бесконечной дисперсией шума.

1.1. Постановка задачи.

1.2. Построение взвешенной оценки.

1.3. Предельное распределение ошибки оценивания.

1.4. Преимущество взвешенной оценки.

1.5. Выводы.

Глава 2. Оценивание параметров пороговой авторегрессии.

2.1. Последовательное оценивание.

2.1.1. Построение последовательных оценок.

2.1.2. Совместное асимптотическое распределение ошибок оценивания.

2.2. Оценивание взрывной пороговой авторегрессии.

2.3. Выводы.

Глава 3. Результаты численного моделирования.

3.1. Моделирование процедуры оценивания параметра авторегрессии с бесконечной дисперсией шума.

3.1.1. Распределение нормированного уклонения ошибки оценивания.

3.1.2. Функция относительной эффективности оценок.

3.1.3. Функция средней относительной эффективности оценок.

3.2. Моделирование последовательной процедуры оценивания параметров пороговой авторегресии

3.2.1. Случай гауссовых шумов.

3.2.2. Случай шумов с равномерным распределением.

3.2.3. Случай дискретных шумов.

3.2.4. Пример применения пороговой авторегрессии в задачах нелинейного оценивания.

3.2.5. Выводы.

3.3. Моделирование процедуры оценивания параметров взрывной пороговой авторегрессии.

3.3.1. Распределение ошибок оценивания.

3.3.2. Выводы.

В прикладных задачах при обработке эмпирических временных рядов центральной проблемой является выбор адекватной математической модели поведения наблюдаемой системы. Традиционно выделяют детерминированные и стохастические модели. Значительную часть занимают стохастические динамические модели, отличительными признаками которых являются наличие возмущений (помех) и вероятностные методы анализа характеристик модели. Существенным преимуществом стохастических моделей перед детерминированными является наличие эффективных методов сравнения разных моделей на основе одних и тех же эмпирических данных [27].

Как правило, выбор математической модели поведения системы осуществляется на основе анализа данных по ее функционированию. В этом случае процесс выбора модели называют идентификацией. Выделяют этапы структурной и параметрической идентификации. При структурной идентификации определяется вид функциональных связей между наблюдениями за стохастической динамической системой с точностью до конечного числа неизвестных параметров. Задачей параметрической идентификации является восстановление неизвестных параметров системы по элементам выборки (наблюдениям за системой).

Выделяют последовательные и непоследовательные процедуры оценивания неизвестных параметров динамических систем. Непоследовательное или классическое оценивание характеризуется тем, что число наблюдений при построении оценок фиксировано. В последовательных процедурах число наблюдений определяется согласно некоторому правилу остановки, которое тем или иным образом характеризует количество информации, накопленной в ходе сбора наблюдений за стохастической динамической системой. При этом последовательное оценивание допускает исследование дополнительных свойств оценок, таких как среднее время идентификации или среднеквадра-тическое уклонение оценок.

Существует и, так называемая, непараметрическая идентификация. Непараметрические методы предназначены, главным образом, для анализа свойств динамической системы в условиях недостатка априорной информации о виде функциональной связи между элементами выборки, когда невозможно задать то, или иное параметрическое семейство [7]. Основной недостаток непараметрических методов заключается в том, что они слабее поддаются теоретическому исследованию (в сравнении с параметрическими методами) и большинство теоретических результатов являются асимптотическими при неограниченном объеме наблюдений.

В рамках параметрического подхода обработка и анализ временных рядов, как правило, осуществляется в соответствии со схемой:

1. выбор модели обрабатываемых данных (структурная идентификация);

2. оценка параметров выбранной модели (параметрическая идентификация);

3. проверка адекватности модели с учетом полученных параметров.

На этапе структурной идентификации важно подобрать наиболее простую модель, свойств которой будет достаточно для удовлетворения текущих целей использования модели, таких как прогнозирование и управление. С одной стороны, модель должна воспроизводить требуемые характеристики, свойства исходных данных. С другой стороны, ее выбор необходимо осуществлять с учетом возможностей современной теории оценивания, а также накопленного опыта построения линейных и нелинейных моделей. Если модель процесса содержит большое число параметров, то это служит верным указанием на то, что для процесса следует рассмотреть другой класс моделей [27]. Избыточное количество параметров модели требует относительно большого объема- наблюдений для их оценивания, что на практике не всегда выполнимо.

В задачах управления, фильтрации и прогнозирования широко используются линейные модели временных рядов. Применение линейных моделей особенно оправдано в условиях относительно малого объема наблюдений, а также на этапе предварительного исследования структуры изучаемого объекта. Для идентификации параметров линейных динамических систем разработаны различные методы [2, 20, 43, 72], включая метод наименьших квадратов (МНК) и его модификации (метод инструментальных переменных и др.), метод максимального правдоподобия, различные робастные процедуры, такие как метод знаковых оценок и др.'

При решении различных прикладных задач обширное применение получила линейная модель авторегрессии вида:

Хп = &\Хпх + ХгХпг +. + ЛрХпр + бп , где {Хп }(j>0 — наблюдения за стохастической системой, }.>0 — ненаблюдаемая последовательность возмущений (шум), /^.Д — неизвестные параметры модели. Модель авторегрессии широко используется в анализе временных рядов, поскольку позволяет аппроксимировать любой стационарный процесс с непрерывной спектральной плотностью [1]. Процессы авторегрессии используются, например, в задачах управления [68], в задачах компьютерной надежности [78], в физической медицине [75], в теории финансов [49] и др. Авторегрессионные модели используются и в задачах обнаружения разладки случайных процессов [10].

Первоначально исследование характеристик различных процедур оценивания неизвестных параметров ,.,А проводилось в предположении, что шумы {б; }/>0 — независимые одинаково распределенные случайные величины вует единственное стационарное решение, то есть все корни характеристического полинома

P{z) = 1 - AjZ - /t>z2 -. - Xpzp лежат вне единичного круга.

Затем был рассмотрен случай, когда распределение шумов неизвестно, а предполагается лишь конечность второго момента.

Однако на практике эти ограничения не всегда позволяют отследить динамику реального процесса. Так в последние годы проявляется значительный интерес к исследованию моделей типа авторегрессии в случае, когда нарушаются некоторые ограничения, накладываемые на модель. Остановимся на некоторых из них более подробно.

Нарушение условия конечности вторых моментов шумов. В настоящее время появилась необходимость дополнительного исследования существующих моделей стохастических динамических систем в случае, когда случайные величины, задающие динамику исходного процесса, имеют распределения с «тяжелыми» хвостами (бесконечной дисперсией). Ограничимся классом правильно меняющихся на бесконечности распределений. Для вероятностного распределения F(x) это означает, что для некоторого а е (0,2) выполняются следующие условия:

1) Vx> О l-F(x) + F(-x) = x"aL(x), l-F(x) F(-x)

2) lim-—-= р, lim--—--= q,

->«l -F(x) + F(-x) *-*»l-F(x) + F(rx) где p,q> 0, p + q = \, L(x) медленно меняется на бесконечности, то есть

Vt> О = т->со L{x)

Для таких распределений все абсолютные моменты порядка /? > а равны бесконечности. Подробно ознакомиться с правильно меняющимися распределениями и их свойствами можно, например, в [44].

Как показано в обзорной статье [77], многочисленные экспериментальные исследования современных систем связи показали, что такие характеристики, как размер файла, время, требуемое процессору для выполнения работ, время соединения, время ожидания между пакетами в сети Ethernet и их размер, данные видео конференций проявляют свойства случайных величин с «тяжелыми» хвостами. Величины с «тяжелыми» хвостами распределений встречаются и в гидрологии, финансах, структурной инженерии [77].

Распределения с «тяжелыми» хвостами, а, в частности, устойчивые распределения все чаще используются в теории сетей и очередей. Традиционные предположения о том, что интервалы между заявками и время обслуживания имеют экспоненциальное распределение, в большом числе случаев не выполняются.

Распределения с бесконечной дисперсией широко используются при описании гравитационного поля звезд, распределения температуры в ядерном реакторе, распределения напряжений в кристаллических решетках и т.д. [22, 23].

Это вызвало дополнительный интерес к изучению свойств стохастических динамических систем с шумами, распределение которых имеет «тяжелые» хвосты (бесконечную дисперсию). Однако наличие шумов с бесконечной дисперсией в динамической системе может привести к тому, что методы идентификации ее параметров, разработанные для случая конечной дисперсии, могут оказаться недостаточно эффективными или качественно поменять свои свойства. Поэтому в случае, когда распределение шумов динамической системы имеет «тяжелые» хвосты, необходимо дополнительное изучение процедур оценивания ее параметров.

Наиболее важными распределениями с «тяжелыми» хвостами являются устойчивые распределения, введенные Леви в 1924 г. [44]. В общем случае характеристическая функция устойчивого распределения с показателем a е (0,2) записывается в виде: v(0 = exp exp it в - C\t\a j^l - i/3sign(t) tan^y^ (l\ it в - C\t\ 1 + i0sign(t) - log(f) e(0,l)u(l,2), a-1, для некоторых действительных в, С, /?.

В частном случае симметричное строго устойчивое распределение с показателем a g (0,2) задается характеристической функцией

Отметим, что последняя характеристическая функция при а = 2 является характеристической функцией нормального распределения. Основным свойством устойчивых случайных величин является то, что их сумма имеет устойчивое распределение с тем же показателем (с точностью до некоторых известных коэффициентов масштабирования и сноса). В случае конечной дисперсии случайных величин таким свойством обладает только нормальное распределение.

Также известно [44], что нормированные суммы независимых одинаково распределенных случайных величин могут сходиться к некоторому невырожденному закону распределения в том и только том случае, когда последнее устойчиво. Поэтому роль устойчивых распределений в анализе случайных величин с бесконечной дисперсией такая же, как и роль нормального распределения в анализе случайных величин с конечной дисперсией. Распространенным примером устойчивого распределения является распределение Коши {а = l) с плотностью р{х) = 7 л(х-х0)2+г: х0 е R, у > 0.

Нарушение условий, накладываемых на параметры модели авторегрессии. В последние годы проявляется интерес к модели авторегрессии в случае, когда параметры модели не являются постоянными, а изменяются с течением времени. Так, например, в работах [26, 59] рассмотрена модель авторегрессии со случайными коэффициентами, для которой

Хп = (Л + ,п + • • • + (ЛР + Vp,n )хп-р + £п» где \rjj п j — шумовые последовательности.

В прикладных задачах нашла применение модель пороговой авторегрессии (SETAR - self-exciting threshold autoregressive), функция динамики которой является кусочно-линейной [58]. Модель SETAR записывается в виде: р, хк = 0oj + ZвиХкч + £kj> когда Г]х <Xkd <Г], где pj,d eR+, j = I,.,т, [ву) - неизвестные параметры модели, {r,.\0<j<m+x пороги, такие, что — оо = г0 < г, <.<гт < гт+х = +оо . При этом используют обозначение SETAR(т;pl,p2,.ipm).

Эта модель, например, позволяет описывать динамику рыночных цен акций, облигаций и т.д., когда скорости роста и падения цен различны (пороговая авторегрессия выбирается в качестве модели поведения log-returns цен). Модель пороговой авторегрессии используется в биологии для моделирования численности популяции [58].

Одной из важных характеристик различных процедур идентификации неизвестных параметров является совместное асимптотическое (при неограниченном росте числа наблюдений) распределение ошибок оценивания, поскольку оно позволяет строить доверительные области для неизвестных параметров с заданным уровнем доверия. Приведем ряд известных результатов, которые потребуются при решении задач идентификации моделей авторегрессии при бесконечной дисперсии шумов и нелинейной пороговой авторегрессии. Ограничимся рассмотрением процедур на основе метода наименьших квадратов, который является одним из наиболее распространенных методов оценивания параметров линейных динамических систем.

В работе [56] для модели авторегрессии первого порядка

Хп = *Хп-1 + ЕП найдено предельное распределение ошибки оценки неизвестного параметра Л по методу наименьших квадратов вида: п 1

1 к=2

А» —-, п п ' к-2 для случая, когда {еп}п>{ - последовательность симметричных независимых одинаково распределенных случайных величин с функцией распределения правильно меняющейся на бесконечности с параметром а. Предельное распределение задается соотношением: п / И—^00 где S, — симметричная устойчивая случайная величина с параметром а, S0 ос 0 односторонняя устойчивая случайная величина с параметром —. Здесь и да2 лее —» обозначает сходимость по распределению.

В [69] показано, что скорость сходимости оценки МНК параметра авторегрессии в случае бесконечной дисперсии шума оказывается выше, чем в случае конечной дисперсии. По-видимому, это связано с тем, что наличие шумов с «тяжелыми» хвостами приводит к тому, что в выборке появляется значительное количество наблюдений с большими абсолютными значениями и количество информации в выборке растет быстрее, чем в случае конечной дисперсии шумов.

В работе [70] для оценки параметра авторегрессии при шумах с симметричной функцией распределения удовлетворяющей свойству Парето с показателем а е (1,2), то есть limха(l-F(x)) = ft, j3> 0, x—>oo предложена оценка по методу наименьших квадратов с весами вида:

X^l-A-A 2-г

I^A2-, к=2

Показана состоятельность оценки Л^, то есть lim Л^ = Л, для Л е (- оо,+оо). й—>оо

Для г е (l, а) предложен последовательный вариант оценки Л(пг) с заменой неслучайного числа наблюдений п на случайное число наблюдений т(г)(с), которое задается равенством:

T^(C) = mfL>2:±4r\X2k{>c\,

I к=2 где С — заданная положительная величина (порог). Последовательная оценка /L(r)(C) имеет вид: 4-А-А + У(Г) (с)ю% (с), (с)., (с)

Ы2 где 0 < /(г)(С) < 1 находится из условия: г<г>(С)-1

Е +rw(cK»(cHx2W(cH = с.

Показано, что при /1е(-со,+оо) последовательная оценка Л(г)(С) и момент остановки г(г)(С) обладают следующими свойствами:

2. ф(г)(С))=Я,

3. Е{\Хг\с)-Л\\<3^ г-1 •

Здесь Вг, /2Г - некоторые константы.

Для простейшей модели пороговой авторегрессии первого порядка с одним порогом в нуле вида: х +еп, при Хпх <0,

2Xn-l+e»> ПРИ Х«-\ >°> в работе [76] показана совместная асимптотическая нормальность ошибок оценок МНК параметров \, Я^ п п

2 к^1 jj к=I

Ли - „ » Л2,п - я / 42 ' хЫ zfeJ к=1 £=1 где х+ = max(x,0), х- = min(x,0), в случае, когда параметры принимают значения в области устойчивости модели, то есть Я, < 1, Л2 < 1, Я,Я2 < 1.

2 »х,

Рис 1. Область устойчивости пороговой авторегрессии первого порядка. Однако предельное распределение зависит от некоторых моментов процесса в стационарном режиме, которые в общем случае не имеют аналитического представления. Это затрудняет использование асимптотического распределения, например, в задаче построения доверительных интервалов для неизвестных параметров Я,, . В работе [53] показано, что оценки по методу наименьших квадратов являются состоятельными, когда Я, < 1, Я2 < 1. Остается открытым вопрос о совместном асимптотическом поведении ошибок оценивания взрывной пороговой авторегрессии, когда Я, < 1, Я2 < 1, Я1Я2 > 1.

2АХ,

Хг

1 2

Рис 2. Область значений параметров взрывной пороговой авторегрессии.

Цели диссертации:

1. построить оценку параметра модели авторегрессии первого порядка с бесконечной дисперсией на основе метода наименьших квадратов с весами специального вида;

2. исследовать асимптотические свойства взвешенной оценки параметра авторегрессии для случая шумов с «тяжелыми хвостами» (поиск асимптотического распределения нормированного уклонения оценки);

3. построить последовательную процедуру идентификации параметров пороговой авторегрессии;

4. исследовать асимптотические свойства последовательной процедуры оценивания пороговой авторегрессии (поиск совместного предельного распределения ошибок оценивания);

5. исследовать асимптотические свойства оценок по методу наименьших квадратов параметров пороговой авторегрессии в случае, когда параметры попадают в неустойчивую область (взрывная пороговая авторегрессия);

6. провести численное моделирование рассмотренных процедур оценивания с целью сравнения теоретических предельных характеристик с выборочными.

Приведем некоторые результаты из области идентификации параметров моделей авторегрессии, в том числе для случая нарушения условий конечности вторых моментов шумов и случая, когда нарушается условие неизменности параметров авторегрессии. Предлагаемый обзор не претендует на исчерпывающую полноту исследования и ограничивается лишь моделями и методами, которые близки к моделям и методам, изучаемым в диссертационной работе.

Непоследовательные методы идентификации авторегрессии

Проблеме непоследовательного оценивания неизвестных параметров модели авторегрессии посвящена обширная литература. Одними из основных методов оценивания являются метод наименьших квадратов и метод максимального правдоподобия. Остановимся на них более подробно.

В [1] для линейной модели авторегрессии с постоянными параметрами и независимыми гауссовыми шумами предложена оценка по методу максимального правдоподобия. Оценка неизвестных параметров определяется из условия максимума условной плотности распределения шумов при заданных начальных значениях процесса. При гауссовых шумах решение такой задачи сводится к решению задачи на минимум суммы квадратов невязок, то есть к обычной задаче наименьших квадратов. Показывается состоятельность оценок и их асимптотическая нормальность.

В [2] приводится обзор основных методов оценивания параметров процессов авторегрессии-скользящего среднего. Рассматриваются метод автокорреляций, метод наименьших квадратов, метод максимального правдоподобия, методы ошибки предсказания, робастные методы. Метод автокорреляций основан на оценке параметров с использованием выборочных значений автокорреляционной функции. К нему относят оценки Юла-Уокера для авторегрессии порядка р +1 по оценкам параметров процесса авторегрессии порядка р с использованием рекуррентного алгоритма Левинсона-Дарбина. Отмечено, что метод наименьших квадратов позволяет получить асимптотически нормальные оценки для устойчивого процесса авторегрессии в случае, когда существуют конечные моменты распределения шумов вплоть до четвертого порядка. В случае наличия априорной информации об условных плотностях ошибок предсказания, предлагается использовать метод максимального правдоподобия, который во многих случаях дает состоятельные, асимптотически нормальные и асимптотически эффективные оценки. В случае, когда нет априорной информации об условных плотностях ошибок предсказаний, используются методы ошибки предсказания. В этих методах оценки параметров находятся из условия минимума некоторого функционала от ошибок предсказания на один шаг. Получаемые оценки являются состоятельными и асимптотически нормальными. Если априорной информации о распределении шумовой последовательности недостаточно для построения оптимальных оценок, то предлагается использовать робастные методы оценивания параметров. Подробный обзор робастных методов приводится также в [20].

Известно, что оценки параметров авторегрессии по методу наименьших квадратов и по методу максимального правдоподобия являются асимптотически нормальными только в том случае, когда модель устойчива, то есть все корни характеристического полинома лежат вне единичного круга. Поведение же оценок вблизи границы допустимой области резко ухудшается.

Вопрос о поведении оценок на границе частично решен в работе [54]. В указанной работе показано, что для авторегрессии второго порядка с параметрами на границе допустимой области оценки МНК допускают 6 различных типов распределений ошибок оценивания (в зависимости от корней zx и z2 характеристического полинома). Кроме того, предельное распределение является достаточно сложным, например, для комплексной пары корней zx = е~ир, z2 = е1(р предельное распределение задается соотношениями nil 2созЫ) " > К"М~ Wi0))sinW + К20) + (О- 2)cos(<?) г;) и—>оо 1 / ч ' tV~(s)+W~{s))ds о n{l„+l) ' ) (2-y|2(')-y22(l))

V / и->оо 1 , . ' о где ХХп, I п - оценки параметров, Wx (t), W2 (t) — независимые стандартные броуновские движения (0 < t < l). Аналогичная ситуация возникает и для авторегрессии первого порядка, для которой оценки МНК перестают быть асимптотически нормальными, когда параметр равен ± 1.

Последовательные методы идентификации авторегрессии

Для оценивания параметра авторегрессии первого порядка хк = AXk-i + 8к авторы [71] предложили последовательный вариант оценки по методу наименьших квадратов вида

Г (я) к=1 где т(н) = infj/?: Xj^-i - j • То есть момент остановки определяется как момент, когда количество информации по Фишеру превысит заданный порог Н. Авторы показали, что оценка Л(н) распределена асимптотически нормально равномерно по параметру Л е [- l,l].

В работе [5] предложена другая последовательная оценка 1

У ' Н т{н)~ 1

YuXk-\Xk + Р(Н )Хт{н)-\Хт{н) к=2 где 0 < /3(н) < 1 находится из условия: т{Н )-1 х xlx+p(H)x2T{H)x=H. к=2

Авторы показали, что такая оценка является несмещенной. Получена равномерная по параметру верхняя граница для среднеквадратического уклонения оценки, то есть оценка является гарантированной в том смысле, что заранее можно указать длительность наблюдения процесса, при котором достигается требуемая точность оценивания.

В работе [61] предложена процедура последовательной идентификации устойчивой авторегрессии на основе метода наименьших квадратов с моментом остановки т(н) специального вида, который задается равенством: r(#) = infjw: м:2

1/2 1 где Мп — информационная матрица Фишера. Авторами найдена верхняя граница для квадрата нормы отклонения вектора оценок от вектора истинных значений параметров. Найдено асимптотическое поведение среднего времени остановки.

В [62] для построения последовательной оценки МНК параметров авторегрессии предлагается использовать момент остановки, который зависит от следа информационной матрицы Фишера. С таким моментом остановки показана равномерная асимптотическая нормальность ошибок оценивания (равномерная по параметрам из любого компактного множества в области устойчивости модели).

В работе [63] для оценивания авторегрессии второго порядка с параметрами, выпадающими на границу области устойчивости модели, используются последовательные оценки МНК с моментом остановки вида:

Показана равномерная по параметрам асимптотическая нормальность оценок по любому компактному множеству из области устойчивости модели, включая ее нижнюю границу.

В [51] найдено предельное распределение ошибок оценивания последовательной процедуры идентификации параметра авторегрессии для случая, когда шумы имеют устойчивое распределение. Найденное распределение представляет собой распределение отношения двух устойчивых случайных величин.

Публикации по работе.

1. Марков А.С. Оценивание параметра авторегрессии с бесконечной дисперсией шума // Наука. Технологии. Инновации: Материалы Всеросс. науч. конф. молодых ученых. 08-11 декабря 2005. Новосибирск. Новосибирск: НГТУ. - 2006. - 4.1. - С. 57-58.

2. Марков А.С. Оценивание параметра авторегрессии при бесконечной дисперсии шумов // Обозрение прикладной и промышленной математики. Четырнадцатая школа-коллоквиум по стохастическим методам. -2007. - Т.15, вып. 1. - С. 92-93.

3. Марков А.С. Последовательная идентификация пороговой авторегрессии // Материалы докладов XV Международной конференции студентов, аспирантов и молодых ученых «Ломоносов», М.: Издательство МГУ; СП МЫСЛЬ, 2008. - 1 электрон, опт. диск (CD-ROM), - С. 30-31.

4. Markov A.S. Parameter Estimation in an Autoregression Model with Infinite Variance // 3rd International Conference on Innovative Computing Information and Control. - Dalian, China, - p. 586-587, http://doi.ieeecomputersociety.org/10.1109/ICICIC.2008.414.

5. Марков А.С. Оценивание параметра авторегрессии с бесконечной дисперсией шума // Автоматика и Телемеханика. - 2009, - №1, - С. 104118.

6. Марков А.С. Последовательная идентификация пороговой авторегрессии // Известия ТПУ. - 2009, - Т.314, №2, - С. 21-26.

Апробация работы.

Основные результаты диссертации обсуждались на кафедре высшей математики и математического моделирования ТГУ, а также на следующих конференциях:

- на Всероссийской научной конференции молодых ученых «Наука. Технологии. Инновации» в г. Новосибирске, НГТУ, декабрь 2005г.;

- на четырнадцатой Всероссийской школе-коллоквиуме по стохастическим методам, восьмом Всероссийском симпозиуме по прикладной и промышленной математике в г. Сочи-Адлер, сентябрь-октябрь 2007г.;

- на пятнадцатой Международной конференции студентов, аспирантов и молодых ученых «Ломоносов» в г. Москва, МГУ, апрель 2008г.;

- на третьей Международной конференции по передовому управлению и компьютерной информации в г. Далянь, Китай, август 2008г.

Сформулируем основные положения диссертации, которые выносятся на защиту.

1. Взвешенная оценка по методу наименьших квадратов для модели линейной авторегрессии первого порядка с бесконечной дисперсией шума.

2. Асимптотическое распределение нормированного уклонения взвешенной оценки.

3. Асимптотическое поведение взвешенной оценки в сравнении с обычной оценкой МНК.

4. Предельное распределение МНК оценок взрывной пороговой авторегрессии первого порядка.

5. Последовательная процедура идентификации параметров пороговой авторегрессии.

6. Совместное асимптотическое распределение ошибок последовательных оценок пороговой авторегрессии.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ Во введении обосновывается актуальность диссертационной работы, определяются цель и задачи исследования, формулируются основные положения, выносимые на защиту, показываются научная новизна, теоретическая и практическая значимость полученных результатов.

В главе 1 рассматривается задача оценивания параметра процесса авторегрессии первого порядка в случае, когда шумы обладают бесконечной дисперсией. Предложена взвешенная оценка по методу наименьших квадратов с весами специального вида, для которой найдено предельное распределение ошибки оценивания и установлено, что взвешенная оценка обладает более высокой асимптотической скоростью сходимости к истинному значению параметра в сравнении с обычной оценкой МНК.

Глава 2 посвящена оцениванию параметров пороговой авторегрессии. В разделе 1 предлагается последовательная процедура идентификации со специальными моментами остановки, для которой получено совместное асимптотическое распределение ошибок оценивания. В разделе 2 для обычной оценки по методу наименьших квадратов найдено предельное распределение ошибок оценивания для модели пороговой авторегрессии первого порядка во взрывной области значений параметров (область, в которой не существует стационарного распределения процесса).

В главе 3 приводятся результаты численных экспериментов по реализации рассмотренных процедур оценивания, представлены различные выборочные характеристики оценок, такие как оценка плотностей распределений, выборочная корреляция оценок и т.д. В разделе 1 для взвешенной оценки параметра авторегрессии с бесконечной дисперсией представлены следующие рисунки:

1. оценок плотностей ошибок оценивания для разных типов распределений, разных значений параметра модели и разных объемов наблюдений;

2. функций относительной эффективности оценок (вводятся в разделе 1 главы 3), которые показывают преимущество взвешенной оценки перед оценкой по методу наименьших квадратов в зависимости от значений параметра модели;

3. функций средней относительной эффективности оценок (вводятся в разделе 2 главы 3), которые показывают преимущество взвешенной оценки перед обычной оценкой МНК в зависимости от тяжести хвоста распределения шумов.

В разделе 2 для последовательных оценок параметров пороговой авторегрессии первого порядка представлены следующие результаты:

1. рисунки оценок плотностей ошибок оценивания для различных порогов процедуры, различных параметров и различных типов распределений шумов, включая дискретное распределение;

2. выборочные характеристики, а именно, корреляция оценок, среднее число наблюдений, среднеквадратическая ошибка и т.д.

В разделе 3 для оценок по методу наименьших квадратов параметров взрывной модели пороговой авторегрессии первого порядка представлены оценки плотностей распределений ошибок оценивания и выборочные корреляции для различных значений параметров модели и разных объемов наблюдений.

Результаты работы отражены в 6 публикациях.

ЗАКЛЮЧЕНИЕ

В диссертации были рассмотрены три проблемы. Первая была связана с идентификацией параметра модели авторегрессии в случае, когда шумы обладают бесконечной дисперсией. Вторая проблема, рассмотренная в работе, была связана с построением последовательной процедуры оценивания параметров модели пороговой авторегрессии. Третья проблема относилась к вопросу о предельном поведении оценок параметров взрывной пороговой авторегрессии по методу наименьших квадратов.

Основные теоретические и практические результаты диссертации состоят в следующем.

1) Построена взвешенная оценка по методу наименьших квадратов для оценивания параметра модели авторегрессии с бесконечной дисперсией.

2) Найдено асимптотическое распределение ошибки взвешенной оценки параметра авторегрессии в случае, когда шумы обладают функцией распределения, правильно меняющейся на бесконечности.

3) Установлено, что взвешенная оценка обладает более высокой асимптотической скоростью сходимости к истинному значению параметра в сравнении с обычной оценкой по методу наименьших квадратов.

4) Для оценивания параметров модели пороговой авторегрессии предложены последовательные оценки со специальными моментами остановки.

5) Найдено совместное предельное распределение ошибок последовательных оценок параметров пороговой авторегрессии. Показана асимптотическая независимость оценок.

6) Найдено асимптотическое распределение ошибок оценок параметров взрывной пороговой авторегрессии с одним порогом по методу наименьших квадратов. Во взрывной области исходный процесс не является эргодическим.

7) Проведено имитационное моделирование рассмотренных процедур оценивания неизвестных параметров. Все полученные теоретические результаты были подтверждены с помощью компьютерного моделирования. Проведено численное сравнение рассмотренных процедур оценивания с классическими методами.

1. Андерсон Т. Статистический анализ временных рядов. — М.: Мир, 1976.

2. Альтшуллер С. В. Методы оценки параметров процессов авторегрессии -скользящего среднего// Автоматика и телемеханика. — 1982. — № 8. — С. 518.

3. Биллингсли П. Сходимость вероятностных мер. — М.: Наука, 1977.

4. Бокс. Дж., Дженкинс Г. Анализ временных рядов. Прогноз и управление. -М.: Мир, 1974, вып. 1.

5. Борисов В. 3., Конев В. В. О последовательном оценивании параметров дискретных процессов// Автоматика и телемеханика. 1977. - Т. 5, № 10. - С. 58-64.

6. Вальд А. Последовательный анализ. М.: Гос. изд-во физ.-мат. лит-ры, 1960.

7. Васильев В. А., Добровидов А. В., Кошкин Г. М. Непараметрическое оценивание функционалов от распределений стационарных последовательностей. -М.: Наука, 2004.

8. Васильев В. А., Конев В. В. Последовательное оценивание параметров при неполном наблюдении// Изв. АН СССР. Техническая кибернетика. -1982.-№6.-С. 145-154.

9. Векслер А. А. Риск-эффективное оценивание параметра процесса авторегрессии// Проблемы передачи информации. 1997. - Т. 33, № 2. - С. 37-53.

10. Воробейчиков С. Э., Конев В. В. Об обнаружении разладки в линейной стохастической системе по зашумленным наблюдениям// Проблемы передачи информации. 1992. - Т. 28, № 3. - С. 68-75.

11. Гаас О. В. Об асимптотической мощности критерия отношения правдоподобия для проверки гипотезы о нестационарности ряда авторегрессии синновациями коши// Проблемы передачи информации. 2004. - Т. 40, № 2.-С. 81-93.

12. Гнеденко Б. В. Курс теории вероятностей. -М.: Наука, 1988.

13. Гнеденко Б. В., Колмогоров А. Н. Предельные распределения для сумм независимых случайных величин. — М.: гос. изд-во технико-теоретической лит-ры, 1949.

14. Горяинова Е. Р. Знаковые оценки в модели скользящего среднего с бесконечной дисперсией// Автоматика и телемеханика. — 1997. № 11. — С. 29-38.

15. Дмитриенко А. А., Конев В. В. О гарантированном оценивании параметров авторегрессии при неизвестной дисперсии помех// Автоматика и телемеханика. 1994. - № 2. - С. 87-89.

16. Дмитриенко А. А., Конев В. В. О последовательной классификации процессов авторегрессии с неизвестной дисперсией помех// Проблемы передачи информации. 1995. - Т. 31, № 4. - С. 51-62.

17. Дуб Дж. JI. Вероятностные процессы. — М.: изд-во иностр. лит-ры, 1956.

18. Дынкин Е. Б. Марковские процессы. -М.: ФМ, 1963.

19. Епанечников В. А. Непараметрическая оценка многомерной плотности // Теория вероятностей и ее применения. — 1969. Т. 14, вып. 1. — С. 156— 162.

20. Ершов А. А. Стабильные методы оценки параметров (обзор)// Автоматика и телемеханика. 1978. - № 8. - С. 66-100.

21. Жиляков Е. Г. Об оценивании параметров процессов авторегрессии — скользящего среднего// Проблемы передачи информации. 1991. - Т.27, № 2. - С. 59-68.

22. Золотарев В. М. Одномерные устойчивые распределения. М.: Наука,1983.

23. Ибрагимов И. А., Линник Ю. В. Независимые и стационарно связанные величины. -М.: Наука, 1965.

24. Кашковский Д. В. Последовательная процедура классификации процессов авторегрессии со случайными коэффициентами // Автометрия. -2006. Т. 42, № 1. - С. 70-81.

25. Кашковский Д. В., Конев В. В. О последовательных оценках параметров авторегрессии со случайными коэффициентами// Автометрия. 2008. -Т. 44, № 1.-С. 70-81.

26. Кашьяп P. JL, Рао А. Р. Построение динамических моделей по экспериментальным данным. -М.: Наука, 1983.

27. Колмогоров А. Н., Журбенко И. Г., Прохоров А. В. Введение в теорию вероятностей. М.: Наука, 1995.

28. Конев В. В. Последовательные оценки параметров стохастических динамических систем. Томск: Изд-во Томск, ун-та, 1985.

29. Конев В. В., Пергаменщиков С. М. Последовательное оценивание параметров линейных неустойчивых стохастических систем с гарантированной среднеквадратической точностью// Проблемы передачи информации. 1992. - Т. 28, № 4. - С. 35-48.

30. Корнфельд И. П., Штейнберг Ш. Е. Оценивание параметров линейных и нелинейных систем методом осредненных невязок// Автоматика и телемеханика. 1986. - Т. 18, № 1.-С. 1651-1672.

31. Куржанский А. Б., Фурасов В. Д. Идентификация билинейных систем. Гарантированные псевдоэллипсоидальные оценки// Автоматика и телемеханика. 2000. - № 1.-С. 41-53.

32. Леви П. Стохастические процессы и броуновское движение. М.: Наука, 1965.ты времени// Проблемы передачи информации. 2005. - Т.41, № 2. — 3643.

33. Лоэв М. Теория вероятностей. М.: изд-во иностр. лит-ры, 1962.

34. Льюнг Л. Идентификация систем. Теория для пользователя. М.: Наука, 1991.

35. Марков А.С. Оценивание параметра авторегрессии с бесконечной дисперсией шума// Наука. Технологии. Инновации: Материалы Всеросс. науч. конф. молодых ученых. 08-11 декабря 2005. Новосибирск. Новосибирск: НГТУ. - 2006. - Ч. 1. - С. 42-44.

36. Марков А.С. Оценивание параметра авторегрессии при бесконечной дисперсии шумов// Обозрение прикладной и промышленной математики. Четырнадцатая школа-коллоквиум по стохастическим методам. 2007. -Т. 15, № 1.-С. 92-93.

37. Марков А.С. Последовательная идентификация пороговой авторегрессии// Материалы докладов XV Международной конференции студентов, аспирантов и молодых ученых «Ломоносов», М.: Издательство МГУ; СП МЫСЛЬ, 2008. 1 электрон, опт. диск (CD-ROM), - С. 30-31.

38. Марков А.С. Оценивание параметра авторегрессии с бесконечной дисперсией шума// Автоматика и Телемеханика. 2009, - №1, - С. 104-118.

39. Марков А.С. Последовательная идентификация пороговой авторегрессии// Известия ТПУ. 2009, - Т.314, №2, - С. 21-26.

40. Тырсин А. Н. Идентификация зависимостей на основе моделей авторегрессии // Автометрия. 2005. - Т. 41, № 1. - С. 43-49.

41. Фомин. В. Н. Рекуррентное оценивание и адаптивная фильтрация. — М.: Наука, 1984.

42. Феллер В. Введение в теорию вероятностей и ее приложения: В 2 т. — М.: Мир, 1984. Т. 2.

43. Фетисов В. Н. Аппроксимация случайного процесса процессом авторегрессии в задачах стохастического управления// Автоматика и Телемеханика. 1994. - Т. 22, № 4. - С. 1917-1930.

44. Хардле В. Прикладная непараметрическая регрессия. — М.: Мир, 1993.

45. Хеннан. Э. Многомерные временные ряды. -М.: Мир, 1974.

46. Ширяев А. Н. Вероятность. М.: Наука, 1980.

47. Ширяев А. Н. Основы стохастической финансовой математики: В 2 т. -М.: ФАЗИС, 1998. Т. 1.

48. Элиот Р. Стохастический анализ и его приложения. — М.: Мир, 1986.

49. Balakrishnan N., Ibragimov I., Nevzorov V. Asymptotic Methods in Probability and Statistics with Application. New York.: Springer-Verlag, 2001.

50. Breiman. L. On some limit theorems similar to arc-sin law// Theory Probab. Appl. 1965. - V 10, No. 2. -P. 351-359.

51. Chan K. S., Pham D. Т., Tong H. Strong Consistency of the least squares estimator for a non-ergodic threshold autoregressive model// Statistica Sinica, — 1991. -V.l. -P. 361-369.

52. Chan N. H., Wei C. Z. Limiting distribution of least squares estimates of unstable autoregressive processes// Ann. Statist. 1988. - V. 16, № 1. - P. 367401.

53. Davis R. A. Stable limits for partial sums of dependent random variables// Ann. Prob. 1983, - V. 11, No. 2. - 262-269.

54. Davis. R. A., Resnick S. Limit theory for the sample covariance and correlation functions of moving averages// Ann. Statist. 1986. - V. 14, № 2. - P. 533-558.

55. Fallot P., Le Breton A. On the stochastic linear regulator problem for systems with infinite variance// Syst. Control Lett. 1993. - № 21. - P. 423-429.

56. Fan J., Yao Q. Nonlinear Time Series. New York.: Springer-Verlag, 2003.

57. Feigin P. D., Tweedie R. L. Random coefficient autoregressive processes: A Markov Chain analysis of stationary and finiteness of moments// Journal of Time Series Analysis. 1985.-V. 6, № 1.-P. 1-14.

58. Flannery B. P., Press W. H., Teukolsky S. A., Vetterling W. T. Numerical Recipes in C: The Art of Scientific Computing. 2nd edition. — Cambridge: Cambridge University Press, 1992.

59. Galtchouk L., Konev V. On sequential least squares estimates of autoregressive parameters// Sequential analysis. 2005. - V. 24, No. 4. - P. 335-364.

60. Galtchouk L., Konev V. On uniform asymptotic normality of sequential least squares estimators for the parameters in a stable AR(p)// J. Multivariate Anal. 2004. - V. 91, No. 2. - P. 119-142.

61. Galtchouk L., Konev V. Sequential estimation of the parameters in unstable AR(2)// Sequential analysis. 2006. - V. 25, No. 1. - P. 25-43.

62. Govindarajulu Z. Sequential statistics. Singapore.: World scientific publishing, 2004.

63. Hennion H., Herve L. Limit theorems for markov chains and stochastic properties of dynamical systems by quasi-compactness. Berlin.: Springer, 2001.

64. Hall P., Heyde С. C. Martingale limit theory and its application. New York.: Academic press, 1980.

65. Kallenberg O. Foundations of modern probability. — New York.: Springer, 1997.

66. Kalman R. E. Control of Randomly Varying Linear Dynamical Systems// Proc. Symp. Appl. Math. 1962. - V.13. - P. 287-298.

67. Knight K. Rate of convergence of centred estimates of autoregressive parameters for infinite variance autoregressions// J. Ser. Anal. — 1987. — V. 8, № 1. -P. 51-60.

68. Konev V., Le Breton A. Guaranteed parameter estimation in a first-order autoregressive process with infinite variance// Sequential analysis. 2000. — V. 19(1&2), — P. 25-43.

69. Lai Т. L., Siegmund D. Fixed-Accuracy Estimaition of an Autoregressive Parameter// The Annals of Statistics. 1983. - V. 11, № 2. - P. 478-485.

70. Ljung L., Soderstrom T. Theory and Practice of Recursive Identification. -London: MIT Press, 1983.

71. Markov A.S. Parameter Estimation in an Autoregression Model with Infinite Variance // 3rd International Conference on Innovative Computing Information and Control. Dalian, China, - p. 586-587, http://doi.ieeecomputersociety.org/10.1109/ICICIC.2008.414.

72. Meyn S. P., Tweedie R. L. Markov Chains and Stochastic Stability. — London.: Springer-Yerlag, 1996.

73. Paulson A. S., Uppuluri C. R. Limit laws of a sequence determined by a random difference equation governing a one compartment system// Math. Biosci. 1972.- №3.- P. 325-333.

74. Petruccelli J. D., Woolford S. W. A threshold AR(1) model// J. Appl. Prob. -1984.-V. 21.-P. 270-286.

75. Resnick S. Special invited paper: heavy tail modeling and teletraffic data// Ann. Statist. 1997. - V. 25, № 5. - P. 1805-1869.

76. Singpurwalla N. D., Soyer R. Assessing software reliability growth using a random coefficient autoregressive process and its applications// IEEE Trans. Software Eng. 1985. - V.SE-11. - P. 1456-1464.

77. Tong H. On a threshold model. In: Chen. C. (ed.)// Pattern recognition and signal processing, Sijthoff & Noordhoff, Netherlands. 1978. - P. 575-586.

78. Vasiliev V. A., Konev V. V. On sequential parameter estimation of continuous dynamic systems by discrete time observations// Problems of Control and Information Theory. 1990. - V. 19, No 3. - P. 197-207.