автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Оценивание параметров нелинейных стохастических динамических систем с дискретным временем

На правах рукописи

Маляренко Анна Александровна

ОЦЕНИВАНИЕ ПАРАМЕТРОВ НЕЛИНЕЙНЫХ СТОХАСТИЧЕСКИХ ДИНАМИЧЕСКИХ СИСТЕМ С ДИСКРЕТНЫМ ВРЕМЕНЕМ

05.13.01 - системный анализ, управление и обработка информации (в отраслях информатики, вычислительной техники и автоматизации)

Автореферат диссертации на соискание ученой степени кандидата физико-математических наук

Томск - 2010

004600843

Работа выполнена на кафедре высшей математики и математического моделирования ГОУ ВПО "Томский государственный университет"

Научный руководитель:

доктор физико-математических наук, профессор Васильев Вячеслав Артурович

Официальные оппоненты:

Ведущая организация:

Институт проблем управления РАН (г. Москва)

Защита состоится: 29 апреля 2010 г. в 10.30 на заседании диссертационного совета Д 212.267.12 при Томском государственном университете по адресу: 634050. г. Томск, пр. Ленина, 36, 2-ой уч. корп., ауд. 212 "б".

С диссертацией можно ознакомиться: в Научной библиотеке Томского государственного университета по адресу: 634050, г. Томск, пр. Ленина, 34 а.

Автореферат разослан: 29 марта 2010 г.

Ученый секретарь диссертационного совета,

доктор физико-математических наук, ведущий научный сотрудник Гущин Александр Александрович

доктор физико-математических наук, доцент Дмитриев Юрий Глебович

д.т.н., профессор

В. И. Смагин

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы. Статистические выводы о случайных процессах - активно развивающееся направление исследований в математической статистике. Это вызвано, в частности, недавними приложениями к задачам финансовой математики и анализу рисков, где активно используются нелинейные модели дискретных временных процессов. Такие модели позволяют более адекватно описывать многие явления. Традиционные модели временных рядов, такие как модели авторегрессии и авторегрессии-скользящего среднего, не могут адекватно учесть все характеристики, которыми обладают финансовые временные ряды, и требуют расширения. Одна из характерных черт финансовых рынков - это то, что присущая рынку неопределенность изменяется во времени. Как следствие, наблюдается эффект "кластеризации волатилыюсти". Под этим имеется в виду то, что могут чередоваться периоды, когда финансовый показатель ведет себя непостоянно, и относительно спокойные периоды. Формальной мерой волатилыюсти служат дисперсия или среднеквадратическое отклонение. Эффект кластеризации волатилыюсти отмечен для таких рядов как изменение цен акций, валютных курсов, доходов спекулятивных активов.

Большой интерес представляют модели временных рядов со смешанной структурой, т.е. модели, одновременно обладающие линейной и нелинейной составными частями. Оценка параметров для подобных моделей сопряжена с определенными трудностями. Затруднения различного характера возникают при применении большинства классических методов нахождения оценок, ориентированных на линейные модели. Эти сложности можно обходить, применяя различные техники и алгоритмы.

Цель работы. Разработка методов асимптотического и последовательного оценивания параметров нелинейных стохастических динамических систем с дискретным временем типа AR/ARCH, а также многомерных билинейных процессов авторегрессии, наблюдаемых с линейными помехами. При асимптотическом подходе изучаются свойства оценок параметров при неограниченном увеличении объема наблюдений, в то время, как последовательные методы оценивания дают возможность нахождения оценок с заданными статистическими качествами по конечным выборкам.

Методика исследования. В работе использованы методы теории вероятностей, теории случайных процессов, теории статистического последовательного анализа, линейной алгебры и имитационного моделирования.

Научная новизна. Результаты выносимые на защиту. Научная новизна работы состоит в построении и исследовании свойств асимптотических и последовательных оценок параметров нелинейных стохастических динамических систем с дискретным временем.

Результаты выносимые на защиту:

1. Доказана сильная состоятельность и равномерная асимптотическая нормальность корреляционных оценок авторегрессионных параметров процесса АЯ(р) / А11СН (р).

2. Найдено общее условие устойчивости для произвольных степеней процесса А11(р)/А11СН(р).

3. Построены сильно состоятельные оценки корреляционного типа параметров многомерного процесса авторегрессии с дрейфом по наблюдениям с мультипликативными и аддитивными помехами, а также дисперсий аддитивных шумов модели.

4. Построена последовательная одноэтапная процедура гарантированного оценивания параметров нелинейной модели авторегрессии. Построенная процедура применена к двумерным моделям типа Л Я/А КС Н и билинейного авторегрессионного процесса-

5. Предложена двухэтапная последовательная процедура оценивания, позволяющая получать оценки параметров многомерной авторегрессии с дрейфом с любой заданной среднеквадратической точностью по наблюдениям с линейными помехами, а также оценки с гарантированным качеством авторегрессионных параметров модели АЩр)/А11СН(р).

Практическая ценность работы. Результаты работы могут быть использованы в различных отраслях науки и техники: финансовой математике, климатологии, радиофизике, медицине и в других прикладных задачах, связанных с идентификацией систем, прогнозированием, управлением, статистической обработкой временных рядов. Кроме того, полученные теоретические результаты могут быть использованы в соответствующих курсах лекций на математических факультетах университетов.

Достоверность и обоснованность всех полученных результатов. Все полученные в диссертации результаты имеют строгое математическое доказательство. Качество построенных оценок подтверждено проведенным имитационным моделированием.

Реализация и внедрение результатов работы. Разработанные процедуры оценивания используются для уточнения ошибок прогноза измеиений климатических характеристик Западной Сибири при моделировании регио-

нального климата, проводимого в Институте мониторинга климатических и экологических систем СО РАН.

Рассмотренные в диссертации модели и методы оценивания их параметров являются частью раздела "Построение нелинейных моделей динамических систем" курса "Идентификация", читаемого на 4 курсе факультета прикладной математики и кибернетики Томского государственного университета.

Апробация работы. Работа выполнялась в рамках научно-исследовательской работы при финансовой поддержке Российского фонда фундаментальных исследовании, грант РФФИ 09-01-00172. Основные результаты диссертации обсуждались на семинарах кафедры высшей математики и математического моделирования ФПМК ТГУ, а также па следующих конференциях:

1. 2nd International Conference on Innovative Computing Information and Control, Kumamoto. Japan, 2007.

2. 3rd International Conference on Innovative Computing Information and Control, DaLian, China, 2008.

3. XVI Всероссийская школа-коллоквиум по стохастическим методам и X Всероссийский симпозиум по прикладной н промышленной математике (весенняя сессия), Всероссийский Макросимпозиум "Инновационная экономика: проектные решения и управление рисками", Санкт-Петербург, 19 - 24 мая 2009.

4. VIII Всероссийская научно-практическая конференция с международным участием "Информационные технологии и математическое моделирование" (ИТММ-2009), Анжеро-Судженск, 13-14 ноября 2009.

Публикации. Основные результаты, полученные в диссертации, опубликованы а 6 работах, в том числе 2 работы в журналах из перечня ВАК.

Структура диссертации. Работа состоит из введения, 3 глав, заключения, списка использованной литературы и приложения. Работа содержит 115 страниц машинописного текста и 15 таблиц.

СОДЕРЖАНИЕ РАБОТЫ

Во введении раскрывается актуальность исследуемой проблемы, приводится обзор известных результатов, формируется цель и содержание работы, обосновывается теоретическая и практическая значимость.

В первой главе решается задача асимптотического оценивания параметров нелинейных стохастических систем с дискретным временем.

В первом разделе первой главы исследуются свойства- корреляционных оценок векторного авторегрессионного параметра А = (Ль....Ар)' модели АЩр)/АКСН(р) вида

'-п У^ +

(1)

где сг — (ад,....а^)' - векторы неизвестных параметров, Од > 0, шум £ = (£п, -^п)«^! образует процесс мартингал-разность, такой что

Ш^п-х) = О, Е^^) = 1, Е^!^,-!) = о,

= Я п.н., Еж(0)=0, Е||а:(())||4 < ос. Запишем уравнение (1) в матричной форме:

х(п) = Ах(п -1)+

где х(п) = (хп,..., хп_р+хУ,

А —

(2)

(3)

/А, ... ... А Ар \ (1\

1 ... ... 0 0 0

... ... 1 0 1 и у

^ = а20 + х'(п)И2х(п), Н2 = сИавК, • • •, Вектор А неизвестных параметров связан с матрицей А соотношением:

А = А'Ь.

Корреляционные оценки вектора А имеют вид:

А(А0 = Д'(ЛГ)Ь, (4)

где

А'{Щ = С+(

ф=^ ех(п - =^ х>(« - ^ -^

п— 1 п—1

= С-5, если матрица С невырождена и является нулевой, если (3 вырождена.

Определим уес[С] - вектор-столбец, составленный из столбцов матрицы С?.

В работе получено рекуррентное уравнение авторегрессионного типа для математического ожидания процесса г[п) = уес[а;(п.)а;'(п-)аг(п)х'(гг)] = ]|х(п)||2' \ч!с[х(л):г'(п)] с матрицей динамики I) и правило ее построения.

Обозначим д — (\.а~.сгс). где а^ - вектор, составленный из всех четных моментов шума существование которых предполагается.

Теорема 1. Пусть наблюдаемый процесс х удовлетворяет уравнению (I), а дм шумового процесса £ и 2.(0) выполнены условия (2). Тогда если матрица динамики О процесса Е,?г(п) является устойчивой, то оценка А(ЛГ) векторного параметра А. определенная в (4), является сильно состоятельной.

Во втором разделе первой главы решается задача оценивания параметров <т1,а\ процесса АГ?.СН(1) в модели А11(1)/А11СН(1):

х„ = \хп„1 + фт^ + ■£„, п> 1. (5)

Для построения оценок параметров а^.а^ используется уравнение регрессии для второй степени наблюдаемого процесса:

а£ = 0,*„_, + Яп, п > 1, (6)

где

(„ = (^,1)', в = [(Л2 + с?), Со]'-

Сначала находится оценка МНК 0{Ы) = (01(Аг),^2(Аг))' векторного параметра О

(N \ + N

£*»-/-! (7)

71=1 / 17—1

(8)

Оценки ^(Л^сК/У) определяются из системы уравнений: аЦМ) = (02(ЛГ))н

д?(ЛГ) = (»1(ЛГ)-ад)+, N>2,

где

а, а > О, = Ч а < 0.

Теорема 2. Пусть наблюдаемый процесс х удовлетворяет уравнению (5). Тогда:

а) если для шумового процесса £ = (£„) и Хо выполнены условия (2) и параметры А и удовлетворяют условию устойчивости

А4 + 6\2а1 + (сг,)2(74 < 1,

■то оценка А(/V), определенная в (4) при р — 1, - сильно состояте.иъшя;

б) если величины £п,гс > 1, образуют последовательность п.о.р.с.в. с симметричной относительно нуля плотностью и не зависят от Хц и такие. что

Eirg < оо, о-8 = Е£® < оо, а параметры А и of удовлетворяют при сто = условию устойчивости

А8 + 28A6CTj 4- 70А+ 28А2(а?)^6 + (<T,2)V8 < 1, (9)

то оценки A(jV), CTq(jV) и of(N) параметров А, Oq и of. определенные в (4) и (8) соответственно, - сильно состоятельные.

Замечание. В случая, когда один из параметров aизвестен, оценки будут иметь более простой вид:

- при известном параметре of : к

(10)

- при известном параметре ag

.2 .

/ N

M-og)

^---

E^-i

\ Я=1

\

/ Г

В третьем разделе первой главы доказывается равномерная асимптотическая нормальность оценок авторегреесионных параметров процесса А11(р)/А11СН(р). Рассматривается модель вида (1), где шум £ = (£„) и вектор :г(0) взаимно-независимые, образуют последовательность п.о.р.с.в., имеют симметричную плотность /¿(-) и удовлетворяют следующим условиям:

Е?„ = 0, Е£ = 1, Е^<сх>, Ех(0) = 0, Е||а;(0)||8 < ос.

Свойство асимптотической нормальности получено для оценки 0(АГ) = а'А(Л?) скалярного параметра 0 = а'А, где А(Д;) - корреляционная оценка, определенная в (4), а - заданный постоянный вектор. Отметим, что определяя таким образом в, можно оценить любую линейную комбинацию компонент вектора А.

Для того, чтобы сформулировать требуемое свойство равномерной асимптотической нормальности, необходимо получить условие устойчивости для восьмых степеней наблюдаемого процесса.

В приведенной ниже лемме сформулированы условия устойчивости для моментов произвольного порядка 2т процесса (1).

В работе получены для всех к > 2 рекуррентные уравнения авторегрессионного типа для математического ожидания векторных процессов, состоящих из всевозможных произведений компонент вектора х(п) в степенях, сумма которых равна к. с соответствующими матрицами динамики А к и правило построения этих матриц.

Лемма 1. Пусть шумы наблюдаемого процесса (1) образуют последовательность н.о.р.с.а., не зависят от а;(0) и имеют симметричную плотность. Предположим, что для некоторого гп > 1

Е*£„ = 0, = а?т) = < оо, Ет(0) = 0, Е||х-(0)||'2т < оо.

Тогда при р > 1 процесс (хп) устойчив, т.е.

япр Е^х^" < оо,

П>1

если параметр 1? такой, что матрицы динамики Л^, к — 1,т дм случая р > 1, устойчивы, т.е. их максимальные собственные значения по модулю меньше единицы и

т 1=0

при р — 1.

Для формулировки теоремы о равномерной асимптотической нормальности понадобятся следующие обозначения:

С=1нпС(;У) РЙ-п.Н.,

где матрицы определены в (4), а также постоянная

й -- п.п.,

а$- квадратный корень из а|, о/ = а1 С'1.

Введем параметрическое множество в = {(Л,с2. /{,г) : г) 6 К, г е Л1}.

где К - произвольный компакт для параметра $ из области устойчивости

процесса (ж®), т.е. матрицы Агь к — 1,4. устойчивы (или < 1 если р = 1)

и такие, что 8ир||(7~'|| < ос; Ф(г)~ функция стандартного нормального рас-к

нределения.

Теорема 3. Пусть выполняются условия Леммы 1 для т — 4. Тогда

В четвертом разделе первой главы решается задача асимптотического оценивания параметров процесса авторегрессии с дрейфом по наблюдениям с линейными помехами.

Рассматривается устойчивый q-мepный процесс авторегрессии р-го порядка;

х{п + 1) = А^п)х(п) + ... + Лр(п)х(п - р + 1) + С(п + 1), (12)

причем матрицы параметров А¡(п) дрейфуют во времени и могут быть представлены в виде:

А{(п) = Л + $(«). г = Т7р, п > 0.

Шумы £(п + 1) и образуют последовательности д х 1 векторов и ц х ц матриц с нулевым средним соответственно.

Наблюдаемый процесс (У(п)) удовлетворяет следующему уравнению:

1пп 5ир|Р,,(\/Лф9(Л0 -9)<г)- Ф(г/ст0)! = 0.

У(п) = Г(п)ж(п) + г)(п), п > 0.

где Г(п) = сИад{ъ{п),... ,7,(п)}, 7¡(п), г =17?-Определим

\

где ¿¡- заданный постоянный вектор.

Преобразуем систему (12), (13) к виду:

(13)

х(п + 1) = Л(п)ж(п) + п + 1), 10

а(п) - Г(п)х{п) + ¡7(п), п > 0.

где

х(п) = (,7:'(П),..., х'(п - р + 1))', i(0) = (ж(0),...: - р)У,

«") = {$», • • • - 0')', ф) = {rf{n),...,'//('» -р+ 1))', а(п) - (У'(п),...; Y'{n - р + 1))', А(п) = Л + S(n), (А, ... Ар \ /Si(n) ... Sp(n) \

А =

/ ... О О

О

/ О

, =

/

... О

... о

/

Г(п) = <йаз{Г(п),..., Г(п - р + 1)}.

Пусть S = E5(n) ® S(n), Л = ЕЛ(п) 8 А(п) = A® A + S. Сформулируем требования и условия на параметры системы и шумы в следующих предположениях.

Предположение П1: Собственные значения матрицы А лежат в единичном круге, матрица А - невырожденная.

Предположение П2: Функции (5(гс)), (£(я)), (Г(п)) и г{0) для всех

п > 1 удовлетворяют условиям:

а) _ ESi(n) = 0, E||S,(n)||2 <ос, i = 1,р;

б)

Еж(0) = 0, Е||х(0)||2 < оо, E?(n) = О, Е£(п)£'(п) = В, П> О (в смысле квадратичных форм):

в)

Er¡(n) = 0, Ег](п)т]'(п) = D;

г) диагональные элементы матриц Г(п) такие, что

E7¿(n) = 1, i = 1,р.

Предположение ПЗ: Случайные векторы £(п) в уравнении (12) имеют положительную плотность относительно меры Лебега на множестве {х : х е ||i|| < для некоторого fj > 0.

Из системы (14) получено уравнение для наблюдаемого скалярного процесса гп = l[Y(n) :

zn+1 = а'(п)\ + c„+i + 6„+ь (15)

где (е„) и (6„) - шумовые процессы.

Обозначим 'д - вектор, состоящий из элементов матриц Ai, ...,АР, S, В, D и определим множество Е^ состоящее из векторов г) с компонентами, удовлетворяющими предположениям П1, П2.

Корреляционные оценки параметра Л имеют вид:

Х(п) = G+(n) ■ Ф(п), (16)

где

G(n) = IЕ - ф(п) = ^ Е -

Теорема 4. Пусть наблюдаемый процесс (Y(nJ) удовлетворяет уравнению (13) и выполнены предположения П1-ПЗ. Тогда оценка \{п) векторного najmMernpa А, определенная в (16), сильно состоятельная, т.е. для любого $ е S)

lim А(п) —- А Рй — п.н.

ri—>oo

О силу нелинейности и многомерности системы (12), (13) вид оценок дисперсий существенно усложняется. Поэтому для упрощения рассмотрим случай <7=1. Тогда при l\ = 1 вектор А = (Ль..., Ар)' и 2„ = У(п).

Для получения корреляционных оценок дисперсий аддитивных шумов модели (12), (13) введем обозначения:

Гп+х - 2п+1 - a'{n)А.

В предположениях П1-ПЗ существует стационарное решение для процесса, удовлетворяющего (12). Следовательно, существуют пределы г(0), г(р) корреляционных функций E^r^jE^TV^rn-p+i соответственно при п —» ос. и может быть записана система уравнений для векторного параметра ст2 =

Ва2 = II, (17)

где матрица В зависит от неизвестного параметра А, а матрица II - от различных корреляций наблюдаемого процесса Y. Заменяя в (17) корреляции на выборочные корреляционные функции, а неизвестный параметр А па сильно

состоятельную оценку Л(п), определенную в (16), получаем оценку с2(п) для неизвестного параметра а2 :

Теорема 5. Пусть выполнены уыовия П1-ПЗ. Тогда коррыяционная оценка а2(п), определенная в (18), сильно состоятельная, т.е.. для любого & € Ех

Во второй главе разрабатывается метод последовательного оценивания параметров нелинейных стохастических динамических систем с дискретным временем.

В первом разделе второй главы решается задача одноэтапного последовательного оценивания параметров наблюдаемого р-мерного процесса (ж(ге)), удовлетворяющего уравнению

х(п) = А0{п) + А){п)\ + В{(п%+1 + В2{п)11п+1, п > 1, (19)

где Ао(п), -4] (п) - наблюдаемые. В|(т?,),Б2(п) - ненаблюдаемые -измеримые матрицы размерностей р х 1.рх ц.р х 1,р х т соответственно. Шумы и образуют последовательности ^"„-измеримых п.о.р случайных векторов таких, что Е£„ = 0, Ет7„ = О, = I, Ег)пт]'п = /; Л = (Ль..., А,)'- вектор неизвестных параметров.

Задача состоит в построении одноэтапного последовательного плана оценивания параметра 9 = а'А, где а - заданный постоянный вектор.

Предполагается существование матриц А^п) = [А\(п)А\{п)\~х А\(п), а также известных ^„-измеримых матриц Е^п), Ег(п) таких, что:

Обозначим с(п) = {a'i4f(n)(Ei(n) + £2(?г))(Л]н(гг))'а}-1. Последовательный план (т(Н), $*(//)) оценивания параметра 0 с заданной среднеквадратической точностью /7""1, // > 0 определяется формулами:

а~{п) - В+(п)Н(п).

(18)

lim ö"2(n) = a2 Po — п.и.

Bi(n)B[(n) < Si(n), B2(n)B!2(n) < E2(n) п.н.

(20)

N

(21)

т(Н)

где

Ш) =

1, п < т(Н). а(Н). п = т(Я);

Н-

а(Н) =

т(Я)-1 £ с(«)

Теорема 6. Пусть наблюдаелшй процесс (ж(п)) удовлетворяет (19), матричные функции А^п) и В\(п), йг(тг) такие, что выполнены условия (20) и для любого в

1. Ецс(п) < ос для каждого п > 1, 00

Р*{]Гс(«) = оо} = 1.

ге=1

Тогда для любого Н > 0 и любого 0 последовательный пла.н (т(Н),0*(Н)), определенный в (21), (22), замкнут, т. е. т{Н) < оо Рд-п.н. и справедливы следующие утверждения:

1. Е,0*(#) = О,

2.ятЕ0{в'(Н)-в)2<±-.

в и

В качестве примеров рассматриваются модели, допускающие построение одноэтапной процедуры последовательного оценивания.

Пример 1. Одноэтапное последовательное оценивание параметров двумерного процесса авторегрессии с дрейфующими параметрами. Рассмотрим модель вида:

' Х1(Т1 + 1) = Ж1(п)(Л1 + <Г,1?)1(П + 1)) + х2(п)(Х2 + оП2Т}>(п + 1)) +

х2(п + 1) = Ж1(п)(Л2 + + 1)) - Х2(п)(Л1 + О",1771 (п + 1))+

+ !)•

(23)

Процесс х(п) = (х1(п),х2(п)у удовлетворяет (19), причем 4>(п) = О,

где <т| = а'В^а. а* = а'Ща. В2 — diag{«r4i,ff42}- Тогда

Теорема 7. Пусть наблюдаемый процесс (х(п)) удовлетворяет (23). Тогда для любого II > 0 и любого 0 последовательный план (т(Н),0*(Н)), определенный в (21), (22), (24), замкнут и справедливы следующие утверждения:

1. Еов,{Щ = в,

2. supEо{0*(Щ-0?<~,

в Л

3. существует постоянная тщ такая, что для любого На > О

Еот(П) sup —-— < mo-Н>Но 11

Пример 2. Одноэтапное последовательное оценивание параметров двумерного процесса типа AR/ARCH. Рассмотрим модель вида:

X\(n+l) — Xi(Tl)\i -f- 2'2(ri)A2 f

+ <Tu X¡(ii) + crf ta:|(n)fi(íí + 1),

хг(п + 1) = x\(n)\2 —X2(n)M +

+ V^r+ O'p^ií") + + !)•

(25)

Предположим, что существуют известные постоянные í2, ст(2 и tr2 такие, что для всех п > 1 справедливы следующие неравенства 0 < í2 < < CTq¿ < в\, max(<72¿, сто.) ^ CTi> ¿ = 1,2.

Процесс х(п) = (xi(n), Л2(п))' удовлетворяет (19), причем

Ло(п) = 0,Л1(п)=(^. V В2(п) = 0,

\ — х2(гг) xi(n) J

_ i Vam + <?п'4(п) + О

О + <4>®г(п)

Ei(n) = (<7¿ + (т2||ж(п)||2) • I, X¡2(n) = О,

-¡¡¿гад. «■)- ¡ЙЫжлру <*>

Теорема 8. Пусть наблюдаемый процесс (х(п)) удовлетворяет (25). Тогда для любого Н > 0 и любого 0 последовательный план (т(Н),0*(Н)), определенный в (21), (22), (26), замкнут и справедливы утверждения Теоремы 7.

Пример 3. Одноэтапное последовательное оценивание параметров процесса А11(1)/А11СН(1).

Рассмотрим модель вида:

xn+i = \хп + yjа% + о\х\ • . (27)

Процесс (х„) удовлетворяет (19), причем Ло(п) = 0. j4i(h) = хп,

Bi{n) = JoZ + ofx*, В2(п) = 0, Еi(n) = 4+älxi Е2(n) = 0.

Тогда

С(п) = (28)

<т0 + аххп

где сгд < cr\ < а\ и, согласно (21), (22) и (28) последовательный план оценивания (т(Я), А*(#)) параметра А = в определяется формулами:

JV , . т(Я)

т(Н) = M{N > 1 : > Н), У(Н) » 1 £

„=1 "О + <7 А " °0 + a\Xn

(29)

где

r(H)-i x2

£*(//), п = т(Я), v ' ij

(H)

(Tg +

Теорема 9. Пусть наблюдаемый процесс (хп) удовлетворяет (27). Тогда для любого II > 0 и любого А последовательный план, (т(Н), А*(//)), определенный в (29), замкнут и справедливы утверждения Теоремы 7 при в*(Н) = А *(Я).

Во втором разделе второй главы решаются две задачи.

Задача I. Строится процедура двухэтапного последовательного оценивания параметров процесса авторегрессии с дрейфом (12) по наблюде-

ниям с линейными помехами (13). Последовательные оценки авторегрессионных параметров строятся па основе сильно состоятельных корреляционных оценок, полученных в четвертом разделе первой главы. Также как и в третьем разделе первой главы, задача оценивания векторного параметра Л = (¿¡Л)..... 1\АРУ заменяется на задачу оценивания скалярного параметра в = 1'2\, где 1> - заданный постоянный вектор.

Сформулируем дополнительные предположения па параметры и шумы модели.

Предположение П4: Пусть последовательности (S(n)), (£(п)), (Г)(п)), (Г(п)) и аг(О) удовлетворяют предположению П2 и, кроме того,

а) шумы Si(n) удовлетворяют условиям:

max ||Г,5,(п)!| < S, n > 1,

где положительная величина S предполагается известной,

б) Е||ж(0)||8 < оо,

= 0> hj> к = E||£(n)||s <оо, В < В,

где В предполагается известной;

в) E||i?(n)||4 < со, п > 1, D<D, где D предполагается известной:

г) диагональные элементы матрицы Г(п) взаимно независимы для любого п > 0 и такие, что

max ||7;(п)|| <7. п > 1, где 7 предполагается известной.

Положим А®к(п) = А(п)®...®А(п), А^к) = ЕА®к(п), к >2.

4 V-'

к

Предположение П5: Собственные значения матриц А@к\ к = 1,4 лежат в единичном круге и и для некоторой постоянной L выполнено неравенство:

max ||/',Л;|| < L. i<i <р

Определим параметрическое множество Б-2, состояние из параметров i? (tf - вектор, состоящий из элементов матриц А\, ... ,АР, S, В, D), удовлегво-ряющих предположениям П2, П5.

Строится последовательный план {Тг,в*) оценивания параметра О, где Т£ - время оценивания, в* - оценка параметра 0 с заданной српднеквадрати-ческой точностью е > 0.

Как и в случае одноэтапной процедуры время оценивания Тг - случайно, а оценка В* представляет собой корреляционную оценку со специально подобранными весами, вычисленную в момент Т£.

Теорема 10. Пусть выполнены предположения П4 и П5. Тогда последовательный план (Те,0*) замкнут, т.е. Р< оо) = 1 для каждого s > 0 и х) € г-9 и удовлетворяет следующим свойствам:

1. для любого е > 0

sup - О)2 < с;

2. для любого д 6 =.2 выполнены предельные соотношения

lim eTt = С Рй - п.п.

о—>о

Из Теоремы 10 видно, что для устойчивого процесса авторегрессии с дрейфующими параметрами, наблюдаемого с линейными помехами, время последовательного оценивания Т£ растет обратно пропорционально точности оценивания е при с —► 0.

Задача II. Решается задача двухэтапного последовательного оценивания авторегрессионных параметров модели AR(p)/ARCH(p) (1).

Подобно Задаче I строится последовательный план (TSl9*) оценивания параметра 0 = а'А на основе сильно состоятельных корреляционных оценок (4) параметра А, исследованных в первом разделе первой главы.

Теорема 11. Пусть выполнены условия Леммы, 1 для т = 4. Тогда последовательный план (Тс,0*) замкнут, т.е. Рй(Т£ < оо) = 1 для каждого е > 0 и (f € К. где компакт К определен в Теореме 3, и удовлетворяет свойствам Теоремы 10 при Ег = К.

В третьей главе приводятся результаты имитационного моделирования для:

1. корреляционных оценок всех неизвестных параметров модели AR(1)/ARCH(1) (первый раздел);

2. корреляционных оценок авторегрессионного параметра процесса авторегрессии первого порядка с дрейфом, наблюдаемого с мультипликативными

и аддитивными помехами (второй раздел).

3. одпоэтапных последовательных оценок авторсгрессиопного параметра модели AR(l)/ARCH(i) (третий раздел).

В нервом разделе третьей главы представлены результаты численного моделирования корреляционных оценок параметров Л, ctq. a'f модели AR(1)/ ARCII(l) определяемой по формулам (4), (10), (11) при р = 1.

Во всех случаях значения оцениваемых параметров задавались в соответствии с условиями устойчивости Теоремы 2. Начальное значение xq и шумы процесса (х„) выбирались из стандартного нормального распределения.

В таблицах приведены выборочные средние

1 100

оценок Л^(Л') параметра Л. вычисляемых по формулам (4) для k-й реализации х^ — (х«'), к = 1,100 процесса при различных значениях параметров Oq, aj и объемах выборки N, а также значения характеристик качества S%(N) оценок At(ДО вида:

100

Приведены результаты одновременного оценивания параметров А и af, вычисляемых по формулам (4) и (11) при известном erg, и оценки (4) и (10) параметров А и a¿ при известном of, а также их характеристики качества при различных объемах выборок.

Анализ результатов моделирования показывает, что качество оценок всех параметров улучшается с ростом объема наблюдений для всех А, of, а также с увеличением значений А и уменьшении значений а\. При этом приемлемая точность достигается уже при N = 100 — 200 также и при достаточно больших значениях дисперсии шума а\ (до 0.7 включительно).

Во втором разделе третьей главы представлены результаты численного моделирования корреляционных оценок авторегрессионного параметра процесса, авторегрессии с дрейфом го четвертого раздела первой главы при р = 1 :

Zn+i = (А + 5„)х„ +

Уп = 7 А + Г/г,-

На численных примерах исследована сходимость оценок параметра А, вычисляемых для k-й реализации у^ = (уп'), к = 1,100, процесса (уп) по

формуле (16) при различных значениях дисперсии а2 шума 5„ и объемах выборки N.

Во всех случаях значения оцениваемых параметров задавались в соответствии с условием устойчивости Теоремы 4. Начальное значение хо и шумы т]п процесса выбирались из стандартного нормального распределения. 5П выбирались из равномерного распределения с параметрами, приведенными в таблицах, уп выбир&чись из бернуллиевского распределения с вероятностями успеха 0,95.

Анализ результатов показывает, что качество оценки улучшается с ростом объема наблюдений для всех А, а также с увеличением значений X. При этом приемлемая точность достигается уже при N = 100 — 200 даже при больших значениях дисперсии шума, а2 (до 0.7 включительно).

В третьем разделе третьей главы представлены результаты численного моделирования одноэтапных последовательных оценок авторегрессионного параметра модели А11(1)/А11СН(1). Последовательный план оценивания параметра А с заданной среднеквадратической точностью Я-1 определяется согласно формулам (29), вычисляемым для к-й реализации ж^) = к —

1,100, процесса (хп).

В таблицах приведены выборочные средние последовательных оценок параметра А и значения их характеристик качества ¿д.^.

Проведено сравнение последовательной оценки и корреляционной, вычисляемой для к-й реализации х^' = (х^') процесса (х„) по формуле (4) из первого раздела третьей главы в момент

В таблицах приведены выборочные средние оценок параметра А и значения характеристик качества. Рассмотрим пример таблицы результатов моделирования.

Таблица 3. Последовательное одноэтапное оценивание параметра Л при а1 — 1 и а\ = 0.7 со среднеквадратической точностью 1 /Я = 0,01, Я = 100.

г(Я) А А'(Я) А(т (Я)) ВД//))

177 0,1 0,1094 0,0875 0,0095 0,0130

175 0,2 0,1938 0,1933 0,0127 0,0173

169 0,3 0,3023 0,3034 0,0073 0,0143

167 0,4 0,3990 0,3847 0,0093 0,0161

158 0,5 0,5107 0,4677 0,0101 0,0110

152 0,6 0,5936 0,5602 0,0084 0,0141

142 0,7 0,7007 0,6234 0,0094 0,0164

133 0,8 0,7776 0,6563 0,0103 0,0338

119 0,9 0,9050 0,7379 0,0096 0,0439

109 1 0,9958 0,7250 0,0080 0,0887

76 1,5 1,5086 1,0711 0,0095 0,3362

Из Таблицы 3 видно, что качество корреляционной оценки улучшается при возрастании А до тех пор, пока параметры А и а\ удовлетворяют условию устойчивости (А < 0.5). При выходе за границу области устойчивости корреляционная оценка остается работоспособной, но ее качество ухудшается с ростом А.

В целом, из результатов моделирования следует, что качество последовательной оценки равномерно лучше корреляционной. При этом среднее время оценивания уменьшается при возрастании значения параметра А.

В заключении формулируются основные теоретические и практические результаты диссертации, которые состоят в следующем:

1. Доказаны свойства сильной состоятельности и равномерной асимптотической нормальности корреляционных оценок авторегрессионных параметров модели А11(р)/А11СН(р). Построены сильно состоятельные оценки параметров процесса АП.СН(1) в модели А11(1)/А11СН(1).

2. Доказаны свойства сильной состоятельности корреляционных оценок авторегрессионных параметров многомерных билинейных процессов авторегрессии, наблюдаемых с мультипликативными и аддитивными помехами и дисперсий аддитивных шумов модели.

3. Найдено общее условие устойчивости для произвольных степеней процесса А11(р)/А11СН(р).

4. Решена задача одноэтапиого последовательного оценивания параметров нелинейных стохастических систем с дискретным временем. В качестве примеров приведены и исследованы одноэтапные процедуры оценивания авторегрессионных параметров двумерных процессов типа AR/ARCH и авторегрессии с дрейфом.

5. Построена и исследована двухэтапная процедура последовательного оценивания параметров процесса авторегрессии с дрейфом по наблюдениям с мультипликативными и аддитивными помехами.

6. Построена и исследована двухэтапная процедура последовательного оценивания авторегрессионных параметров модели AR(p)/ARCH(p).

7. Проведено имитационное моделирование рассмотренных процедур оценивания параметров посредством ЭВМ. Все полученные теоретические результаты подтверждены с помощью компьютерного моделирования. Проведено сравнение асимптотических и последовательных оценок.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Маляренко A.A. Оценивание параметров модели AR(p)/ ARCH(p) при неизвестных распределениях шумов // Автоматика и телемеханика. - 2010. - № 2. - С. 128-140.

2. Маляренко A.A. Одноэтапное последовательное оценивание параметров нелинейных стохастических систем с дискретным временем И Известия ТПУ. - 2009. - Т. 315, № 5. - С. 13-17.

3. Маляренко A.A. Одноэтапная последовательная идентификация модели нелинейной регрессии с дрейфующими параметрами // Информационные технологии и математическое моделирование (ИТММ-2009): сборник статей VIII Всероссийской научно-практической конференции с международным участием. 13-14 ноября 2009. Томск: Изд-во Том. ун-та. - Ч. 1. - С. 61-65.

4. Маляренко A.A. Оценивание авторегрессионных параметров процесса AR(p) / ARCH(p) // Обозрение прикладной и промышленной математики. -2009. - Т. 16, вып. 5. - С. 890-891.

5. Malyarcnko A.A., Vasiliev V.A. On Sequential Parameter Estimation Problem of Nonlinear Discrete-Time Stochastic Systems [Electronic resource] // 3rd International Conference on Innovative Computing Information and Control. - Dalian, China. - 2008. - P. 552-555, http://doi.ieeecomputersociety.org/10.n09/ICICIC.2008.399

6. Malyarenko A.A., Vasiliev V.A. On Guaranteed Parameter Estimation of Discrete-time Stochastic Systems [Electronic resource] // 2nd International

Conference on Innovative Computing Information and Control. - Kumamoto, Japan. - 2007. - P. 140-143,

http://doi.iccecornputeisociety.org/10.1109/lCIClC.2007.417

\ /

Тираж 110 экз. Отпечатано в ООО «Позитив-НБ» 634050 г. Томск, пр. Ленина 34а

Список обозначений

Введение

Глава 1. Асимптотическое оценивание параметров нелинейных стохастических систем с дискретным временем

1.1 Введение

1.2 Оценивание параметров модели AR/ARCH.

1.2.1 Оценивание авторегрессионных параметров процесса AR(p)/ARCH(p)

1.2.2 Оценивание параметров процесса ARCH(l) в модели AR(1)/ARCH(1)

1.2.3 Равномерная асимптотическая нормальность оценок авторегрессионных параметров процесса AR(p)/ARCH(p)

1.3 Асимптотическое оценивание параметров процесса авторегрессии с дрейфом по наблюдениям с линейными помехами

1.3.1 Корреляционные оценки средних значений дрейфа параметров многомерной авторегрессии при наличии мультипликативных и аддитивных помех в наблюдении

1.3.2 Корреляционные оценки дисперсий аддитивных шумов модели

1.4 Выводы

Глава 2. Последовательное оценивание параметров нелинейных стохастических систем с дискретным временем

2.1 Введение

2.2 Одноэтапное последовательное оценивание параметров нелинейных стохастических систем с дискретным временем

2.2.1 Одноэтапное последовательное оценивание параметров двумерного процесса авторегрессии с дрейфующими параметрами

2.2.2 Одноэтапное последовательное оценивание параметров двумерного процесса типа AR/ARCH

2.2.3 Одноэтапное последовательное оценивание авторегрессионного параметра модели AR(1)/ARCH(l)

2.3 Двухэтапное последовательное оценивание параметров нелинейных стохастических систем с дискретным временем

2.3.1 Двухэтапное последовательное оценивание параметров процесса авторегрессии с дрейфом по наблюдениям с линейными помехами

2.3.2 Двухэтапное последовательное оценивание авторегрессионных параметров модели AR(p)/ARCH(p)

2.4 Выводы

Глава 3. Численное моделирование

3.1 Имитационное моделирование оценок параметров модели AR/ARCH

3.2 Имитационное моделирование оценок авторегрессионного параметра модели авторегрессии с дрейфом по наблюдениям с мультипликативными и аддитивными помехами

3.3 Имитационное моделирование последовательной оценки авторегрессионного параметра модели AR(1)/ARCH(1)

Статистические выводы о случайных процессах - активно развивающееся направление исследований в математической статистике. Это вызвано, в частности, недавними приложениями к задачам финансовой математики и анализу рисков, где активно используются нелинейные модели дискретных временных процессов. Такие модели позволяют более адекватно описывать многие явления. Традиционные модели временных рядов, такие как модели авторегрессии (AR) и авторегрессии-скользящего среднего (ARMA), не могут адекватно учесть все характеристики, которыми обладают финансовые временные ряды, и требуют расширения. Одна из характерных черт финансовых рынков - это то, что присущая рынку неопределенность изменяется во времени. Как следствие, наблюдается эффект "кластеризации волатильности". Под этим имеется в виду то, что могут чередоваться периоды, когда финансовый показатель ведет себя непостоянно, и относительно спокойные периоды. Формальной мерой волатильности служат дисперсия или среднеквадратическое отклонение. Эффект кластеризации волатильности отмечен для таких рядов как изменение цен акций, валютных курсов, доходов спекулятивных активов.

Большой интерес представляют модели временных рядов со смешанной структурой, т.е. модели, одновременно обладающие линейной и нелинейной составными частями. Оценка параметров для подобных моделей сопряжена с определенными трудностями. Затруднения различного характера возникают при применении большинства классических методов нахождения оценок, ориентированных на линейные модели. Эти сложности можно обходить, применяя различные техники и алгоритмы.

Остановимся на известных результатах, связанных с проблемой оценивания параметров линейных стохастических динамических систем.

В классе линейных систем большое внимание уделяется статистическому анализу процессов типа авторегрессии, скользящего среднего и смешанным процессам авторегрессии - скользящего среднего.

Например, в работе [71] были предложены оценки неизвестных параметров стационарного процесса авторегрессии и показано, что эта задача может быть решена методами классического регрессионного анализа. Именно, в случае гауссовских шумов были найдены оценки по методу максимального правдоподобия. Также был рассмотрен негауссовский случай - в предположении существования всех моментов шумов доказана состоятельность и асимптотическая нормальность оценок.

Позднее эти результаты были перенесены на модели более общего вида, такие, как процессы авторегрессии - скользящего среднего, которые во многих случаях не менее хорошо описывают поведение изучаемого объекта, чем процесс авторегрессии, но содержат меньшее число неизвестных параметров, и многомерные временные ряды [2], [88], [89] и др. Эта проблема получила дальнейшее развитие в работах [6], [7], [37],

Позже традиционные условия на шумы были ослаблены и для скалярного процесса авторегрессии были получены сильно состоятельные оценки по методу наименьших квадратов (МНК) в случае, когда шумы представляют собой стационарный процесс мартингал-разность.

При решении задач из описанного класса широко используется модель частично наблюдаемых стохастических процессов с дискретным временем

38], [54], [57], [62], [76] и многих др.

71;

1)

Уп — НпХп Т^

2) где и т]п образуют последовательности центрированных случайных величин, хп— ненаблюдаемый линейный процесс и уп- наблюдаемая компонента системы.

В случае, если Ап = А и Нп = Н, задача идентификации модели (1), (2) состоит в оценивании по наблюдениям процесса уп параметров системы - неизвестных элементов матриц А и Я и дисперсий шумов В — И = Ег]пг]'п, а также оценивании состояний объекта хп. Если матрицы Ап являются случайными, то процесс хп называют также билинейным (см., например, [58], [64], [65]), и задача идентификации состоит в оценивании средних значений Ап. При случайных матрицах Нп возможно отсутствие компонент полезного сигнала в измерении.

Оцениванию параметров системы (1), (2) посвящено большое число работ, в том числе по управлению и фильтрации [4], [5], [43], [50], [59], [64], [76] и др.

При этом существуют различные подходы к решению задачи: линейный МНК [3], [4], [44], [55], [61] метод максимального правдоподобия [3], [43], [45], корреляционные методы [3] - [7], [32], [37], [38], [43] и др. Кроме того, для оценивания используются алгоритмы линейной и нелинейной фильтрации [43], [46], [61], а также методы, разработанные для оценивания параметров процессов типа авторегрессии - скользящего среднего [1], [3], поскольку в ряде случаев таковым является процесс уп.

Метод максимального правдоподобия, основанный на точном знании распределений шумов, позволяется получать оптимальные, или близкие к ним, оценки неизвестных параметров [77]. Но, применительно к модели (1), (2) (случай Ап = А, Нп — Н), эти оценки не являются рекуррентными и трудно реализуемы. Кроме того, в реальных системах приходится иметь дело с более низким уровнем априорной информации относительно распределений, которая может ограничиваться, например, знанием о существовании некоторых моментов шумов, либо оценок для них.

В такой ситуации оказываются работоспособными корреляционные методы и методы стохастической аппроксимации, которые позволяют получить сильно состоятельные, асимптотически нормальные и рекуррентные оценки.

В случае полного наблюдения объекта (1) (Нп = I. т]п = 0) эффективные оценки можно получить любым из рассматриваемых методов. Однако в модели (1), (2) МНК приводит уже к смещенным оценкам даже при асимптотических предположениях [4], [5]. В работе [43] при условии существования вторых моментов шумов предложены сильно состоятельные оценки матриц А, В и Б модели (1), (2), полученные с помощью корреляционного метода Юла-Уокера. При дополнительных предположениях относительно шумов, таких, например, как существование их четвертых моментов, более эффективные оценки рассматривались в [83]. В предположении гауссовости шумов £п и г]п в [80] решалась задача оценивания параметров модели (1), (2), рассматривая уп как процесс авторегрессии - скользящего среднего.

Большое внимание уделяется ситуации, когда коэффициенты передачи Нп в модели (1), (2) зависят от времени и являются мультипликативным шумом [32], [49], [50], [65], [76], [77], [78], [79], [91]. К таким системам относятся, например, системы, на выходе которых с некоторой вероятностью может наблюдаться либо сигнал в совокупности с аддитивной помехой, либо только помеха. При этом в качестве Нп можно брать, например, диагональные матрицы с диагональными элементами в виде последовательности независимых бернуллиевских случайных величин с положительными вероятностями успеха, либо марковских цепей с нулевым состоянием. Наличие мультипликативной помехи такого типа можно интерпретировать либо пропусками в наблюдениях уп полезной части сигнала хп, либо как свидетельство того, что в случайные моменты времени мощность помехи во много раз превосходит мощность сигнала. Проблемы фильтрации, управления, сглаживания и предсказания в таких системах обсуждались в работах [53], [73], [85], [86].

Задача оценивания параметров системы (1), (2) с мультипликативным и аддитивным шумом в наблюдениях существенно усложняется. Простое игнорирование наличия мультипликативной помехи может приводить к несостоятельным оценкам [86]. Для решения этой задачи используют, в основном, следующие методы: корреляционный метод Юла-Уокера [32], [74], метод максимального правдоподобия [49], [56] и др. Метод корреляций является наименее эффективным, но он не требует знания распределения помех. Указанные методы позволяют находить сильно состоятельные оценки неизвестных параметров системы (1), (2).

Другие особенности, связанные с проблемой идентификации модели (1), (2), возникают в случае, когда параметры динамики объекта (1) случайным образом дрейфуют во времени. Пусть, например, матрицы Ап образуют последовательность независимых случайных матриц с постоянным средним ЕАп = А. В работах [32], [41], [58], [64], [65], [78], [79] задача оценивания средних значений дрейфа А и ковариаций шумов модели решалась при Нп = Н преимущественно методами, использующими корреляционную технику. При этом найдены условия стационарности и эргодичности процесса хп (например, [78], [79]). Позже [52] были найдены условия геометрической эргодичности и устойчивости многомерных моделей с дрейфом.

Рассмотренные методы оценивания параметров линейных динамических систем являются асимптотическими в том смысле, что свойства оценок могут быть изучены только при неограниченном увеличении объема выборки. Однако на практике время наблюдения системы всегда конечно, что не позволяет вносить суждения о качестве таких оценок. Одну из возможностей нахождения оценок с гарантированным качеством дает подход с позиции последовательного анализа, который предполагает специальный выбор момента прекращения наблюдений с помощью некоторого функционала от наблюдаемого процесса. Принцип последовательного анализа был впервые предложен Вальдом для схемы независимых наблюдений [9], [10] и нашел применение в во многих областях математической статистики [18], [19], [20] и др.

С позиции последовательного анализа достаточно хорошо изучена проблема оценивания параметров стохастических динамических систем как с дискретным [8], [16], [23], так и с непрерывным [24], [33], [68] временем в случае полностью наблюдаемых процессов. Так, например, для стационарных процессов авторегрессии диффузионного типа построены и исследованы последовательные планы оценивания неизвестных параметров, обладающие рядом свойств, присущих оценкам, полученным с помощью рассмотренных выше асимптотических методов, такими как сильная состоятельность, асимптотическая нормальность [8], [16], [23], [24]. Кроме того в ряде случаев оценки обладают дополнительным свойством несмещенности [8], [16], [33], принципиально недостижимым для других оценок. Однако основное преимущество последовательных оценок параметров динамических систем, отличающее их от любых других оценок, состоит в возможности производить оценивание с заданным качеством в том или ином смысле, по конечной реализации процесса [8],

33], [36].

В последние годы большое внимание уделялось изучению использования методов последовательного анализа для схем зависимых наблюдений, в частности, динамических систем.

Впервые этот метод был применен в работах [33], [68] к моделям с непрерывным временем. Позже в [8] была предложена последовательная процедура оценивания параметра процесса авторегрессии первого порядка и многомерной специального вида. Пусть процесс (хп) описывается уравнением

Хп 7 1 £n-i ть = 1,2,., где а-неизвестный параметр. В качестве оценки параметра а было предложено использовать модифицированную оценку МНК т—1

T^Xi-iXi + a(h)xT-ixT = -> (3) xi-1 + a{h)x2T 1 i=i вычисленную в момент г, определяемый по формуле n

Т = T(h) = {N> 1 : >h}, h> О, г=1 где a(h)— весовой коэффициент, определяемый из уравнения т—1

Y,xti + a{h)x2T = h. i=1

Последовательная оценка, по сравнению с обычной оценкой МНК, является несмещенной оценкой параметра а, среднеквадратическое уклонение удовлетворяет неравенству

Е(а* — а)2 < с = const, V из которого вытекает, что при соответствующем выборе параметра h среднеквадратическое уклонение оценки может быть сделано сколь угодно малым.

В работе [66] было доказано свойство равномерной асимптотической нормальности последовательной оценки типа (3), при условии |а| < 1. Используя обобщенный метод наименьших квадратов, в работе [25] удалось получить гарантированную равномерно асимптотически нормальную оценку для всей области возможных значений параметра.

Проблема оценивания параметра процесса авторегрессии решалась и в ряде других работ [17], [63], [82] и др.

Задача гарантированного оценивания параметров процесса авторегрессии по неполным наблюдениям изучалась в [11], [12], [13], [27], [38], [40], [43] и др.

В последнее время широкое распространение получило использование нелинейных моделей, что связано с необходимостью найти объяснение ряда феноменов финансовой статистики и экономики вообще, которое нельзя объяснить в рамках линейных моделей. Одной из них является авторегрессионная модель условной неоднородности (ARCH), использование которой дает объяснение таких явлений в поведении финансовых индексов, как "тяжелые хвосты", "кластеризация" и др. Успех такой модели породил большое количество обобщений, преследующих цель объяснить и другие эффекты, обнаруживаемые методами статистического анализа. В работе [39] сделан большой обзор моделей такого типа. В [48], [67] изучались условия устойчивости моделей типа AR/ARCH.

Кроме того, часто приходится иметь дело со смешанными структурами, состоящими из линейных и нелинейных моделей одновременно. В работах [39], [81] было доказано, что в случае, если шумы имеют гауссов-ское распределение, то модель AR/GARCH эквивалентна модели авторегрессии с дрейфующими параметрами того же порядка. Для такой модели в [35] построена последовательная оценка МНК авторегрессионного параметра и исследованы свойства оценки, такие как асимптотическая минимаксность и другие. В [70] получены сильно состоятельные оценки авторегрессионных параметров таких моделей.

Цель работы состоит в разработке методов асимптотического и последовательного оценивания параметров нелинейных стохастических динамических систем с дискретным временем типа АЫ/АЯСН, а также многомерных билинейных процессов авторегрессии, наблюдаемых с линейными помехами. При асимптотическом подходе изучаются свойства оценок параметров при неограниченном увеличении объема наблюдений, в то время, как последовательные методы оценивания дают возможность нахождения оценок с заданными статистическими качествами по конечным выборкам.

Остановимся на основных постановках задач и полученных результатах.

В первой главе исследуются асимптотические свойства корреляционных оценок параметров авторегрессионной модели АЫ/АЛСН и параметров модели авторегрессии с дрейфом по наблюдениям с мультипликативными и аддитивными помехами.

Установлены свойства сильной состоятельности и равномерной асимптотической нормальности оценок авторегрессионных параметров процесса А11(р)/А11СН(р).

Найдено общее условие устойчивости для произвольных степеней наблюдаемого процесса.

Во второй главе решается задача последовательного оценивания параметров моделей, рассмотренных в первой главе.

В третьей главе представлены результаты численного моделирова

Методы исследования. В работе использованы методы теории вероятностей, теории случайных процессов, теории статистического последовательного анализа, линейной алгебры и имитационного моделирования.

Научная новизна.

Доказаны свойства сильной состоятельности и асимптотической нормальности корреляционных оценок авторегрессионных параметров процесса AR(p)/ARCH(p). Найдено общее условие устойчивости для произвольных степеней наблюдаемого процесса.

Доказана сильная состоятельность корреляционных оценок параметров многомерного процесса авторегрессии с дрейфом и дисперсий аддитивных шумов модели по наблюдениям с мультипликативными и аддитивными помехами.

Построена последовательная одноэтапная процедура гарантированного оценивания параметров обобщенной модели авторегрессии. Построенная процедура применена к двумерным моделям типа AR/ARCH и билинейного авторегрессионного процесса.

Предложена двухэтапная последовательная процедура, позволяющая получать оценки параметров многомерной авторегрессии с дрейфом с любой заданной среднеквадратической точностью по наблюдениям с линейными помехами, а также оценки авторегрессионных параметров модели AR(p)/ARCH(p).

Достоверность полученных результатов. Все полученные в диссертации результаты имеют строгое математическое доказательство. Качество построенных оценок подтверждено проведенным имитационным моделированием.

Практическая ценность. Результаты работы могут быть использованы в различных отраслях науки и техники: финансовой математике, климатологии, радиофизике, медицине и в других прикладных задачах, связанных с идентификацией систем, прогнозированием, управлением, статистической обработкой временных рядов. Кроме того, полученные теоретические результаты могут быть использованы в соответствующих курсах лекций на математических факультетах университетов.

Разработанные процедуры оценивания используются для уточнения ошибок прогноза изменений климатических характеристик Западной Сибири при моделировании регионального климата, проводимого в Институте мониторинга климатических и экологических систем СО РАН.

Рассмотренные в диссертации модели и методы оценивания их параметров являются частью раздела "Построение нелинейных моделей динамических систем" курса "Идентификация", читаемого на 4 курсе факультета прикладной математики и кибернетики Томского государственного университета.

Апробация работы. Работа выполнялась в рамках научно-исследовательской работы при финансовой поддержке Российского фонда фундаментальных исследований, грант РФФИ № 09-01-00172. Основные результаты диссертации обсуждались на семинарах кафедры высшей математики и математического моделирования ФПМК ТГУ, а также на следующих конференциях:

1. 2nd International Conference on Innovative Computing Information and Control, Kumamoto, Japan, 2007.

2. 3rd International Conference on Innovative Computing Information and Control, Dalian, China, 2008.

3. XVI Всероссийская школа-коллоквиум по стохастическим методам и X Всероссийский симпозиум по прикладной и промышленной математике (весенняя сессия) Всероссийский Макросимпозиум "Инновационная экономика: проектные решения и управление рисками", Санкт-Петербург, 19 - 24 мая 2009.

4. VIII Всероссийская научно-практическая конференция с международным участием "Информационные технологии и математическое моделирование" (ИТММ-2009), Анжеро-Судженск, 13-14 ноября 2009.

По теме диссертации опубликовано 6 печатных работ:

1. Маляренко A.A. Оценивание параметров модели AR(p)/ ARCH(p) при неизвестных распределениях шумов // Автоматика и телемеханика. — 2010. — № 2. — С. 128-140.

2. Маляренко A.A. Одноэтапное последовательное оценивание параметров нелинейных стохастических систем с дискретным временем // Известия ТПУ. - 2009. - Т. 315, № 5. - С. 13-17.

3. Маляренко A.A. Одноэтапная последовательная идентификация модели нелинейной регрессии с дрейфующими параметрами // Информационные технологии и математическое моделирование (ИТММ-2009): сборник статей VIII Всероссийской научно-практической конференции с международным участием (13-14 ноября 2009). Томск: Изд-во Томского университета. - Ч. 1. - С. 61-65.

4. Маляренко A.A. Оценивание авторегрессионных параметров процесса AR(p)/ ARCH(p) // Обозрение прикладной и промышленной математики. - 2009. - Т. 16, вып. 5. - С. 890-891. i

5. Malyarenko A.A., Vasiliev V.A. On Sequential Parameter Estimation Problem of Nonlinear Discrete-Time Stochastic Systems // 3rd International Conference on Innovative Computing Information and Control. - Dalian, China, - 2008.

- PP. 552-555.

- URL: http://doi.ieeecomputersociety.org/10.1109/ICICIC.2008.399

6. Malyarenko A.A., Vasiliev V.A. On Guaranteed Parameter Estimation of Discrete-time Stochastic Systems // 2nd International Conference on Innovative Computing Information and Control. - Kumamoto, Japan, - 2007. - PP. 140143.

- URL: http: //doi.ieeecomputersociety.org/10.1109/ICICIC.2007.417

Структура диссертации. Работа состоит из введения, 3 глав, заключения, приложения и списка литературы. Общий объем диссертации составляет 115 страниц. Библиография содержит 91 наименование.

Заключение

В данной работе представлены некоторые результаты теории асимптотического и последовательного оценивания для моделей нелинейных стохастических систем с дискретным временем. Рассмотрены задачи асимптотического оценивания параметров процесса AR/ARCH и процесса многомерной авторегрессии с дрейфом, наблюдаемой с мультипликативными и аддитивными помехами, а также гарантированного оценивания с заданной среднеквадратической точностью в таких моделях.

В Главе 1 рассмотрены корреляционные оценки авторегрессионных параметров модели AR(p)/ARCH(p) и всех параметров модели AR(1)/ ARCH(l). Получено общее условие устойчивости, обеспечивающее равномерную ограниченность моментов произвольного порядка процесса AR(p) / ARCH(p). Для всех рассмотренных оценок доказано свойство сильной состоятельности, а для оценок авторегрессионных параметров модели AR(p)/ARCH(p) свойство равномерной асимптотической нормальности.

Построены асимптотические оценки корреляционного типа средних значений дрейфа параметров многомерной авторегрессии, наблюдаемой с мультипликативными и аддитивными помехами и дисперсий аддитивных шумов этой модели. Доказана сильная состоятельность построенных оценок.

В Главе 2 рассмотрена задача гарантированного оценивания параметров нелинейных стохастических систем с дискретным временем.

Для нелинейной модели общей регрессии специального вида построена одноэтапная процедура последовательного оценивания параметров модели. Рассмотрены примеры применения одноэтапной процедуры к двумерным моделям процесса авторегрессии с дрейфующими параметрами и AR/ARCH. Исследовано среднее время оценивания. Полученные оценки обладают свойствами несмещенности и гарантированности. Показано, что в рассмотренных примерах свойства процедуры оценивания не требуют априорной информации об оцениваемых параметрах.

Для моделей нелинейных стохастических систем, рассмотренных в Главе 1, построены двухэтапные последовательные процедуры оценивания их авторегрессионных параметров.

Структура двухэтапной процедуры гарантированного оценивания существенно сложнее одноэтапной. В то же время она применима для более широкого класса нелинейных моделей с дискретным временем.

Все рассмотренные в главе процедуры последовательного оценивания позволяют получать оценки с любой заданной среднеквадратической точностью за конечное время.

В Главе 3 приведены результаты численного моделирования некоторых асимптотических оценок, рассмотренных в пунктах 1.2, 1.3 Главы 1. Во всех рассмотренных примерах наблюдается улучшение качества оценок с ростом числа наблюдений, а также работоспособность процедуры оценивания при относительно небольших объемах выборок (А^=100 - 200).

Кроме того, приведены результаты численного моделирования одно-этапных последовательных оценок из раздела 2.2. Видно, что полученная эмпирическая среднеквадратическая точность оценивания согласуется с теоретической. Проведенное сравнение с асимптотическими корреляционными оценками показывает, что качество последовательных оценок лучше асимптотических для всех рассмотренных значений параметров модели. При этом среднее время наблюдения при последовательном оценивании относительно невелико (от 30 до 170 наблюдений, в зависимости от значения параметров модели).

Полученные результаты могут быть применены при моделировании стохастических систем с дискретным временем и решении других статистических задач, таких как прогнозирование, управление и фильтрация.

1. Альтшулер C.B. Методы оценки параметров процесса авторегрессии- скользящего среднего (обзор). Автоматика и телемеханика, 1982, №8, стр. 5-18.

2. Андерсон Т. Введение в многомерный статистический анализ. М.: Физматгиз, 1963. 500 стр.

3. Андерсон Т. Статистический анализ временных рядов. М.: Мир, 1976.

4. Балтрунас И.И., Капустинкас А.И. Оценивание методом Юла-Уокера параметров процесса авторегрессии с шумом в наблюдениях- кн.: Труды АН Лит. ССР, 1975, сер.Б, №5, стр. 135-142.

5. Балтрунас И.И., Капустинкас А.И. Оценки наименьших квадратов параметров процесса авторегрессии с шумом в наблюдениях. В кн.: Труды АН Лит. ССР, 1975, сер.В, №6, стр. 133-139.

6. Бокс Дж., Дженкинс Г. Анализ временных рядов. Прогноз и управление. М.: Мир, 1974, вып. 1, 406 стр.

7. Бокс Дж., Дженкинс Г. Анализ временных рядов. Прогноз и управление. М.: Мир, 1974, вып. 2, 197 стр.

8. Борисов В.З., Конев В.В. О последовательном оценивании параметров дискретных процессов. Автоматика и телемеханика, 1977, №10, стр. 58-64.

9. Вальд А. Последовательный анализ. М.: Физматгиз, 1960, 328 стр.

10. Вальд А. Статистические решающие функции. В кн.: Позиционные игры. М.: Наука, 1967, 301-522 стр.

11. Васильев В.А., Конев В.В. Последовательное оценивание параметров динамических систем при неполном наблюдении. Изв. АН СССР, Техническая кибернетика, 1982, № 6, стр. 145-154.

12. Васильев В.А., Конев В.В. Последовательное оценивание параметров динамических систем при наличии мультипликативной и аддитивной помех в наблюдениях. Автоматика и телемеханика, 1985, № 6, стр. 33-43.

13. Васильев В.А., Конев В.В. Об оценивании дисперсий шумов в линейных стохастических системах. Статистический анализ экспериментальных данных, 1987, НЭТИ, межвузовский сборник научных трудов, стр. 109-118.

14. Васильев В.А., Добровидов A.B., Кошкин Г.М. Непараметрическое оценивание функционалов от распределений стационарных последовательностей. М.: Наука, 2004.

15. Воробейчиков С.Э., Конев В.В. Последовательное оценивание параметров динамических систем при неполном наблюдении. Изв. АН СССР, Техническая кибернетика, 1982, №6, стр. 145-154.

16. Воробейчиков С.Э., Конев В.В. О построении последовательных оценок параметров процессов рекуррентного типа. Математическая статистика и ее приложения, Томск: Изд-во Томск, ун-та, вып. 6, стр. 72-81.

17. Гринвуд П.Е., Ширяев А.Н. О равномерной слабой сходимости се-мимартингалов с применениями к оцениванию параметра в авторегрессионной модели первого порядка. Статистика и управление случайными процессами, М.: Наука, 1989, стр. 40-48.

18. Зайдман P.A., Линник Ю.В., Романовский И.В. Планы последовательного оценивания и марковские моменты остановки. ДАН СССР, т. 185, № 6, стр. 1222-1225.

19. Закс Ш. Теория статистических выводов. М.: Мир, 1975, 776 стр.

20. Ибрагимов И.А., Хасьминский Р.З. Асимптотическая теория оценивания. Теория вероятн. и ее примен, 1974, т. 19, вып. 2, стр. 2455256.

21. Кашковский Д.В., Конев В.В. О последовательных оценках: параметров авторегрессии со случайными коэффициентами. Автометрия, 2008, Т. 44, стр. 70-81.

22. Конев В.В., Пергаменщиков С.М. Последовательные планы идентификации динамических систем. Автоматика и телемеханика, 1981, № 7, стр. 84-92.

23. Конев В.В., Пергаменщиков С.М. Об оценивании числа наблюдений при последовательной идентификации параметров динамических систем. Автоматика и телемеханика, 1984, № 12, стр. 56-62.

24. Конев В.В., Пергаменщиков С.М. О последовательном оценивании параметров случайных процессов диффузионного типа. Проблема передачи информации, 1985, т. 21, вып. 1, стр. 48-62.

25. Конев В.В., Пергаменщиков С.М. Гарантированное оценивание параметров авторегрессии на основе обобщенного метода наименьших квадратов. Теория вероятн. и ее примен, 1996, т. 41, вып. 4, стр. 765-784.

26. Лоэв М. Теория вероятностей. М.: Изд-во иностр. лит-ры, 1962.

27. Льюнг JI. Идентификация систем. Теория для пользователя. М.: Наука, 1991.

28. Маляренко А. Оценивание авторегрессионных параметров процесса AR(p)/ARCH(p). Обозрение прикладной и промышленной математики, 2009, т. 16, вып. 5, стр. 890-891.

29. Маляренко А. Одноэтапное последовательное оценивание параметров нелинейных стохастических систем с дискретным временем. -Известия ТПУ, 2009, т. 315, № 5, стр. 13-17.

30. Маляренко А. Оценивание параметров модели AR(p)/ARCH(p) при неизвестных распределениях шумов. Автоматика и Телемеханика, 2010, № 2, стр. 128-140.

31. Морозов В.А. Метод идентификации авторегрессионных уравнений, использующий априорную информацию. Автоматика и телемеханика, 1982, №4, стр. 64-71.

32. Новиков A.A. Последовательное оценивание параметров диффузионных процессов. Теория вероятн. и ее примен., 1971, т. 16, вып. 2, стр. 394-396.

33. Пергаменщиков С.М. Асимптотические свойства последовательного плана оценивании параметра авторегрессии первого порядка. Теор. вероятностей и ее применения, 1991, т. 36., №1, стр. 42-53.

34. Пергаменщиков С.М., Ширяев А.Н. О последовательном оценивании параметра стохастического разностного уравнения со случайными коэффициентами. Теор. вероятностей и ее применения, 1992, т. 37, вып. 3, стр. 482-501.

35. Тихов М.С. Об оптимальных планах последовательного оценивания при неквадратичных потерях. Теор. вероятностей и ее применения, 1978, т. 18., вып. 1, стр. 137-143.

36. Хеннан Э. Анализ временных рядов. М.: Наука, 1964, вып. 1. 215 стр.

37. Хеннан Э. Многомерные временные ряды. М.: Наука, 1974, вып. 1. 575 стр.

38. Ширяев А.Н. Основы стохастической финансовой математики. М.: ФАЗИС, 2004.

39. Эйкхофф П. Основы идентификации систем управления. М.: Наука, 1975, 683 стр.

40. Andel J. Autoregressive series with random parameters. Math. Operationsforsch. Statist., 1976, pp. 735-774.

41. Anderson T. W. Estimation for autoregressive moving average models in the time frequence domains. The Annals of Statistics, 1977, v.5, pp. 842-865.

42. Anderson T.W., Kleindoefer G.V., Kleindoefer P.R. and WoodroofM.B. Consistent estimates of of the parameters of a linear system, Ann. Math. Statist., 1969, v.40, pp. 2064-2075.

43. Anderson T. W., Taylor J.B. Strong consistency of least squares estimates in dynamic models. Annals of Statistics., 1979, v.7, pp. 484-489.

44. Ansley G.F. An algorithm for the exact likelihood of a mixed autoregressive moving average process. Biometrika, 1979, v.66, pp. 5965.

45. Arato M. On parameter estimation in the presence of noise. Prob. Theory and its Application, 1984, v.29, 3, pp. 599-604.

46. Brockwell P.J., Davis RA. Time Series: Theory and Methods. SpringerVerlag, New York, Inc., 1991.

47. Daren B.H. Cline, Huay-min H. Pu Stability and the Lyapounov exponent of threshold AR-ARCH models. The Ann. of Applied Probability, 2004, v. 14, № 14, pp. 1920-1949.

48. Dunsmuir W., Robinson P.M. Estimation of time series models in the presence of missing data. Journal Americ. Statist. Association, 1981, v.76, 375, pp. 560-568.

49. Dunsmuir W., Robinson P.M. Parametric estimators for stationary time series with missing observations. Advances of Applied Probability, 1981, v.13, pp. 129-146.

50. Engle R.F. Autoregressive conditional heteroskedasticity with estimates of variance of United Kingdom inflation. Econometrica, 1982, v.50, № 4, pp. 987-1008.

51. Feigin P.D., Tweedie R.L. Random coefficient autoregressive processes: a Markov chain analysis of stationarity and fmiteness of moments. -Journal of Time Series Analysis, 1985, 6 (1), pp. 1-14.

52. Fujita S., Fukao T. Optimal stochastic control for discrete-time linear systems with interrupted observations. Automatica, 8 (1), 1972, pp. 425-432.

53. Gersch W. Estimation of the autoregressive parameters of a mixed autoregressive moving-average time-series. IEEE Trans. Automat. Control, 1970, v.15, 5, pp. 583-588.

54. Grosspietsch J., Graupe D. Convergence of least squares identifiers of time series with martingale difference and binary white Markov generating processes. Int. Journal of Systems Science, 1981, v.12, 1, pp. 119-125.

55. Hannan E.J. The asymptotic theory of linear time series models. -Journal of Applied Prob., 1973, v.10, pp. 130-145.

56. Hannan E.J. Recursive estimation based on ARMA models. The Annals of Statistics, 1980, v.8, 4, pp. 762-777.

57. Imagaki M. On-line parameter identification of bilinear systems. IEEE Trans. Automat. Control, 1982, v.27, 4, pp. 984-986.

58. Jaffer A., Gupta S.C. On estimation of discrete processes under multiplicative and additive noise conditions. Information Sciences, 1971, v. 3, pp. 267-276.

59. Kalman R.E. Design of a self-optimizing control system. Trans. ASME, Ser D, Journal Basic Eng., 1958, v.80, pp. 468-478.

60. Kalman R.E. A new approach to linear filtering and prediction problems.- Trans. ASME Journal Basic Eng., 1960, v.82, pp. 44-45.

61. Kendall M.G. The estimation of parameters in linear autoregressive time-series. Econometrica, 1949, v. 17, pp. 44-57.

62. Konev V.V., Le Breton A. Guaranteed parameter estimation in a firstorder autoregressive process with finite variance. Sequential Anal., 1995, v.14, pp. 179-192.

63. Kubrusly C.S. Identification of discrete-time stochastic bilinear systems.- International Journal of Control, 1981, v.33, 2, pp. 291-309.

64. Kubrusly C.S., Pedreipa C.E. Identification of multiplicative parameters in stochastic bilinear systems. IEEE Trans. Syst. Man. and Cbern., 1984, v.14, 2, pp. 315-318.

65. Lai T.L., Siegmund D. Fixed accuracy estimation of autoregressive parameter. The Annals of Statistics, 1983, v.ll, 2, pp. 478-485.

66. Lee O. Stationarity and /^-mixing property of a mixture AR-ARCH models. Bull. Korean Math. Soc., 2006, v.43, № 4, pp. 813-820.

67. Liptzer R.S., Shiryaev A.N. Theory of martingales, Kluwer, Dordrecht, 1989.

68. Malyarenko A., Vasiliev V. On guaranteed parameter estimation problem discrete-time stochastic systems. Second Int. Conf. on Innovative Comp., Inf. and Control, ICICIC-2007, Kumamoto, Japan,7-9 September, 2007, CD.

69. Malyarenko A., Vasiliev V. On sequential parameter estimation problem of nonlinear discrete-time stochastic systems. 3rd Int. Conf. Innovative

70. Comp., Inf. and Control, ICICIC-2008, Dalian, China, 2008, pp. 544547.

71. Mann H.B., Wald A. On the statistical treatment of linear stochastic difference equation. Econometrica, 1943,v.ll, 3-4, pp. 173-220.

72. Meyn S., Tweedie R. Markov Chains and Stochastic Stability, Springer Verlag, 1993, 562 pp.

73. Middleton D., Eposito R. Simultaneous optimum detection and estimation of signal in noise. IEEE Trans. Inform. Theory, 1968, v. 14, pp. 434-444.

74. Murthy D.N.P., McGrifEn P.C. Parameter estimation for autoregressive models with uncertain observation, Joint. Autom. Constr. Conf.San Francisco, California, 1, 1980, pp. 139-143.

75. Nelson D.B. Conditional heteroskedasticity in asset returns: a new approach. Econometrica, 1992, v. 59, pp. 347-370.

76. Nicholls D.F. The efficient estimation of vector linear time series model. Biometrica, 1976, 63, pp. 381-390.

77. Nicholls D.F. A comparison of estimation methods for vector linear time series model. Biometrika, 1977, 64, pp. 423-426.

78. Nicholls D.F., Quinn B.G. The estimation of autoregressive models with random coefficients. I.J.Time Ser. Anal., 1980, 10, pp. 37-46.

79. Nicholls D.F., Quinn B.G. The estimation of multivariate random coefficient autoregressive models. J. Mult.Anal, 1981, v. 11, № 4, pp. 544-555.

80. Pagano D.F. Estimation of models of autoregressive signal plus white noise. Ann. Statist., 1974, 2, pp. 99-108.

81. Pergamenchtchikov S., Kliippelberg C. The tail of stationary distribution of a random coefficient AR(q) model. The Ann.Appl. Probab, 2004, v. 14, № 3, pp. 971-1005.

82. Shiryaev A.N., Spokoiny V.G. On a sequential estimation of an autoregressive parameter. Stochastics, 1997, v.60, pp. 219-24057.

83. Schneeweis H. Consistent estimation of a regression with errors in the variables. Metrika, Physica-Verlag, Wien, 1976, Band 12, pp. 101-115.

84. Tong H. Nonlinear Time Series. Oxford: Oxford Univ. Press, 1990.

85. Tugnait J.K. Asymptotic stability of the MMSE linear filter for systems with uncertain observations. IEEE Trans. Inf. Theory, v. 27, 1981, pp. 247-250.

86. Tugnait J.K. Parameter estimation and linear system identification with randomly interrupted observations - Trans. Inf. Theory, v. 29, 1983, pp. 164-168.

87. Vasiliev V.A.and Konev V. V. On identification of linear dynamic systems in the presence of multiplicative and additive noises in observations. -Stochastic Contr.: Proc. 2-nd IFAC Symp.,Vilnius, May 19-23, 1986, Oxford e.a., (1987), pp. 87-91.

88. Walker A. Large-sample estimation of parameters for moving-average models. Biometrika, 1961, v. 48, pp. 343-357.

89. Walker A. Large-sample estimation of parameters for autoregressive process with moving-average reduals. Biometrika, 1962, v. 49, pp. 117131.

90. Yule G.U. On the method of investigating periodicities in disturbed series, with special reference to Wolfer's sun spot numbers. Phil. Trans, 1927, v. 226, pp. 226-267.

91. Zhang Yong-Guang Identification of a class of stochastic bilinear systems. Int. J. Contr, 1983, v. 38, pp. 991-1002.