Улучшенное оценивание параметров регрессии с импульсными помехами

Пчелинцев, Евгений Анатольевич

Системный анализ, управление и обработка информации (по отраслям)

автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Улучшенное оценивание параметров регрессии с импульсными помехами

кандидата физико-математических наук: Пчелинцев, Евгений Анатольевич
город: Томск
год: 2012
специальность ВАК РФ: 05.13.01

Диссертация по информатике, вычислительной технике и управлению на тему «Улучшенное оценивание параметров регрессии с импульсными помехами»

Автореферат диссертации по теме "Улучшенное оценивание параметров регрессии с импульсными помехами"

На правах рукописи /

Пчелинцев Евгений Анатольевич

УЛУЧШЕННОЕ ОЦЕНИВАНИЕ ПАРАМЕТРОВ РЕГРЕССИИ С ИМПУЛЬСНЫМИ ПОМЕХАМИ

05.13.01 — Системный анализ, управление и обработка информации (в отраслях информатики, вычислительной техники и автоматизации)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук

3 1 [иАИ 2012

Томск - 2012

005045114

Работа выполнена в Федеральном государственном бюджетном образовательном учреждении высшего профессионального образования "Национальный исследовательский Томский государственный университет" на кафедре математического анализа

Научный руководитель: доктор физико-математических наук,

профессор Конев Виктор Васильевич

Официальные оппоненты: Дарховский Борис Семенович,

доктор физико-математических наук, старший научный сотрудник, ФГБУН Институт системного анализа РАН (г. Москва), главный научный сотрудник

Дмитриев Юрий Глебович,

доктор физико-математических наук,

доцент,

Томский государственный университет, зав. каф. теоретической кибернетики

Ведущая организация: ФГБУН Институт математики

им. С.Л. Соболева Сибирского отделения РАН (г. Новосибирск)

Защита состоится: 28 июня 2012 г. в 10.30 на заседании диссертационного совета Д 212.267.12 при Томском государственном университете по адресу: 634050, г. Томск, пр. Ленина, 36, II уч. корпус, ауд. 212 б.

С диссертацией можно ознакомиться: в Научной библиотеке Томского государственного университета.

Автореферат разослан: 15 мая 2012 г.

Ученый секретарь диссертационного совета

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы. В теоретических и прикладных исследованиях, связанных с задачами автоматического управления и регулирования, идентификации и фильтрации, с корреляционным и спектральным анализом временных рядов, большое внимание уделяется проблеме оценивания параметров стохастических систем, описываемых стохастическими разностными и стохастическими дифференциальными уравнениями. Интерес к таким моделям объясняется тем, что они являются достаточно адекватными для широкого круга реальных явлений в технике, экономике, медицине, финансовой математике и т.д.

Во многих задачах, связанных с обработкой информации широко используются регрессионные модели. Наиболее полное исследование регрессионных моделей с непрерывным временем проводилось в предположении, что помеха представляет собой белый гауссовский шум. Однако в последние годы в статистике случайных процессов стали применяться более сложные модели для описания шумов, действующих на систему, которые позволяют, в частности, описать и импульсные помехи.

В данной диссертации рассматриваются задачи оценивания параметров в регрессионных моделях с дискретным и непрерывным временем, являющихся условно-гауссовскимн относительно ненаблюдаемого шумового процесса. Предполагается, что случайное возмущение в моделях является процессом импульсного типа, который моделируется семимартингальным процессом. При этом импульсные воздействия происходят в случайные моменты времени и имеют случайную амплитуду. Семимартингальный процесс позволяет описать широкий класс шумов импульсного типа, включая негауссовские процессы Леви и Орнштейна — Уленбека.

При наличии импульсной составляющей в шуме траектории процесса наблюдений являются, вообще говоря, разрывными. Действие импульсных помех приходится учитывать в статистике случайных процессов, поскольку они могут неконтролируемым образом изменить качество фильтрации, управления и обработки информации. Иными словами, наличие импульсных воздействий в динамической системе может привести к тому, что методы идентификации ее параметров, разработанные для случая белого шума, могут оказаться недостаточно эффективными и не обладать устойчивостью к таким шумам. Поэтому в случае, когда шумовые воздействия имеют сложную природу, необходимо дополнительное изучение процедур оценивания параметров системы с целью выяснить их зависимость от неучтенных факторов. Чтобы сохранить качество оценивания в условиях действия

импульсных помех, необходимо изыскивать дополнительные возможности повышения точности процедур оценивания.

Проблема повышения качества решающих процедур является важной в статистике. Во многих прикладных задачах, кроме результатов наблюдений. исследователь обладает определенной информацией о распределении наблюдаемого процесса. При этом возникает проблема рационального учета имеющихся сведений с целью повышения качества оценок или уменьшения объема данных, требуемых для достижения заданной точности. Можно выделить несколько подходов к построению улучшенных оценок. Одним из подходов является метод параметрической оптимизации, при котором рассматривается класс процедур оценивания, задаваемый с точностью до параметров. Задача оптимизации состоит в выборе наилучшего значения параметра в смысле заданного критерия качества. Так, при использовании ядерных оценок плотности в схеме независимых наблюдений, для повышения скорости сходимости оценок выбирается оптимальное значение коэффициента размытости. Важным ресурсом повышения качества идентификации стохастических систем является учет дополнительной априорной информации с целью построения более адекватной модели для описания данных. Во многих статистических задачах, связанных со схемой независимых наблюдений оказалась плодотворной идея использования ортогонального проектирования для учета априорной информации о моментах, симметрии, квантилях и пр. при оценивании функций распределений. Развитие этого направления улучшенного оценивания связано с работами Ю.Н. Тюрина1, Б.Я. Левита2 , Ф.П. Тарасенко3, Ю.Г. .Дмитриева4, Г.М. Кошкина5 и др. Интересный подход к построению улучшенных адаптивных оценок был предложен в работе О.В. Лепского 6, основная идея которой заключается в том, чтобы использовать априорную информацию для уточнения структуры модели с целью повышения скорости сходимости оценок к истинным значениям неизвестных параметров.

Учет априорной информации в непараметрической статистике явля-

1Тюрип Ю.Н. Об оценивании функций распределения /'/ Теор. вероятн. и ее примен. 1970. Т. 15, вып. 3. С. 567-568.

2Лсвитп Б.Я. Об оценке нелинейных функционалов // Проблемы передачи информации. 1978. Т. 14. вып. 3. С. G5 -72.

3Дмитриев Ю.Г., Тарасенко Ф.П. Применение функционального подхода к оцениванию функционалов с учетом априорной информации // Математическая статистика и ее приложения. Томск. 1979. Вып. 5. С. 128-141.

4Дмитриев Ю.Г. Статистическая обработка данных с использованием априорной информации : дис. ... д-ра физ.-мат.наук. Томск, 2000.

5Дмитриев Ю.Г., Кошкин Г.М. Использование дополнительной информации при непараметрическом оценивании функционалов плотности /'/ Автоматика и телемеханика. 1987. № 10. С. 47-59.

6Lepski О. V. How to improve the accuracy of estimation // Math. Methods of Statistics. 1999. Vol. 8, №

4. P. 441 - 486.

ется важным, поскольку нспараметрическая точность оценивания обычно очень низка. Однако и в задачах параметрического оценивания использование дополнительной априорной информации о структуре модели может приводить к повышению точности оценок.

В данной работе для решения задачи повышения качества оценивания используется подход, начало которому было положено в работах Ч. Стейна7 и В. Джеймса и Ч. Стейна8. Суть этого подхода заключается в использовании специальной процедуры сжатия оценок.

Для рассматриваемой в работе модели с импульсными шумами наблюдаемый процесс является условно-гауссовским относительно некоторого ненаблюдаемого шумового процесса. Можно ожидать, что подход Стейна к построению улучшенных оценок для гауссовских моделей может быть обобщен и на условно-гауссовские модели. Здесь, по-видимому, можно провести определенную аналогию с решением задач фильтрации, интерполяции и экстраполяции в моделях с непрерывным временем, для которых, как установили P.III. Липцер и А.Н. Ширяев9, в случае условно-гауссовской модели получаются замкнутые уравнения фильтрации. Следует, однако, заметить, что между условно-гауесовскими моделями, изучаемыми в теории фильтрации и моделями, рассматриваемыми в данной работе, имеется принципиальное различие: в теории фильтрации условная гауссовость выполняется относительно наблюдаемого процесса, а в изучаемых ниже моделях условная гауссовость выполняется относительно процесса, недоступного прямому наблюдению. Поэтому рассматриваемая в данной работе тематика построения улучшенных оценок в условно-гауссовских моделях является актуальной.

Целями работы являются:

— разработка методов улучшенного оценивания параметров линейных стохастических систем с непрерывным и дискретным временем с помехами импульсного типа, описываемыми семнмартингальными процессами;

— нахождение общих условий на моменты распределения помех, при которых предлагаемые оценки неизвестных параметров превосходят по средне-квадратической точности классические оценки наименьших квадратов;

— нахождение нижних границ для минимального выигрыша в среднеквад-ратической точности оценивания при использовании улучшенных оценок

1 Stem С. Inadmissibility of the usual estimator for the mean of a multivariate normal distribution //' Proceedings of the Third Berkeley Symposium on Mathematics Statistics and Probability, Berkeley and Los Angeles. 1956. Vol. 1. P. 197-206.

- James W., Stein C. Estimation with quadratic loss //' Proceedings of the Fourth Berkeley Symposium on Mathematics Statistics and Probability, Berkeley. 1961. Vol. 1. P. 361-3S0.

9Липцер P.U1, Ширяев АЛ, Статистика случайных процессов. М.: Наука, 1979.

вместо оценок МНК:

— исследование свойств улучшенных оценок параметров регрессионных моделей с шумами Лепи, являющимися смесью белого гауссовского шума и составного пуассоиовского процесса, а также с негауссовскими шумами, описываемыми процессом Орнштейна — Уленбека, динамика которого задается процессом Леви:

— доказательство эффективности предлагаемых оценок в смысле робает-ного риска с увеличением числа периодов наблюдений:

— экспериментальное исследование свойств предлагаемых процедур оценивания условно-гауссовской регрессии в зависимости от уровня импульсных помех и других мешающих параметров.

Методы исследования. В работе используются методы теории вероятностей, статистики случайных процессов, стохастического анализа, анализа временных рядов, статистического анализа, математического анализа, линейной алгебры, методы обработки информации и численного моделирования.

Научная новизна. В работе впервые построены улучшенные оценки параметров регрессии с непрерывным и дискретным временем с зависимыми условно-гауссовскими шумами с неизвестным распределением, превосходящие по среднеквадратической точности классические оценки МНК. В рассматриваемой модели регрессии с непрерывным временем помеха описывается общим условно-гауссовским семимартингалом, что позволяет с единых позиций решать задачу улучшенного оценивания при различных воздействиях импульсного типа. Для периодической регрессии с шумами Леви и негауссовскими шумами Орнштейна — Уленбека получены явные формулы для минимального выигрыша в точности при использовании предлагаемых оценок вместо оценок МНК. Предлагаемый метод оценивания обобщает подход Стейна на регрессионные модели с условно-гаус.совскими шумами, имеющими неизвестное распределение.

Основные результаты диссертационного исследования, полученные автором, являются новыми и определяются следующими положениями, выносимыми на защиту:

• Предложена процедура построения улучшенных оценок параметров модели регрессии с непрерывным временем и с условно-гауссовскими шумами импульсного типа по полным наблюдениям процесса.

• Предложена процедура построения улучшенных оценок параметров модели регрессии с непрерывным временем и с условно-гауссовскими шумами импульсного типа по дискретным наблюдениям процесса.

• Для регрессии с шумами Леви и негауссовскими шумами Орнштейна

— Уленбека с неизвестными параметрами получены явные формулы для минимального выигрыша в точности при использовании улучшенных оценок.

• Установлена асимптотическая минимаксность предлагаемых процедур и оценки МНК в смысле робастного риска для регрессии с негауссов-ским шумом Орнштенна — Уленбека.

Теоретическая и практическая ценность работы. Результаты работы могут быть использованы в различных отраслях науки и техники: финансовой математике, радиофизике, медицине, а также в прикладных задачах, связанных с идентификацией систем, прогнозированием, управлением, статистической обработкой данных. Кроме того, полученные теоретические результаты могут быть использованы в научных исследованиях и в спецкурсах для студентов и аспирантов математических факультетов университетов.

Достоверность и обоснованность всех полученных результатов. Все полученные в диссертации результаты имеют строгое математическое обоснование в форме теорем. Качество построенных оценок подтверждено проведенным имитационным моделированием.

Реализация и внедрение результатов работы. Рассмотренные в диссертации модели и методы оценивания их параметров входят в спецкурсы "Многомерный статистический анализ" и "Идентификация", читаемые на старших курсах механико-математического факультета и факультета прикладной математики и кибернетики Томского государственного университета.

Апробация работы. Работа частично выполнялась в рамках НИР по теме "Неасимптотические робаетные статистические методы идентификации динамических систем, описываемых стохастически mit разностными и стохастическими дифференциальными уравнениями" при финансовой поддержке Министерства образования и науки РФ, государственный контракт 02.740.11.5026, ФЦП "Научные и научно-педагогические кадры инновационной России на 2009-2013 годы".

Основные результаты диссертации обсуждались на научных семинарах кафедры математического анализа ММФ ТГУ (руководитель профессор И.А. Александров) и кафедры высшей математики и математического моделирования ФПМК ТГУ (руководитель профессор В.В. Конев), на научном семинаре по теории вероятностей и математической статистике в Институте математики им. С.Л. Соболева (руководитель академик A.A. Боровков), на научном семинаре по статистике в Лаборатории математики Руанского университета (Франция) (руководитель профессор С.М. Перга-

менщиков), а также докладывались на научных конференциях:

1. XVIII Всероссийская школа-коллоквиум по стохастическим методам, Казань, 1-8 мая 2011.

2. XII Всероссийский симпозиум по прикладной и промышленной математике. Осенняя открытая сессия. Сочи, 1-8 октября 2011.

Публикации. Основные результаты, полученные в диссертации, опубликованы в четырех работах, в том числе две работы в журнале из перечня ВАК [1, 2].

Структура и объем диссертации. Работа состоит из введения, 4 глав, заключения, списка использованной литературы и приложения. Работа изложена на 139 страницах, содержит 19 рисунков и 29 таблиц. Список литературы включает 75 наименований, в том числе 4 работы автора по теме диссертации.

СОДЕРЖАНИЕ РАБОТЫ

Во введении раскрывается актуальность исследуемой проблемы, приводится обзор известных результатов, формулируется цель и излагается содержание работы, обосновывается теоретическая и практическая значимость полученных результатов.

В первой главе рассматриваются задачи оценивания параметров регрессии с дискретным и непрерывным временем с условно-гауссовскими шумами с неизвестными распределениями.

В разделе 1.1 формулируются основные постановки задач.

Постановка задачи 1. Пусть наблюдаемый (¿-мерный случайный вектор У, заданный на вероятностном пространстве (П, Т, Р), удовлетворяет уравнению

у = (!)

где 0 = (01, — вектор неизвестных параметров из открытого огра-

ниченного множества 0 С - условно-гауссоссклй случайный век-

тор относительно некоторой фиксированной сг-алгебры событий <5, О С Т, с нулевым средним и условной ковариационной матрицей £>(£), т.е. £(£ | д) =Л^(0, Т>(0)), причем условная ковариационная матрица распределения неизвестна.

Требуется: 1) построить улучшенные оценки параметра 0, превосходящие по среднеквадратической точности оценки максимального правдоподобия: 2) найти оценку для минимального выигрыша в риске при использовании улучшенных оценок вместо оценок максимального правдоподобия.

Постановка задачи 2. Пусть наблюдаемый ¿-мерный случайный вектор У задается уравнением (1). Вектор шумов £ = (€ь - - • является

гауссовским с нулевым средним и неизвестной ковариационной матрицей. Предположим, что вектор £ формируется с помощью одной из следующих моделей:

I) (£1, • - ■ <&) представляют собой Л первых значений устойчивого процесса авторегрессии первого порядка ЛЯ(1)

1+ек, к = Хй, (2)

где |а| < 1, Е£о = 0 и е\,...,ел — независимые стандартные гауссовские случайные величины.

II) представляют собой в, первых значений стационарного процесса авторегрессии ц-то порядка АЯ(д)

= а,+ 026-2 + ■•■ +ек, к =1,(1, (3)

где .... а — независимые стандартные гауссовские случайные величины. Параметры моделей а, а\,... ,ач предполагаются неизвестными.

Требуется-. 1) построить улучшенные оценки параметра 0, превосходящие по среднеквадратической точности оценки максимального правдоподобия; 2) найти явные границы для минимального выигрыша в риске при использовании улучшенных оценок вместо оценок максимального правдоподобия для модели регрессии с дискретным временем и гауссовскими авторегрессионными шумами.

Далее рассмотрим задачу оценивания параметров регрессии с условно-гауссовскими шумами с непрерывным временем.

Постановка задачи 3. Пусть наблюдаемый процесс, заданный на вероятностном пространстве (П, Т, Р), описывается стохастическим дифференциальным уравнением

в.

<1у< = ^Г + Щи 0 < £ < п, (4)

7=1

где 0 = (01,..., да)' — вектор неизвестных параметров из открытого ограниченного множества 6 С К1*, п = 1,2,... — число периодов наблюдений; {Фз)1<з<л ~~ система 1-периодических [0, +ос) —» К функций, ортонормиро-ваниых в пространстве £2[0,1].

Относительно шума (^)/>о предполагается, что он является квадратично интегрируемым семимартингалом (см. подробнее глава 4), причем процесс (^)г>о имеет условно-гауссовскос распределение относительно некоторой сг-алгебры Я, Я С У7. Кроме того, пусть для любой функции / 6 ¿Зг[0, гг] определен стохастический интеграл

щ)= Гт, (5)

обладающий свойствами:

ЩШ) = 0 " Е<?'п(Л < f ftdL (6)

где Eq — усреднение по распределению Q помехи (£í)í>o; ctq > 0 — постоянная. Распределение Q помехи (&)t>о неизвестно и принадлежит некоторому параметрическому классу распределений Q*n в пространстве Скорохода

V[0 ,п].

Требуется построить оценки неизвестных параметров функции регрессии в (4) по непрерывным наблюдениям процесса {yt)o<t<n при общих условиях на распределение семимартингального шума имеющие более высокую средиеквадра-тическую точность по сравнению с обычными оценками МНК, а также получить явные формулы для минимального выигрыша в среднеквадратическом риске.

К выделенному классу семимартпнгальных шумов относятся следующие процессы импульсного типа.

1) Важным примером семимартингального шума является однородный процесс Леви вида:

Щ = QlVJt 02Zt, (7)

представляющий собой смесь стандартного броуновского движения (wt)t>о и составного пуассоновского процесса (zt)t>о, определяемого равенством

лг,

3= 1

где [Nt)t>о — однородный пуассоновский процесс с интенсивностью Л > О, a {Yj)j>i — последовательность н.о.р. гауссовских случайных величин с параметрами (0,1). Параметры шума Q\, Q2 и Л неизвестны.

Процесс (zj)¡>o описывает импульсные воздействия, которые имеют случайную амплитуду и происходят в случайные моменты времени

Тк = inf{í > 0 : Nt — к}.

2) Другим примером семимартингального шума является негауссов-ский процесс Орнштейна — Уленбека с импульсными возмущениями:

d£t = aitdt + dut, (8)

где а < 0, («*)¡>o определен в (7). Параметры шума a, Qi, q2 и А неизвестны. В разделе 1.2 решается задача 1. Предлагается вместо оценки МНК

вмь = Y (9)

следующая модификация оценки Джеймса — Стейна

"Ч'-ет)'-' (10)

где с — положительная константа, определяемая ниже. Основное отличие этой оценки от оценки Джеймса — Стейна в том, что вместо квадрата нормы ||У]|2 используется норма в первой степени |¡Vj|. Оценка 0" позволяет решать задачу улучшенного оценивания регрессии с условно-гауссовскими шумами при некоторых дополнительных предположениях на неизвестное распределение помех.

Предположим, что

Ci) максимальное собственное значение матрицы EZ>(C?) ограничено сверху, т.е.

Amax(ED(S)) < А*, где А* — известная положительная постоянная;

Сг) существует положительная постоянная к такая, что

trV{G) - Amax(21(G)) > к п.н.

Обозначим разность рисков предлагаемой оценки (10) и оценки МНК (9) как

А(0) R(0, в*) - ñ(0, вмь). (11)

Нам потребуется также следующая константа, ~f = + л/A*dj , где (3 = sup{||í?|¡ : в 6 В}.

Основной результат для условно-гауссовской регрессии с дискретным временем (1) содержит следующая теорема.

Теорема 1. Пусть шум£ в модели (1) имеет d-мерное условно-гауссовское распределение J\í¿{О, T>{Q)) и его ковариационная матрица T>{Q) удовлетворяет условиям Ci), Сг). Тогда разность рисков (11) оценки (10) с с = ку и оценки макеима,гьного правдоподобия (9) для всех d >2 удовлетворяет неравенству

sup Д(0) < -[к7]2.

в<=в

В разделе 1.3 оценка (10) применяется для решения задачи 2 улучшенного оценивания неизвестного среднего .многомерного нормального распределения, когда ковариационная матрица неизвестна и зависит от некоторых мешающих параметров.

Решение задачи 2 начнем со случая, когда в качестве модели шума £ в уравнении (1) используется гауссовский процесс авторегрессии первого

порядка (2). Предположим, что параметр а в уравнении (2) неизвестен и принадлежит сегменту [—оо,ао], где ао — известное число из интервала (0,1).

Нетрудно проверить, что элементы ковариационной матрицы D(a) шума С = (Сь- ■ ■ »меют вид {D(a))ij = ~ а2)-. ЪЗ = 1Д-Д

Предложение 1. Пусть шум £ в модели (1) определяется уравнением (2) с а £ [—ао,ао]. Тогда для всех d > 1/(1 — ао)2 разность рисков (11) оценки, определяемой равенством

и оценки максимального правдоподобия (9) удовлетворяет неравенству

»^-("-(HsöOV-

Далее рассмотрим случай, когда в качестве модели шума £ в уравнении (1) используется стационарный гауссовский процесс авторегрессии q-го порядка AR(q), описываемый уравнением (3). Вектор неизвестных параметров а = (а\,... ,ач)' принадлежит области устойчивости процесса, т.е. все корни характеристического полинома

P(z) — z4 — a\z4'1 — ... — aq

лежат в единичном круге комплексной плоскости. Элементы ковариационной матрицы D вектора £ = (£i,... ,£;)' имеют вид {D)tj = (■f4',-J"'.F)ib i,j = 1, d. Здесь матрица F удовлетворяет уравнению F — AFA' = В, где

1Ч — единичная матрица порядка q, В = | — матрица размера q х q,

Sij — символ Кронекера.

Обозначим ¿о = 1+ sup(2c, ||F||)/((1 — p)(F)u), где К — некоторый

аеК

компакт из области устойчивости процесса (3), с« > 0 и 0 < р < 1 —■ постоянные.

Предложение 2. Пусть вектор шумов £ с (1) определяется (3). Тогда для всех d > dg разность рисков (11) оценки

и оценки максимального правдоподобия (9) удовлетворяет неравенству вирА(О) <-((*- 1)(Г)п - 72.

Оев \ 1 - р }

В разделе 1.4 решается задача 3 из раздела 1.1. Сначала покажем, что эта задача сводится к оцениванию тех же параметров в схеме регрессии с дискретным временем и условно-гауссовскими шумами, имеющими неизвестную условную ковариационную матриц}-.

Поскольку распределение шума£( в уравнении (4) неизвестно, для оценивания неизвестных параметров естественно использовать метод наименьших квадратов в(п) = (¿1(71), - - -, ва(п))' с

1 Гп _

03(п) = - ф&)йуи з = \Л (12)

Отсюда, принимая во внимание (4), имеем

§{п) = 0 + п-1'2ап), (13)

где £(тг) — случайный вектор с координатами

<,-(«) = ~у ¿¿(¿к,.

Заметим, что вектор ((п) имеет условно-гауссовское распределение с нулевым средним и случайной ковариационной матрицей

К(е) = соу(С(п),С(п)'|£,')

с элементами г^(гс) = Е((,(п)С>(п)|^).

Таким образом, исходная задача оценивания параметра 0 в (4) сводится к задаче оценивания неизвестного параметра 0 в условно-гауссовской регрессии с дискретным временем (13). Предлагается в качестве ого оценки использовать оценку вида

0'(п)= )0(п), (14)

V \\0(п)\\) { 1

где с — некоторая положительная постоянная. Обозначим

Л„(0) := Щ0"(п), 0) - П{0{п), 0); (15)

Теорема 2. Пусть в модели (4) семимартинга,гьный условио-гауссовский шум (&)«>о удовлетворяет условиякь (5).. (6), (Сх) и (С2). Тогда разность рисков (15) оценки (14) с постоянной с = с, «7,,/п и оценки МНК (12) удовлетворяет неравенству

эир ДГ!(0) < -с;. оев

Далее изучаются свойства процедуры (14) для модели с шумами Леви (7) и Орнштейна — Уленбека (8).

На мешающие параметры шумов (7) и (8) наложим соответственно следующие условия:

0\ > Р > 0 " о\ + < £>*; (16)

-атах<а<0; £>1 > р > 0 и <?? + Хо\ < £>*, (17)

причем величины атах,Р и о* — известны.

Теорема 3. Пусть шум (&)<>о в уравнении (4) описывается негауссов-ским процессом Леей (7), причем выполнены условия (16). Тогда дм всех й>2 разность рисков (15) оценки (14) при с = р2{<1 - \У{п/п и оценки МНК (12) удовлетворяет неравенству

8ирД(0) <-\р-{(1- 1)-!п/п}2.

в€в

В случае, когда шум (£«)(>о в уравнении (4) описывается негауссов-ским процессом Орнштейна — Уленбека (8) предположим, что функции ($1,..., фл) являются тригонометрическими, т.е.

фх = 1, - ф), ф-2л-1(0 = у/2бш{2яМ, з = 1, И/2]. (18)

Положим 4 = [4\/2(1 + с/)] + 1, где </ = атах/(1 - е"0™*).

Теорема 4. Пусть шум (£<)(>о в уравнении (4) описывается негауссов-ским процессом Орнштейна — Уленбека (8), причем выполнены условия (17). Тогда дм всех й > ¿о оценка (14) при с = р2(сС/4 - 2)-у„/п является улучшенной, т.е. разность рисков (15) удовлетворяет неравенству

!шрДп(0) <0.

еев

В разделе 1.5 для модели (4) с негауссовским шумом Орнштейна — Уленбека (8) устанавливается асимптотическая минимаксность оценки (14) в смысле робастного риска при неограниченном росте числа периодов наблюдений п.

В качестве оценки вектора в в модели (4) может использоваться произвольная борелевская функция Тп от наблюдений (yt)0<t<n- Робастный риск оценки Тп для модели (4) с негауссовским шумом Орнштейна. — Уленбека (8) определим по формуле

Я*(Г„, 0) := sup 5дпЕдд\\Тп - 0\\\ (19)

QeQ'n

где Q,* = Q*(amax,p. д*) — семейство всех распределении Qn процесса (8) в пространстве Скорохода Т>[0, п}., удовлетворяющих неравенствам (17). Нормирующий множитель Sqti выберем из условия, чтобы асимптотический робастный риск оценки МНК (12) по полным наблюдениям равнялся единице.

Оценку Тп назовем асимптотически минимаксной в смысле робастного риска (19), если

lim infsup Я*(ГП, в) = lim supß*(f„, в).

п-»00 Г„ Оев ч гс^оо 0е&

Теорема 5. Пусть распределение помех в модели (4) принадлежит классу Q* = Q*( (&тах 5 Р: i?*)» определенному в (19). Тогда оценка МНК (12) параметра в по наблюдениям процесса (yt)o<t<n является асимптотически минимаксной в смысле робастного риска.

Следствие 1. При выполнении условий Теорем 4 и 5 предложенная оценка (14) параметра 0 в модели (4) с негауссовским шумом Орнштейна — Уленбека, построенная по наблюдениям процесса {yt)o<t<n, является асимптотически минимаксной в смысле робастного риска.

Замечание 1. Теорема 5 об оптимальности оценки МНК остается справедливой и для модыи регрессии с шумами Леей (7), поскольку эта модель получается из модели с шумами Орнштейна — Уленбека (8) при а = 0.

В разделе 1.6 представлены выводы и основные результаты первой главы.

Во второй главе рассматривается задача оценивания параметров в периодической регрессии с непрерывным временем и семимартингальны-ми помехами, имеющими условно-гаус.совское распределение с неизвестными корреляционными свойствами, по наблюдениям в дискретные моменты времени. Предлагаются улучшенные оценки параметров регрессии, превосходящие по среднеквадратической точности оценки МНК. При общих условиях на характеристики условно-гауссовского распределения получены явные формулы для минимального выигрыша в риске при использовании предлагаемых оценок вместо оценок МНК.

В разделе 2.1 формулируется постановка задачи. В главе 1 (раздел 1.4) решена задача улучшенного оценивания параметров регрессии (4) по полным наблюдениям процесса (уг)о<г<п- Однако во многих прикладных задачах высокочастотный съем данных нереализуем. В этом случае задача оценивания параметров решается по дискретным наблюдениям.

Целью данной главы является построение улучшенной процедуры оценивания неизвестных параметров регрессии с непрерывным временем с условно-гауссовскими шумами по наблюдениям в дискретные моменты времени.

В данной главе рассматривается видоизмененный вариант задачи 3, исследованной в разделе 1.4. По-прежнему будем предполагать, что регрессионная модель с непрерывным временем, заданная на вероятностном пространстве (П, Т, Р), описывается стохастическим дифференциальным уравнением (4). Дополнительно потребуем, чтобы функции удо-

влетворяли условию. Липшица с постоянной Ь:

ФМ\ <ЬЦ-з\, 7 = М.

Предположим, что процесс (4) доступен наблюдению только в дискретные моменты времени

^=07йр, (20)

где р — целое положительное число, определяющее частоту наблюдений.

Требуется: 1)построить оценки неизвестных параметров регрессии в (4), имеющие более высокую среднеквадратическую точность по сравнению с обычными оценками МНК; 2) получить явные формулы для минимального выигрыша в среднеквадратическом риске; 3) установить асимптотическую оптимальность оценок в смысле робастного риска.

В разделе 2.2 задача оценки параметров (#ь ... по дискретным наблюдениям процесса (у^)о<з<пР в модели (4) с общим семимартингаль-ным шумом, имеющим условно-гауссовское распределение, сводится к оцениванию тех же параметров в схеме регрессии с дискретным временем и условно-гауссовскими шумами. Основная трудность оценивания в результирующей схеме регрессии связана с тем, что шумы в ней имеют смещение, зависящее от частоты наблюдений и неизвестных параметров, а также неизвестную условную ковариационную функцию.

Поскольку распределение шума. & в уравнении (4) неизвестно, для оценивания неизвестных параметров естественно использовать метод наименьших квадратов. В случае, когда, процесс (4) допускает непрерывное наблюдение, оценки МНК по п периодам определяются формулами (12).

Оценка МНК вектора 0 = (в[.,... ,0а)' по дискретным данным [у1.) зависит от частоты дискретов р и имеет вид

8р(п) = (кР(п). ...АР{п)У: в}.р(п) = - /' ' (21)

п ) о

где = ФЛЬ)1цк_М(1), т.е.

^ пр

кЛп) = - Е ФЛ'к)^ 1 = М- (22)

Используя уравнение (4), находим 1 л

Ау* = - ++= & -

л ггк

1гк{9) = Е (?, / (¿(и) - ф&к))(1и.

Подставляя Аг/г,. в (22). получаем

0р(п) = 0 + п~1%{п), (23)

Ср(п) ~ (Сьр(п)' •■•; (<1.р(п)У ~ вектор шумов с координатами О» = п1/2Н^р(0) + „"'^.(с.,.):

= Е^Е Г '»(«)(*;('*) - &(«))<&, 1 = 1 *■•=!

а функционал /„(/) определен в (5). Вектор шумов Ср(и) в уравнении (23), в силу условий на шумовой процесс в модели (4), является условно-гауссовским относительно <т-алгебры 0 с неизвестным вектором средних значений Нр{0) = (Н\^р(0),.... Н±7{0))' и неизвестной случайной ковариационной матрицей Урп{0) := со\-{(р(п)(р(п)'\д).

Принимая во внимание, что неизвестный параметр в = в (4) удовлетворяет уравнению (23). предлагается в качестве его оценки использовать оценку вида

0;(п) = (1- „с ] 0р{п), (24)

где с — некоторая положительная постоянная.

Такой выбор оценки, как показано ниже, дает возможность контролировать среднеквадратическую точность оценивания при определенных условиях на условную ковариационную матрицу шума (Р{п).

Предположим, что для матрицы Vp.n(G) выполнены условия Ci) и С2).

При изучении свойств оценки (24) нам потребуются следующие обозначения

Д„(0) := R(в;(п),в) - R(0p{n),0): (25)

7п = {а + ^Тп)-\ гдеа = (l + Ld/(>/3p)).0 и р = sup{||0|| : 0 G ©}.

Нижнюю границу для величины уменьшения среднеквадратического риска Д,(0) при переходе от оценки МНК (21) к модификации оценки Джеймса — Стейна (24) дает следующая теорема.

Теорема 6. Пусть в модели (4) семимартингальный условно-гауссовский шум (£t)i>о удовлетворяет условиям (5), (6), Ci) и С2). Тогда разность рисков (25) оценки (24) с постоянной с = с, := к7п/п и оценки МНК (21) удовлетворяет неравенству

sup + (26)

йев V

Следствие 2. В условиях Теоремы б разность рисков (25) обладает свойствами:

1) еыи частота наблюдений р > 2Lf3d/(V3ct), то

sup Др(0) < 0;

оев

2) если условие Сг) выполнено для достаточно больших р, то

limsupsup Др(0) < —с:

JPV

Й€0

В разделе 2.3 изучаются свойства процедуры (24) оценивания параметров 01,...,в случаях, когда шум & в уравнении (4) описывается негауссовскими процессами (7) и (8). Предполагается, что базисные функции (©1....,0<г) являются тригонометрическими (18) и мешающие параметры удовлетворяют условиям (16) и (17) соответственно.

Теорема 7. Пусть шум (&)<>о в уравнении (4) описывается негауссов-ским процессом Леей (7), причем выполнены условия (16). Тогда для всех ¿>2 оценка (24) при с = р2 (й - 1)7 п/п является улучшенной, т.е. разность рисков (25) удовлетворяет неравенству

вир Др(0) < 0,

в ев

где р > [2,Дк13(Рп/{тДр2(й - 1)-уя)] + 1.

Теорема 8. Пусть шум (£t)i>o 0 уравнении (4) описывается негауссов-ским процессом Орнштейна - Уленбека (8), причем выполнены условия (17). Тогда найдутся числа d0 и ро такие, что для всех d > do и р > ро оценка (24) при с = p1{d/A — 2)~fn/n является улучшенной, т.е. разность рисков (25) удовлетворяет неравенству

supAp(0) <0.

See

В разделе 2.4 для модели (4) с негауссовским шумом Орнштейна — Уленбека (8) устанавливается асимптотическая минимаксность оценки (24) в смысле робастного риска (19) при неограниченном росте числа периодов наблюдений пив предположении, что частота р является функцией от п.

Теорема 9. Пусть распределение помех в модели (4) принадлежит классу Q'n = Qn(amax; Р-, í?*), определенному в (19), и частота наблюдений р = р(п) такова, что lim p{n)/y/ñ = -hoc. Тогда оценка МНК параметра

П—'ОС

в по наблюдениям в дискретные .моменты времени (20) является асимптотически минимаксной в смысле робастного риска.

Следствие 3. При выполнении условий Теорем 8 и 9 предложенная оценка (24) параметра 0 в модели (4) с негауссовским шумом Орнштейна — Уленбека, построенная, по дискретным наблюдениям процесса (у^)o<j<nP, является асимптотически минимаксной в смысле робастного риска.

В разделе 2.5 представлены выводы и основные результаты второй главы.

В третьей главе приводятся результаты экспериментального исследования работоспособности предлагаемой улучшенной процедуры оценивания параметров в регрессионной модели с импульсными шумами (4) по наблюдениям в дискретные моменты времени (20). Моделируются два типа шумовых процессов: процесс Леви и негауссовский процесс Орнштейна — Уленбека при различных соотношениях непрерывных и скачкообразных компонент. Проводится численное сравнение оценок, предложенных в главе 2, и классических оценок МНК. Изучается влияние уровня импульсной помехи на выборочную среднеквадратическую точность оценок неизвестных параметров регрессионной модели.

В разделе 3.1 экспериментально изучаются свойства процедуры (24) оценивания регрессии с шумами Леви по наблюдениям процесса в дискретные моменты времени (ytj)o<j<nP-

В разделе 3.2 изучаются свойства процедуры оценивания (24) для регрессионной модели с шумами Орнштейна — Уленбека по дискретным наблюдениям.

В разделе 3.3 представлены основные выводы третьей главы:

1. Предложенные процедуры улучшенного оценивания позволяют получить оценки, имеющие меньшие среднеквадратические риски и СКО по сравнению с обычными оценками МНК. С увеличением числа периодов наблюдения процесса отмечается повышение точности оценивания. Различия в точности между сжимающими оценками и оценками МНК уменьшаются с ростом числа периодов наблюдения.

2. Проведена оптимизация параметров процедур. При увеличении уровня белого шума наблюдается ухудшение качества оценивания, становится значительным выигрыш при использовании сжимающей оценки вместо оценки МНК. В некоторых случаях точность оценивания предложенных сжимающих оценок оказалась в 2 и более раз выше, чем у МНК.

3. При исследовании влияния импульсных помех замечено, что с ростом интенсивности импульсов Л среднеквадратические риски процедур увеличиваются, также увеличивается преимущество сжимающей оценки перед оценкой МНК. При увеличении уровня импульсной помехи д2 качество оценивания заметно ухудшается. Для сохранения точности необходимо увеличивать объем наблюдений.

4. Экспериментальное исследование процедур проводилось при фиксированных размерностях <1 и частотах наблюдений р {(I = 9, р = 100 для процесса Леви и й = 19. р = 200 для процесса Орнштейна — Уленбека). Такой выбор объясняется тем, что при меньших значениях численное сравнение предложенной оценки и оценки МНК оказывается невозможным, поскольку их свойства мало отличаются. С практической точки зрения большие размерности базиса позволяют изучать сложно устроенные сигналы.

о. При переходе от регрессионной модели с шумами Леви к регрессионной модели с негауссовскнми помехами Орнштейна — Уленбека отмечается снижение качества оценивания. Проведенное моделирование не дало однозначного ответа на вопрос об изменении свойств процедур при изменении коэффициента а процесса Орнштейна — Уленбека.

Полученные результаты моделирования подтверждают установленные аналитически статистические свойства оценок.

В четвертой главе формулируются и доказываются некоторые свойства стохастических интегралов Ито по процессу Леви и процессу Орнштейна — Уленбека, а также приводятся понятия и результаты теории статистического оценивания и теории случайных процессов, использованные для решения поставленных задач.

В разделе 4.1 приводятся необходимые сведения по семимартинга-лам и стохастическим интегралам Ито по семимартингалам.

В разделе 4.2 устанавливаются некоторые свойства стохастических интегралов по процессам Леви и Орнштейна — Уленбека, используемые при анализе свойств процедур улучшенного оценивания, предложенных в главах 1 и 2.

В разделе 4.3 излагаются вспомогательные факты из теории оценивания, включающие лемму Андерсона и формулу для плотности распределения Радона — Никодима для диффузионных процессов.

В разделе 4.4 даются необходимые понятия и результаты из асимптотической теории оценивания, которые использованы в разделах 1.6 и 2.4 при доказательстве асимптотической эффективности в смысле робастно-го риска улучшенной оценки в задаче регрессии с шумами Орнштейна — Уленбека.

В заключении формулируются основные теоретические и практические результаты диссертации, которые состоят в следующем:

1) Для параметрической регрессии с дискретным временем и условно-гауссовскими помехами в наблюдениях предлагается оценка МНК со специальным сжатием. При общих требованиях на условно-гауссовское распределение доказано, что предлагаемые оценки неизвестных параметров превосходят по среднеквадратической точности классические оценки наименьших квадратов. Найдены нижние границы для минимального выигрыша в среднеквадратической точности оценивания при использовании вместо оценок МНК улучшенных оценок со специальным сжатием (Теорема 1).

2) Решена задача построения улучшенных оценок параметров модели регрессии с непрерывным временем и семимартингальными шумами, являющимися условно-гауссовскими относительно некоторого процесса по полным наблюдениям процесса и наблюдениям в дискретные моменты времени. При общих условиях на функцию условной ковариации шума построена улучшенная оценка неизвестных параметров регрессии. Найдены нижние границы для минимального выигрыша в среднеквадратической точности при использовании улучшенных оценок (Теоремы 2 и 6).

3) Решена задача построения улучшенных оценок параметров модели регрессии с непрерывным временем и шумами Леви по полным данным. Показано, что при использовании улучшенных оценок выигрыш в среднеквадратической точности может быть получен при размерности базиса (1 > 2. Найдена нижняя граница для минимального выигрыша в среднеквадратической точности (Теорема 3).

ным возникает в случае, когда непрерывные наблюдения процесса не могут быть реализованы. Получены общие условия на размерность базиса й и частоту наблюдений р, при которых предлагаемая оценка имеет преимущество по среднеквадратичес-кой точности по сравнению с оценками МНК (Теорема 7).

•5) Предлагается процедура построения улучшенных оценок параметров регрессии с непрерывным временем и помехами импульсного типа, описываемыми негауссовским процессом Орнштейна - Уленбека по полным данным и наблюдениям в дискретные моменты времени. Исследованы

свойства оценки (Теоремы 4 и 8).

6) Доказана асимптотическая минимаксность оценок МНК и предлагаемых процедур в смысле робастного риска для регрессии с шумами импульсного типа, описываемыми негауссовским процессом Орнштейна — Уленбека по полным данным и наблюдениям в дискретные моменты времени (Теоремы 5 и 9).

7) Проведено экспериментальное исследование работоспособности предложенной улучшенной процедуры оценивания параметров в регрессионной модели с импульсными шумами по наблюдениям в дискретные моменты времени. Смоделированы два типа шумовых процессов: процесс Леви и негауссовский процесс Орнштейна - Уленбека при различных соотношениях непрерывных и скачкообразных компонент. Проведено численное сравнение оценок, предложенных в главе 2, и классических оценок МНК. Изучено влияние уровня импульсной помехи на выборочную среднеквад-ратическую точность оценок неизвестных параметров регрессионной модели. Полученные результаты моделирования подтверждают установленные аналитически статистические свойства оценок.

Полученные результаты могут применяться для решения задач, связанных со статистической обработкой данных, а именно, для задач прогнозирования, управления технологическими процессами, фильтрации и обработки информации в информационно-телекоммуникационных комплексах. Рассмотренные в работе регрессионные модели с дискретным и непрерывным временем часто используются в эконометрике, финансовой математике, в задачах передачи и обработки сигналов.

В приложении приведена копия акта о внедрении результатов диссертации в учебный процесс Томского государственного университета-

Благодарности. Автор выражает благодарность научному руководителю профессору Виктору Васильевичу Коневу за постановку задач и помощь в работе и профессору Сергею Марковичу Пергаменщикову за консультации и ценные советы.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Основные результаты, полученные в диссертации, опубликованы в следующих печатных работах, в том числе две в журнале, рекомендованном ВАК.

1. Пчелинцеа Е.А. Процедура Джеймса - Стейна для условно-гауссовской регрессии / Е.А. Пчелинцев // Вестник Томского государственного университета. Математика и механика. — 2011. — № 4 (16). - С. 6-17.

2. Пчелинцев Е.А. Оценивание параметрической регрессии с импульсными шумами по дискретным наблюдениям / В.В. Конев, Е.А. Пчелинцев // Вестник Томского государственного университета. Математика и механика. - 2012. - № 1 (17). - С. 10-22.

3. Пчелинцев Е.А. Улучшенные оценки параметров регрессии с импульсными шумами / Е.А. Пчелинцев // Обозрение прикладной и промышленной математики. - 2011. - Т. 18, вып. 3. - С. 460-461.

4. Пчелинцев Е.А. Модификация процедуры Стейна для регрессии с зависимыми условно-гауссовскими шумами / Е.А. Пчелинцев // Обозрение прикладной и промышленной математики. - 2011. - Т. 18, вып. 3. - С. 500-501.

Подписано в печать 11.05.2012 г. Формат А4/2. Ризография Печ. л. 1,0. Тираж 120 экз. Заказ .V' 01/05-12 Отпечатано в ООО Ткгаитив-НБ" 634050 г. Томск, пр. Ленина 31а

Оглавление автор диссертации — кандидата физико-математических наук Пчелинцев, Евгений Анатольевич

Список обозначений

Введение

1 Улучшенное оценивание в регрессии с условно-гауссовскими шумами

1.1 Введение. Постановка задач

1.2 Улучшенное оценивание в условно-гауссовской регрессии с дискретным временем

1.3 Улучшенное оценивание в авторегрессии.

1.4 Улучшенное оценивание в негауссовской регрессионной модели с непрерывным временем.

1.4.1 Свойства процедуры оценивания для непрерывной регрессии с шумами Леви.

1.4.2 Свойства процедуры оценивания для непрерывной модели с шумами Орнштейна — Уленбека

1.5 Асимптотическая минимаксность оценок.

1.6 Выводы.

2 Оценивание параметрической регрессии с импульсными шумами по дискретным наблюдениям

2.1 Введение. Постановка задачи.

2.2 Выбор оценки. Основные результаты для модели с семи-мартингальным шумом

2.3 Свойства процедуры оценивания для шумов импульсного типа

2.4 Минимаксная граница для рисков оценок.

2.5 Выводы.

3 Имитационное моделирование

3.1 Результаты моделирования для модели с шумами Леви

3.2 Результаты моделирования. Процесс Орнштейна — Уленбека

3.3 Выводы.

4 Свойства стохастических интегралов Ито по процессам Леви и Орнштейна — Уленбека. Некоторые сведения из теории оценивания

4.1 Семимартингалы. Формула Ито для семимартингалов

4.2 Свойства стохастических интегралов.

4.3 Вспомогательные результаты из теории оценивания

4.4 Локальная асимптотическая нормальность семейства распределений.

Введение 2012 год, диссертация по информатике, вычислительной технике и управлению, Пчелинцев, Евгений Анатольевич

Актуальность темы. В теоретических и прикладных исследованиях, связанных с задачами автоматического управления и регулирования, идентификации и фильтрации, с корреляционным и спектральным анализом временных рядов, большое внимание уделяется проблеме оценивания параметров стохастических систем, описываемых стохастическими разностными и стохастическими дифференциальными уравнениями. Интерес к таким моделям объясняется тем, что они являются достаточно адекватными для широкого круга реальных явлений в технике, экономике, медицине, финансовой математике и т.д. Для описания процессов с дискретным временем широко используются временные ряды, включающие процесс скользящего среднего, авторегрессии, авторегрессии скользящего среднего и другие [3, 4, 43]. Многие модели временных рядов строятся на основе процесса белого шума, представляющего собой последовательность некоррелированных (или независимых) случайных величин с нулевым средним и конечной дисперсией. Решение задач идентификации во многих случаях упрощается при дополнительном требовании гауссовости шума. Для идентификации параметров таких моделей разработаны различные методы: метод максимального правдоподобия, метод наименьших квадратов, метод стохастической аппроксимации и др. Линейные временные ряды могут использоваться для описания эволюции динамической системы, а также для моделирования шумовых воздействий на систему.

Широкий класс моделей с непрерывным временем задается с помощью линейных стохастических уравнений. Этот класс включает гаус-совские процессы с рациональными функциями спектральной плотности, процессы Орнштейна — Уленбека, условно-гауссовские процессы и др. [4, 22, 36]. Возмущающие воздействия в таких моделях наиболее часто описываются белым гауссовским шумом (броуновским движением). При этом уравнения понимаются в смысле Ито или Стра-тоновича. Для идентификации параметров временных рядов с непрерывным временем применяются методы максимального правдоподобия, наименьших квадратов и другие. Исследование свойств оценок параметров стохастических динамических систем с непрерывным временем во многих задачах удается провести только при асимптотических предположениях, т.е. для больших объемов данных. Для решения задач неасимптотической идентификации параметров динамических систем с дискретным и непрерывным временем успешно используются последовательные методы, которые характеризуются тем, что длительность процедуры не фиксируется заранее, а определяется в ходе наблюдений путем накопления достаточной информации о неизвестных параметрах для получения требуемой точности оценивания [8, 17].

Качество решающих процедур идентификации во многих случаях может быть повышено благодаря учету дополнительной информации о действующих помехах.

Эффективное решение задач фильтрации и прогнозирования процессов с непрерывным временем удается получить для ряда условно-гауссовских моделей. Одним из наиболее известных результатов является обобщение задачи Калмана — Бьюси на условно-гауссовские модели, полученное в монографии Р.Ш. Липцера и А.Н. Ширяева [23]. В этой задаче рассматривается случайный процесс = 0 < t < Т с ненаблюдаемой первой компонентой и наблюдаемой второй. Предполагается, что процесс является процессом диффузионного типа, который задается стохастическими уравнениями Ито: ыг, о + ах(£, + № м + О^ЗМ, о + М^ + В(г, 0^2 м, (0.1) где Жх(^) и — независимые процессы броуновского движения.

Ненаблюдаемый процесс ^ входит в эти уравнения линейно, а наблюдаемый процесс — в отличие от классической модели Калмана — Бьюси — может входить в уравнение нелинейно. При этом все коэффициенты в уравнениях являются неупреждающими функциями. Такое требование, как устанавливается в [23], обеспечивает гауссо-вость условного распределения случайной величины вг относительно наблюдений £о = 0 < 5 < т.е. распределение < х|£о} яв~ ляется гауссовским. В результате уравнения для условного среднего тг = Е(^|£о) и условной ковариации ^ = — тпг)2оказываются замкнутыми несмотря на нелинейное вхождение ^ в структурные функции процесса. Это открывает возможности эффективного решения целого ряда задач статистики случайных процессов, связанных с обработкой данных и спектральным анализом.

Задача идентификации параметров динамических систем с непрерывным временем изучается обычно в предположении, что система наблюдается непрерывно. В тех случаях, когда непрерывное наблюдение не может быть реализовано, задача оценивания параметров решается по дискретным данным. Задача идентификации параметров непрерывных динамических систем по измерениям в дискретные моменты времени рассматривалась в ряде работ [8, 47, 56, 61, 63, 75]. В работе В.А. Васильева и В.В. Конева [8] был предложен последовательный метод гарантированной идентификации линейной стохастической динамической системы по зашумленным наблюдениям в дискретные моменты времени.

При изучении свойств различных процедур идентификации приходится учитывать, что на их качество может существенно влиять неточное знание структурных функций в уравнениях, а также неконтролируемые дополнительные помехи, действующие на систему. Неконтролируемые помехи могут возникнуть, например, в результате импульсных воздействий на систему. При этом естественно требовать, чтобы процедура идентификации обладала определенной робастностью, устойчивостью к изменению характеристик шумов, чтобы неполное статистическое описание процессов, действующих на систему, не приводило к существенному снижению качества оценок неизвестных параметров.

Во многих задачах, связанных с обработкой информации широко используются регрессионные модели [1, 4, 7]. Методы идентификации регрессионных моделей можно разделить условно на два класса — параметрические и непараметрические. Наиболее полное исследование регрессионных моделей с непрерывным временем проводилось в предположении, что помеха представляет собой белый гауссовский шум. Однако в последние годы в статистике случайных процессов стали применяться более сложные модели для описания шумов, действующих на систему, которые позволяют, в частности, описать и импульсные помехи. Математическую основу для решения таких задач составляют результаты общей теории случайных процессов, теории мартингалов и семимартингалов, разработанных сравнительно недавно [24, 34]. Для этого потребовалось построить стохастические интегралы относительно семимартингалов, а также доказать для них основную формулу стохастического исчисления Ито.

В данной работе рассматриваются задачи оценивания параметров в регрессионных моделях с дискретным и непрерывным временем, являющихся условно - гауссовскими относительно ненаблюдаемого шумового процесса. Одной из основных моделей является регрессионная модель, описываемая уравнением

Предполагается, что случайное возмущение является процессом импульсного типа, который моделируется семимартингальным процессом. При этом импульсные воздействия происходят в случайные моменты времени и имеют случайную амплитуду. Функции {ф])\<^<(1 образуют ортонормированную систему в пространстве £2[0, 1] и имеют период равный 1. Вектор неизвестных параметров ., 6^) принадлежит некоторому ограниченному множеству 0 С М^.

Семимартингальный процесс (&)4>о позволяет описать широкий класс шумов импульсного типа, включая процессы Леви и Орнштейна — Уленбека.

Основная цель работы — построить оценки неизвестных параметров процессов с дискретным и непрерывным временем для условно-гауссовских моделей, превосходящие по среднеквадратической точности обычные оценки по методу наименьших квадратов (МНК). сі

О < і < п.

0.2)

Остановимся на известных результатах для линейной регрессии у = Хв + е, где у — d-мерный вектор наблюдаемых значений, X — матрица известных коэффициентов размера d х т, в — m-мерный вектор неизвестных параметров, е — d-мерный гауссовский вектор с нулевым средним Ее = 0 и ковариационной матрицей Еее' = о1!. Оценка МНК имеет вид в = (.Х'Х)~1Х'у.

В 1795 году К. Гаусс предложил метод наименьших квадратов, который получил широкое распространение в прикладных задачах. В 1809 году Гаусс доказал оптимальность оценки МНК, считая ошибки случайными с нулевыми средними и конечными вторыми моментами [58]. Вероятностная интерпретация этого результата принадлежит А.А. Маркову (1900) [25]. Сейчас теорема Гаусса — Маркова хорошо известна.

Теорема. Оценка МНК в = (Х'Х)~1Х'у обладает минимальной дисперсией в классе всех несмещенных линейных оценок параметра 9, причем в и у — Хв некоррелированы.

Класс моделей, рассматриваемых в задачах идентификации динамических систем весьма широк. Он охватывает модели с дискретным и непрерывным временем, описываемые соответственно стохастическими разностными и стохастическими дифференциальными уравнениями. В последние годы в связи с развитием общей теории случайных процессов появилась возможность унифицировать методы построения решающих процедур в задачах статистики случайных процессов с дискретным и непрерывным временем. К настоящему времени в теории идентификации получено много интересных результатов, которые не только обогатили теоретическую статистику, но и привели к созданию эффективных решающих процедур обработки статистических данных.

В данной работе рассматриваются задачи идентификации (оценивания) параметров в регрессионных моделях с дискретным и непрерывным временем и условно-гауссовскими помехами. В моделях с непрерывным временем шумовой процесс является условно-гауссовским се-мимартингалом. При наличии импульсной составляющей в шуме траектории процесса наблюдений являются, вообще говоря, разрывными. Действие импульсных помех приходится учитывать в статистике случайных процессов, поскольку они могут неконтролируемым образом изменить качество фильтрации, управления и обработки информации. Иными словами, наличие импульсных воздействий в динамической системе может привести к тому, что методы идентификации ее параметров, разработанные для случая белого шума, могут оказаться недостаточно эффективными и не обладать устойчивостью к таким шумам. Поэтому в случае, когда шумовые воздействия имеют сложную природу, необходимо дополнительное изучение процедур оценивания параметров системы с целью выяснить их зависимость от неучтенных факторов. Чтобы сохранить качество оценивания в условиях действия импульсных помех, необходимо изыскивать дополнительные возможности повышения точности процедур оценивания.

Улучшенное оценивание. Проблема повышения качества решающих процедур является важной в статистике. Во многих прикладных задачах, кроме результатов наблюдений, исследователь обладает определенной информацией о распределении наблюдаемого процесса. Источником такой информации могут служить результаты ранее проведенных исследований, экспертные оценки и т.д. При этом возникает проблема рационального учета имеющихся сведений с целью повышения качества оценок или уменьшения объема данных, требуемых для достижения заданной точности. Можно выделить несколько подходов к построению улучшенных оценок. Одним из подходов является метод параметрической оптимизации, при котором рассматривается класс процедур оценивания, задаваемый с точностью до параметров. Задача оптимизации состоит в выборе наилучшего значения параметра в смысле заданного критерия качества. Так, при использовании ядерных оценок плотности в схеме независимых наблюдений, для повышения скорости сходимости оценок выбирается оптимальное значение коэффициента размытости. Важным ресурсом повышения качества идентификации стохастических систем является учет дополнительной априорной информации с целью построения более адекватной модели для описания данных. Во многих статистических задачах, связанных со схемой независимых наблюдений оказалась плодотворной идея использования ортогонального проектирования для учета априорной информации о моментах, симметрии, квантилях и пр. при оценивании функций распределений. Развитие этого направления улучшенного оценивания связано с работами Ю.Н. Тюрина [31, 32], Б.Я. Левита [19, 20, 21], Ф.П. Тарасенко, Ю.Г. Дмитриева [9, 11, 12, 13], Г.М. Кошкина [10] и других. Интересный подход к построению улучшенных адаптивных оценок был предложен в работе О.В. Лепского [68], основная идея которого заключается в том, чтобы использовать априорную информацию для уточнения структуры модели с целью повышения скорости сходимости оценок к истинным значениям неизвестных параметров.

Учет априорной информации в непараметрической статистике является важным, поскольку непараметрическая точность оценивания обычно очень низка. Однако и в задачах параметрического оценивания использование дополнительной априорной информации о структуре модели может приводить к повышению точности оценок.

В данной работе используется подход к построению улучшенных параметрических оценок, начало которому было положено в работах Стейна [70] и Джеймса и Стейна [64]. Суть этого подхода заключается в использовании специальной процедуры сжатия оценок. Такие оценки принято называть сжимающими (shrinkage estimates). Результаты Стейна впервые были доложены в 1955 г. на симпозиуме по теории вероятностей и математической статистике и оказались неожиданными для многих специалистов по статистике. В своем докладе Стейн задался вопросом, нельзя ли повысить среднеквадратическую точность оценивания, если не ограничиваться рассмотрением только несмещенных оценок. Он дал положительный ответ на этот вопрос, рассмотрев следующую задачу оценивания среднего многомерного нормального распределения. Пусть наблюдения описываются схемой где в — ¿-мерный неизвестный вектор, £ — ¿-мерный гауссовский вектор с нулевым средним и диагональной ковариационной матрицей, т.е. £(£) = Л/"(0,<т2Лг). Для данной модели, согласно теореме Гаусса — Маркова, наилучшей несмещенной оценкой вектора 0 является оценка максимального правдоподобия

0.3) в ML = Y.

0.4)

Стейн стал рассматривать класс оценок вида

Os = g(Y)Y, где g (Y) — неизвестная функция от наблюдений и поставил задачу выбрать функцию g(Y) так, чтобы погрешность оценки §s была меньше, чем оценки максимального правдоподобия вмь■ В 1961 г. Джеймс и Стейн [64] предложили функцию g(Y) = 1 — (d — 2)сг2/||У||2 и доказали, что оценка * для d > 3 превосходит оценку максимального правдоподобия при квад-ратическом риске

R(e, ё) = щ\в-ё\\\ т.е. для всех значений параметра в из пространства M.d выполняется строгое неравенство

Д(М5),< Д(0, Вмь).

Иными словами, они доказали, что оценка максимального правдоподобия вектора среднего многомерного нормального распределения является недопустимой в терминах теории оценивания (см., например, [15]). В 1964 г. Стейн установил недопустимость классической оценки дисперсии при неизвестном среднем [71, 15]. За работой Джеймса и Стейна последовала серия работ, в которых метод Стейна применяется для построения улучшенных оценок в более сложных схемах наблюдений. В 1975 г. М.Е. Воск обобщил оценку Джеймса — Стейна на случай многомерного нормального распределения с произвольной известной ковариационной матрицей [42]. В работах J.O. Berger, G. Casella, L.J. Gleser и др. [37 - 41, 44, 59, 60] предложены улучшенные оценки для вектора среднего многомерного нормального распределения с неизвестной ковариационной матрицей. А. Baranchik [35], W.E. Strawderman [69, 73], Y.Y. Guo и N. Pal [62] предложили ряд модификаций оценки Джеймса — Стейна, которые превосходят ее по среднеквадратической точности. D. Fourdrinier, W.E. Strawderman, S.M. Pergamenshchikov и другие предложили улучшенные оценки параметров регрессионных моделей с дискретным временем и с шумами, имеющими сферически симметричные распределения [45, 46, 51 - 55]. Улучшенные оценки широко применяются в задачах идентификации регрессионных моделей и фильтрации Калмана.

Для рассматриваемой в работе модели с импульсными шумами (0.2) наблюдаемый процесс является условно-гауссовским относительно некоторого ненаблюдаемого шумового процесса. Можно ожидать, что подход Стейна к построению улучшенных оценок для гауссов-ских моделей может быть обобщен и на условно-гауссовские модели. Здесь, по-видимому, можно провести определенную аналогию с решением задач фильтрации, интерполяции и экстраполяции в моделях с непрерывным временем, для которых, как уже отмечалось, в случае условно-гауссовской модели (0.1) получаются замкнутые уравнения фильтрации. Следует, однако, заметить, что между условно-гауссовскими моделями, изучаемыми в теории фильтрации и моделями, рассматриваемыми в данной работе, имеется принципиальное различие: в теории фильтрации условная гауссовость выполняется относительно наблюдаемого процесса, а в изучаемых ниже моделях условная гауссовость выполняется относительно процесса, недоступного прямому наблюдению. Поэтому рассматриваемая в данной работе тематика построения улучшенных оценок в условно-гауссовских моделях является актуальной.

Общая характеристика и основные результаты диссертации

Цели работы. Целями диссертационной работы являются: разработка методов улучшенного оценивания параметров линейных стохастических систем с непрерывным и дискретным временем с помехами импульсного типа, описываемыми семимартингальными процессами; нахождение общих условий на моменты распределения помех, при которых предлагаемые оценки неизвестных параметров превосходят по среднеквадратической точности классические оценки наименьших квадратов; нахождение границ для минимального выигрыша в среднеквадратической точности оценивания при использовании улучшенных оценок вместо оценок МНК; исследование свойств улучшенных оценок параметров регрессионных моделей с шумами Леви, являющимися смесью белого гауссов-ского шума и составного пуассоновского процесса, а также с негаус-совскими шумами, описываемыми процессом Орнштейна — Уленбека, динамика которого задается процессом Леви; доказательство эффективности предлагаемых оценок в смысле ро-бастного риска с увеличением числа периодов наблюдений; экспериментальное исследование свойств предлагаемых процедур оценивания условно-гауссовской регрессии в зависимости от уровня импульсных помех и других мешающих параметров.

Научная новизна. В работе впервые построены улучшенные оценки параметров регрессии с непрерывным и дискретным временем с зависимыми условно-гауссовскими шумами с неизвестным распределением, превосходящие по среднеквадратической точности классические оценки МНК. В рассматриваемой модели регрессии с непрерывным временем помеха описывается общим условно-гауссовским семимар-тингалом, что позволяет с единых позиций решать задачу улучшенного оценивания при различных воздействиях импульсного типа. Для периодической регрессии с шумами Леви и негауссовскими шумами Орнштейна — Уленбека получены явные формулы для минимального выигрыша в точности при использовании предлагаемых оценок вместо оценок МНК. Предлагаемый метод оценивания обобщает подход Стей-на на регрессионные модели с условно-гауссовскими шумами, имеющими неизвестное распределение.

• Для регрессии с шумами Леви и негауссовскими шумами Орн-штейна — Уленбека с неизвестными параметрами получены явные формулы для минимального выигрыша в точности при использовании улучшенных оценок.

• Установлена асимптотическая минимаксность предлагаемых процедур и оценки МНК в смысле робастного риска для регрессии с негауссовским шумом Орнштейна — Уленбека.

Теоретическая и практическая значимость. Результаты работы могут быть использованы в различных отраслях науки и техники: финансовой математике, радиофизике, медицине, а также в прикладных задачах, связанных с идентификацией систем, прогнозированием, управлением, статистической обработкой данных. Кроме того, полученные теоретические результаты могут быть использованы в научных исследованиях и в спецкурсах для студентов и аспирантов математических факультетов университетов.

Реализация и внедрение результатов работы. Рассмотренные в диссертации модели и методы оценивания их параметров входят в спецкурсы "Многомерный статистический анализ" и "Идентификация" , читаемые на старших курсах механико-математического факультета и факультета прикладной математики и кибернетики Томского государственного университета.

Апробация результатов. Работа частично выполнялась в рамках научно-исследовательской работы по теме "Неасимптотические робастные статистические методы идентификации динамических систем, описываемых стохастическими разностными и стохастическими дифференциальными уравнениями" при финансовой поддержке Министерства образования и науки РФ, государственный контракт № 02.740.11.5026, ФЦП "Научные и научно-педагогические кадры инновационной России на 2009-2013 годы".

Основные результаты диссертации обсуждались на научных семинарах кафедры математического анализа ММФ ТГУ (руководитель профессор И.А. Александров) и кафедры высшей математики и математического моделирования ФПМК ТГУ (руководитель профессор В.В. Конев), на научном семинаре по теории вероятностей и математической статистике в Институте математики им. C.J1. Соболева (руководитель академик A.A. Боровков), на научном семинаре по статистике в Лаборатории математики Руанского университета (руководитель профессор С.М. Пергаменщиков), а также докладывались на научных конференциях:

1. XVIII Всероссийская школа-коллоквиум по стохастическим методам, Казань, 1 - 8 мая 2011.

2. XII Всероссийский симпозиум по прикладной и промышленной математике. Осенняя открытая сессия, Сочи, 1 - 8 октября 2011.

Публикации. Основные результаты, полученные в диссертации, опубликованы в четырех печатных работах, в том числе две статьи в журнале, рекомендованном ВАК.

1. Пчелинцев Е.А. Процедура Джеймса — Стейна для условно-гауссовской регрессии // Вестн. Томск, гос. ун-та. Матем. и мех. 2011. 4(16). С. 6-17.

2.Конев В.В., Пчелинцев Е.А. Оценивание параметрической регрессии с импульсными шумами по дискретным наблюдениям // Вестн. Томск, гос. ун-та. Матем. и мех. 2012. № 1(17). С. 20-35.

3. Пчелинцев Е.А. Улучшенные оценки параметров регрессии с импульсными шумами // Обозрение прикладной и промышленной мате^-матики. 2011. Т. 18, вып. 3. С. 460-461.

4. Пчелинцев Е.А. Модификация процедуры Стейна для регрессии с зависимыми условно-гауссовскими шумами // Обозрение прикладной и промышленной математики. 2011. Т. 18, вып. 3. С. 500-501.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы, списка обозначений и приложения. Работа изложена на 139 страницах, содержит 19 рисунков и 29 таблиц.

Заключение диссертация на тему "Улучшенное оценивание параметров регрессии с импульсными помехами"

3.3 Выводы

В главе проведено имитационное моделирование построенных во второй главе оценок с целью проверки работоспособности процедур оценивания и исследования их статистических свойств при конечных объемах наблюдений.

Анализ численных результатов показал:

2. Проведена оптимизация параметров процедур. При увеличении уровня белого шума д\ наблюдается ухудшение качества оценивания, становится значительным выигрыш при использовании сжимающей оценки вместо оценки МНК. В некоторых случаях точность оценивания предложенных сжимающих оценок оказалась в 2 и более раз выше, чем у МНК.

3. При исследовании влияния импульсных помех замечено, что с ростом интенсивности импульсов Л среднеквадратические риски процедур увеличиваются, также увеличивается преимущество сжимающей оценки перед оценкой МНК. При увеличении уровня импульсной помехи качество оценивания заметно ухудшается. Для сохранения точности необходимо увеличивать объем наблюдений.

4. Экспериментальное исследование процедур проводилось при фиксированных размерностях д, и частотах наблюдений р (в, = 9, р = 100 для процесса Леви и (1 — 19, р = 200 для процесса Орнштейна — Уленбека). Такой выбор объясняется тем, что при меньших значениях численное сравнение предложенной оценки и оценки МНК оказывается невозможным, поскольку их свойства мало отличаются. С практической точки зрения большие размерности базиса позволяют изучать сложно устроенные сигналы.

5. При переходе от регрессионной модели с шумами Леви к регрессионной модели с негауссовскими помехами Орнштейна — Уленбека отмечается снижение качества оценивания. Проведенное моделирование не дало однозначного ответа на вопрос об изменении свойств процедур при изменении коэффициента а процесса Орнштейна — Уленбека.

Глава 4

Свойства стохастических интегралов Ито по процессам Леви и Орнштейна — Уленбека. Некоторые сведения из теории оценивания

В задачах оценивания регрессии, рассмотренных выше, в качестве модели шума импульсного типа использовался семимартингальный процесс. Такой выбор шумового процесса можно мотивировать тем, что семимартингалы позволяют описать с единых позиций широкий класс шумовых воздействий с непрерывными и скачкообразными изменениями.

Класс семимартингалов весьма широк и включает в себя процессы с дискретным временем, диффузионные процессы, диффузионные процессы со скачками, процессы с независимыми приращениями и многие другие.

В разделе 4.1 приводятся необходимые сведения по семимартинга-лам и стохастическим интегралам Ито по семимартингалам. В разделе 4.2 устанавливаются некоторые свойства стохастических интегралов по процессам Леви и Орнштейна — Уленбека, используемые при анализе свойств процедур улучшенного оценивания, предложенных в главах 1 и 2. В разделе 4.3 излагаются вспомогательные факты из теории оценивания, включающие лемму Андерсона и формулу для плотности распределения Радона — Никодима для диффузионных процессов. В разделе 4.4 даются необходимые понятия и результаты из асимптотической теории оценивания, которые использованы в разделах 1.6 и 2.4 при доказательстве асимптотической эффективности в смысле робастного риска улучшенной оценки в задаче регрессии с шумами Орнштейна — Уленбека.

4.1 Семимартингалы. Формула Ито для семимартин-галов

Введем необходимые определения (см. монографию Р.Ш. Липцера и А.Н. Ширяева [24]).

Пусть (Г2, Т, (^ч)^о, Р) — фильтрованное вероятностное пространство с фильтрацией (^)<><ь удовлетворяющей обычным условиям непрерывности справа и пополненности по мере Р.

Определение. Случайный процесс X = [Хи Ь > 0) называется се-мимартингалом относительно фильтрации если он допускает представление

Хг = Х0 + Мг + Аи где М — локальный мартингал с Мд = 0 и А = (А^, — процесс с траекториями ограниченной вариации (на каждом промежутке (ОД г > 0) с Л0 = 0.

Всякий семимартингал может быть представлен в виде + М{ + М? + Аи (4.1) где М£ — непрерывный локальный мартингал и М£ — чисто разрывный локальный мартингал.

Заметим, что стохастический интеграл

МЛ= о<1<п,

4.2) о для функции / е £2[0, п] по негауссовскому процессу Орнштейна — Уленбека (1.6) является семимартингалом, причем м/) = Мсг + М* + Аи (4.3) где

Щ = 01 [ М* = 02 [ /00<*гв, о

Aí = а / /(в)б^ ./о

Стохастический интеграл для функции / £ £2[О, п] п0 процессу Леви (1.5) является семимартингалом, представимым в виде ад)= [* №йиа = м; + м*. (4.4)

7о

Определение. Непрерывный мартингал Мс в (4.1) называется непрерывной мартингальной составляющей семимартингала X и обозначается Xе := Мс.

В основе стохастического исчисления для семимартингалов лежит следующая фундаментальная формулы замены переменных, или так называемая формула Ито.

Теорема 4.1. Пусть X = {Х1,.,Хй) — мерный случайный процесс, каждая из компонент которого является семимартингалом и ж) = /(#1,. — дважды непрерывно дифференцируемая функция на Тогда /(X) есть семимартингал и справедлива формула Ито Е г<й г

0<з<4 где (Хгс, Х7'0) — взаимная квадратическая характеристика непрерывных локальных мартингалов Xго и Хзс.

Следствие 4.1. Пусть X и У — семимартингалы. Тогда их произведение ХУ также является семимартингалом и для всякого £ > О

ХМ = Х0У0 + ^ Х8-бУ8 + ^ Уа.бХ8 + [X, У],, (4.5)

0,4] (0,4] или в "дифференциальной" форме д.(ХМ) = Х^йУг + Уь.йХг + ¿[X, У],, где [X, У] — квадратическая ковариация семимартингалов X и У.

В монографии Ж. Жакода и А.Н. Ширяева [14] доказывается, что

X, У], = (Xе, Ус) + ^ АХвАУ3. (4.6) 0

Если X = У, то равенства (4.5), (4.6) принимают вид

X2 = Хд + 2 I Х3^Х3 + [X, X],, (4.7)

0,4]

X, X], = (Xе, Xе) + £ (ДХ5)2.

0 <з<£

Определение. Угловой скобкой квадратично интегрируемого мартингала М = (МІ5 называют неубывающий предсказуемый процесс (М, М)ь такой, что процесс является локально квадратично интегрируемым мартингалом.

Определение. Взаимной угловой скобкой мартингалов М и N называют предсказуемый процесс (М, N)t, для которого случайный процесс является локальным мартингалом.

4.2 Свойства стохастических интегралов

Установим свойства стохастических интегралов (4.2) и (4.4), использованные в главах 1 и 2. Для интеграла по процессу Леви справедлив следующий результат.

Предложение 4.1. Пусть fug функции из пространства £2 [0, п] и процесс (It(f))t>о определен в (4.1). Тогда для всех 0 <t<n

Доказательство. Заметим, что процесс /*(/) удовлетворяет стохастическому дифференциальному уравнению

М2 - (М, М)

MtNt - <М, N) dlt(f) = f(t)dut, /0(Л = 0 .

Полагая в (4.5)

Xt = It(f), Yt = It(g), получаем ш)ш = Г мдеш + С 1а~шш) + [1Ш шь- (4.8)

При этом ШЬ = <МС(Л, + ]Г АЩ)АЦд) (Мс(/), + £ ¡(з)д(з)(Аг3)2. о <Й<£

Применяя формулу Ито к интегралу М4С(/) по броуновскому движению, получаем

Ш)> ШЬ = Г + ¿>1 £ о ;>х где 7}, ] = 1,2,. — моменты наступления событий в пуассоновском потоке (М)4>0, т.е.

7} = тф > 0 : ^ =

Используя это равенство в (4.8) и вычислив математическое ожидание, приходим к утверждению предложения 4.1.

Свойства стохастического интеграла по процессу Орнштейна — Уленбека исследованы в [65].

Для формулировки нужного результата нам потребуются некоторые обозначения. Положим е/(г) = а Г еа(*-у) ¡(у) (1 + е2ау) V ,

Уо где / : [0, +оо) —> Ж. — интегрируемая функция на любом конечном интервале. Введем также следующее преобразование квадратично интегрируемых [0, +оо) —> К функций / и д:

Г/М = \ ¡\WsMs) + е1д(8)) где e},g(t) = f(t)eg(t)+ef(t)g(t).

В [65] установлен следующий результат.

Предложение 4.2. Если fug — функции из пространства £2[0, п], то

EJtU)Jt(g) = (Ql + Xgl)Tf^t). (4.9)

4.3 Вспомогательные результаты из теории оценивания

А) При доказательстве Теоремы 2.1 был использован следующий результат.

Лемма 4.1. (Андерсон [3]). Пусть £ — случайная величина со значениями из M.d, плотность распределения f^(x) которой центрально-симметрична, f$(x) = fz(—x), а множество Ки = {х : f^(x) > и} выпукло для любого и, 0 < и < сю.

Тогда для любого вектора у е Rd и любого центрально-симметричного множества А справедливо неравенство У £ А) < Р(£ е А).

Б) При исследовании свойств оценок использовалась плотность Радона — Никодима распределения наблюдаемого процесса (yt)o<t<n относительно распределения броуновского движения.

Пусть процессы Xi, г = 1,2, определяются уравнениями dXi(t) = Si(t)dt + dWt, 0 <t<n, где е £2[0, п]. Обозначим через Р^ распределение процесса Хг на сг-алгебре множеств 05(С), порожденной классом всех открытых множеств в пространстве С = С[0,п].

В монографии [16] доказана следующая теорема.

Теорема 4.2. Вероятностные меры Р^ г = 1,2, на 55(С) абсолютно непрерывны, при этом производная Радона — Никодима определяется формулой ехр (^(ЗД - - \ (М2 - ||й||2)) , где ||5||2 = /0п52(£)^.

4.4 Локальная асимптотическая нормальность семейства распределений

В данном разделе приводятся некоторые определения и факты из теории асимптотического оценивания, которые используются в доказательстве оптимальности в смысле робастного риска (1.29) улучшенных процедур оценивания параметров регрессии в случае, когда помехи описываются процессом Орнштейна — Уленбека и оценки строятся по наблюдениям в дискретные моменты времени. Проверено свойство локальной асимптотической нормальности (ЛАН) для семества распределений процесса (2.30).

При этом будем следовать монографии [16]. Определение. Наблюдением называется случайная величина X со значениями в некотором измеримом пространстве {X, Л). Пространство (Л!, Л) называется выборочным пространством.

Определение. Произвольная тройка 8 = (X, А, {Рб>, 9 е 0}), где {Ре, 9 е 0} — семейство распределений на измеримом пространстве (X, А), называется статистическим экспериментом.

Пусть £п = (Х^п\ Лп\ {Р^п), 9 е 0}), © С п = 1,2,., — семейство статистических экспериментов, а Хп — наблюдение в момент п со значениями во множестве Х^п\

Определение. Семейство распределений {Р^, 9 е ©}, п = 1,2,., на пространстве {Х^п\ Л^) называется локально асимптотически нормальным (ЛАН) в точке 9о е 0 при п —> оо, если для некоторой последовательности невырожденных детерминированных (1 х (¿-матриц /(п) = /(п, 6*о) с нормой ||/(п)|| —> 0 и для любого вектора и е М^ справедливо представление

Р(п) е0+Пп)и{хп) = ехр{и>АпА> Ы*/2 + фп(и,90)}, (4.10) где АП}д0 сходится по распределению к гауссовскому вектору, т.е. £(ДП)0о|Р^) —> Л/"(0,/^) и Для любого и £ случайная величина Фп(и, во) —0 ПО вероятности Р^ при 77, —> ОО.

Проверим теперь свойство ЛАН для семейства распределений {Р^п), 9 ев}, п = 1,2,. процесса (2.30).

Предложение 4.3. Семейство распределений {Р^, 9 е ©}, п = 1,2,. процесса (2.30) обладает свойством ЛАН в каждой точке € © с нормировочной матрицей /(п) = п-1/2/^.

--(у) = ехр и Ап - ^ , 122 где An = (Ai,n, • • •, Ad,n)', случайные величины А;> = n 1/2 JQn (f>j(t)dwt имеют стандартное гауссовское распределение. Отсюда с учетом (4.11) получаем утверждение предложения.

При доказательстве асимптотической оптимальности улучшенной оценки в смысле робастного риска применяется теорема Я. Гаека из работы [16]. Для ее формулировки потребуется следующее определение.

Определение. Функция w : —> Ш+ называется функцией потерь, если она удовлетворяет условиям: 1) w(-) > 0, ги(0) = 0;

3) w(u) симметрична, т.е. w(u) = w{—u),

4) множества {и : w(u) < с} выпуклы при всех с > 0,

5) w(u) растет медленнее любой из функций exp(e||w||2), е > 0 при w(u) ехр(е\\и\\2)

Теорема 4.3. ([16]). Пусть семейство в G ©}, п = 1,2,., удовлетворяет условию J1AH в точке в = во с нормировочной матрицей F{n), причем trF(n)F' (п) —> 0 при п —» оо. Тогда для любого семейства оценок Тп, любой функции потерь w и любого г > 0 справедливо неравенство liminfinf sup Е^]w{F-l{n){Tn - в)) > Ew(rf), (4.11) г—>сх> тп ||б)0о||<е где C{rj) = М{0, Id). г/|| оо, т.е. . lim = 0. и Ноо

Заключение

В диссертационной работе разработаны методы улучшенного оценивания параметров линейной стохастической регрессии с непрерывным и дискретным временем. В случае непрерывного времени рассматривается модель периодической регрессии с семимартингальными шумами. Семимартингальные шумы включают различные типы помех с импульсными составляющими. Импульсная помеха моделируется составным процессом Пуассона, который характеризуется тем, что импульсы случайной амплитуды происходят в случайные моменты времени, образующие пуассоновский процесс. В качестве основных моделей для шумов используется процесс Леви, представляющий собой смесь броуновского движения и составного пуассоновского процесса, а также негауссовский процесс Орнштейна — Уленбека. Предполагается, что значения мешающих параметров шумов, определяющих вклад различных составляющих шума, неизвестны.

При построении улучшенных оценок используется подход Стейна, основная идея которого состоит в использовании специальной процедуры сжатия в методе наименьших квадратов. В отличие от гаус-совских моделей, рассматриваемых в работах Стейна и Джеймса и Стейна, предлагаемая процедура улучшенного оценивания применима к условно-гауссовским моделям наблюдений. Заметим, что при этом (в отличие от теории фильтрации) достаточно, чтобы требование условной гауссовости выполнялось относительно некоторого ненаблюдаемого процесса. В моделях регрессии с непрерывным временем и с шумами Леви и Орнштейна — Уленбека в качестве такого ненаблюдаемого процесса используется однородный пуассоновский процесс с неизвестной интенсивностью.

Одним из условий, обеспечивающих возможность построения улучшенных оценок путем сжатия оценок МНК, является предположение ограниченности параметрической области.

Основными результатами работы являются следующие.

1) Для параметрической регрессии с дискретным временем и условно-гауссовскими помехами в наблюдениях предлагается оценка МНК со специальным сжатием. При общих требованиях на условно-гауссовское распределение доказано, что предлагаемые оценки неизвестных параметров превосходят по среднеквадратической точности классические оценки наименьших квадратов. Найдены нижние границы' для минимального выигрыша в среднеквадратической точности оценивания при использовании вместо оценок МНК улучшенных оценок со специальным сжатием (Теорема 1.1).

2) Решена задача построения улучшенных оценок параметров модели регрессии с непрерывным временем и семимартингальными шумами, являющимися условно-гауссовскими относительно некоторого (возможно, ненаблюдаемого) процесса по полным наблюдениям процесса и наблюдениям в дискретные моменты времени. При общих условиях на функцию условной ковариации шума построена улучшенная оценка неизвестных параметров регрессии. Найдены нижние границы для минимального выигрыша в среднеквадратической точности при использовании улучшенных оценок (Теоремы 1.2 и 2.1).

3) Решена задача построения улучшенных оценок параметров модели регрессии с непрерывным временем и шумами Леви по полным данным. Показано, что при использовании улучшенных оценок выигрыш в среднеквадратической точности может быть получен при размерности базиса (I > 2. Найдена нижняя граница для минимального выигрыша в среднеквадратической точности (Теорема 1.3).

4) Решена задача построения улучшенных оценок параметров модели регрессии с непрерывным временем и шумами Леви по наблюдениям в дискретные моменты времени. Задача оценивания по дискретным данным возникает в случае, когда непрерывные наблюдения процесса не могут быть реализованы. Получены общие условия на размерность базиса (1 и частоту наблюдений р, при которых предлагаемая оценка имеет преимущество по среднеквадратической точности по сравнению с оценками МНК (Теорема 2.2).

5) Предлагается процедура построения улучшенных оценок параметров регрессии с непрерывным временем и помехами импульсного типа, описываемыми негауссовским процессом Орнштейна — Уленбе-ка по полным данным и наблюдениям в дискретные моменты времени. Исследованы свойства оценки (Теоремы 1.4 и 2.3).

7) Проведено экспериментальное исследование работоспособности предложенной улучшенной процедуры оценивания параметров в регрессионной модели с импульсными шумами по наблюдениям в дискретные моменты времени. Смоделированы два типа шумовых процессов: процесс Леви и негауссовский процесс Орнштейна — Уленбека при различных соотношениях непрерывных и скачкообразных компонент. Проведено численное сравнение оценок, предложенных в главе 2, и классических оценок МНК. Изучено влияние уровня импульсной помехи на выборочную среднеквадратическую точность оценок неизвестных параметров регрессионной модели. Полученные результаты моделирования подтверждают установленные аналитически статистические свойства оценок.

Библиография Пчелинцев, Евгений Анатольевич, диссертация по теме Системный анализ, управление и обработка информации (по отраслям)

1. Алберт А. Регрессия, псевдоинверсия и рекуррентное оценивание. М: Наука, 1977.

2. Алексеев Е.Р., Чеснокова Е.А., Рудченко Е.А. Scilab: Решение инженерных и математических задач. М.: БИНОМ. Лаборатория знаний. 2008.http://docs.altlinux.org/books/2008/altlibrary-scilab-20090409.pdf

3. Андерсон Т. Статистический анализ временных рядов. М.: Мир, 1976.

4. Арато М. Линейные стохастические системы с постоянными коэффициентами. Статистический подход. М.: Наука, 1989.

5. Беллман Р. Введение в теорию матриц. М.: Наука, 1976.

6. Биллингсли П. Сходимость вероятностных мер. М.: Наука, 1977.

7. Боровков A.A. Математическая статистика. СПб.: Лань, 2010.

8. Васильев В.А., Конев В.В. Последовательное оценивание параметров динамических систем при неполном наблюдении // Изв. АН СССР. Техническая кибернетика. 1982. Вып.6. С. 145-154.

9. Дмитриев Ю.Г. Статистическая обработка данных с использованием априорной информации. Диссертация на соискание ученой степени доктора физ.-мат.наук. Томск, 2000.

10. Дмитриев Ю.Г., Кошкин Г.М. Использование дополнительной информации при непараметрическом оценивании функционалов плотности // Автоматика и телемеханика. 1987. № 10. С. 47-59.

11. Дмитриев Ю.Г., Тарасенко Ф.П. Об использовании априорной информации при оценивании линейных функционалов // Математическая статистика и ее приложения. Томск: Изд-во Том. ун-та. 1976. Вып. 4. С. 52-62.

12. Дмитриев Ю.Г., Тарасенко Ф.П. Применение функционального подхода к оцениванию функционалов с учетом априорной информации // Математическая статистика и ее приложения. Томск: Изд-во Том. ун-та. 1979. Вып. 5. С. 128-141.

13. Дмитриев Ю.Г., Устинов Ю.К. Статистическое оценивание функций распределения с использованием априорной информации // Математическая статистика и ее приложения. Томск: Изд-во Том. ун-та. 1986. Вып. 10. С. 62-76.

14. Жакод Ж., Ширяев А.Н. Предельные теоремы для случайных процессов. М.: Физматлит, 1994.

15. Закс Ш. Теория статистических выводов. М.: Мир, 1975.

16. Ибрагимов И.А, Хасьминский Р.З. Асимптотическая теория оценивания. М.: Наука, 1979.

17. Конев В.В. Последовательные оценки параметров стохастических динамических систем. Томск: изд-во Томск, ун-та, 1985.

18. Конев В.В., Пчелинцев Е.А. Оценивание параметрической регрессии с импульсными шумами по дискретным наблюдениям // Вестн. Томск, гос. ун-та. Матем. и мех. 2012. № 1(17). С. 20-35.

19. Левит Б.Я. Об оценке нелинейных функционалов // Проблемы передачи информации. 1978. Т. 14, вып. 3. С. 65-72.

20. Левит Б.Я. Об эффективности одного класса непараметрических оценок // Теор. вероятн. и ее примен. 1975. Т.20, вып. 4. С. 738754.

21. Левит Б.Я. Условное оценивание линейных функционалов // Проблемы передачи информации. 1975. Т. 11, вып. 4. С. 39-54.

22. Липцер Р.Ш. Условно-гауссовские случайные процессы // Проблемы передачи информации. 1974. Т. 10, вып.2. С. 75-94.

23. Липцер Р.Ш, Ширяев А.Н. Статистика случайных процессов. М.: Наука, 1979.

24. Липцер Р.Ш, Ширяев А.Н. Теория мартингалов. М.: Наука, 1986.

25. Марков А.А. Исчисление вероятностей. СПб.: 1900.

26. Поляк Б. Т., Цыпкин Я.З. Оптимальные методы оценивания коэффициентов авторегрегрессии при неполной информации // Известия АН СССР, Техническая кибернетика. 1983. № 1. С. 118-126.

27. Пчелинцев Е.А. Процедура Джеймса Стейна для условно-гауссовской регрессии // Вестн. Томск, гос. ун-та. Матем. и мех. 2011. № 4(16). С. 6-17.

28. Pchelintsev Е. Improved estimation in a non-Gaussian parametric regression // Stat. Inference Stoch. Process. 2012.

29. Пчелинцев Е.А. Улучшенные оценки параметров регрессии с импульсными шумами // Обозрение прикладной и промышленной математики. 2011. Т. 18, вып. 3. С. 460-461.

30. Пчелинцев Е.А. Модификация процедуры Стейна для регрессии с зависимыми условно-гауссовскими шумами // Обозрение прикладной и промышленной математики. 2011. Т. 18, вып. 3. С. 500-501.

31. Тюрин Ю.Н. Линейная модель в многомерной непараметрической статистике // В сб.: Ученые записки по статистике. 1974. Т.26. С. 7-24.

32. Тюрин Ю.Н. Об оценивании функций распределения // Теор. ве-роятн. и ее примен. 1970. Т. 15, вып. 3. С. 567-568.

33. Ширяев А.Н. Вероятность, М.: Наука, 2004.

34. Эллиот Р. Стохастический анализ и его приложения. М: Мир, 1986.

35. Baranchik A. A family of minimax estimators of the mean of a multivariate normal distribution // Ann. Math. Statist. 1970. № 41. P. 642-645.

36. Barndorff-Nielsen O.E., Shephard N. Non-Gaussian Ornstein-Uhlenbeck-based models and some of their uses in financial mathematics // J. Royal Stat. Soc. 2001. № 63. P. 167-241.

37. Berger J.O. Selecting a minimax estimator of a multivariate normal mean // Ann. Statist. 1982. № 10(1). P. 81-92.

38. Berger J.O., Bock M.E. Combining independent normal mean estimation problems with unknown variances // Ann. Statist. 1976. № 4(3). P. 642-648.

39. Berger J.0., Bock M.E., Brown L.D., Casella G., Gleser L. Minimax estimation of a normal mean vector for arbitrary quadratic loss and unknown covariance matrix // Ann. Statist. 1977. № 5. P. 763-771.

40. Berger J.O., Haff L.R. A class of minimax estimators of a normal mean vector for arbitrary quadratic loss and unknown covariance matrix // Statist. Decisions 1983. № 1. P. 105-129.

41. Berger J.O., Lu K.L. Estimation of normal means: frequentest estimation of loss // Ann. Statist. 1989. № 17(2). P. 890-906.

42. Bock M.E. Minimax estimator of the mean of a multivariate normal distribution // Ann. Statist. 1975. № 3(1). P. 209-218.

43. Brockwell P.J., Davis R.A. Time Series: Theory and Methods, 2nd edn. Springer, New York, 1991.

44. Casella G., Lehmann E.L. Theory of Point Estimation. Springer, New-York, 2nd edition, 1998.

45. Cellier D., Fourdrinier D. Shrinkage estimators under spherical symmetry for the general linear model // J. Multivariate Anal. 1995. № 52(2). P. 338-351.

46. Cellier D., Fourdrinier D., Strawderman W.E. Shrinkage positive rule estimators for spherically symmetric distributions // J. Multivariate Anal. 1995. № 53(2). P. 194-209.

47. Comte F., Genon-Catalot V., Rozenholc Y. Nonparametric estimation for a discretely observed integrated diffusion model 11 Stochastic Processes and their Applications. 2009. № 119. P. 811-834.

48. Cont R., Tankov P. Financial modelling with jump processes. Chapman and Hall/CRC, 2004.

49. Delong L., Kliippelberg C. Optimal investment and consumption in a Black — Scholes market with Levy driven stochastic coefficients // Annals of Applied Probability. 2008. № 18(3). P. 879-908.

50. Efron B., Morris C. Families of minimax estimators of the mean of a multivariate normal distribution // Ann. Statist. 1976. № 4. P. 11-21.

51. Fourdrinier D. Statistique inferentielle. Dunod, 2002.

52. Fourdrinier D., Pergamenshchikov S. Improved selection model method for the regression with dependent noise // Ann. of the Inst, of Statist. Math. 2007. № 59(3). P. 435-464.

53. Fourdrinier D., Strawderman W.E., Wells W.T. Robust shrinkage estimation for elliptically symmetric distribution with unknown co-variance matrix // J. Multivariate Anal. 2003. № 85(1). P. 24-39.

54. Fourdrinier D., Strawderman W.E., Wells W.T. Improved estimation for elliptically symmetric distributions with unknown block diagonal covariance matrix // Statist. Decisions. 2008. № 26. P. 203217.

55. Fourdrinier D., Strawderman W.E., William E. A unified and generalized set of shrinkage bounds on minimax Stein estimates // J. Multivariate Anal. 2008. № 99. P. 2221-2233.

56. Florens-Zmirou D. On estimating the diffusion coefficient from discret observations 11 J. Appl. Probab. 1993. No 30. P. 790-804.

57. Galtchouk L., Pergamenshchikov S. M. Asymptotically efficient estimates for non-parametric regression models // Statistics and Probability Letters. 2006. V. 76, № 8. P. 852-860.

58. Gauss C.F. Theoria combinationis observationu merroribus minimus obnoxiae, 1821.

59. Gleser L.J. Minimax estimation of a normal mean vector when the covariance matrix is unknown // Ann. Statist. 1979. № 7. P. 838846.

60. Gleser L.J. Minimax estimators of a normal mean vector for arbitrary quadratic loss and unknown covariance matrix // Ann. Statist. 1986. № 14. P. 1625-1633.

61. Gobet E., Hoffmann M., ReissM. Nonparametric estimation of scalar diffusions based on low frequency data // The Annals of Statistics. 2004. No 32. P. 2223-2253.

62. Guo Y. Y., Pal N. A sequence of improvements over the James — Stein estimator // J. Multivariate Anal. 1992. № 42(2). P. 302-317.

63. Jacod J. Parametric inference for discretely observed non-ergodic diffusions // Bernoulli. 2006. No 12(3). P. 383-401.

64. James W., Stein C. Estimation with quadratic loss // in: Proceedings of the Fourth Berkeley Symposium on Mathematics Statistics and Probability, University of California Press, Berkeley. 1961. V. 1. P. 361-380.

65. Konev V., Pergamenchtchikov S. Efficient robust nonparametric estimation in a semimartingale regression model, http://hal.archives-ouvertes.fr/hal-00526915/fr/ (2010).

66. Konev V. V., Pergamenshchikov S.M. Sequential estimation of the parameters in a trigonometric regression model with the Gaussian coloured noise // Stat. Inference Stoch. Process. 2003. № 6(3). P. 215-235.

67. Konev V., Pergamenchtchikov S. General model selection of a periodic regression with a Gaussian noise // An. Inst. Stat. Math. 2010. № 62. P. 1083-1111.

68. Lepski O. V. How to improve the accuracy of estimation // Math. Methods of Statistics. 1999. V. 8, № 4. P. 441 486.

69. Shao P.Y.-S., Strawderman W.E. Improving on the James — Stein positive-part estimator // Ann. Math. Statist. 1994. № 22. P. 15171538.

70. Stein C. Inadmissibility of the usual estimate for the variance of a normal distribution with unknown mean // Ann. Inst. Statist. Math. 1964. № 16. P. 155-160.

71. Stein C. Estimation of the mean of a multivariate normal distribution // Ann. Statist. 1981. № 9(6). P. 1135-1151.

72. Strawderman W.E. Proper Bayes minimax estimators of the multivariate normal mean // Ann. Math. Statist. 1971. № 42. P. 385-388.

73. Vasiliev V.A., Konev V. V. On Sequential Parameter Estimation of Continuous Dynamic Systems by Discrete Time Observations // Problems of Control and Information Theory. 1990. V. 19, N 3. P. 197-207.

74. Yoshida N. Estimation for diffusion processes from discrete observations // J. Multivariate Analysis. 1992. No 41. P. 220-242.

Похожие работы

Информатика, вычислительная техника и управление
05.13.00