автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Робастное и непараметрическое оценивание параметров авторегрессионного поля

На правах рукописи

Горяинов Владимир Борисович

Робастное и непараметрическое оценивание параметров авторегрессионного поля

Специальность 05.13.01 - Системный анализ, управление и обработка информации (информатика и машиностроение)

АВТОРЕФЕРАТ диссертации на соискание ученой степени доктора физико-математических наук

19 СЕН 20«

ООЬЬоо

Москва - 2013

005533188

Работа выполнена в федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Московский государственный технический университет имени

Н.Э. Баумана»

Официальные оппоненты:

Семенихин Константин Владимирович, доктор физико-математических наук, профессор кафедры теории вероятностей федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Московский авиационный институт (национальный исследовательский университет)»

Синицин Владимир Игоревич, доктор физико-математических наук, заведующий отделом информационных технологий управления федерального государственного бюджетного учреждения науки «Институт проблем информатики Российской академии наук (ИПИ РАН)»

Тимонин Владимир Иванович, доктор физико-математических наук, профессор кафедры высшей математики федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Московский государственный технический университет имени Н.Э. Баумана»

Ведущая организация:

Федеральное государственное бюджетное учреждение науки «Институт системного анализа РАН»

Защита состоится__2013 г. в_ч._мин. на

заседании диссертационного совета Д 212.141.15 при ФГБОУ ВПО «Московский государственный технический университет имени Н. Э. Баумана» по адресу: Москва, Рубцовская наб., 2/18, ауд. 1006л.

С диссертацией можно ознакомиться в библиотеке ФГБОУ ВПО «Московский государственный технический университет имени Н. Э. Баумана».

Автореферат разослан__2013 г.

Ученый секретарь диссертационного совета, кандидат технических наук, доцент

Аттетков А.В.

Общая характеристика работы

Актуальность темы. Первые упоминания об авторегрессионных случайных полях или, как их ещё называют, процессах пространственной авторегрессии, появились в конце 50-х годов прошлого века (P. Whittle), а через четверть века началось их систематическое исследование (J. Besag; D. Tjostheim; X. Guyon; G. Kallianpur и V. Mandrekar; R.L. Kashyap), активность которого растёт до сих пор. Одной из причин растущего интереса к авторегрессионным полям стало их широкое использование в теории анализа и обработки изображений и теории распознавания образов (К.К. Васильев, В.Б. Каш-кин и А.И. Сухинин), причём не только в технике (О.В. Попов, A. Olivier и С. Olivier; Y. Ohtsuka, T. Oga и К. Kakamu), но и в естественных науках (D. Zhu и A.A. Веех; J.P. Chiles и P. Delfiner; K.R. Mecke и D. Stoyan) и в медицине (F. Miwakeichi и др.; F. Mast и L. Jancke; D.U. Pfeiffer, Т.Р. Robinson и M. Stevenson; Р. Moraga и A.V. Lawson). Другим важным направлением применения авторегрессионных полей стала экономика, в которой они используются и в составе более сложных моделей описания пространственно-временных экономических явлений (R. Dubin, R.K. Расе и T.G. Tibodeau; В.А. Blonigen, R.B. Davies, G.R. Waddel и др.; J.P. LeSage и R.K. Расе).

Одним из важных этапов изучения авторегрессионных полей является их идентификация, сводящаяся к оцениванию параметров (коэффициентов) авторегрессионной модели и проверке различных гипотез о них. Первоначально для этого использовался аналог метода Юла—Уолкера оценивания параметров одномерного авторегрессионного уравнения и эквивалентный ему метод наименьших квадратов. Однако первые же попытки описания процессом пространственной авторегрессии реальных данных привели к пониманию важности разработки таких методов идентификации, которые были бы малочувствительны к нарушениям предположений, лежащих в основе метода наименьших квадратов, и прежде всего к предположениям о нормальном (гауссовском) распределении наблюдений (R. Kashyap и К. Еот).

Аналогичные проблемы возникли и в других направлениях математической статистики, что привело к созданию П.Дж. Хьюбером и Ф. Хампелем в 60-х годах двадцатого века нового подхода к анализу данных, названного ро-бастным. Робастные методы лишь незначительно уступают в эффективности методам максимального правдоподобия при анализе наблюдений с известным вероятностным распределением, практически не теряют эффективность при небольшом отклонении распределения наблюдений от предполагаемого и не приводят к катастрофическим ошибкам при значительных нарушениях

в предположении о распределении наблюдений. Основу робастного подхода к оцениванию параметров моделей составляет теория построения М-оценок, которые являются обобщением оценок максимального правдоподобия. Первоначально свойства М-оценок были изучены в наиболее простых случаях одно- и двухвыборочной задачи (П.Дж. Хьюбер, Ф. Хампель). Использование М-оценок в этих моделях оказалось лучше применения метода наименьших квадратов с предварительным отбрасыванием резко выделяющихся наблюдений. В линейных регрессионных моделях М-оценки строили П.Дж. Хьюбер, Ф. Хампель, J. Jureckova , С.А. Field и D.P. Wiens , П.С. Кнопов, L. Zhao, M.V. Fasano, R.A. Maronna, M. Sued и V.J. Yohai, W.B. Wu, в многомерных регрессионных моделях — В.Q. Miao, Y. Wu, Z. Bai, X. Chen, Y. Wu, в нелинейных регрессионных моделях — A.B. Иванов, И.В. Орловский, H.H. Леоненко.

Параллельно теория М-оценивания развивалась для процессов авторегрессии (R.D. Martin, К. Campbell, С.-Н. Lee, C.J. Geyer, F. El Bantli, M. Hallin) и процессов авторегрессии-скользящего среднего (J. Liu, C.-H. Lee, R.A. Davis, R.D. Martin, K. Knight).

Обобщением М-оценок в регрессионных моделях занимались О. Bustos, V. Yohai, R.A. Maronna, C.L. Cheng, J.W. Van Ness, Z.D. Bai, Y. Wu, M.S. Song, J.H.Kim, D.G.Simpson, S.Sinha, D.P.Wiens, а в авторегрессионных — Z.W. Zhu, O.H. Bustos, H.L. Koul.

М-оценки в пространственной регрессии изучались J. Chen, L.-X. Zhang, S.N. Lahiri, K. Mukherjee, а в пространственной авторегрессии — M. Zarepour, S.M. Roknossadat.

Одновременно развивались непараметрические методы анализа данных (В.А. Васильев, A.B. Добровидов, Г.М. Кошкин), в частности, основанные на знаках и рангах (J.L.Jr. Hodges и E.L. Lehmann; J. Jureckova; Я. Гаек и 3. Шидак), которые не предполагают знание закона распределения наблюдений. За прежними методами, базирующимися на предположении о гауссово-сти наблюдений и развитыми в конце девятнадцатого и начале двадцатого веков в основном Р. Фишером, К. Пирсоном и У. Госсетом (Стьюдентом), закрепился термин «классические». Сначала знаковые и ранговые методы были разработаны и исследованы для сравнительно простых моделей одно-и двухвыборочных задач сдвига и масштаба. Затем, в последнее десятилетие прошлого века эти методы были распространены на линейную регрессию (J. Jureckova) и одномерную авторегрессию (P. Bloomfield и W.L. Steiger; M. Hallin, J.-F. Ingenbleek и M.L. Puri; C.-H. Lee и R.D. Martin; M. Hallin и M.L. Puri; X.R. Chen, Z.D. Bai, L.C. Zao и Y.H. Wu; R.A. Davis, К. Knight и

J. Liu; H.L. Koul и A.K.Saleh; M.B. Болдин, Г.И. Симонова и Ю.Н. Тюрин; Z.D. Bai и Y. Wu; К. Knight; J. Hajek и Z. Shidak), их статистические свойства в перечисленных моделях продолжают изучаться и в настоящее время (J. Allai, A. Kaaouachi и D. Paindaveine; F. El Bantli и M. Hallin; L. Zhao; В. Andrews; R. Wu и R.A. Davis).

Применение робастных методов к анализу авторегрессионных полей в теории обработки изображений также дало положительные результаты, но их изучение, в частности, сравнительный анализ с методом наименьших квадратов, велось исключительно методом компьютерного моделирования вплоть до самого последнего времени (S.M. Ojeda, R.O. Vallejos, О. Bustos). Первые теоретические работы на эту тему появились совсем недавно (S.M. Ojeda, R.O. Vallejos и M.M. Lucini; M.G. Genton и H.L.Koul; S.M. Roknossadati и M. Zarepour). К сожалению, подавляющее большинство работ, особенно в экономико-математических журналах, по-прежнему базируется на классическом подходе (S. Basu и G.C. Reinsei; Е. На и H.J. Newton; R.A. Davis; L.F. Lee; D.A. Griffith; Q. Yao и P.J. Brockwell; Y. Davydov и V. Paulauskas; M. Arnold и D. Wied; C. Gaétan и L. Greco; С. Gaétan и X. Guyon; L. Su). Таким образом, исследование статистических свойств робастных методов анализа пространственной авторегрессионной модели является актуальной задачей.

Целью работы является разработка и исследование свойств методов робастного и непараметрического оценивания параметров авторегрессионных полей с неизвестным вероятностным распределением.

Задачами исследования являются:

- построение оптимальных знаковых и ранговых критериев проверки гипотез о параметрах авторегрессионных полей;

- построение и исследование статистических свойств знаковых и ранговых оценок параметров авторегрессионных полей;

- исследование статистических свойств М-оценок, обобщённых М-оце-нок, оценок наименьших модулей параметров авторегрессионных полей.

Методы исследования. В диссертации применяются методы теории вероятностей, математической статистики, теории случайных процессов, математического анализа, функционального анализа.

Научная новизна. В диссертации получены следующие новые результаты, которые выносятся на защиту:

1) метод построения локально наиболее мощных знаковых и ранговых критериев проверки гипотез о параметрах авторегрессионных полей;

2) знаковые и ранговые оценки параметров авторегрессионных полей,

основанные на локально наиболее мощных знаковых и ранговых критериях;

3) доказательство состоятельности и асимптотической нормальности М-оценок, обобщённых М-оценок, оценки наименьших модулей, знаковой оценки и ранговых оценок параметров авторегрессионных полей;

4) аналитический вид асимптотической относительной эффективности М-оценок, оценки наименьших модулей, знаковой оценки и ранговых оценок по отношению к оценке наименьших квадратов;

5) исследование поведения функционала влияния обобщённых М-оце-нок, М-оценок, оценки наименьших модулей и знаковой оценки на различных классах вероятностных распределений ошибок наблюдений авторегрессионного поля.

Результаты диссертации носят теоретический характер и являются развитием робастной теории идентификации стохастических систем.

Достоверность результатов подтверждена строгими доказательствами и результатами численных расчётов.

Практическая ценность. Результаты, изложенные в диссертации, могут быть использованы для идентификации авторегрессионных полей, в особенности, имеющих негауссовскую природу, и авторегрессионных полей, наблюдающихся с грубыми ошибками.

Апробация результатов работы. Результаты диссертационной работы докладывались на международной научно-технической конференции «Информационные технологии и информационная безопасность в науке, технике и образовании «ИНФОТЕХ- 2011»» (Севастополь, 2011), ХУ1-Й Международной конференции «Системный анализ, управление и навигация» (Евпатория, 2011), IX Международной конференции «Идентификация систем и задачи управления», 81СР110'12 (Москва, 2012), ХУН-й Международной конференции «Системный анализ, управление и навигация» (Евпатория, 2012), VII Всероссийской конференции «Необратимые процессы в природе и технике» (Москва, 2013), XXXI Международном семинаре по проблемам устойчивости стохастических моделей 188Р8М'2013 (Москва, 2013), II Международной научно-технической конференции Сот1п^2013 (Черкассы, 2013).

Работа выполнена при поддержке программы Минобрнауки «Развитие научного потенциала высшей школы (2009-2013 годы)», проект № 2.1.1/227.

Публикации. Основные результаты диссертации отражены в 24 научных работах, в том числе в 16 статьях, опубликованных в журналах из Перечня ведущих научных журналов и изданий и 7 тезисах докладов.

Личный вклад соискателя. Все исследования, результаты которых

изложены в диссертационной работе, проведены лично соискателем в процессе научной деятельности. Из совместных публикаций в диссертацию включен лишь тот материал, который непосредственно принадлежит соискателю.

Структура и объём работы. Диссертация состоит из введения, пяти глав, выводов и списка литературы. Работа изложена на 243 страницах, содержит 19 иллюстраций, 6 таблиц. Библиография включает 164 наименования.

Содержание работы

Во введении обоснована актуальность темы, сформулированы цель и задачи исследования, научная новизна, теоретическая и практическая значимость полученных результатов, основные положения, выносимые на защиту, а также приведены данные о структуре и объеме диссертации.

В первой главе изучаются асимптотические и робастные свойства М-оценок (оценок, обобщающих оценки максимального правдоподобия, наименьших квадратов и наименьших модулей) коэффициентов уравнения авторегрессионного поля, доказывается асимптотическая нормальность М-оце-нок. Исследуется асимптотическая относительная эффективность (АОЭ) М-оценок по отношению к оценке наименьших квадратов при нарушении предположения о нормальности обновляющего (инновационного) поля и при засорении наблюдений аномальными ошибками.

В разделе 1.1 привведены наиболее распространенные типы авторегрессионных полей и описываются основные методы их исследования.

В разделе 1.2 изложены основные этапы развития робастного подхода в анализе линейных моделей, указаны его преимущества и недостатки по сравнению с традиционными методами максимального правдоподобия и наименьших квадратов.

В разделе 1.3 дано определение М-оценки. Рассматривается модель пространственной авторегрессии (B.D. Ripley; С. Gaétan и X. Guyon; A. Gelfand и др.; R. Haining) — стационарное поле Ху, описываемое уравнением

Xij = a1QXi^u + aoiXij-i -f + si, j = 0, ±1, ±2,..., (1)

где a = (aïo, aoi, ац)т — авторегрессионные коэффициенты, a £jj — независимые одинаково распределённые случайные величины с плотностью /(х) и

нулевым математическим ожиданием Ее^- = 0. Достаточным условием стационарности Xij является (см., например, D. Tjostheim) условие

1 - a%zi - a°01z2 - a0nZlZ2 f 0, |zx| ^ 1, \z2\ ^ 1. (2)

М-оценку a*mn параметра а по наблюдениям Ху, i = l,...,m, j = 1,..., n поля (1) определим как точку минимума функции

т п

£тп{а) = ~ ai0xi-ij - «oi^ij-i - an^t-ij-i), (3)

t=2 j=2

где p(x) — некоторым образом выбранная функция.

Если функция р(х) является выпуклой и дифференцируемой, то минимизация (3) равносильна решению системы уравнений

т п

У] У~] ip(Xij - awXi-ij - aoiXij-i - anX^ij-ijXij = 0, (4) i=2 j—2

где Xij = (Xi-ij,Xij-i,Xi-i<j-\)T. Оценка максимального правдоподобия

является частным случаем М-оценки с р-функцией р{х) = — 1п/(х) или f(x)

^-функцией -ф(х) =--—-у.

В разделе 1.4 в теореме 1.1 доказана асимптотическая нормальность М-оценок а*ш. Обозначим через К ковариационную матрицу вектора Хп, а через а0 — истинное значение параметра а.

Теорема 1.1. Пусть р(х) выпуклая функция, р"(х) непрерывна почти всюду и ограничена, а*тп — точка минимума функции (3), плотность f(x) независимых одинаково распределённых случайных величин £tJ в (1) такова, что Ер'(еп) = 0, Е(р'(£Гц)2) > 0, а2 = Deu < оо, Ер"(еп) > 0.

Тогда при то, п —оо случайный вектор у/тп(а*тп — а0) является асимптотически нормальным с нулевым математическим ожиданием и ковариаци-

* Е[р'(еп)2]

онной матрицей К ,_г „,—гттх.

(E[p"(£ii)])2

В разделе 1.5 предложен итерационный метод вычисления М-оценок и доказана его сходимость. Каждая итерация сводится к решению системы линейных уравнений.

В разделе 1.6 найдена АОЭ е(/) М-оценок а*тп по отношению к оценке

наименьших квадратов, равная ° ^гУ., ^ЛУ • Если е(/) > 1, то М-оценки

Ь[/г(£цЛ

предпочтительнее оценки наименьших квадратов, а если е(/) < 1, то наоборот оценка наименьших квадратов предпочтительнее М-оценок. Для достижения одинаковой точности оценивания М-оценкам требуется в е(/) раз больше наблюдений, чем оценке наименьших квадратов.

Сначала исследовалось поведение е(/) при отклонении плотности /(х) распределения ец от нормального. Идея моделирования приближённо нормального распределения состоит в том, что основная доля 1 — 6, 6 6 (0,1), случайных величин ец моделируется стандартным нормальным распределением, а остальная небольшая доля 6 имеет нормальное распределение с нулевым средним, но с большей дисперсией г2. В этом случае распределение е^ описывается распределением Тьюки, которое имеет плотность

/(*) = (! + (5)

л/2тг \J2-kt

В качестве р(х) рассматривалось семейство функций Хьюбера

рн(х) = Iх2' если Iх! ^ /с' (6)

— к2, если |а;| > к.

где к — неотрицательный параметр. Эти функции являются квадратичными в окрестности (—к, к) начала координат и растут линейно на бесконечности. Интуитивно ясно, что М-оценки с такой функцией должны наследовать лучшие свойства оценок наименьших квадратов и наименьших модулей. В работе

показано, что е(/) = —, где Н

А = 4(1 + тЧ - <5) ((1 - 6)Ф0(к) + 6Ф0 ) ,

В — к2 + 2(1 — ¿)(1 - к2)Ф0(к) + 2д(т2 - к2)Ф0 +

+

ку/2

(

(6 - 1)е~ 2

тде~2т2

\

а Фо(а:) — функция Лапласа. Видно, что с ростом т значение е(/) неограниченно возрастает при любых к > 0 и 6 6 (0,1). Таким образом, АОЭ М-оценок по отношению к оценке наименьших квадратов при г —> оо может быть сколь угодно велика.

—к=0

.....к=0.5

—к=2 — к=5 А0Э=1

Рис. 1.

На рис. 1 показана зависимость е(/) от т для различных к при фиксированной доле выбросов в 2% (6 = 0.02). С ростом т АОЭ е(/) монотонно возрастает с увеличивающейся скоростью. При изменении к от нуля до приблизительно двух е(/) также монотонно растет, причём равномерно для сравнительно небольших г € (0,5). Далее с ростом к, т.е., когда М-оценки становятся похожими на оценку наименьших квадратов, АОЭ М-оценки падает.

На рис. 2 построены графики зависимости е(/) от к при 6 = 0.02 и различных т. Видно, что значения к, при которых е(/) максимальна, почти не зависят от г и приблизительно равны 2. Тоже самое наблюдалось при других значениях 5.

На рис. 3 построены графики зависимости е(/) от 5 при различных г для близкого к оптимальному значению к = 2. Видно, что даже при отсутствии загрязнений (случай 5 = 0), когда ситуация наиболее благоприятна для оценок наименьших квадратов, е(/) и 1, т.е. М-оценки им практически не уступают в эффективности. С ростом доли д от нуля до приблизительно 0.3 эффективность М-оценок начинает расти тем стремительнее, чем больше т.

Затем в разделе 1.6 при помощи компьютерного моделирования сравнивалось качество М-оценок и оценки наименьших квадратов при загрязнении наблюдений Хц грубыми измерительными ошибками, когда вместо на-

1

2.4- / 2.2- / 2.0- / СО 1.8-' < 1.6"

-I-1-1-'-1-1-1-'-1-'-1-1-I-'-:---1-1-

2 4 6 8 10 12 14 16 18 20 к

—т = 1

.....Т- 3

--т = 5

— т = 10

Рис. 2.

блюдаются

Уц = (1 - + (7)

где Х^ описываются уравнением (1) с гауссовским обновляющим полем еу, г/у — независимые случайные величины, принимающие значения 1 и 0 с вероятностями 5 и 1 — 5 соответственно, а Су — загрязняющее поле, состоящее из независимых нормальных случайных величин. Эта модель, например, описывает процесс измерения поля Ху, когда с вероятностью 5 происходит сбой измерительной аппаратуры, и во время сбоя вместо Xу наблюдается (у. Случайные величины Хц, г/у и Су в (7) предполагались независимыми.

Результаты экспериментов показали, что если достаточно умеренным искажениям (а именно, среднеквадратичное отклонение Су в три раза больше среднеквадратичного отклонения Xу) подвергается только каждое тысячное наблюдение, то М-оценки становятся эффективнее оценок наименьших квадратов.

Во второй главе рассмотрены оценки, которые обобщают М-оценки и которые лучше приспособлены к загрязнениям вида (7). Доказана состоятельность и асимптотическая нормальность обобщённых М-оценок. При помощи компьютерного моделирования проведено сравнение обобщённых М-оценок с обычными М-оценками и оценками наименьших квадратов.

Результаты главы 1 показывают, что М-оценки теряют эффективность

0.8 т-■-1---1-■-1-■-1-■-

0 0.2 0.4 0.6 0.8 1

5

Рис. 3.

в случае, когда Х^ наблюдаются с ошибкой, т.е. когда вместо Ху наблюдаются Уу вида (7). Потеря эффективности М-оценок при загрязнениях вида (7) связана с неограниченным множителем Ху в системе уравнений (4), влияние которого на решение этой системы может быть сколь угодно велико при достаточно больших значениях Су в (7).

Определим обобщённые М-оценки атп параметра а как решение системы

т п

У^У^ОУу - анЛ-- ащХ^-х - апХ{-и-1)д^(Х) = 0, (8)

г=1 }=1

где ду(Х) = (д(Х^и), д(Х^-г), д(Хг-и-Х))Т, а д(х) - некоторая функция. Выбрав в качестве д ограниченную функцию, можно ограничить влияние экстремальных значений Су на решение системы уравнений (4). Например, в качестве д можно взять производную /»-функции Хьюбера (6).

В разделе 2.2 доказана асимптотическая нормальность обобщённых М-оценок. Обозначим через С? ковариационную матрицу вектора ди{Х), а через В взаимную ковариационную матрицу векторов дц(Х) и Хц.

Теорема 2.1. Пусть Е[^(ец)] = 0, Е[^2(ец)] < оо, Ее?! < оо, Е[тД'(ец)] > 0, а д(х) и ф"(х) ограничены на К.

Тогда при т,п—>оо случайный вектор у/тп(атп — а0) асимптотически

„jMn-гл

нормален с нулевым средним и ковариационной матрицей , . .—гтггг( G.

К сожалению, матрицы асимптотических ковариаций обобщённых М-оце-нок и оценки наименьших квадратов не пропорциональны друг другу. Это обстоятельство не позволяет проводить сравнение асимптотических эффек-тивностей обобщённых М-оценок атп и оценок наименьших квадратов так, как это было сделано для М-оценок.

В разделе 2.3 определен функционал влияния обобщённых М-оценок параметров авторегрессионных полей, являющийся теоретической характеристикой устойчивости оценок к засорению наблюдений грубыми ошибками и вычислен для М-оценок, обобщённых М-оценок и оценок наименьших квадратов.

Предположим, что вместо авторегрессионного поля Xjj наблюдается поле Yij вида (7). В этом случае обобщённые М-оценки вектора параметров а согласно их определению будут решением атп(6) относительно а системы

Lmn{5, а) = 0, (9)

где

^ т п

Lm„(ö, а) =-"ф (Уа - awYi-ij - aoiYi,j-i ~ oii^i-ij-i) ffy 00.

тп t=i j=l

При 5 > 0 обобщённые М-оценки ämn(S) параметра а не обязаны быть состоятельными, т.е. предел lim атп{5) = а(6), если он существует, не обязан

m,n-> оо

совпадать с а0.

Оценим величину а(6) — а0. Для этого определим функционал влияния IF(a(i),F{) оценки атп по формуле

IF (a(8),Fc) = ±a{S)

s=о

Функционал влияния характеризует величину линейного члена в разложении асимптотического смещения

а(5)-о0 = 1Р(а(5),^с)(Я-о((5), ЯО

и зависит от а{8) и от функции распределения F( случайных величин Су-

Лучше других противостоять засорениям вида (7) наблюдений Хц будут оценки с ограниченным 1Р(а(5), Обозначим через 5" множество, которому может принадлежать функция распределения случайных величин Назовем величину

а(6)) = вир |Ща(5), ¿с)1 (1°)

чувствительностью оценки атп к большой ошибке. Оценку атп назовем ро-бастной на семействе распределений если СЕЗ($, а(5)) < оо.

Обозначим

Ц5,а) = Е[ф(уп-У^а) <т00]-

Теорема 2.2. Пусть атп — решение уравнения Ьтп(а) = 0 и для любых достаточно малых 8 существует предел атп —> а(6), причем Ь(5,а(5)) = О,

дШ, а) дШ, а)

существуют и непрерывны производные-—, ——— в некоторой окрестности точки (0, а0), Е[ф'(еп)] ф О, - ¥^а)дп{¥)\2 < схз.

Тогда

Ща(6),Р() = ^—^(е^П + Сп)]Е[(5(^01),З№О),5(ЗДТ]+

+ Е[ф{еи - + Со1),5(*1о),<?(*оо))Т]+

+ Е[ф{еп - а?0С1о)(5(Хо1),з(Хю + Сю), <7(*оо))Г]+ + Е[ф{еи - а°00(0о)(9(Х<п), 9(Х 10), д(Х00 + Соо))Т]-

- 4Е[^(£11)(д(Х01),5№о),з№о)Т)]). (И)

Из теоремы следует, что если функции ф и д ограничены, то функционал влияния обобщённых М-оценок ограничен и чувствительность к большой ошибке будет конечной, т.е. обобщенные М-оценки будут робастными.

Для М-оценок д(х) = х и ограниченность функции ф уже не является достаточной для конечности СЕЗ($,а(6)). Например, если класс распределений ^ содержит ¿-функции, то чувствительность к большой ошибке для М-оценок на этом классе будет неограниченной, и М-оценки в этом случае будут неробастными, вообще говоря, даже для ограниченной функции ф{х).

Из (11) видно, что если У содержит функции распределения случайных величин с бесконечной дисперсией, то оценка наименьших квадратов, для которой д(х) = х и ф(х) = х не является робастной.

В разделе 2.4 при помощи компьютерного моделирования сравнивается качество оценки наименьших квадратов, М-оценок и обобщённых М-оценок, построенных по загрязнённым наблюдениям Уу вида (7).

В разделе 2.5 методы оценивания коэффициентов авторегрессионного поля применяются для решения задачи фильтрации изображений от импульсного шума. Идея заключается в разбиении изображения на фрагменты размера 8x8 пикселей, каждый из которых описывается уравнением авторегрессионного поля. Работа алгоритма проверялась на фильтрации реальных изображений. Массив интенсивностей X при помощи датчиков псевдослучаных чисел загрязнялся импульсным шумом Qj с долей загрязнения 5, а фильтрации подвергался массив Y вида (7). Доля загрязненных пикселей ö колебалась от 0.01 до 0.3. Результаты имитационного моделирования подтвердили преимущество робастных методов оценивания авторегрессионных коэффициентов над методом наименьших квадратов при загрязнении авторегрессионного поля случайным шумом.

В третьей главе доказана состоятельность и асимптотическая нормальность оценки наименьших модулей коэффициентов уравнения (1), найден ее функционал влияния и вычислена АОЭ по отношению к М-оценке. Кроме того, методами компьютерного моделирования исследована устойчивость оценки наименьших модулей к выбросам в наблюдениях.

Оценка наименьших модулей а™п является частным случаем М-оценок и определяется как точка минимума функции (3), в которой р(х) = |ж|. Теоремы главы 1 не переносятся автоматически на оценку наименьших модулей, т.к. доказаны в предположении дифференцируемости р(х).

В разделе 3.2 доказаны состоятельность и асимптотическая нормальность оценки наименьших модулей.

Теорема 3.1. Пусть выполнены условия F(0) = -, /(0) > 0, функция

00

f(x) непрерывна в нуле, J |/'(ж)| dx < оо, Ее?,- < оо.

—оо

Тогда при т.тг-^оо случайный вектор л/шп(а"п — а0) асимптотически нормален с нулевым средним и ковариационной матрицей ^^-jÄ"-1.

Существуют достаточно быстрые алгоритмы вычисления оценок наименьших модулей (см. P. Bloomfield и W.L. Steiger; I. Barrodale и F.D.K. Roberts; S. Portnoy и R. Koenker; П.А. Акимов и А.И. Матасов и библиографию к ним).

В разделе 3.3 вычислена АОЭ оценки наименьших модулей по отноше-

нию к М-оценке, равная е(/)

4/2(0)Е[р'(Е11)2

■. В частности АОЭ оценки

(ЕИеп)])2

наименьших модулей по отношению к оценке наименьших квадратов есть е(/)=4/2(0 )*2.

Например, если e¿^• имеет двустороннее показательное распределение, то е(/) = 2, т. е. оценка наименьших модулей в 2 раза эффективнее оценки наименьших квадратов.

2

Если же распределение нормальное, то е(/) = —, и, значит, оцен-

7Г

ка наименьших квадратов приблизительно в 1.5 раза эффективнее оценки наименьших модулей.

Если Ец имеют распределение Тьюки с плотностью (5), то

е(/) = -(1-6 + 5/т)( 1 -6 + 6т2).

7Г

2.0

1.8

1.6 т I ^

О 1.4-<

1.21.0 0.8-

✓

/

^ х

. ✓ /

/

✓ /

•' '

✓

___...........

• *"* _— — '

.....;......"" .——

—5 = 0.01 5 = 0.05 —5 = 0.1 --5 = 0.2 —5 = 0.3 •5 = 0.4 5 = 0.5 -АОЭ = 1

1

1.5

2.5

Рис. 4.

Зависимость е(/) от т для различных значений 5 представлена на рис. 4. Если грубым ошибкам подвергается лишь каждое сотое наблюдение (5 = 0.01), то оценка наименьших модулей становится эффективнее оценки наименьших квадратов только при дисперсии грубой ошибки, превышающей 7.62 = 57.76 (г = 7.6). Однако, если грубым ошибкам подвергается каждое десятое наблюдение (5 = 0.1), то оценка наименьших модулей становится эффективнее

—Х=\

.....т = 2

—х = 3

— т = 4 —т = 5

— т = 6 ■ т = 7

— АОЭ=1

Рис. 5.

оценки наименьших квадратов уже при дисперсии грубой ошибки, превышающей 2.792 = 7.79 (г = 2.79).

Зависимость е(/) от 5 для различных значений т представлена на рис. 5. С ростом т значение е(/) неограниченно возрастает. Таким образом, АОЭ оценки наименьших модулей по отношению к оценке наименьших квадратов может быть сколь угодно велика.

В разделе 3.4 найден функционал влияния оценки наименьших модулей.

Теорема 3.3. Пусть выполнены условия ^(0) = /(0) > 0, < оо.

£

Тогда функционал влияния оценки наименьших модулей имеет вид

, , /Е[<Ь1]-2Е[^(-аЙ>Со1)]

,=о 2/(0)*"

Е[Сю]-2Е[С1о^(-а(°1)С1о)] | ■ (12) ^Е[Соо] - 2Е[Соо^( - а^Соо)],

Из (12) видно, что оценка наименьших модулей предпочтительнее оценки наименьших квадратов, поскольку робастна даже при бесконечной дисперсии (ц. Однако на множестве 5 распределений случайных величин с бесконечным математическим ожиданием чувствительность оценки наименьших модулей к большой ошибке бесконечна, т.е. оценка наименьших модулей на этом множестве не является робастной.

В разделе 3.5 при помощи компьютерного моделирования сравниваются оценки наименьших модулей и наименьших квадратов при загрязнении наблюдений Xij по схеме (7).

В четвертой главе исследованы знаковые критерии и оценки в модели (1). Знаковый метод использует не сами наблюдения Х^, а только знаки Sij(a) = sign(ey(a)) остатков

£ij(a) = sign(Xij - aioX-ij — a0î-Xij-i — anX-i^-i), (13)

и основан на предположении F(0) =

В этой главе построены локально наиболее мощные знаковые критерии проверки гипотез о коэффициентах уравнения (1), предложен метод построения точечных оценок этих коэффициентов. Показано, что распределение статистик построенных знаковых критериев не зависит от распределения ошибок £ij и асимптотически нормально даже при бесконечной дисперсии Распределение статистик не изменится и в том случае, когда не будут

одинаково распределёнными — нужно лишь выполнение условия -Ру(О) = -.

В разделах 4.1-4.2 сформулированы статистические гипотезы о коэффициентах уравнения (1) и построены локально наиболее мощные знаковые критерии их проверки.

Пусть a = (аю, аоъвц) — неизвестный вектор параметров уравнения (1), а a0 = (а50, а^, а^) — некоторый известный вектор. Рассмотрим задачу проверки гипотезы

Н° : a = a0 (14)

против односторонних альтернатив Н+ и H~q,(p, q) е Z={(1,0), (0,1), (1,1)}, вида

#+ : ор, > a°pq, аы = а°ы для любых (к, Ï) ф (р, д), (15)

Н~ : apq < a°pq, аы = а°к1 для любых (к, I) ф (р, q), (16)

и двусторонних альтернатив

Нрд : а„ ф a°pq, аы = а°к1 для любых (к, I) ф (р, q). (17)

по наблюдениям Ху, г= 1,..., m, j = 1,..., п.

Обозначим через Q критическую область знакового критерия, т.е. такое подмножество матриц s размера m х п с элементами из —1 и 1, что если матрица S (а0) — {S'y (а0)} принадлежит Q, то гипотеза Н° отклоняется. Через

РтпіЯ, о,) обозначим функцию мощности знакового критерия, определяемую как вероятность отклонения гипотезы Н°, когда Н° верна альтернатива:

Ртп(Я,а) = Р{5'(а0) Є С}| верна альтернатива а} = У^Ртп(з,а),

где

Ртп(з,а) = Р{5'(а0) = верна альтернатива а}.

Определим локально наиболее мощный знаковый критерий для проверки Н° против Н(р, q) Є I, как критерий, имеющий функцию мощности Ртп{Я, а), наиболее круто возрастающую по переменной арч в правосторонней окрестности точки аат. Это означает, что критическая область Сі локально наиболее мощного знакового критерия должна быть выбрана так, чтобы величина

при а = а0 была максимальна. Аналогично определим локально

дРтп(Я,а) _ „ _ о

дарч

наиболее мощный знаковый критерий для проверки Н° против Н~ч, (р, <7) Є I,

дРтп{Я,а) 0

как критерий, имеющий минимальное значение---при а = а .

Ойрд

В разделе 4.3 найден вид локально наиболее мощных знаковых критериев проверки гипотезы (14) против альтернатив (15)-(17).

Для построения локально наиболее мощного знакового критерия нужно знать поведение функции мощности, а значит, и Рт„(в,а) в окрестности а0, которое устанавливается в теореме 4.1.

Определим множество {<5у(а)} рекуррентным соотношением

<%(а) = аю^-и(а) + а0і(^-_і(а) + ап5і-і^-і(а), = 1,2,... (18)

с граничными условиями

¿оо(а) = 1, 4о(а) = (аю)*, к > 0, 50і(а) = (а0і)', І > О,

¿у (а) =0, г < 0 или і<0. (19)

Обозначим

т п

Зкі(а)Зк-і<ІЧ(а), г = 0,1,...; ш, 3 = 0,1,..., п,

£=¿+11=і+1

т—1—рп~1—д

^рд(а) = ^ 5и(а)г<+Р.з+я(а)'

1=0 і=о

Теорема 4.2. Пусть выполнены условия (2),

^(0) = (20) ДО) > 0, (21)

Е[|¡(виХп) - /(0)||Хц|] 0 при и -> 0 для любого в е (0,1). (22)

Тогда локально наиболее мощный знаковый критерий отклоняет Н° в пользу если

И'я(а°)>С* (23)

и принимает в противном случае. Постоянная С^ определяется уровнем значимости а критерия.

Теорема 4.3. В условиях теоремы 4.2 локально наиболее мощный знаковый критерий отклоняет Н° в пользу Н~ч, если

1У„(а°)<С^, (р,д)€1, (24)

и принимает в противном случае. Постоянная С~я определяется уровнем значимости а критерия.

Отметим, что условие (22) выполнено, если существуют г € (0,1] и Ь > 0, такие что Е|£ц|1+Г < оо, |/(£) - /(0)| < Щг V« € Е. В частности, теоремы 4.2 и 4.3 могут быть справедливы для поля Х^ с бесконечной дисперсией.

Теоремы 4.2 и 4.3 позволяют естественным образом определить знаковый критерий для проверки Н° против двусторонней альтернативы Нрд, (р, д) € I, на уровне значимости а как объединение двух односторонних критериев, проверяющих на уровне значимости а/2 альтернативы Н^ : ард > ард и Н~ч : аря < ард, (р, д) € X. Тогда при выполнении условий (20)-(22) гипотеза Н° отклоняется в пользу Нрд, если

|Жи(о°)| > С„, (Р,?)6 1, (25)

и принимается в противном случае. Постоянная Срч определяется уровнем значимости а критерия.

Для практического применения критериев (23)-(25) нужно знать распределение статистик ]УРЯ(а°) при гипотезе Н°.

В разделе 4.4 найдено распределение статистик локально наиболее мощных знаковых критериев при конечном объёме выборки. А именно, установле-

тт 1 ~ / пч (тп —г)(п — п) но, что при справедливости Но случайная величина -¿¿Да") Н----

¿1 А

имеет биномиальное распределение с параметрами --- и Распределение случайной величины Wpq(a°) зависит от а0, но его квантили можно оценить методом статистических испытаний. В частном случае, когда а0 = 0, т.е. гипотеза Н° означает независимость наблюдений X,-j, статистика Wpq(a°) совпадает с Zpq(a°).

Другим важным свойством построенных знаковых критериев является то, что они не зависят от вида функции распределения F(x) с нулевой медианой. В этом смысле критерии являются непараметрическими.

В разделе 4.5 доказана асимптотическая нормальность статистик локально наиболее мощных знаковых критериев. Определим матрицу

/£(1,0,1,0) Ц1,0,0,1) £(1,0,1,1)\ £ = £(1,0,0,1) £(0,1,0,1) £(0,1,1,1) (26) \£(1,0,1,1) £(0,1,1,1) £(1,1,1,1)/

с элементами

оо с»

£(р, q, а, /3) = Е (а°)^+Ь-аи+|в-/л(в°). (Р. 9) 6 I, (а, Р) € Т.

¿=0 j=о

Теорема 4.4. Пусть выполнены условия (20)-(22). Тогда при гипотезе Н° случайный вектор (mn)~1^2W(a°) асимптотически нормален с нулевым средним и ковариационной матрицей £.

Таким образом, точные критерии (23)-(25) при больших т,п можно заменить асимптотически эквивалентными критериями. А именно, обозначим

Vpq = (шп£( 1,0,1,0))"1/2^^0), (р, q) € X.

Тогда гипотезу Н° нужно отклонить на уровне значимости а в пользу:

1) Я+, если 77 > Ui_a,

2) H~q, если г] <иа,

3) Hpq, если |??| > Ui_a/2,

где иа и Ui_a/2 — квантили стандартного нормального распределения уровня 1 — а, а и 1 — а/2 соответственно. В противном случае гипотезу Н° нужно принять.

Теорема 4.4 позволяет строить критерии проверки гипотезы Н° против многомерной альтернативы На : а ^ а0. Из этой теоремы следует, что статистика Т = WT(a°)lC~lW(а°) имеет х2-распределение с тремя степенями

свободы. Таким образом, гипотезу следует отклонить в пользу альтернативы НА на уровне значимости а, если Т > Х1-а(3), где Х1-а(3) — квантиль ^-распределения уровня 1 — а с тремя степенями свободы. Иначе гипотезу Н° следует принять.

В разделе 4.6 построена знаковая оценка параметров авторегрессионного поля. Из теорем 4.2 и 4.3 следует, что небольшие значения |И^(а)| свидетельствуют в пользу Н°, а большие — в пользу альтернатив. Поэтому в качестве оценки параметра а, следуя идее Ходжеса и Лемана, надо выбрать решение атп системы уравнений

\¥(а) = 0. (27)

К сожалению, функции \Урч(а) разрывны и равенство (27) может выполняться лишь приближённо. Поэтому в качестве оценки естественно взять точку атп минимума функции |И^(а)|, который можно найти любым методом, не требующим дифференцируемости целевой функции, например методом деформируемого многогранника (Нелдера — Мида).

В разделе 4.7 доказана состоятельность знаковой оценки. Теорема 4.6. Пусть выполнены условия (20)-(22) и

а1 = Е[4] < оо. (28)

Тогда атп является состоятельной оценкой параметра а. В разделе 4.8 доказана асимптотическая нормальность знаковой оценки. Теорема 4.8. Пусть выполнены условия (20)—(22), (28),

вир /(х) < со, (29)

х€К

\т-т\^с\х-у\ (зо)

для любых х, у € К, где С > 0 — некоторая постоянная.

Тогда случайный вектор у/тп(атп — а°) является асимптотически нормальным с нулевым математическим ожиданием и ковариационной матрицей (4/(0) Е^))-2 К"1.

В разделе 4.9 вычислен функционал влияния знаковой оценки. Показано, что знаковая оценка является робастной на любом классе распределений обновляющего ПОЛЯ £у.

Теорема 4.8 позволяет найти АОЭ знаковой оценки по отношению к оценке наименьших квадратов, которая равна е(/) = 16/2(0)(Е[£^])2.

В частности, если /(х) — плотность нормального распределения, то АОЭ 4

е(/) = — « 0.41 невелика.

7Г

1.8

О С

1.0 0.8

/ / у / у у у у у у У У У У У У У У У У

— 6 = 0.01 8-0.1 —8 = 0.2 -~АОЭ= 1

у У У У* .••' / / ..•■ ....... .-Г?.*^-' --

5 х

Рис. 6.

Если }(х) — плотность двойного экспоненциального распределения, то е(/) = 1, т.е. знаковые оценки и оценка наименьших квадратов одинаково эффективны.

Если /(х) — плотность распределения Тьюки, то

4(т — т6 + 5)2(1 — <5 + т5)2

ТА 7Г-2

Графики зависимости е(/) от т для различных 6 приведены на рис. 6. Видно, что если 5 = 0.1, то знаковая оценка превосходит оценку наименьших квадратов только при т ~ 8.21. Если же 6 = 0.2, то знаковая оценка становится эффективнее оценки наименьших квадратов уже при г « 5.38. При 5 = 0.01 это происходит лишь при т > 59.65.

Зависимость е(/) от 6 для различных т изображена на рис. 7. Видно, что если т < 4.04, то знаковая оценка при любых 6 проигрывает оценке наименьших квадратов. Если т = 5, то знаковая оценка становится предпочтительнее оценки наименьших квадратов при 6 > 0.23, а если г = 10, то при 6 > 0.08.

В пятой главе изучаются ранговые критерии и оценки. Ранговый подход состоит в замене наблюдений Х^ рангами остатков и анализе этих рангов, а не самих исходных наблюдений. Сначала строятся оптимальные критерии, затем на их основе — ранговые оценки. Впервые такой способ действий был предложен Дж.Ходжесом и Э.Леманом для построения ранговой

5

Рис. 7.

оценки параметра сдвига в задаче о двух выборках.

В разделе 5.1 определяются локально наиболее мощные ранговые критерии проверки гипотезы (14) о коэффициентах авторегрессионного поля против альтернатив (15)—(17).

Пусть а0 = (аіо,аоі>аіі) 11 Ь = (Ь10, Ь01,6ц) — известные векторы. Рассмотрим задачу проверки гипотезы Н®а : а = а0 против односторонних альтернатив вида

Н+оь : а = а0 + Д6, Д > О, Н~оь : а = а? + ДЬ, Д < О, и двусторонней альтернативы

На06 : а = а0 + ДЬ, Д ф 0.

Обозначим через Я^(а) ранг (порядковый номер) остатка (13) в упорядоченной по возрастанию последовательности

є(о) = (єц(о),..., єті(а),..., єі„(а),..., єтп{а)).

Отметим, что матрица Я(а) = (Яу(а)}, і = 1,... = 1,...,п принадлежит множеству М матриц размера тп х п, элементы которых являются перестановками множества {1,2,..., топ}.

Обозначим через С} критическую область рангового критерия, т. е. такое подмножество в М, что если матрица Д(о°) принадлежит <3, то гипотеза Н®а отклоняется. Через Ртп{(2, аЬ, Д) обозначим функцию мощности рангового критерия, определяемую как вероятность отклонения гипотезы Н®о, когда о не верна:

Ртп{С}, а0, Ь, Д) = Р{Я(а°) е <5| верна альтернатива а = а° 4- Д6}.

Локально наиболее мощный ранговый критерий для проверки Н®0 против На°Ь определим как критерий, имеющий максимальную производную функции мощности ПрИ д = о. Локально наиболее мощный ранговый критерий для проверки Я°0 против Н~оъ определяется как критерий,

¿>Ртп((Э,а0ДД) имеющий минимальное значение--при Д = 0.

В разделе 5.3 строятся локально наиболее мощные ранговые критерии ДЛЯ проверки гипотезы о против альтернатив Н+оь, Н~аь, НаРЬ-

Для произвольной функции распределения вероятности и соответствующей ей плотности распределения вероятности д(х) определим функцию меток

= (31)

и сами метки

<п(г,Я = ЕШС-^С/^С-1^)], цз = 1, • • • ,тп, (32)

где [Л1',..., {7(т")— элементы вариационного ряда из равномерного распределения на [0,1], С?_1(и) = т^ж : (7(ж) ^ и}. Определим на множестве матриц г € Л4 статистики

т п

= Е Е а9тп{пи П-Ц-А, г = р,..., т - 1, 3 = ..., п - 1, £=¡+11=]+1

(33)

т—1— рп—1—?

И%(а,г)= £ Е (34)

¿=0 ,;=0

59(а,6,г) = Ь10И/190(а,г) + Е>01^0э1(а,г)-»-Ьи^1!'1(а,г), (35)

где 5ц(а) определены формулами (18)—(19).

Теорема 5.2. Пусть выполнены условия

00

| \/'(х)\(1х<оо-, (36)

—оо

\/(х) - /(у)I < С\х - у\ для любых х, у из К, С > 0. (37)

Тогда локально наиболее мощный ранговый критерий отклоняет Я°0 в пользу Н£оь, если

3/(а°,Ь,11(а0))>С+, (38)

и принимает в противном случае. Постоянная С+ определяется уровнем значимости критерия.

Теорема 5.3. В условиях теоремы 5.2 локально наиболее мощный ранговый критерий отклоняет Н°0 в пользу Н~оь, если

5/(а0,Ь,Я(а0)) < С~, (39)

и принимает в противном случае. Постоянная С~ определяется уровнем значимости критерия.

Теоремы 5.2 и 5.3 позволяют определить ранговый критерий для проверки Н®о против двусторонней альтернативы НааЬ на уровне значимости а как объединение двух односторонних критериев, проверяющих на уровне значимости а/2 альтернативы и Я^. А именно, в условиях теоремы 5.1 гипотезу о нужно отклонить в пользу Наоь, если

|5'(а0ЛД(а0))1>С. (4°)

и принять в противном случае. Постоянная С определяется уровнем значимости критерия.

При а0 = 0, т.е. при проверке гипотезы Щ о независимости наблюдений в (1) статистика (0,6, г) совпадает с величиной Zfq(r), которая аналогична в А11МА-моделях ранговому сериальному коэффициенту корреляции (см. М. НаШп, Л.Г. Ь^епЫеек и М.Ь. Рип; М. НаШп и М.Ь. Рип).

Отметим, что при Я°о все (шп)! различных значений Я(а°) равновероятны. Поэтому распределение 53(а°,6, Я(а0)) при не изменится, если матрица рангов Я(а°) будет вычисляться по наблюдениям Х^ поля (1) в предположении, ЧТО ПЛОТНОСТЬ /(х) обновляющего ПОЛЯ £{] будет отличаться от плотности д(х), порождающей метки (32) статистик (33)-(35). При этом мощность критериев (38)-(40) при замене £^(а°, 6, Я(а0)) на 5э(а°, Ь, Л(а0)),

вообще говоря, может уменьшиться. Свойство равной вероятности всех (тп)\ возможных значений R(a°) при Н°а следует использовать при вычислении квантилей С+ С~ и С методом статистических испытаний.

Для практического применения критериев (38)-(40) нужно знать распределение статистик S9(a,b, R(a)) при гипотезе Я°0. Для небольших тип квантили статистики S9(a°,b,R(a0)) можно оценить методом Монте-Карло. Если же т и п велики, то доказанная в разделе 5.4 асимптотическая нормальность статистик локально наиболее мощных ранговых критериев (теорема 5.4) позволяет для распределения Sg(a°, b, R(a0)) применить нормальную аппроксимацию.

Обозначим W«(a,r) = (Wf0(a,г), г), ^¿(а, г)).

Теорема 5.4. Пусть выполнены условия

хд(х) dx = 0, (41)

>

00

а2д= J x2g(x)dx<oo, (42)

—оо

д имеет конечное количество информации Фишера

П9)

о 2

Ш (43)

Тогда при справедливости Я° вектор Д(а°)) асимптотиче-

ски нормален с нулевым средним и ковариационной матрицей о21(д)1С. В

частности, статистика —6, Д(а0)) асимптотически нормальна с ну-у/тп

оо оо

левым средним и дисперсией 1(д)&1 2 Щ>Ч 52 X] ■

В разделе 5.5 определяются приближённые ранговые метки. Для использования статистик (33)-(35) необходимо знать массив меток (32). Между тем зависимость а9тп(1,]) от г и э бывает достаточно сложной и не всегда может быть получена в явном виде.

Один из стандартных способов упрощения вычисления ранговых статистик (33)-(35) состоит в замене меток (32) их приближёнными аналогами

(см. J. Hajek, Z. Shidak, P.K. Sen). Известно, что

E[î;Wl = » DfC/Wl = +

1 J mn+r L J (mn+l)2(mn + 2)

Так как с ростом тип дисперсия D[t/(')] порядковой статистики 1/М стремится к нулю, то U^ с увеличением тип становится «всё менее и менее случайной», вырождаясь в постоянную --. Отсюда следует, что для гладкой

тп +1

функции <Рд(х) метка а^п(г, j) при больших тип будет слабо отличаться от приближённой метки

^(м) = <P9(G-\EUU))G-\EUU) = (^(^Vî)) ^(^Vï)-

(44)

Достоинствами приближенной метки (44) являются простота зависимости

от г и 7 и то. что (см. ниже теорему 5.5) статистики --W3(a, Ría)) и

J 4 уттгтг

S9(a,b, R(à)) не меняют асимптотического распределения при замене меток a9mn(i,j) вида (32) на приближённые метки a9mn{i,j) вида (44). Обозначим

m-1-pn-l-q

wpq(air) = Е Е M el, (45)

t=0 j—0

где

= Е Е * (^тт)72 (^Ti) '

а функции Ji(u) и /2(и) определяются по формулам Л(и) = срг(С_1(и)), J2(v) = G_1(u), в которых функция меток (ж) определена в (31). Теорема 5.5. Пусть выполнены условия (41)-(43). Тогда при справедливости гипотезы Щ вектор

—¡L=wg(a°, R(a»)) = (wf0(a°, R(a0)), w>01(a°, R(a0)), ñ(a°))) Vmn ymn ч 7

асимптотически нормален с нулевым математическим ожиданием и ковариационной матрицей (j2gI{g)K.

В разделе 5.6 приводятся примеры точных и приближенных меток ранговых статистик для нормального, логистического и двойного экспоненциального распределений.

(46)

В разделе 5.7 определяются ранговые оценки параметра а авторегрессионного уравнения (1).

Из теорем 5.1-5.5 следует, что небольшие значения функции w^q(a, R{a)) как функции от а свидетельствуют в пользу Н°0, а большие — в пользу альтернатив. Поэтому в качестве оценки параметра а выберем значение, наилучшим образом согласованное с наблюдённой матрицей рангов R(a), то есть решение атп системы уравнений

wlq{a,R(a)) = 0, (p,q) El, (47)

или точку минимума функции |гиэ(а, Я(а))|.

В разделе 5.8 доказана л/тп-состоятельпость ранговых оценок.

Теорема 5.6. Пусть выполнены условия Eefj < оо, /(/) < оо, (36), (41)—(43), функция меток <ff(x) вида (31) почти всюду удовлетворяет условию Липшица, т.е. существует постоянная С > 0 такая, что для почти всех i€R

+ yeR. (48)

Тогда ämn является -y/mn-состоятельной оценкой параметра а0. В разделе 5.9 доказана асимптотическая нормальность ämn. Обозначим

1 1

h(F, G) = | du, h(F, G) = J G'\u)F-\u) du.

о 0

Теорема 5.7. Пусть выполнены условия теоремы 5.6, функции J\(x) и J2(x) ограничены на х € [0,1] и удовлетворяют условию Липшица

№(*)- [x,i/)6R2, г = 1,2. (49)

Тогда при m, п -> оо последовательность y/mn(ämn — а0) асимптотически нормальна с нулевым математическим ожиданием и ковариационной

:1С

-1

матрицей ЖКЩЖКс)1

В разделе 5.10 сравниваются ранговые оценки с оценкой наименьших квадратов.

Из теоремы 5.7 следует, что АОЭ ранговых оценок по отношению к оценке наименьших квадратов равна

е(/) = тсщр,с)

Ш сгр(д) К '

Из определения h(F, G), I2{F,G) следует, что е(/) будет наибольшей при F(x) = G(x). Поэтому при построении ранговой оценки следовало бы строить ранговые метки (44) функций (45) по плотности f(x) обновляющего поля £ij. Например, если f(x) и д(х) — плотности нормальных распределений, то е(/) = 1 при F(x) = G(x). Таким образом, если ранговые метки вычислены по нормальной плотности, то ранговая оценка не уступает в эффективности оценке наименьших квадратов даже при нормальном распределении обновляющего ПОЛЯ £ij.

Таблица 1

Плотность Плотность обновляющего поля

ранговой метки Нормальная Логистическая Лапласа

Нормальная 1 1.039 1.2269

Логистическая 0.94719 1.097 1.483

Лапласа 0.6131 0.8133 2

В работе найдена АОЭ ранговых оценок по отношению к оценке наименьших квадратов в предположении, что ранговые метки вычислены по плотности д(х) нормального, логистического и двойного экспоненциального распределения (распределения Лапласа), и что истинная плотность /(ж) рав-

5

Рис. 8.

На рис. 8 показана зависимость АОЭ ранговой оценки от параметров 6

и г распределения Тьюки. Метки ранговой статистики предполагались нормальными.

Основные результаты и выводы диссертационной работы

В диссертации получены следующие результаты:

1. Построены локально наиболее мощные знаковые и ранговые критерии проверки гипотез о параметрах авторегрессионных полей;

2. Доказаны состоятельность и асимптотическая нормальность М-оце-нок, обобщённых М-оценок, оценки наименьших модулей, знаковой оценки и ранговых оценок параметров авторегрессионных полей;

3. Найдена асимптотическая относительная эффективность М-оценок, оценки наименьших модулей, знаковой оценки и ранговых оценок по отношению к оценке наименьших квадратов;

4. Найден функционал влияния обобщённых М-оценок, М-оценок, оценки наименьших модулей и знаковой оценки.

Проведенные исследования позволяют сделать следующие выводы:

1. Разработанные критерии и оценки позволяют решать задачи идентификации модели авторегрессионного поля.

2. Эффективность робастных и непараметрических методов идентификации авторегрессионного поля зависит от вероятностного распределения обновляющего поля и от распределения ошибок наблюдения авторегрессионного поля.

3. При небольших нарушениях предположения о нормальности обновляющего поля для идентификации параметров авторегрессионного уравнения целесообразно использовать ранговые критерии и оценки или М-оценки.

4. При значительных нарушениях предположения о нормальности обновляющего поля для идентификации параметров авторегрессионного уравнения целесообразно использовать знаковые критерии и оценки или обобщенные М-оценки.

Основные результаты диссертации отражены в работах

1. Горяинова Е. Р., Горяинов В. Б. Знаковые критерии в модели скользящего среднего // Вестник МГТУ им. Н.Э. Баумана. Естественные науки.

2008. № 1. С. 76-86.

2. Горяинов В. В., Горяинова Е. Р. Знаковые критерии независимости наблюдений в модели пространственной авторегрессии порядка (1,1)// Вестник МГТУ им. Н.Э. Баумана. Естественные науки. 2009. № 2. С. 115-123.

3. Горяинов В. В., Горяинова Е. Р. Непараметрическая идентификация пространственной модели авторегрессии в условиях априорной стохастической неопределенности // Автоматика и телемеханика. 2010. № 2. С. 31-41.

4. Горяинов В. Б. Локально наиболее мощные ранговые критерии независимости наблюдений в модели пространственной авторегрессии // Вестник МГТУ им. Н.Э. Баумана. Естественные науки. 2010. № 4. С. 16-28.

5. Горяинов В. Б. Робастные свойства ранговых оценок коэффициентов двумерных авторегрессионных моделей // Информационные технологии и информационная безопасность в науке, технике и образовани: Тез. докл. Международной научно-технической конференции. Севастополь, 2011. С. 13.

6. Горяинов В. Б. Идентификация пространственной авторегрессии ранговыми методами // Автоматика и телемеханика. 2011. № 5. С. 82-95.

7. Горяинов В. Б. Асимптотическая нормальность оценок наименьших модулей коэффициентов пространственной авторегрессии // Вестник МГТУ им. Н.Э. Баумана. Естественные науки. 2011. № 1. С. 25-32.

8. Горяинов В. В., Горяинова Е. Р. Робастные свойства оценок наименьших модулей коэффициентов пространственной авторегрессии // Системный анализ, управление и навигация: Тез. докл. 16-й Международной конференции. М., 2011. С. 142-143.

9. Горяинов В. Б. Оценки наименьших модулей коэффициентов пространственной авторегрессии // Известия РАН. Теория и системы управления. 2011. № 4. С. 58-65.

10. Горяинов В. Б., Горяинова Е. Р. М-оценки коэффициентов 20-авторег-рессии с необязательно выпуклой функцией потерь // Наука и образование: электронное научное издание. 2011. № 10 [электронный ресурс]. URL: http://technomag.edu.ru/doc/246206.html (дата обращения: 01.11.2011).

11. Горяинов В. Б. М-оценки коэффициентов пространственной авторегрессии // Идентификация систем и задачи управления: Труды IX Международной конференции SICPRO'12. М., 2012. С. 713-719.

12. Горяинов В. Б. Функционалы влияния робастных оценок параметров авторегрессионных полей // Вестник МГТУ им. Н.Э. Баумана. Естественные науки. 2012. № 4. С. 3-12.

13. Горяинов В. Б. М-оценки пространственной авторегрессии // Автоматика и телемеханика. 2012. № 8. С. 119-129.

14. Горяинов В. Б. Ранговые оценки коэффициентов пространственной авторегрессии // Системный анализ, управление и навигация: Тез. докл. 17-й Международной конференции. М., 2012. С. 155.

15. Горяинов В. Б. Непараметрическое оценивание коэффициентов пространственной авторегрессии // Вестник МГТУ им. Н.Э. Баумана. Естественные науки. 2012. № 7. С. 164-174.

16. Горяинов В. Б. Обобщенные М-оценки коэффициентов авторегрессионного поля // Автоматика и телемеханика. 2012. № 10. С. 42-51.

17. Горяинов В. Б. Асимптотические свойства обобщённых М-оценок коэффициентов двумерной авторегрессии // Необратимые процессы в природе и технике: Труды 7 Всероссийской конференции. М., 2013. Часть II. С. 4-6.

18. Горяинов В. Б. Ранговый анализ случайных полей // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон, журн. 2013. № 3. DOI: 10.7463/0313.0541592.

19. Goryainov V. В., Goryainova Е. R. Asymptotic properties of sign estimation of the autoregressive field's coefficients // XXXI International Seminar on Stability Problems for Stochastic Models: abstracts. Moscow, 2013. P. 30-32.

20. Горяинов В. Б., Горяинова Е. Р. Робастность оценки коэффициентов уравнения пространственной авторегрессии, основанной на знаковых критериях // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2013. № 4. DOI: 10.7463/0413.0569036.

21. Горяинов В. Б. Асимптотические свойства знаковой оценки коэффициентов авторегрессионного поля // Вычислительный интеллект - 2013 (результаты, проблемы, перспективы): Тез. докл. Второй международной научно-технической конференции ComInt-2013. Черкассы, 2013. С. 351-352.

22. Горяинов В. Б. Идентификация случайных полей методами, основанными на знаках остатков наблюдений // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон, журн. 2013. № 6. DOI: 10.7463/0613.0571085.

23. Goryainov V. В. Robustness of the sign estimators in the 2D-autoregression // European Researcher. 2013. V. 48, № 5-1. P. 1083-1087.

24. Горяинов В. Б. Алгоритм вычисления М-оценок параметров авторегрессионного поля // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2013. № 7. DOI: 10.7463/0713.0571094.

Подписано к печати 27.06.13. Заказ №557 Объем 2,0 печ.л. Тираж 100 экз. Типография МГТУ им. Н.Э. Баумана 105005, Москва, 2-я Бауманская ул., д.5 (499) 263-62-01

Государственное образовательное учреждение высшего профессионального образования Московский государственный технический университет

имени Н.Э. Баумана

На правах рукописи

05201351522

Горяинов Владимир Борисович

Робастное и непараметрическое оценивание параметров авторегрессионного поля

05.13.01 - Системный анализ, управление и обработка информации (информатика и машиностроение)

ДИССЕРТАЦИЯ на соискание учёной степени доктора физико-математических наук

Москва - 2013

Оглавение

стр.

Введение ....................................................................5

Глава 1. М-оценки коэффициентов пространственной авторегрессии ....................................................................10

1.1. Тпиы НИ I ОрОГреССПОППЫХ полой и методы их исследования . . 10

1.2. К. тссическии п робастнын подходы..............................21

1.3. Определение М-оценок............................................28

1.4. А( ими !о I пческая норма, н.поеть М-оцепок......................32

1.5. А.поритм вычисления М-оцепок..................................38

1.С. Сравнение \1-()ц(чюк и оценки наименьших ква,дратв .... 45

1.7. Выводы по главе 1..................................................52

Глава 2. Обобщённые М-оценки коэффициентов авторегрессионного поля..........................................................54

2 1. Определение обобщённых М-оцепок..............................54

2.2. Асимптот ичо< кая нормальное! ь обобщённых М-оцепок .... 56 2 3. Функционал в шмнпя обобпкчшых М-оцеиок нарамст рои авто-

р(Ч рССГИОНПЫХ по кч"1 ..............................................62

2.4. Сравнение оценки наименьших квалратв М-онепок и обобщённых М-оценок..................................................72

2.5. Фильтрация изображений, -загрязненных импульсным шумом 75

2.0. Вы коды по !.таие 2..................................................80

Глава 3. Оценка наименьших модулей коэффициентов пространственной авторегрессии ......................................85

3.1. Определение оценок наименьших модулей......................85

стр.

3.2. Асимптот ичеекая нормальной ь оценки наименьших модулей 87

3 3. Сравнение опенок наименьших мод\дей и наименьших квадра-

тов при нарушении предно, юженпя нормальное i и ипиовапнон-

iioio моля............................................................93

3.4. Функционал влияния оценки наименьших мод,улей............97

3.5. Сравнение оценок наименьших модулей н наименьших квадратов нрп ;-iai рялнепии наблюдении Хп аномально бол1>шимп ошибками............................................................107

3.6 Bi>iводы но гла ве 3..................................................109

Глава 4. Знаковые критерии и оценка..............................111

4.1. Введение............................................................111

4.2. Знаковые критерии проверки i ипок- s о параметрах а,второ1 рес-споппого ноля......................................................113

4.3. Раен])еделение етагиетик .покаплю наиболее мощных знаковых крит ериев......................................................123

1 1. Определение 'знаковой оценки....................................127

4.0. Со(лоятелыюеть знаковой оценки................................127

4.G. Аеимптогичеекаи нормал1>ноетч> 'знаковой оценки..............133

4.7. Ф\ нкционал влияния знаковой опенки..........................149

4.8. Сравнение 'знаковой оценки с оценкой наименьших квадратов 157

4 9. Выводы по главе 4..................................................161

Глава 5. Ранговые критерии и оценки..............................163

5 1. Введение............................................................163

5.2. Локально наиболее мощные ранговые кршерпи................164

стр.

5.3. Асимптотическая нормальность ста'і исгик лока, нлю наиболее

мошных рані овых крпіерпев......................................175

о.І. Приб. шжёпные раш он!ло \нм кп..................................183

5 Г). 11])іімс[)ы менж ранговых с га і псгик ............................187

5.0. Определение ранговых опенок....................................189

5.7. Оостоятельпосі ь ранговых оценок................................192

5.8. Асимнтої пчеекая нормальность ранговых оценок..............203

5.9. Сравнение раш оных оценок с оценкой наименьших квадрати 214

5.10. Выводы но главе 5..................................................224

Основные результаты и выводы ......................................225

Литература..................................................................226

Введение

Актуальность темы. Первые упоминания об авторегрессионных случайных полях или, как их ещё называют, процессах пространственной авторегрессии, появились в конце 50-х годов прошлого века [156], а через четверть века началось их систематическое исследование [01, 62, 85, 102, 104, 147, 149], активность которого растёт до сих пор. Одной из причин растущего интереса к авторегрессионным полям стало их широкое использование в теории анализа и обработки изображений и теории распознавания образов [7, 39], причём не только в технике [42, 131, 132], но и в естественных науках [69, 125, 164] и медицине [122, 126, 127, 133]. Другим важным направлением применения авторегрессионных полей стала экономика, в которой они используются и в составе более сложных моделей описания пространственно-временных экономических явлений [64, 75, 116].

Одним из важных этапов изучения авторегрессионных полей является их идентификация, сводящаяся к оцениванию параметров (коэффициентов) авторегрессионной модели и проверке различных гипотез о них. Первоначально для этого использовался аналог метода Юла—Уолкера оценивания параметров одномерного авторегрессионного уравнения и эквивалентный ему метод наименьших квадратов. Однако первые же попытки описания процессом пространственной авторегрессии реальных данных привели к пониманию важности разработки таких методов идентификации, которые были бы малочувствительны к нарушениям предположений, лежащих в основе метода наименьших квадратов, и прежде всего к предположениям о нормальном (гауссовском) распределении наблюдений [105].

Аналогичные проблемы возникли и в других направлениях математической статистики, что привело к созданию П.Дж. Хьюбером [46, 97, 98] и Ф. Хампелем [47, 92, 93] в 60-х годах двадцатого века нового подхода к ана-

лизу данных, названного робастным. Робастные методы лишь незначительно уступают в эффективности методам максимального правдоподобия при анализе наблюдений с известным вероятностным распределением, практически не теряют эффективность при небольшом отклонении распределения наблюдений от предполагаемого и не приводят к катастрофическим ошибкам при значительных нарушениях в предположении о распределении наблюдений. Основу робастного подхода к оцениванию параметров моделей составляет теория построения М-оценок, которые являются обобщением оценок максимального правдоподобия. Первоначально свойства М-оценок были изучены в наиболее простых случаях одно- и двухвыборочной задачи [46, 47]. Использование М-оценок в этих моделях оказалось лучше применения метода наименьших квадратов с предварительным отбрасыванием резко выделяющихся наблюдений. В линейных регрессионных моделях М-оценки строились в [4G, 47, 108, 161, 163], в многомерных регрессионных моделях — [54], в нелинейных регрессионных моделях — [100].

Параллельно теория М-оценивания развивалась для процессов авторегрессии [55, 71] и процессов авторегрессии-скользящего среднего [70, 112]. Обобщением М-оценок в регрессионных моделях занимались [54, 68, 119, 157], а в авторегрессионных — [109, 158].

М-оценки в пространственной регрессии изучались [111], а в пространственной авторегрессии — [140].

Одновременно развивались методы анализа данных, основанные на знаках и рангах наблюдений, которые также не предполагают гауссовость наблюдений [8, 96, 101]. За прежними методами, восходящими к концу девятнадцатого и началу двадцатого веков и связанными прежде всего с именами Р. Фишера, К. Пирсона и У. Госсета (Стьюдента), закрепился термин «классические». Первоначально робастные, знаковые и ранговые методы были разработаны и исследованы для сравнительно простых моделей одно- и

двухвыборочных задач сдвига и масштаба. Затем, в последнее десятилетие прошлого века эти методы были распространены на линейную регрессию [101] и одномерную авторегрессию [5, 54, 65, 68, 71, 88-90, 106, 107, 110, 112], и их статистические свойства в перечисленных моделях продолжают изучать, их статистические свойства в перечисленных моделях продолжают изучаться и в настоящее время [50, 52, 55, 77, 158, 163].

Применение робастных методов к анализу авторегрессионных полей в теории обработки изображений также дало положительные результаты, но их изучение, в частности, сравнительный анализ с методом наименьших квадратов, велось исключительно методом компьютерного моделирования вплоть до самого последнего времени [129]. Первые теоретические работы на эту тему появились совсем недавно [82, 130, 140, 141]. К сожалению, подавляющее большинство работ, особенно в экономико-математических журналах, по-прежнему базируется на классическом подходе [53, 60, 70, 72, 79, 80, 84, 86, 113-115, 146, 160]. Таким образом, исследование статистических свойств робастных методов анализа пространственной авторегрессионной модели является актуальной задачей.

Целью работы является разработка и исследование свойств методов робастного и непараметрического оценивания параметров авторегрессионных полей с неизвестным вероятностным распределением.

Задачами исследования являются:

- построение оптимальных знаковых и ранговых критериев проверки гипотез о параметрах авторегрессионных полей;

- построение и исследование статистических свойств знаковых и ранговых оценок параметров авторегрессионных полей;

- исследование статистических свойств М-оценок, обобщённых М-оце-нок, оценок наименьших модулей параметров авторегрессионных полей.

Методы исследования. В диссертации применяются методы теории

вероятностей, математической статистики, теории случайных процессов, математического анализа, функционального анализа.

Научная новизна. В диссертации получены следующие новые результаты, которые выносятся на защиту:

1) метод построения локально наиболее мощных знаковых и ранговых критериев проверки гипотез о параметрах авторегрессионных полей;

2) знаковые и ранговые оценки параметров авторегрессионных полей, основанные на локально наиболее мощных знаковых и ранговых критериях;

3) доказательство состоятельности и асимптотической нормальности М-оценок, обобщённых М-оценок, оценки наименьших модулей, знаковой оценки и ранговых оценок параметров авторегрессионных полей;

4) аналитический вид асимптотической относительной эффективности М-оценок, оценки наименьших модулей, знаковой оценки и ранговых оценок по отношению к оценке наименьших квадратов;

5) исследование поведения функционала влияния обобщённых М-оценок, М-оценок, оценки наименьших модулей и знаковой оценки на различных классах вероятностных распределений ошибок наблюдений авторегрессионного поля.

Результаты диссертации носят теоретический характер и являются развитием робастной теории идентификации стохастических систем.

Достоверность результатов подтверждена строгими доказательствами и результатами численных расчётов.

Практическая ценность. Результаты, изложенные в диссертации, могут быть использованы для идентификации авторегрессионных полей, в особенности, имеющих негауссовскую природу, и/или авторегрессионных полей, наблюдающихся с грубыми ошибками.

Апробация результатов работы. Результаты диссертационной работы докладывались на международной научно-технической конференции «Ин-

формационные технологии и информационная безопасность в науке, технике и образовании «ИНФОТЕХ- 2011»» (Севастополь, 2011), ХУ1-Й Международной конференции «Системный анализ, управление и навигация» (Евпатория, 2011), IX Международной конференции «Идентификация систем и задачи управления», 81СР110'12 (Москва, 2012), ХУП-й Международной конференции «Системный анализ, управление и навигация» (Евпатория, 2012), VII Всероссийской конференции «Необратимые процессы в природе и технике» (Москва, 2013), XXXI Международном семинаре по проблемам устойчивости стохастических моделей 188Р8М'2013 (Москва, 2013), II Международной научно-технической конференции Сот1^-2013 (Черкассы, 2013).

Работа выполнена при поддержке программы Минобрнауки «Развитие научного потенциала высшей школы (2009-2013 годы)», проект № 2.1.1/227.

Публикации. Основные результаты диссертации отражены в 24 научных работах, [10-33], в том числе в 16 статьях, [10-13, 15, 16, 18, 19, 21, 22, 24, 25, 27, 29, 31, 33], опубликованных в журналах из Перечня ведущих научных журналов и изданий, сборнике трудов конференции [20], а также 6 тезисах докладов [14, 17, 23, 26, 28, 30].

Личный вклад соискателя. Все исследования, результаты которых изложены в диссертационной работе, проведены лично соискателем в процессе научной деятельности. Из совместных публикаций в диссертацию включен лишь тот материал, который непосредственно принадлежит соискателю.

Структура и объём работы. Диссертация состоит из введения, пяти глав, выводов и списка литературы. Работа изложена на 243 страницах, содержит 19 иллюстраций, 6 таблиц. Библиография включает 164 наименования.

Глава 1

М-оценки коэффициентов пространственной

авторегрессии

В этой главе дан обзор наиболее распространенных моделей авторегрессионных полей, кратко изложена история М-оценок, дано определение М-оце-нок коэффициентов уравнения авторегрессионного поля, доказана их асимптотическая нормальность и предложен алгоритм их вычисления. Далее найдена асимптотическая относительная эффективность М-оценок по отношению к оценкам наименьших квадратов для основных вероятностных распределений обновляющего поля и при помощи компьютерного моделирования проведено сравнение эффективности этих оценок при аддитивном загрязнении наблюдений авторегрессионного поля импульсным шумом.

1.1. Типы авторегрессионных полей и методы их исследования

Во многих областях науки и техники приходится иметь дело с данными, имеющими пространственную структуру: космические фотоснимки, изображение томографа, значение какого-либо экономического показателя по регионам, высота деревьев в лесу, величина магнитного поля в точке Земли и т.д. [39, 04, 69, 75, 80, 81, 87, 99, 116, 118, 122, 125, 126, 133, 137, 152]. Во всех этих случаях наблюдение зависит от многомерного аргумента Ь £ с1 ^ 2. Такие массивы данных будем называть полями. В некоторых случаях исследуемый показатель Хь может быть измерен в любой точке £ из некоторого непрерывного подмножества Т в М^. Так будет, например, при измерении температуры Хг в точке £ = (¿1,^2) поверхности океана. В других случаях

множество Т является дискретным, скажем, если речь идет о множестве регионов или множестве деревьев в лесу.

Если Т — дискретное множество, то его структура может быть регулярной (например, Т — множество узлов прямоугольной решётки в или нет (например, Т — множество координат деревьев в лесу). При помощи аппроксимации нерегулярный дискретный случай можно свести к регулярному [73]. Также к регулярному дискретному случаю сведётся, как правило, и изучение полей с непрерывным параметром поскольку в подавляющем большинстве случаев обработка данных в настоящее время осуществляется не аналоговым, а цифровым способом, что подразумевает измерение^ с дискретным шагом в изменении £ (компьютеры обрабатывают не изображения, а массивы чисел). Таким образом, модель поля заданного в узлах t — (¿1, ¿25 • • • > целочисленной ортогональной решётки подмножества Т (¿-мерного пространства М^, является достаточно универсальной для описания полей.

При решении многих задач удобно на при фиксированном i смотреть как на случайную величину, полагая, тем самым, поле ^ случайным полем. Такой взгляд на XI вызван как ошибками измерения Хг, так и невозможностью описать зависимость ^ от £ аналитически. Например, в науке измерение информации часто получается на пределе технических возможностей. Поэтому измерения часто искажаются высокими уровнями шумов. Шумы вызваны, например, расфокусировкой оптики, размытостью изображения, вызванной движением объекта, погрешностями в датчике или погрешностями при передаче сигналов изображений.

Если поле — случайное, то возникает задача описания его конечномерных распределений, т.е. задача определения всевозможных вероятностей вида

< хг,Х12 < ■ ■ ,Х1к < хк}, кеП, (хг, х2,... , хк) € К*.

В общем виде эта задача практически не выполнима, поскольку потребовала бы огромного числа наблюдений поля Xt. Поэтому на практике обычно или ограничиваются оцениванием математического ожидания

mit) = E[Xt]

и ковариационной функции

K(s,t) = coy(X,,Xt) = E[XsXt] - E[Xs]E[Xt],

поля Xt, или описанием Xt какой-либо параметрической моделью, зависящей от небольшого количества параметров с последующим их оцениванием.

Одной из распространённых параметрических моделей, описывающих случайные поля, является модель пространственной авторегрессии. В этой модели случайное поле Xt, t G M.d, определяется авторегрессионным уравнением

Xt = J2at>xt-s + et. (1.1)

seS

Здесь S £ — маска, задающая множество индексов суммирования, ats — (неслучайные) авторегрессионные коэффициенты, Et — случайное поле типа белого шума, описывающее изменчивость наблюдений в результате ошибки измерений Xt и отсутствия полной информации в описании Xt.

Отметим, что модель (1.1) является частным случаем более общих моделей, таких, как пространственная модель авторегрессии-скользящего среднего

Xt + atsXt-s = btu£t-u (1.2)

seS ueU

или пространственная регрес�