автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Асимптотически минимаксные задачи непараметрического оценивания при квадратичных потерях

, -УД ^

- РОССИЙСКАЯ АКАДЕМИЯ НАУК

ИНСТИТУТ ПРОБЛЕМ ПЕРЕДАЧИ ИНФОРМАЦИИ

На правах рукописи УДК 519.22

ГОЛУБЕВ Георгий Ксенофонтович

АСИМПТОТИЧЕСКИ МИНИМАКСНЫЕ ЗАДАЧИ НЕПАРАМЕТРИЧЕСКОГО ОЦЕНИВАНИЯ ПРИ КВАДРАТИЧНЫХ ПОТЕРЯХ

Специальность—05.13.17 Теоретические основы информатики

АВТОР ЕФ Е PAT

диссертации на соискание ученой степени доктора физико-математических наук

Москва — 1993

. Работа выполнена в Институте Проблем Передачи Информации РАН

Официальные оппоненты:

доктор физико-математических наук

М. С. Ермаков

доктор физико-математических наук,

профессор М. Б. Малютов

доктор физико-математических наук,

профессор Д. М. Чибисов

Ведущая организация—С. Петербургское отделение математического института им. В. А. Стеклова РАН

Защиха диссертации состоится « /^ __.час. на заседании спеииализивованно

1993 г.

в__.час. на заседании специализированного совета

Д. 003.29. 01 при Институте проблем передачи информации РАН ло адресу: 101447, Москва, ГСП-4,(ул. Ермоловой 19 зал заседаний.

С диссертацией можно ознакомиться в библиотеке Института проблем передачи информации РАН.

Автореферат разослан » - 1993 г_

Ученый секретарь

специализированного совета, -___

доктор технических наук С. Н. СТЕПАНОВ

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

АКГУАЛЬНОСТЬ ТЕМЫ. В современной теории статистической обработки-данных задачи непараметрического оценивания стали играть доминирующую роль и постепенно вытесняют классические проблемы конечномерного параметрического оценивания. К одной из основных причин, вызвавших зто явление, по-видимому, стоит отнести то, что непараметрические задачи более адекватно отражают реальные потребности, а быстрое развитие вычислительной техники является основой для реализации непараметрических алгоритмов. Не последнюю роль при этом играет существенно большее разнообразие постановок и методов решения задач непараметрической статистики, что делает эти задачи притягательными для широкого круга математиков'.

Особое место в нйпараметрическом оценивании занимают задачи, в той или иной мере связанные с гильбертовым пространством. В настоящее время это наиболее развитая область исследований. Данная диссертация целиком посвящена изучению задач из этой области. Рассматриваемые в работе задачи мокно условно разбить на две группы.

Задачи первой группы - это задачи выделения сигналов на фоне белого шума при бесконечномерных мешавдих параметрах. Исторически эти проблемы восходят к классическим работам В.А. Котельникова. Дальнейшее развитие этой тематики в математическом направлении связано с работами И. А. Ибрагимова, Р. 3. Хасьминского,. Б. Я. Левита, П. Миллара . и многих других ученых. В настоящее время техника получения асимптотически точных нижних границ в.задачах с бесконечномерным мешающим параметром -очень хорошо разработана. По существу, основной интерес ^представляет задача построения асимптотически минимаксных оценок в конкретной статистической ситуации. Смысл возникающих при этом проблем связан с тем, что для оценивания мешающего параметра недопустимо применять классическую оценку максимального правдоподобия из-за того, что мешающий параметр является бесконечномерным. В этом случае приходится осуществлять проектирование на подпространство конечной размерности, зависящей от отношения сигнал/шум. Адекватный выбор размерности в задачах оценивания задержки и периода сигнала неизвестной формы, прошедшего по каналу с белым гауссовским шумом, представляет собой одну из задач, рассматриваемых в диссертации.

Вторую группу задач образуют минимаксные задачи оценивания бесконечномерных параметров различных статистических моделей при квадратичном критерии качества. »Общепризнанную роль в развитии асимптоти-

г

ческих методов решения этих зада'ч играют работы И, А. Ибрагимова, Р. 3. Хасьыинского, М. Нуссбаума, П. Спекмана, С. Ю. Ефройиозича, М. С. Пин-скера, Н. Н. Ченцова, М. Розеблата, Е. Парзена, Ч. Стоуна, В. Хердла," С. Маррона, II. Холла и других. В диссертации основу подхода к решению минимаксных проблем составляют работы А.Н. Колмогорова и Н. Винера по фильтрации, интерполяции и экстраполяции гауЬсОвских процессов. Решающее влияние на развитие этой проблематики оказала работа М.С.Пин-О

скера в которой'было показано, что при минимаксной фильтрации функций из эллипсоида асимптотически минимаксная оценка является линейной. Этот факт имеет принципиально важное значение, поскольку он дает возможность выбрать среди очень широкого класса оценок, имеющих оптимальный порядок скорости сходимости к нулю квадратичного риска, по существу, единственную оценку с оптимальной скоростью сходимости. В связи с этим возникают следующие задачи4 можно ли построить минимаксный аналог классической теории интерполяции, экстраполя-щ 1 гауссовских процессов? Каким образом можно объединить концепцию локальной асимптотйческой нормальности и минимаксной фильтрации в задачах непараметрического оценивания? Как строить локально асимптотически минимаксные оценки в том случае, когда .неизвестны параметры эллипсоида? Ответу на эти вопросы посвящена основная часть диссертации. . •

ЦЕЛЬ РАБОТЫ. Цель работы состоит:

а) в построении асимптотически минимаксных оценок для временной задержки и периода сигнала неизвестной формы, прошедшего по каналу с белым гауссовским ш^мом;

б) в развитии асимптотически минимаксного подхода к задачам ' восстановления функций и последовательностей, являющихся откликами инвариантных во времени фильтров; '

в) в разработке адаптивных методов локальнрго асимптотически минимаксного оценивания функции регрессии, спектральной плотности и вероятностной плотности распределения;

г) в реализации концепции локальной асимптотической нормальности для непараметрического оценивания.

МЕТОДИКА ИССЛЕДОВАНИЯ. Изучение асимптотики минимаксного риска обычно требует разработки методов построения нижних и верхних границ. Для задач параметрического оценивания при наличии бесконечно-

• ) Пннскер М. С. Оптимальная фильтрация квадратично-интегрируемых снгнплог на цюне гауссовского шума // Проблемы передачи информации. 1980. т. 16. И 2. С. 52-68.

мерного мешающего параметра проблема нижних границ является в целом решенной. Основная трудность связана с изучением больших уклонений логарифма отношения правдоподобия, поскольку именно этот фактор оказывает принципиальное влиянио на выбор полосы фильтра при фильтрации бесконечномерного мешающего параметра. В задачах непара:.етрического оценивания методы построения границ снизу основаны на наведении на множестве оцениваемых функций некоторого, близкого к гауссовскому, вероятностного распределения и решения задачи байессовского оценивания. При этом для некоторых задач, например таких, как оценивание вероятностной плотности распределения и спектральной плотности гаус-совской стационарной последовательности, используется концепция локальной асимптотической нормальности. В то же время для построении нижних границ в задаче последовательного планирования при оценивании функции регрессии применяются методы, основанные на многомерном аналоге неравенства Ван Трисса. Для доказательства верхних границ, как правило, используются конкретные оценки, при подсчете их риска суще ственную роль играют методы теории преобразования Фурье. По сути дела, любая минимаксная задача оценивания, рассматриваемая в диссертации, может быть интерпретирована как задача теории игр, и асш.што-'тическое. совпадение верхних и нижних границ определяется наличием седловой точки -у некоторого функционала, связанного с данной задачей. При этом одна из компонент седловой точки определяет наихудшее распределение на априорном множестве оцениваемых функций, а другая дает структуру локально "минимаксной оценки.

НАУЧНАЯ НОВИЗНА. В диссертации развит асимптотически Минимаксный и локально асимптотически минимаксный подход к решению задач неиара-,метрического оценивания. На этой основе получены следующие резульга ты:

' а) построены асимптотически эффективные оценки для оценивания периода' и задержки сигнала неизвестной формы, прошедшего гю каналу с белым гауссовским шумом;

С) решены задачи минимаксной-интерполяции, фильтрации и экстраполяции функций и последовательностей, являющихся откликами линейного, инвариантного во времени- фильтра ;

в) для задачи оценивания функции регрессии построены адаптивные, асимптотически минимаксные оценки в аддитивной модели и показано, что последовательное планирование не улучшает скорость сходимости минимаксного риска при оценивании функций из соболевского класса;

г) получены нижние границы для квадратичного риска н условиях локальной асимптотической нормальности;

д) построены локально асимптотически минимаксные оценки вероятное!-

ной плотности и спектральной плотности гауссовской стационарной последовательности.

11РАКТИЧЕКАЯ ЦЕННОСТЬ. Разработанные методы могут быть использованы для практического решения традиционных задач непараметрического оценивания, таких как оценивание плотности, спектральной плотности стационарной последовательности, оценивание функции рогресски н аддитивной модели. Хотя предлагаемые алгоритмы имеют более высокую сложность реализации, но, благодаря оптимальности, в некоторых случаях они могут давать существенное уменьшение ошибки оценивания. АПРОБАЦИЯ РАБОТЫ. Результаты работы докладывались на v Международной Вильнюсской конференции по теории вероятностей и математической статистике (1978), на Международном семинаре по теории вероятностей и математической статистике, посвященном памяти А.Н.Колмогорова (С.Петербург, 1993), на Международном семинаре по массивным вычислениям (Германия, Обервольфах, 1993), на семинаре по асимптотическим методам в статистике в МГУ, на семинаре по теории вероятностей и математической статистике в ЛОМй АН СССР, на Всесоюзных зимних школах по теории информации (1988-1991), на семинаре по математической статистике (Германия, Гейдельберг).

ПУБЛИКАЦИИ. По теме диссертации опубликовано 16 работ, список которых приведен в конце автореферата.

СТРУКТУРА ДИССЕРТАЦИИ. Диссертация состоит из введения, пяти .глав к заключения. Список литературы содержит 87 наименований, рбиий объем -237 машинописных страниц. . - .

СОДЕРЖАНИЕ РАБОТЫ '

Во введении1 обсуждается постановка задачи, приводится краткий исторический обзор, описываются основные результаты и методы исследования.

Далее используются следующие обозначения: норма и скалярное произведение в гильбертовом пространстве Lz(u), и е як, обозначаются как ¡J• В и <•,•>;

преобразование Фурье функции g- е ьг(-*>,«,) определяется по формуле

со

д(а) - | eiui д(Ь) dt ;

-СО

ряд Фурье последовательности {g} е 1г(-<о,<в} будет определяться как ç(aiX>; - J е1Лк gk ;

к * -а?

для коэффициентов разлохения в ряд Фурье периодической функции

g e ьг(-я,п) используется следующее оОозначение:

п

дк = | eikt g(ti dt ; -л

преобразование Лапласа функции д(р), р е [0,со), обозначается как

со

g(z) = | е pz д(р) dp ; О

символами р и е обозначаются соотвественно меры и усреднения по ним (появление нижних индексов у р и е говорит о том, что усреднение осуществляется при фиксированных значениях величин, указанных в нижних индексах) :

белый гауссовский шум будет обозначаться как n(t) (это обобщенный гауссовский процесс с нулевым средним и корреляционной функцией в n(t) п(s) = b(t-s), где Ь(х) - В-функция Дирака);

функцию потерь будем обозначать w(x), хек1, (это всегда четная, положительная, выпуклая функция, растущая не быстрее некоторого полинома, причем, w(0} = 0);

первая производная функции f(t), te я1, принимающей значения в к1, обозначается f' (t), а производная порядка к как f(k) (t). Диссертация состоит из пяти глав.

В первой 'главе рассматриваются задачи выделения сигнала на фоне белого гауссовского шума при наличии мешающих параметров. Основное внимание уделяется двум задачам; оцениванию временной задержки сигнала и оцениванию периода' сигнала неизвестной формы. ■

-.- В разделе 1. 1 на качественном уровне обсуждается''проблема нижних Границ для асимптотически-минимаксных рисков. В настоящее время эта 'задача очень хорошо изучена. Поэтому данный раздел является в-значительной мере изложением классических методов получения нижних границ в конкрётной статистической ситуации.

Задача оценивания временной задержки в сигнала S(t), прошедшего по каналу связи с белым гауссовским шумом, изучается в разделе 1.2. При этом наблюдения имеют вид

xs(t) = s(t-e) + е n(t) , t <= [О, 1 ] .

Обычно предполагается, что полезный сигнал на входе приемника извес--тен с точностью до конечномерного вектора мешающих параметров. При этом оказывается, что традиционные статистические оценки, например такие, как оценка максимального правдоподобия, имеют асимптотически (при большом отношении сигнал/шум) минимаксный риск. С другой стороны, имеется довольно много статистически интересных задач, в которых предположение о конечномерности вектора мешающих параметров не вы-

полняется. В этой ситуации использование оценок максимального правдоподобия, как впрочем и многих других, может привести к неудовлетворительным результатам. .

В диссертации рассматривается ситуация, когда точная форма ' сигнала s е ьг(-<о,«>) неизвестна. Как правило, это связно с тем, что при прохождении по каналу связи сигнал испытывает искажения, точно описать которые очень сложно. Информация, которой располагает статистик о сигнале, эквивалентна утверждении о том, что функция s(t) принадлежит некоторому известному множеству 1 в Lz<-m,co). Априорные же сведения о временной задержке в заключаются в том, что она принадлежит известному компакту 9, имеющему непустую внутренность.

Предлагаемый метод построения оценки параметра Э в такой ситуации представляет собой естественное обобщение метода максимального правдоподобия m случай бесконечномерного мешающего параметра. При этом предварительно осуществляется сглаживание.наблюдаемого процесса xe(t> с помощью линейного фильтра, т.е. образуется статистика

1

Vfc> - f к( Чг ) V> '

ое

а оценка параметра 0 далее строится следующим образом:

+т г

. 0Е = arg min inf J |S(t) - х^а+в)^, dt .

в e e 5 e 1 -<o

По существу, проблема состоит в1 оптимальном выборе napaMejpa сглаживания и ядра к(-).

Наряду с множеством 2 будем рассматривать более узкое множество сигналов IQ с I . Смысл введения этого множества состоит в следующем. Как отмечалось, множество £ отражает информацию, которой располагает статистик о возможных сигналах на входе приемника. В свою очередь, образовано из сигналов, которые в действительности поступают на вход канала.' Предполагается, что статистику множество Х() ни известно.

Далее, будем считать, что множество состоит только из сигналов s(t), имеющих финитный носитель, т.е. таких, что s(t) - 0 при Itl > г . При этом предполагаем также, что 9 е ft, 1-1I. В рассматриваемой задаче множество .Гд играет довольно существенную роль. Необходимые свойства этого множества и его связь с X описываются в следугвдх условиях:

Ali существует постоянные cQ, с, и 5 > О такие, что для всех

V 6 V

C-'!S0S « |S,| s с0«501,

1 2 ' j |о| I S0(ü)\d da < cQ II 5ц ir ■

А2) существует постоянная с •> О такая, что лля всех sQ е 2(| выполнено неравенство

inf II s(-) - S.C- + и)\I2 > с, u2 llsjl2; s е I 0

АЗ) для любого сигнала sQ е найдется линейное подпространство

Г„ в L^í-ш.со) такое, что для некоторых чисел г > 1/3, с„ < т и лю-

S0 2 3

бой функции v е ьг(-х>,т) справедливо соотношение

I inf lis - S. - vil2 - inf IIg - vil21 < 5 e I 0 g 6 rq

o

Il5al|2 |l|v||/||S0ll}2C1+r).

Самым существенным из этих условий является А2, которое гарантирует идентифицируемость параметра задержки в отсутствии шума. Условие АЗ) достаточно для существования касательной плоскости в точке

1 Теорема 1.1. Пусть выполнены условия А1-АЗ, ядро К(•) таково, что • _ •

+та

sup |or2C,t5) |i - K((i)\ < ™ , f l«l" Ufa Л2 da < CO, ..o J

. -аэ

a fit удовлетворяет следующий условиям:

' ' •

lim vt/ъ = со, Цт W?(uB)/e - 0.. 's -» 0 1 £ -+ О

рзгда

,-lim sup Е_ й „U" - в) lines'II 1/2 1 - Е Е ч О' S € I0 S'0 1 s s J

- 0 S 9.

а

где 5 - гауссовская случайная величина с параметрами (О, 1), П^- оператор' проектирования на подпространство, ортогональное Г ,

S 6 а s в - любое открытое нножество, такое что

max min |х-у| > d > О,

х jG 9 х е 8. • а

В разделе 1.3 рассматривается,задача выделения скрытых периоличностей сигнала, наблюдаемого на фоне белого гауссовского шума. Предполагается, что на отрезке времени [0,Т] наблюдается реализация слу-' чайного процесса x(t), представляющего собой сумму незвестного пе-

риодического сигнала s(t) и белого гауссовского шума n(t),

x(t) = 3(t) + n(t) ■, t e [0,TJ.

По этим наблюдениям нужно оценить период т сигнала s(t). Заранее известен интервал (dT,ßr) значений, которые может принимать пе

риод z . Задача оценивания будет рассматриваться в асимптотической s

постановке при условии, что время наблюдения велико (г -> со). При этом считаем, что выполняется следующее условие:

В1) lim р /Т = 0, lim - ß,"1; = со .

Т •* 00 Г -» ОС '

При оценивании периода существенным образом Судет использоваться априорная информация о сигнале s(t). Эта информация состоит в предположении, что сигнал принадлежит некоторому множеству 2Т в гильбертовом пространстве ьг(0,т). Свойства этого множества удобно описывать в терминах коэффициентов разложения Фурье сигнала s(t)

■н»

s(t> = ][' *y(s) exp{2Tilkt/ts), zs e (<tJfß^) ,

(s) = l [ s(t) exp{-2l\ikt/t } dt .

Будем предполагать, что множество 1т образовано из достаточно гладких функций. Точнее считаем, что выполнено условие В2) Существует число Q < со такое, что для всех s е 1т

со со

I .A4 (S)\2 < (31 Imi2 . k = 1

Кроме того, естественно считать, что мешающие перамэтры i> (s) могут принимать трлько такие значения, при которых период функции s(t) из X был бы всегда равен г . Это требование формулируется следующим образом:

ВЗ) Существует число d > О такое, что для всех целых чисел а > 2 и всех s е 2Т

со го

I l^k^l2 4 С - Ö>1 IVs'!8 • k=l k=l

И наконец, последнее условие, котороэ обеспечивает существование состоятельных оценок периода, имеет вид В4) Существует число р < 7 такое, что

СО

На sup 5 ехр\' I У 1=0.

г - » s б Хт ^т I L^, k -I >

Особенностью задачи оценивания периода является то, что мешающие параметры вызывают "склеивание" функции отношения правдоподобия.

Метод, применяющийся для построения оценки, очень близок к идеологии проекционных оценок. Он состоит в одновременном построении по наблюдениям х(Ь) оценок для параметра г и для мэшающи.; параметров \>к (в). Делается зто следующим образом. По наблюдениям х(ь) построим следующую функцию:

/\т(в) * £ I | J <рт rt/yj x(t)

2!Tikt/0 . , и с /

2

здесь временное окно $т(х) , х е [0,1], введено для уменьшения граничного эффекта. Далее предполагается, что функция ¡р^(х) удовлетворяет следующим условиям:

1) О Ч tfT(x) < 1, ч>1(1/2+х) = 4)^(1/2-х);

2) Фт (х) слабо СХОДИТСЯ К 1 при Т -» со ;

3) fjfXj) > V-[(x2) при 1/2 < х] < хг .

Построим теперь оценку для параметра г . Для этого определим * s

сначала точку в е [л^, ßв которой функция Ат(в) достигает максимума 1

+

0 =. arg max ft (9) . в е fo(T/ ßT7

Выберем некоторое ¿шсло q g (0,d) ( см. условие ВЗ ) и найдем 'наибольшее целое число п^, при.котором выполняются условия

" ' 0*/лд > dT и ) > (1- Q) !\1(в*).

В качестве оценки величины периода г выберем

* „*/ TQ * Q '

Для того чтобы сформулировать свойства этой оценки, введем функции -

I dp ~ 12 ТО (х) = max —— 4>Ti"M - Р = 0,1,2,

р о > 1x1 I da" т I

и полунорму:

I -i0 = { [ ик(ч\ 2 },/г .

к * О'

Теорема 1.2. Пусть выполнены условия В1-В4 и, кроне того.

к =

г

lim sup ■iP^fT) TWZ llslla/llsllQ l JHilT/f2ßT N(T)Jj = 0, '■ .1 = 0

lim N(T) « со, Jim N(T) %.\T/[ft W2 (T) Л = 0

Г -» 00 Г 03

t7 для иекоторго у > О

sup sei

lim ' sup N(T) {гЫ1о V"3"? Г -» со - V '

T

Тогда

lim sup И(Г* - X ) I (Т ,s)\ = Е

т - ш. т efc^ s L s ® т s j

где

I.

i(ts>s> ' \г Tl k2 «М»"2}"*'

S k=-co

а o<T < и ßT > причем,

lim rfioi Г' - M'r'l/Nfr; - со, lim rf- со. T со ^ ' . T oo ^ '

Таким образом, как это вытекает из результатов раздела 1. t, построенная оценка является'асимптотически минимаксной.

Во второй главе рассматриваются задачи непараметрического выделения гладких сигналов на фоне помех. Исторически эти задачи .восходят к классическим работам А. Н. Колмогорова и Н. Винера по. фильтрации гауссовских стационарных процессов. Как известно, в рамках этого подхода при построении оптимального фильтра требуется точное -знание статистических характеристик как шума, так и полезного сигнала. Альтернативой такого подхода являются задачи минимаксного оценивания. При этом предполагается, что сигнал является элементом некоторого эллипсоида в гильбертовом пространстве. Чтобы решить, например, задачу минимаксной фильтрации функций, нужно знать направления главных осей эллипсоида. Во многих реальных ситуациях поиск главных осей является технически достаточно сложной задачей. Поэтому, вполне оправдано желание обойтись без ее решения. Как оказывается, если эллипсоид порождается всевозможными откликами линейного, инвариантного во времени фильтра на сигналы с ограниченной энергией, то и асимптотически минимаксная оценка такте будет откликом некоторого линейного, инвариантного во времени фильтра на наблюдаемый процесс. Этот факт, позволяэт ревить не только задачи фильтрации, но и экстраполяции и интерполяции, то есть построить в некотором смысле минимаксный ана-

лог теории Винера-Колмогороза^

В разделе Z? ^.рассматриваются простейшие свойства сигналов из множеств образованных из откликов инвариантного во времени

линейного фильтра и определяемых следующим образом:

т

■= | S(ti : S(t) = J h(t-u) g(u) du, llgll2 < T, 0

T

JlgfU;|2tB du < er} ,

о

? + ö

где h е Lp(-co,coj П zt(-co,oo), Ь > 0 , а. величина Q > и Г ■

В разделе 2. 2 изучается задача минимаксной фильтрации. При этом наблюдаемый процесс имеет вид

y(t).= s(t) + о n(t) , t е [о,т),

где s(t) - неизвестная^ункция, принадлежащая классу которую надо оценить по наблюдениям y - {Y(p)f/*t е [0,т]). Если s*(t,y) -некоторая оценка функции s(t), то ее риск будем измерять максимальной величиной среднеквадратичной ошибки

RT[S*, sup Е_ II S*(-, Ч) - S(-) II Z/T .

' 1 Fi b

s € r°rh) -

Решение задачи о построении асимптотически минимаксных оценок дает'следующая теорема» являющаяся основным результатом настоящего раздела. ■

Теорема 2.1. Пусть h(-) е С-<*>,<*>) П . Тогда

оэ

lim inf RTfS*,X^(h)J - ог J - M |/1ГоЛ~'], da, T -f СО S -со

где у - корень.уравнения

со

ог J [у"1 |ЛГоЛ - \h(ü)\~z da = 7.

—со

При Т -* та минимаксный риск достигается на оценке

T

S°(t,X) = | ff(t-u) Y(u) du; О

здесь

К°(о) = [l - ц |ЛСоЛ ~1 j + .

Задача непараметрической интерполяции гладких функций изучается

в разделе 2.3. При этом предполагается, чтс в точках t^ б п}, находящихся на одинаковом расстоянии друг от друга t^ - Л, наблюдаются значения некоторой, функции £(■) со случайной ошибкой

у. = f(t.) + б i , t. е [0,т],

j j j J

где i - независимые гауссовские случайные величины с параметрами J

(0,1). По этим наблюдениям требуется-'восстановить значения функции f(t) во всех точках отрезка. [0,т]. Априорная информация о неизвестной функции состоит в том, что эта функция принадлежит множеству 2^(h). Ошибка оценивания измеряется следующей величиной:

= sup I £*(-, Y) - f(-) IIZ/T ,

т 1 * ь

5 е I°(h)

1 *

здесь у - вектор наблюдаемых значений У у a £ (t,Y) - некоторая оценка функции £(t).

К сожалению, оказывается, что при нерандомизированных точках fcj верхние и нижние границы, как правило, не совпадают. ■ Эти границы сближаются при Л о. А именно, справедлив следующий результат:

Теорема 2.2. пусть функция h(-) е ь (-т,а>) П Ьг(-а>,со) и h(a) монотонно убывает при достаточно больших о. Тогда при А -» О справедливо соотношение

11т Лп£ = (1 + 0(1)) А о2 Г I 7- Ц. |йГоЛ_11 А) /

Т оа * ' ■>

£ -со

здесь ц - корень уравнения

СО -

Аб2 | IV'1 \Ь(а) | - 7|+ |/1Сб>Я"2 <30 = 7.

-со

Асимптотически минимаксная интерполяция Является линейной и имеет вид <

£°(t,Y) = [ K°(.t'ti) У. Л , к° (а) = [7- ц |ЛГоЛ

tj6I0,Tl

В этом же раздела показывается, что если точка ¿0 равномерно распределена на отрезке [0,&], то верхние и нижние границы для среднеквадратичного риска будут совпадать.

В разделе 2.4 рассматривается задача минимаксной экстраполяции функций из класса (Ь) по наблюдениям

у(Ь) • х(Ь) + Е п(Ь), ь < ь', t' е [0,Т].

По этпи наблюдениям требуется построить оценку для величины х(Ь'*1). 'Гели х(Ь '+х, \у(Ь), ) - некоторая экстраполяция, то минимаксный риск определяется обычным образом

т

r(h,t) = lim lim Inf аир у E^ [Uft'+r;

x x G Ц(Ь) 0

|2

Решение задачи о вычислении этой величины дает Творена 2.3. Пусть 6 Ь^(-о1,со) П Ьг(-°>,<*>) . Тогда

1) если

+03

Г ln\h(<

■I 1 + а

da = -га ,

r(h,z) = О;

2) если же

+а>

Г la\h

J 1 +

da > -га ,

г

r(h,x) = sup Г Г f h+(t-u) V(u) du l dt ,

Ы < 7 J t J J

гае h+(-) - функция из Lz(0,ct>) такая, что аналитическая функция

Yi+(z) не имеет нулей в правой полуплоскости и lim I ¥i* (x-li>) I

х -» + о

\h(a)\ для почти всех а.

. Асимптотически минимаксный риск экстраполяции достигается на линейных экстраполяциях следующего вида:

' ч ■

x*(t'+T) - J JTert' - а) у (и) du ,

—СО

где / ■

СО

К(г> * i e'ZP dp , $(z) = У (г) V(z),

t t г V*(t) » arg max f | f h*(t-u) V(u) du | dt , < ' l L i J

а аналитическая функция не имеет нулей в правой полуплоскости

и* такова, что

lim (x-la)\z + Ez .

x О c

Третья глава посвящена задачам минимаксного восстановления по*

следовательностей, наблюдаемых на фоне стационарного гауссовского шума. Большинство подобного рода задач укладывается в следующую статистическую модель. Предположим, что последовательности действительных чисел {х ) и Гу^ } связаны соотношением

у. - х. + 5 ., .0 < < я, Л ,] .)

где £ - стационарная гауссовская последовательность с нулевым средним и корреляционной функцией ск = Е . По наблюдениям последовательности чисел у . у .....где {1.}с? - фиксированная поЛ + * I 2 к 1

следовательность неравных между собой целых чисел, нужно оценить величину х .

Априорная информация о полезном сигнале состоит в том, что известен класс последовательностей, которому принадлежит ненаблюдаемая

последовательность {ж.}. Предполагается, что последовательность (х.)

Л к л

принадлежит множеству последовательностей определяемому сле-

дующими соотношениями

N N N

И 4 < '< Н К1"*5 < к = 0 к = 0 к = 0

где б б (0,1], а последовательность {Ь,) считается известной статис-

В

тику. Таким образом, множество состоит из всевозможных откли-

ков линейной системы на сигналы с ограниченными энергией и пик фактором.

Риск произвольной оценки х. = хСу,., . у, + 1 . ...Сбудем изме-

Л Л и ^ | 2

рять следующей величиной н

^¿,7*0,); Пк}™] - Вир Ех I I (х. - х. )г ■:

Как и ранее,' интерес будет представлять минимальное значение риска при больиом времени наблюдения п, то есть величина

N со

X

и последовательности оценок, на которых данная величина достигается.

Прежде чем сформулировать основной результат, введем некоторые дополнительные обозначения. Определим следующий функционал : л

Ы~Х,и] = |[|Л(е"Лг I' - К(е1Х)\г \й(еП )\2 + -л

* с5Ге1ЧЛ*Ге1чЛг] ей ,

злось с^Ге**; - спектральная плотность последовательности Да-

лее. не оговаривая этого особо, будем считать, что она отделена от

нуля.

Символом Bf будем обозначать шар единичного радиуса в Lгf-!т,я^

Б, = { v(eix): Ml г/2л < 7} .

Теорема 3.1. Пусть П - подпространство в Ьг(-п,л), натянутое на функции exp/-j'\JkJ, к =1.2... . Если {h » 6 1г(-<",<») П то

r(h, (1к>™> = _ sup Inf L[K,u] = u е Bt К e П

= ain sup L[h,u] = min j^ess sup \ h (в** ) lZ l 1 - + .

/геПиев к e П Л

я

+ J \K(eiX)\2 dx] .

-я

При это« асимптотически ( и -* a> )минимаксной оценкой является

с»

V-E -

к = 1

где К°(егпринадлежит подпространству П и является решением уравнения

. п

ix , | г I, "о , i\ . 1 г 7 г . ix . . "о . i\ ., г ess sup Ih(e Л \1 - К (e )\ + j c^ (e ) \к (e Л d\ =

л ' -IT

- r(h, (lk)™>.

До сих пор рассматривались задачи минимаксного оценивания после-доеательностёй при'условии, что известны статистические характеристики шума,fно ко известны полностью характеристики полезного сигнала. В разделе 3. 2 изучается до некоторой степени симметричная ситуация, когда полезный сигнал представляет собой стационарный гауссовский процесс, а о шуме статистик располагает некоторой, может быть, очень небольшой априорной информацией. Точнее, рассматривается задача оценивания гауссовского вектора х - fx,,...,*„; по наблюдениям

1 N

У1 = *t + V t = 1 . .N , где 5 - - вектор, принадлежащий некоторому множеству 1Ы

с я" и являющийся шумом, a xt - гауссовская стационарная последовательность с известной и ограниченной спектральной плотностью

Пусть х - некоторая оценка вектора х ( измеримое отображение из

М N ч

R в я ), тогда ее риск измеряется следующей величиной

N

v*'V - Е? R I h - *t]z-

С eis t=i

По существу, основное содержание раздела составляют две задачи. Во-первых, это вычисление асимптотически минимаксного риска и, во-вторых, это построение последовательностей асимптотически минимаксных оценок (АЮ) (х*}, то есть оценок, для которых выполняется следующее соотношение:

lira RuIx* 2Ы] - lira i'jii R^tx, .

If CO If -* CO x

Вторая задача имеет некоторые особенности, связаные с использованием априорной информации о 2Ы- Дело в том, что минимаксная оценка может оказаться зависящей от £„. Однако, кажется малоправдоподобной ситуация, в которой множество ZN было бы точно известно - статистику. В действительности, имеется только некоторая априорная информация о Поэтому возникает вопрос: нельзя ли построить оценки, которые использовали бы только имеющуюся информацию о ив то же время являлись асимптотически минимаксными оценками. Оказывается, что если 2„ достаточно обширно, то такие оценки можно построить.

N

При формулировке результатов потребуются дополнительные обозначения :

Vif • ] - вариация периодической функции

w[gj - sup I \д(хк) - ¡7<\ + 1Л, лк + 1 > , Ак V

К - множество всех четных периодических функций К(\) таких, что i> 0 < К (Л) < 1 , .

lij ItJCU

lgJL- полунорма функции д(\), определяемая следующим образом-

■ btf-art | »'Х'Л1'

' k=-L -Я -

lN(\,z) - периодограмма вектора z е rh

, N ,2 т /> „ I ' v iAt

Vte 1 '

t=Sl N

определим также следующие функционалы ( к,д е z е R ):

я л

х[к,д1 - j fx(*) li - *ГхЛг d* + J g(*> Iк(х)\г dA ,

-л -я

я п

- J IH(\,Z) |/ГАЯ2 dK - 2 J fx(\) K(\) dk .

-я -я

Довольно важным элементом постановки минимаксной задачи является

конструкция последовательности множеств Будем предполагать, что

сунествуют:

1)2- ограниченное в £tмножество четных' неотрицательных функций,

2) м„ - последовательность целых чисел такая, что м., -* т,

' N N

Мы/Н -» 0 при N ■* то,

3) г,, - последовательность действительных чисел г„ 0 при

' N N

N со такая, что

- • u J« 6 »V'-^ - < sn} • 2

Нижнюю границу для минимаксного риска дает Теорема 3.2. Пусть множество 2 таково, что

sup inf Z [К, д] - lim sup inf X[K,g]

g e 2* K m -» со g e 1*, v[gl < м K

и

Тогда

- ж- J 5>'V [ I eiU] Л -

lim 2~Z M„ N~] = О . N -» со

lim inf R.Ax, LJ > sup inf £[K,gJ. " " * K

if -» га x g 6 2.

Пусть x., - некоторая последовательность множеств из X. С каждым N *

множеством х„ свяжем квазилинейную оценку х.[Х„,Y] вектора х по на'

N IN

блюдениям у, которая определяется следующим образом:

л N

•... ... 1 * N ^ГЛ

-Я

где к*(\,х„) - некоторая функция из я,, такая, что

N и - N

JMfir*,y; < inf 1ц[к,х] + /Г1'2.

Отметим, что функция кн(\,хи), вообще говоря, зависит от наблюдений, и, следовательно, оценка х^-является нелинейной. Линейным оценкам здесь соответствует ситуация, когда множество )<н состоит из одной точки.

Для оценки xt[HH,Y] справедлива

Теорема 3.3. Пусть выполнены следующие условия!

sup inf t[K,g] - lim lim sup inf £{K,gJ

H'

g 6 1* K H OO H -> <» geX* К e К , 9 4 H

lim sup ¡К7 |Z/W - 0 . u - 00 к е хн

Тогда

lim RH[x*[Kn] InJ < sup inf £[K,g] .

N к> gel ^

Четвертая глава посвящена задачам непараметрического оценивания функции регрессии. Пусть G - выпуклое ограниченное множество в я'", т > 1. Предполагается, что результатом проведения статистического эксперимента являются случайные величины, которые имеют вид

Г. - F(t)) + 0 , tj € С ,

здесь f( ) - неизвестная функция, принадлежащая некоторому множеству 2, с - независимые гауссовские случайные величины с параметрами (0,1).

Вообще говоря, предполагается, что выбор точки tj может быть основан на результатах предыдущих наблюдений у _ f, .....* г 70

есть

fci - .....

где Tj - некоторое борелевское отображение к1"1 в i?d . Далее считаем,- что всего проводится N mes(G) наблюдений. При фиксированных оценке f*(t,ii) (Y - вектор с компонентами у,,..ifN (G)) и плане проведения наблюдений т « (т. риск вычисляется обычным

1 NmesiGJ

образом

Rra,f*,T) = sup Е. IIFC-; - f'(-,X) \\2.

b I

f e 2

Основная цель - минимизация риска по всевозможным планам нрове-

*

дения наблюдений т и оценкам f (t,v).

Скорость сходимости к нулю минимаксного риска хорошо изучена. При этом оказывается, что существует очень большие классы оценок, имеющих оптимальную скорость сходимости. Выбрать наилучшую оценку в этой случае просто невозможно. Поэтому, в диссертации используется подход, позволяющий установить не только порядок минимаксного риска, но и константу, а тем самым появляется возможность в некотором смысле определить наилучшую оценку. Этот подход вызывает ряд хорошо известных проблем. Их существо, применительно к изучаемой статистической модели, состоит в следующем. Предположим, что план проведения наблюдений является детерминированным и для определенности эквидистантным. Тогда оказывается, что асимптотически минимаксная оненка во многих случаях является линейной, цо зависящей от параметров I. Например, при g • [0,1} традиционно в качестве 2 выбирают соболевский класс

illp) - { f: I I! f( k ' II2 < p }. к = 0

и параметрами здесь являются гладкость /з и величина р. Довольно трудно представить ситуацию, з которой статистику была бы известна пара (13, Р). Отметим также, что оценить значения этой пары по наблюдениям принципиально невозможно. Но тем не менее можно построить нелинейные асиптотически минимаксные оценки, ие зависящие ни от р, ни от р.

В разделе 4. 2 рассматривается простейшая постановка асимптотически минимаксного оценивания функции-регрессии в случае, когда мно-, жесгво g есть отрезок [0,1], планирование наблюдений отсутствует, то есть т = т° = (1/1я, 2/n,..., 1), а функция f(t) является периодической на отрезке [0,1] и разлагается в достаточно быстро сходящийся ряд по с

(P,(t))ar

ряд по системе ортонормальных в lz(o,1) тригонометрических полиномов

'о

F(t) = I <F, рк> pk(t)

к' к =0

Предполагается, что Рк(£) - тригонометрический полином степени не выше ск, где с - некоторая постоянная. Далее удобно будет ввести . следующее обозначение:

н

<р,я>п - ± I Р(Ь\) Я(ЬГ[) . 1 = 1

Раздел 4.2 посвящен целиком .изучению свойств оценок, которне строятся следующим образом:

и/(гс)_

= Г ккт <У,р , рк(ь, , 1«=0

где

N

- Ь I ^ ' 1 = 1

а множители кк[У] выбираются так, чтобы

1п[К,Ч] < 1п£ 1Н[К,Ч] * ¡Г1 ,

К € КН

где

н/сгс)

V*,*; = I {[*; - * *к] <*,рк>1 * * в2 кк/н у.

к » О

Множество Хи является модмножеством множества л, которое состоит из всех последовательностей, удовлетворяющих условиям

i) к0 - 1, € [0,1], Kktl < кк,

со

ii) Kk = 0 при к > 3 £ K^ .

k = 0

Такой выбор множества к тесно связан со структурой седловых точек функционала

со

Ln(K,£l = I ||i - Kk I2 <f,pk>2 + б2 K^/N } k = 0

на множестве 1г(0,т) x 2 в случае, когда I - эллипсоид в l2(0,1). Б основе идеи построения подобного рода оценок лежит принцип несмещенного оценивания квадратичного риска.

Поскольку оценка fNft,Y,KNJ является нелинейной, естественно, что первая возникающая задача - нахождение ее риска. Решение этой задачи дает

Теорема 4.1. Если выполняются следующие условия

со

• ji/д sup ilnW lnln(ti)]~X £ <,f'Pk>2 t<f,Pk>Z + 627~' = Ш , N »fei k = 0

CO

I £ jf; I kz <£,pk>Z < P }, P < CO , _k«0 '

то для риска оценки f^ft/Y^^ справедливо неравенство

Rr(I,f < (1 + 0(1)) sup tnf L..[K,f] , N ■* оо .

G N f e £ к e xfJ N

Оценка fN(t,i,}<N) явным образом зависит от дисперсии шумов б^. Ясно, что такая зависимость нежелательна и ее хотелось бы избежать. Сделать это можно, например, подставив оценку для дисперсии в функционал 1h[k,yJ. Точнее, введем функционал

N/2C N/2C

1*[К.Т1 - {» ♦ f [ Kk} <Y,pk>2 -

.. k«0 k-0 N/2C H

. • -В

k«0 1»0 »

Определим теперь новую оценку . ' N/гс

f*ft,r,xN; - I *ltr] <*,pk>H Pk(t) . " 1 «0

*

где *kiXH/ - некоторая последовательность из такая, что

l*[K*,Yl < Inf 1*[K,Y] + tf~1 . к e XN

Для этой оценки имеет место

Теорема 4.2. Пусть выполняются условия теоремы 4.1 и для некоторого числа 9 6 (0,1), Хп С (К 6 К: = 0, k > Тогда

Rr(~Z,f*rH°) < (1 + 0(1)) sup inf L [K,f], N со .

b N fei яек,! "

Этот результат позволяет утверждать, что предложенные оценки будут асимптотически минимаксными на соболевских классах гладких функций.

Для довольно широкого круга задач непараметрического оценивания гладких функций регрессии одновременно с решением проблемы об асимптотическом порядке минимаксного риска И.А.Ибрагимовым и Р. 3. Хасьмин-ским было показано, что последовательное планирование эксперимента не дает выигрыша в порядке риска по сравнению с эквидистантным планом.

Доказательству более тонких результатов, касавшихся не только порядка скорости сходимости, но и константы при последовательном планировании при квадратичных потерях, посвящен раздел 4. 3. При этом рассматривается задача оценивания функции регрессии на единичном от- ■ резке, то есть G = [0,1], а в качестве множества 2 выбирается соболевский класс Р). .Естесвенно, возникает вопрос: нельзя ли уменьшить минимаксный риск за счет применения менее тривиального, чем эквидистантное, планирования эксперимента? Как можно ожидать, ответ на этот вопрос отрицательный. Точнее, справедлив следующий результат: Тэорема 4.4. При N ■*. т выполнено соотношение

Inf Inf R(fP (P)rf.T) - (1 + 0(1)) Inf R(vl(P),f ,T ) . t f ■ ■ f, n 0

n П"

Доказательство этого факта основано на решении задачи о построении нижних границ при непараметрическом _оценивании периодической функции регрессии, которое в свою очередь базируется на применении многомерного неравенства Ван Трисса.

В разделе 4. 4 изучается задача оценивания функции регрессии над многомерной.областью. Хорошо известно, что при увеличении размерности области G происходит значительное уменьшение скорости сходимости к нулю рисков оптимальных оценок для гладких функций регрессии. Так при размерности G равной 1 и гладкости ß • 2 хорошие оцещ:и сходятся

-2/5

со скоростью N , а при размерности равной 2 и той же гладкости скорость сходимости составляет tCZ/7. Одной из возможностей избавиться от подобного рода эффектов является гипотеза о том, что оцч-

ниваемая над многомерной областью функция обладает определенной структурой. Одну из таких простейших структур задает аддитивная модель. Пусть в* - полусфера единичного радиуса в дт, определяемая следующим образом:

т

- f,.....*„• *х> 4 =7} -

k = 1

а Уд, g > О - следующее подмножество симплекса в ßd

уд ' {Х1.....V xi " в.....*d > в, I *к - » } •

к» 1

Зафиксируем матрицу 0 - (в0d), где вектора вк принадлежат В+, причем, I0j0kl < 1, и пусть вектор у принадлежит У . Тогда

множество Т • ¿(в,и,р,р} определяется как множество всех функций F(t), представимых в следующем виде:

d

F(t) = [ f1[e\ t], tec, 1=1

где функции f (x), принадлежат шару достаточно большого радиуса R в

пространстве Соболева t^(A,B] и таковы, что d Ь(в )

I J [е[1»<в)у аа<Р,

здесь

1 = 1 a(8i)

а(в ) = min d]t, Ь(в ) = max 0*t,

1 t 6 G 1 1 t 6 G 1

T T

A = min et, В = max в t.

tec t 6 G

б e в б e в

Ради простоты считаем, что планирование наблюдений отсутствует и ре-rpeccopu находятся на решетке, имеющей одинаковый шаг по всем координатам. Для обозначения этого плана проведения наблюдений сохраним обозначение т°.

При построении асимптотически минимаксной оценки используется принцип адаптивного подбора базиса. Для реализации этого метода определим ортонормальную систему функций следующим образом:

S

агв "ln sup " Е <f'l('i> VjN2'

tpj f e S<9,u,p, I) i = o здесь min берется по всем ортонормированным в LZIG) системам функций. Экстремальная система зависит от параметра v - (9,ц,/з; и далее

обозначается как

Введен фукндионал, являющийся несмещенной оценкой квадратичного

иска с точностью до постоянной, не зависящей от фильтра к,, м

1на,*,н) = I [ккг(р,») - 2кк< у, Ф^ х к = 0

N N

Г' + м—~~—г У —-У к. (а, ю х -——- у у,2 ,

1_ N тзэ в Ь к ' ] п ь к ' N тяз Ч и J '

к = 0 к =0 Л

где

*,№'»> -{ ¡7-г-/«.". 5 ' ,П<П> '

Под предскалярным произведением <£,д> подразумевается какая-либо кубатурная формула суммирования '

■(s/wf!+ , s > 1п(п)

<f

''9>Н " 1 "j f(bj> 9(tj>>

j.tj ее

где Еесовые коэффициенты лг выбираются так, что выполнены следующие условия:

1) м. = 1/п , когда идекс } таков, что точка Ь^ не принадлежит

приграничному слою толщины с(т) л"т; 11') если функция- £(•) - имеет ограниченные в производные порядка т, то

- | £(Ь) с?£| < С Шп/Ч в

здесь !М1„ - норма в пространстве Соболева .

Далее находим пару

Со , ff) = arg min 1n(Y'

) 6 Л„ , « < I» ( w.,

N N -

где wu = ln(N) N ,/<Zm + а

{ 3,0,U: ß < ffN , 9 € lü*ld, u e ,

здесь - 1/2 - сеть на множестве (B+)d, содержащая не более

tfA/Z точек, s* - любая s„ - сеть на множестве s* < е., -» о, N -» ml,

NN н

содержащая не более w точек. *

Оценку строим по формуле н

fH(t,Y) * I а, >n V^ct) .

k = 0

.Теорема 4.6. При /з > m f^ít/Y) - асимптотически минимаксная оценка. То есть

Rea,fH = (1*0(1)) infRG(I,f*,T°H) .

f*

В пятой главе рассматриваются задачи непараметрического оценивания в условиях локальной асимптотической нормальности (JIAH). Применение концепции J1AH в таких задачах непараметрической статистики, , как оценивание вероятностной плотности распределения, спектральной плотности гауссовской стационарной последовательности имеет ряд специфических особенностей, которые рассматриваются в разделе 5.1.

Пусть Ее.= |хЕ,ВЕ, рЕ, б € б} - семейство статистических экспериментов, здесь s - малый параметр (с 0), а оцениваемый параметр 0 является элементом гильбертова пространства (g), где g ■-■ измеримое множество в л1. Пусть также в - пространство, бесконечно дифференцируемых функций v(t) с носителями на отрезке [-1/2,1/2] и нулевым средним

1/2

J v(t) dt = 0.

-1/2

Определение. Семейство вероятностных мер Pg, 0 g 0 - ПАИ с нормировкой де в точке (6Q,s), flQ ев, s е G , если для некоторого числа I(B0,a) > 0 и любой функции v € D справедливо представление

dPg +ve

-2-^2. jxE} . exp^tvl - Il vil2 /2 + ®E(v)|,

d4

где

= s [I(eQ,s)gcfWZ v[(t-s)/gc] ,

Ь t • ) - линейный функционал на V такой, что при е -» О любой с с

вектор (L [v I,...,L Iv.l) слабо сходится по мере Б

Р„ к вектору (<v ,п>,...,<v ,п>), е 0

Ф I v) - функционал на Ю такой, что для любых R > О, В > О

11т sup Pg ||3sElv)| > В } в 0. с о I v(t) I <r 0 .

Рассмотрим теперь задачу оценивания параметра в по наблюдению хсе хс . Если e*(t,xz), t е g, - некоторая оценка параметра е ( ВЕ измеримое отображение хе в ьг(в>), то ее риск будем измерять следующей величиной

Rz[0* ,Вг(в0)] = sup E0e II 0(-) - e*(-,xS)\\S, 9 e в (б,,)

г О

где Вг(0о) ев- семейство окрестностей, стягивающихся к точке 0f) е О при г -» 0, которое определяется как множество всех функций 0 е lz(G) таких, что ( s - компакт в G)

a) 9(t) = в (t), tes;

4 СО

b) | [v^ - 0<,t;] dt =

-СО

c) sup |OCt;-0ort;| <г г;

+ CO

<î; J hZ(f) \9(f)-90(f)\2 df < 1 .

-CO

Теорема 5.1. Пусть S - компакт в G , Функция hz(f) - h?'(-f) непрерывна, не убывает при f > 0 и существует

lim ft? (£A)/hZ (А) = f23, (3 ;> 7/2. А со

Кроме того, выполнены следующие условия :

i) при достаточно малых г Br(90,h,'S ) е 0, Н) семейство Pg, 0 6 0 - ЛАП с нормировкой z^/l, ( L - любое положительное число,

t - корень уравнения hZ(1/z^)~ ZE/eZ ) во всех точках (0Q,s), s е 'S, iii) г"'с0а ,s) - непрерывная функция на 5.

Тогда

lim lim inf Rs[9*,Br(9Q)] z£е'г >

s-»0 ■ 0

rr 'V

> С(Ю [J I-Uon, s, ds]2*3"2'""

В этом же разделе в качестве примеров на использование теоремы 5. 1 устанавливаются нижние границы в задачах оценивания Функции рег рессии, плотности распределения по независимой выборке и спектральной плотности гауссовской стационарной последовательности.

В разделе 5. 2 рассматривается задача оценивания гладкой плотное; ти распределения по выборке независимых случайных величин. Пусть х ,...,х - последовательность независимых одинаково ра^'ределешши случайных величин, имеющих некоторую неизвестную плотность р(х), х <= к1. Статистическая задача состоит в построении оценки неизьестной плотности распределения случайной величины по наблюдениям ыЛ х ,...,х . Как известно, эта задача относится к некорректным зъпн-

4aj.i, поэтому спектр подходов к ее решению чрезвычайно широк. Метод оценивания плотности, предлагаемый здесь, по существу, восходит к оценкам класса Парзена-РозенОлата с автоматическим подбором ширины и формы окна на основе критериев типа gcv.

Пусть имеется некоторая оценка плотности р^(х,х). Тогда 'ошибку оценивания будем измерять следующей величиной

Rtp,pnl = Ер IIр(-) - РПГ',ХЛ|2 .

Для описания конструкции локально асимптотически минимаксной оценки потребуются некоторые дополнительные обозначения. Выборочная характеристическая функция ifn(t,x) определяется следующим образом:

п

$n(t,X) = 11 exp(itXk) , k = 1 _

здесь х - векгор с компонентами к = 1,п. Определим также функционал Ln[K,g), (К е l (-ю,а>), g е C-oo,ca;) по формуле

+03

,LalK,gi - J ^г-к^Л* g(f) + i ^(f^df

-CO

И

CD CO

ln[K,X ] = J [l<a(t>~2K(t)]\qn(tlX)\Zdt + jj J K(t) dt.

-00 -0Э

Множество К определяется как множество всех функций K(t) из ьг(-со,к>;, удовлетворяющих следующим условиям:

1) K(t) = К(-Ь),

2) К(0) = 1, K(t) > 0, •

3) K(t j ) > K(tz), О < t, < tz,

4) K(t) = 0 .при lt| > min(Yn,6\[K\\Z),

5) ||л11 > c0> 0 (постоянная cQ одинакова для всех функций К(-)). Оценка плотности распределения вычисляется следующим образом:

. +со

Рп(х,Х,Хп) - г1- J e"ibf KJt,X,Kn 1 vnu,x; dt,

-co

где •

К ft,X,X ] г arg min 1 fK,X ], К 6 « . n к e к n n

n

Основной результат раздела представляет

Теорема S.2. Пусть 2 - некоторое множество плотностей, удовлетворяющее условиям ■ Л.

-fon

I S Ip(x) : j\p(t)\ dt < С j, С < И .

Б. Для некоторого i> > О

+СО

lim sup —J— flpCtjl2 / [\ptt)\Z + л"1] dt = <0.

л ш Т lnl+vfnj 1

pez -со

Тогда для оценки рп(х,х,Н^) при п т справедливо неравенство

sup inf pel к е к

" 2

.sup Я /р,р )<■ (1 + о(1)) sup inf L [к, |pl ].

р £ Z

Пусть Pg(х) - некоторая плотность, a ве(рс,>>) - стягивающееся к р0(х) при в -* о семейство окрестностей, которое сострит из всех плотностей р(х), удовлетворяющих условиям

, 1) sup Iр(х) - pQ(x)\ < е,

г - р\• ' Ia

ii) j Ih(t)\d\p(t) - pQ(t)J dt <

В задаче минимаксного оценивания плотностей распределения из множеств Bs(pQ,h) справедлива

Теорема 5.3. Пусть множество Кп содержит все функции вида

К(х) - mini 7, [d - \x/L\b ]+) ,

где b> 1/2, L е [1,n], d 6 [1,1+Ъ], a 5 > 0 - любое фиксированное число. Тогда оценка рп(х,Х,Я^) будет асимптотически минимаксной на любом семействе окрестностей BF (pa, ti) таком, что

■ . fi lim \h(At)\/\h{a)\ - Itl, p > 1/2 A-*ao

U

r - ?.*g x 2

j Ih(t)\ \pQ(t)l dt < со, g > 0.

-CO

В разделе 5.3 рассматривается задача непараметрического оиенипа-ния спектральной плотности. Пусть наблюдается выборка х ,...,хп из гауссовской стационарной последовательности, имеющей спектральную плотность £(\), Л 6 {-я,я 1 и нулевое среднее. Статистику эта плотность не известна и ее требуется оценить по данной выборке. Если имеется некоторая оценка плотности £пС\,х) (здесь и дале/х - вектор с компонентами х ,.. , то ошибку оценивания буд^м измерять следующей величиной

* - W- Erllf'-> - ■

Оп^рделим выборочные коэффициенты корреляции стандартным образом

П-к

" 5 1 xixi+k при * > 0 и ?к " ?-к «Ри * < 0 " ■1=1

Для ^р^фициентов корреляции используем обозначение

JT

- if J eiAk * ■

-Я*

Определим далее функционал ( Гк .7 е 1г(-<а,<*>) П J (-<*>,&))

оэ со со

V*'x 1 = I К - 2кь) +ъ1 4 ?ktxl 1

k = -оо k = -со k = -со

и обозначим

со

Ln[K,fl = £ {\1-Kk\Srk(fJ + ^ Hill2/"} . k=-co

Оценку Спектральной плотности будем определять следующим обрэ-■

зом:

п

1п(\,х,кп) - [ Vх'V ?kixj е1" ,

k = -n

где

К [Х.Х ] = arg min 1 [К,X 1 . п |

п

Множество к^ играет важную роль ( оно в определенном смысле отвечает за качество оценки) и является подмножеством Кп - множества всех последовательностей удовлетворяющих следующим условиям:

1) Ks = K_s,

2) К0 - > О,

3) к^ > * ^ о < S) < sB .

4) к . о при UI > min(w ,6\к\\г),

S п

здесь w = о(п). п

Теорема 5.4. Пусть I - некоторое множество спектральных плотностей, удовлетворяющее условиям:

Л.Существуют постоянные cQ, С, такие, что

со со

S с { f(x) : с0 < llfli, [ Ifcl гI <f> < с^ , 1 |ry(f)\ < С,) .

H. Для некоторого \> > О -ко

lira sup --J-- У Г2 ff> [г2 ff; + il fil2/л] "1 = со .

Л . со е е s !„'

Тогда для оценки из fn(\,X,Kn) при п со справедливо неравенство

sup R [f,f 1 i <1 + o(D) sup ' Inf L [K,f] .

f c T n f e X к e x n

fei. n

Рассмотрим теперь применение этого результата к задача асимптотически минимаксного оценивания спектральной плотности на семействе окрестностей BE(f0,h), определяемых как множество всех неотрицательных функций f(x), удовлетворяющих условиям

i) sup lf(\) - f (\)\ < s.

\ u со

ii) I \hk I2 I rk(f) - rk(f0) I2 ч 7.

k~-co

Теорема 5.5.•Пусть множество Я^ содержит все последовательности

вида

Kk = min (1, [d - \k/L\b ]+; , где Ь > Í/2 , L е H,9nL d S [7,7+5 7, здесь gn - какая-либо последовательность такая, что

lim q /п = 0 , ' lim а / /Я = со,

n СО n со

a ö > 0 - фиксированное число. Тогда оценка (X,X, Н^1 будет асимптотически минимаксной на любом семействе окрестностей Д^ ffQ,h 1, для

которого плотность fQ отделена от нуля и выполняются условия :

ßm ' "

lim Ih[mt)í/lhm! = ltl, [ !hk!2^|rkcf0i|2 < = , 9 > 0, 3 > 0.5.

m со , ,

fe -T-CO

Другими словами, эта теорема утверждает, что если центральная спектральная плотность имеет несколько большую гладкость, чом функции, образующие окрестность, то предлагаемый метод оценивания, дает локально асимптотически минимаксную оценку. •

В заключении содержатся основные результаты диссертации, выносимые на защиту.

По теме диссертации опубликованы следующие работы' *

1. Голубев Т.К. О минимаксной фильтрациц функций в jt П Проблемы передачи информ. 1932. Т. ХУ111. If 4. С. 67-75.

2. Голубев Г. К.. Пинскер U.C. Минимаксная экстраполяция п ос ло дои-телькостей // Проблемы передачи информ. 1983. T. XIX. !? 4. С. "51-42.

3., Голубев Г. К. О минимаксном оценивании регрессии // Проблемы передачи информ. 1984. Т. XX. № 1. С. 56-64.

4. Голубев Г. К. , Пинскер М. С. О минимаксной экстраполяции функций // Проблемы передачи информ. 1984. Т. XX. tf 2. С. 27-43.

5. Голубев Г.К., Пинскер М. С. Экстремальные задачи минимаксного оценивания последовательностей // Проблемы передачи информ. 1985. Т. XXI. № 3. С. 36-52.

6. Голубев Г.К. Адаптивные асимптотически минимаксные оценки гладких сигналов // Проблемы передачи информ. 198?. Т. 23. if 1. С. 57-67.

7. Голубев Г.К. Об оценивании периода сигнала неизвестной формы на фоне белого шума // Проблемы передачи информ. 1988. Т. ХХ1У. If 4. С. 38-52.

8. Голубев Г. К. Об оценивании временной задержки сигнала при мешающих параметрах^// Проблемы передачи информ. 1989. Т. ХХУ. if 3. С. 3-12.

9. Golubev G.K., Nussbaum М. A risk bound in Sobolev class regression //'The Annals of Statistics. 1990. V. 18. No £. P. 758778.

10. Голубев Г. К. , Нуссбаум М. О непараметрическом оценивании функции регрессии в ьг // Проблемы передачи информ. 1990. Т. 26. tf 3. С. 3849.

11. Голубев Г. К. 0 квазилинейных оценках сигналов в // Проблемы передачи информ. 1990. Т. 26. If 1. С. 19-24.

12. Голубев Г. К. J1AH в задачах недараметрического оценивания функций и нижние границы для квадратичных рисков // Теория вероятностей -и ее применен. 1991. Т. 26. tf 1. С. 143-149.

13. Голубец Г. К. , Нуссбаум М. Адаптивные сплайновые оценки в непараметрической регрессионной модели // Теория вер-тей и ее применен. 1992. Т. 27. tf 3. С. 553-560.

14. Голубев Г. К. 0 последовательном планировании эксперимента при непарамертическом оценивании гладких функций регрессии // Проблемы передачи информ. 1992. Т. 28. tf-З. С. 85-88.

15. Голубев Г. К. Непараметрическое оценивание гладких плотностей распределения // Проблемы передачи информ. 1992. Т. 28. tf С. 5262.

16. Голубев Г. К. Асимптотически минимаксное оцеьивание функции регрессии в аддитивной модели // Проблемы передачи информ. 1992. Т. 28. № 2. С. 3-15. '

В работах, опубликованных Ъ соавторстве, вклад авторов равноправен.