автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Непараметрическое оценивание сигналов с неизвестным распределением

РОССИЙСКАЯ АКАДЕМИЯ НАУК

ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ им. В.А. ТРАПЕЗНИКОВА РАН

На правах рукописи УДК 519.25

Добровидов Александр Викторович

НЕПАРАМЕТРИЧЕСКОЕ ОЦЕНИВАНИЕ СИГНАЛОВ С НЕИЗВЕСТНЫМ РАСПРЕДЕЛЕНИЕМ

Специальность 05.13.01 - "Системный анализ, управление и обработка информации (в отраслях информатики, вычислительной техники и автоматизации)"

АВТОРЕФЕРАТ диссертации на соискание ученой степени доктора физико-математических наук

Москва, 2003

Работа выполнена в Институте проблем управления им. В.А. Трапезникова РАН

Официальные оппоненты академик Кузнецов H.A.,

доктор физико-математических наук, профессор Назин A.B., доктор физико-математических наук, профессор Краснов А.Е.,

Ведущая организация Томский государственный

университет (г. Томск)

Защита состоится "_" _2003г. в _ часов

на заседании Диссертационного совета Д 002.226.02 Института проблем управления им, В.А. Трапезникова РАН по адресу: 117997, Москва, ул, Профсоюзная, д. 65.

С диссертацией можно ознакомиться в научной библиотеке Института проблем управления РАН.

Автореферат разослан "_" _2003г.

Ученый секретарь Диссертационного совета к.т.н.

Власов С.А.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы. Для современного состояния статистической теории управления характерно стремление к разработке эффективных процедур при минимальной априорной информации об исходных наблюдениях. Такой подход соответствует реальной ситуации, когда точные математические модели изучаемых объектов (процессов, явлений) и свойства действующих на них возмущений на самом деле не известны. Имеющаяся априорная информация о распределении помех в этих случаях носит настолько неопределенный характер (например, ограниченность некоторых моментов, множество всех дифференцируемых функций распределения), что при построении вероятностной математической модели нет оснований воспользоваться каким-либо конечно-параметрическим семейством распределений. В таких случаях говорят о непараметрической априорной неопределенности.

Проблемы решения классических задач обработки сигналов, получивших широкое распространение в системах радио- и гидролокации, в астрономических наблюдения и т.д., приобретают особую актуальность в рамках широких условий априорной неопределенности, которую обеспечивают непараметрические ограничения. Непараметрическое описание моделей физических явлений оказывается более адекватным реально протекающим процессам и охватывает существенно более широкий круг явлений. Поэтому особый интерес представляют задачи теории решений, которые необходимо решать в условиях непараметрической априорной неопределенности.

В классической постановке этих задач в дискретном времени обычно предполагается заданным частично наблюдаемый случайный процесс 2п — (5„, Хп), п ^ 1 с наблюдаемой компонентой Хп и ненаблюдаемой Зп ■ Требуется дать оценку ненаблюдаемой компоненты 5„ по реализации процесса Хп . Для решения этих задач в рамках параметрических моделей необходимо знание совместного распределения процесса (Зп, Хп) . Однако в силу ненаблюдаемости процесса Бп его распределение восстановить невозможно и, следовательно, в общем случае построить оптимальную байесовскую оценку 5'п нельзя. Тем не менее при некоторых предположениях о модели наблюдения и непараметрических ограничениях на 5„ (которые и будут составлять содержание развиваемого подхода) удается сконструировать непараметрическую оценку £„ , близкую по своим свойствам к оптимальной оценке 5П , полученной при известном распределении пары (¿"т-^п) • _____ _________

Специфика этих ситуаций состоит в том, что при упомянутых выше условиях оценки полезного сигнала Бп , сделанные на основе наблюдений сигнала Хп , выражаются в виде функционалов от распределения только наблюдаемых случайных величин Хп (в соответствии с концепцией эмпирического байесовского подхода Г. Роббииса). Поскольку, однако, распределение 6(8«) процесса 5„ по условию не известно, то маргинальная плотность распределения /(ж„) = f f(xn\sn)dG(sn) наблюдаемого процесса Хп также не известна, но она может быть восстановлена по наблюдениям х? = ..., хп)т . Для оценивания функционалов, зависящих от неизвестного распределения, в работе применяется непараметрический подход, основанный на ядерных оценках Розенблатта-Парзена, обобщенных в двух направлениях: на наблюдения с зависимыми значениями и на функционалы с особенностями. Обобщение в первом направлении позволяет пользоваться динамическими моделями наблюдений и строить сходящиеся непараметрические оценки условных функционалов по слабозависимым наблюдениям. Обобщение во втором направлении обеспечивает возможность построения устойчивых непараметрических оценок с "хорошими" свойствами, т.е. оценок, не принимающих бесконечных значений.

Разработанные в настоящее время методы непараметрического ядерного оценивания в основой посвящены оцениванию так называемых "базовых" (по теминологии Г.М.Кошкина) функционалов от распределения /д(х)с1Р(х), где д{х) — известная функция, а Р(х) — неизвестная функция распределения. Сюда, в частности, относятся задачи оценивания плотности вероятности и ее производных. Достаточно полная и красивая теория напараметрического ядерного оценивания таких функционалов в метрике Ь\ изложена в монографии Л. Девроя, Л. Дьёрфи [1988г.]. Полученные здесь верхние и нижние границы для скорости сходимости рисков непараметрических оценок, методы адаптивного ядерного оценивания и другие результаты по анализу свойств оценок из различных непараметрических классов представляют несомненный интерес. Однако непосредственно воспользоваться этими результатами в нашем случае не удается, поскольку 1) все они получены в предположении независимой выборки, 2) метрика Ь1 не является естественной для задач оценивания сигналов, где оптимальные байесовские оценки, представляющие собой условное среднее, минимизируют среднеквадра-тический критерий, 3) в задачах обработки сигналов приходится оценивать более сложные конструкции в виде заданных функций от базовых функционалов. Отметим также, что построенные еще Розенблаттом и

Роуссасом ядерные оценки по реализациям марковских процессов также не могут быть использованы в нашем подходе, так как наблюдаемый процесс Хп не является марковским. Поэтому и возникла необходимость построения непараметрических ядерных процедур для процессов с более общим типом стохастической зависимости. Везде в дальнейшем под непараметрическим оцениванием всегда понимаются непараметрические ядерные процедуры оценивания.

Следует подчеркнуть, что полученные в диссертации непараметрические оценки ненаблюдаемого полезного сигнала 5„ сходятся к оптимальным байесовским оценкам в различных метриках ^в зависимости от условий). По терминологии 70-х годов такие системы относятся к салюобучающимся системам автоматического управления, поскольку их функционирование с ростом наблюдений все меньше и меньше отличается от оптимального.

Совокупность задач и методы их решения, представленные в диссертации, можно классифицировать именно как теорию обработки сигналов с неизвестным априорным распределением, потому что удалось выделить стандартный набор задач обработки сигналов (фильтрация, интерполяция, прогноз и оценивание моментов изменения свойств процессов) , которые как с точки зрения используемых математических моделей сигналов, так и с точки зрения методов решения, являются родственными. Набор задач является классическим, которые ранее рассматривались в работах Н. Винера, Р. Калмана, Р. Липцера и А, Ширяева, В. Пугачева и др. Различными являются исходные условия, которые и определяют своеобразие способов решения этих задач. При этом какие бы решения ни отыскивались, всегда желательно, чтобы их свойства, по крайней мере асимптотически, не сильно отличались от классических результатов, полученных при полной статистической информации.

В случае общей зависимости между случайными величинами получить какие-либо плодотворные результаты весьма сложно (нет соответствующих теорем сходимости). Поэтому мы ограничиваемся случаем слабой зависимости, в частности, свойством "сильного перемешивания", которым обладают устойчивые уравнения авторегрессии с постоянными коэффициентами. В рассматриваемых нами моделях коэффициенты уравнения авторегрессии зависят от ненаблюдаемого стационарного процесса 5П . Отсюда возникает задача определения условий, при которых наблюдаемый процесс, удовлетворяющий уравнению авторегресии с переменными коэффициентами, обладал бы свойством сильного перемешивания.

Целью настоящей работы является

— разработка методов оценивания полезных сигналов с неизвестным априорным распределением по последовательности наблюдений, генерируемых динамическими системами авторегрессиоиного типа;

— исследование условий слабой зависимости случайных величии, генерируемых динамическими системами авторегрессионного типа;

— исследование и разработка методов иепараметрического ядерного оценивания некоторых условных функционалов от распределения вероятностей по слабозависимым наблюдениям;

— анализ асимптотических свойств получаемых оценок.

Методы исследования. На основе теории условно-марковских

процессов Р. Стратоновича и идеи эмпирического байесовского подхода Г. Роббинса решена задача построения уравнений для оптимальных оценок обработки сигналов в условиях неизвестного априорного распределения полезного сигнала. Специфика полученных уравнений состоит в том, что они зависят только от известных функций и функционалов от неизвестных распределений наблюдаемого случайного процесса. Для оценивания этих функционалов используются непараметрические ядерные оценки Розенблатта-Парзена, обобщенные на слабозависимые наблюдения. Анализ свойств полученных оценок проводится с помощью аппарата теории вероятностей, математической статистики, теории случайных процессов и теории матриц. При решении иллюстративных примеров используется имитационное моделирование на ПК.

Научная новизна.

1. Найдены условия слабой зависимости процессов, удовлетворяющих уравнению авторегрессии с коэффициентами, управляемыми стационарным марковским процессом.

2. Доказаны теоремы о среднеквадратической сходимости непараметрических ядерных оценок многомерной плотности вероятности и ее частных производных в равномерной метрике, построенных по выборке из стационарного процесса с сильным перемешиванием.

3. Получены условия среднеквадратической сходимости устойчивых аппроксимаций непараметрических оценок подстановки функционала в виде логарифма градиента многомерной плотности вероятности, через который выражаются оптимальные оценки фильтрации, интерполяции и прогноза полезного сигнала.

4. Введено условно-экспонентное семейство распределений, позволяющее описывать динамические системы наблюдения.

5. Построены и исследованы уравнения оптимальной нелинейной

фильтрации, интерполяции и прогноза частично наблюдаемых марковских случайных последовательностей, порождаемых динамическими системами авторегрессионного типа. Особенность этих уравнений состоит в том, что в них входят функционалы от распределения только наблюдаемых случайных величин.

6. Решены задачи непараметрического оценивания рисков в задачах фильтрации, интерполяции и прогноза марковских случайных последов ательностей.

7. Введено понятие асимптотически е — оптимальных процедур фильтрации, позволяющих находить непараметрические оценки по одной достаточно длинной реализации наблюдаемого процесса.

8. Получены уравнения оптимальной фильтрации и интерполяции конечно-значных марковских цепей в динамических системах общего вида и их непараметрические эквиваленты. Эти уравнения позволяют решать задачу оценивания моментов изменения свойств случайных процессов, когда распределение вероятностей и переходные вероятности значений марковской цепи, управляющие коэффициентами уравнения наблюдения, не известны.

Практическая ценность.

Предложенные в диссертации методы и алгоритмы оценивания частично наблюдаемых процессов разработаны с учетом существующих потребностей практики и позволяют в условиях непараметрической неопределенности решать задачи стохастической теории управления (фильтрации, интерполяции, прогноза, обнаружения, оценивания моментов изменения свойств процессов), радиосвязи, имитационного моделирования, когда классические методы оказываются неприменимыми.

Внедрение результатов работы.

Программное обеспечение ряда непараметрических процедур обработки сигналов использовано в работах по спецтематике.

Апробация работы и публикации.

Основные результаты диссертационной работы докладывались и обсуждались на следующих научно-технических конференциях и совещаниях:

И, III, IV Всесоюзных Совещаниях по статистическим методам в управлении (Ташкент, 1971, Вильнюс, 1973, Фрунзе, 1978)

V Всесоюзное Совещание по статистическим методам в процессах управления (Алма-Ата, 1981)

IX Всесоюзное Совещание по проблемам управления (Ереван, 1983)

I, III, V-VII Всесоюзных школах-семинарах по непараметрическим и робастным методам статистики в кибернетике (Томск, 1974, Дивногорск, 1981, Шушенское, 1985, Томск, 1987, Иркутск, 1991) I Всесоюзной конференции РОЛИ.1.91 (Минск, 1991) V Международной конференции по байесовским статистикам (Alicante (Испания), 1994)

Международной конференции по проблемам управления (Москва,

1999)

III Russian-Korean Intarnational Symposium in Science and Technology (Новосибирск, 1999)

Международной конференции "Идентификация систем и задачи управления", SICPR,0'2000, (Москва, 2000)

Международной конференции "Параллельные вычисления и задачи управления", РАСО'2001, (Москва, 2001)

Международной конференции "Математические модели и методы их исследования", (Красноярск, 2001).

Международной конференции "Идентификация систем и задачи управления", SICPRO'2003, (Москва, 2003)

По результатам выполненных исследований опубликованы 1 монография и 27 печатных работ.

Структура диссертации.

Работа состоит из введения, семи глав, заключения, списка литературы и приложения, включающего доказательства результатов. Первые две главы посвящены математическому обоснованию корректного применения непараметрических ядерных процедур оценивания функционалов от распределения по слабо зависимой выборке. В остальных главах рассматриваются различные задачи выделения сигналов с неизвестным распределением из помех в условиях непараметрической неопределенности.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы исследования, обсуждается история возникновения задачи, ее источники и составные части, дается краткий обзор основных результатов по рассматриваемой тематике, определяются цели и пути исследования.

В первой главе приводятся условия, при которых некоторые преобразования ( статические и динамические) над процессами с сильным перемешиванием (с.п.) снова приводят к процессам с с.п. Эти

условия используются в дальнейшем при формировании моделей наблюдений в задачах непараметрической обработки сигналов.

Лемма 1.1. Пусть процесс £„ £ Кт является стационарным процессом с с.п., заданным на пространстве (П, ¡¡Г, Р). Тогда процесс Vп = ¥>(£«), зде <р — борелевская функция из 11т в II1, также является процессом с с.п., коэффициент перемешивания которого по крайней мере не больше, чем у процесса £п .

Лемма 1.2. Пусть £ 11т - стационарная последовательность с с.п., а т)п £ К' - последовательность независимых и одинаково распределенных случайных векторов. Тогда совместный процесс = (^п,11п)у п ^ О I заданный на пространстве (О, 3", Р), где и т)п взаимно независимы, будет стационарной векторной последовательностью с с.п.

Следствие 1.1. Из лемм 1.1 и 1.2 вытекает, что векторная последовательность Хп = п,Т]п), где ¡р - борелевская функция от стационарной последовательности дп с с.п. и стационарной последовательности г)п с независимыми значениями, также является стационарной последовательностью с с.п.

Результаты Следствия 1.1 непосредственно используются при установлении свойств непараметрических оценок функционалов в задачах выделения сигналов со статическими моделями наблюдений.

Гораздо более сложным является вопрос о сильном перемешивании в динамических моделях и, в частности, в авторегрессионных моделях с переменными коэффициентами вида

хп=А{0п)хп-1 + в(#п)г1Я) хпел\ (1.1)

где матрицы А и В управляются ненаблюдаемой стационарной марковской последовательностью чЗп с непрерывным множеством состояний, а г]п - независимые одинаково распределенные случайные величины (н.о.р.с.в.), независимые от дп .

Пусть 1?п, п = 0,1,2,... - стационарная в узком смысле последовательность случайных векторов, определенных на вероятностном пространстве (П,^, Р) со значениями в Нт . Пусть ~ с-алгебра событий, генерируемых случайными векторами {д п, 8 ^ п ^ . Прошлое последовательности определяется сг-алгеброй Уо^ , будущее У¿ + т,00 •

Приведем ограничения, которым должны удовлетворять последовательности 1?„, г)п и матрицы А и В , чтобы наблюдаемая последовательность Хп обладала сл.

1° . Условие сильного перемешивания с экспоненциальной скоростью сходимости

о,(«)=вир вир вир |Р(ЛВ)-Р(Л)Р(£ЖСе-Лае£191, (1.2)

где С>0,А>0,е>0 - некоторые постоянные и до = 9 , а | ■ | означает норму в соответствующем евклидовом пространстве. 2° . Условие возвратности, сводящееся к:

а) ограниченности экспоненциального момента первого попадания процесса 1?„ в шар В л радиуса Я , которое формулируется следующим образом: для всякого Я найдутся такие числа -у > О, е > 0, Сг > 0 , что

^ С,1ее101, (1.3)

где = 7-0 (Я) = тш{п ^ 0 : |т?„| < Я, = 9} ;

б) условию убывания "хвостов" распределения процесса г9„

Еве£1'?"1 С2еЕ (1.4)

при некотором е > 0 .

3° . Локальное условие типа Деблина, означающее, что вероятность попадания за один шаг в любую точку в 6 Вц из двух разнесенных точек 9 и 9 , лежащих внутри шара Вд , больше нуля. Это условие формализуется в следующем виде: для всякого Я > 0 найдется такое число С3 = Ся(Я) > 0 , что для любых п ^ 0, 9 ,9 £ В л переходные плотности вероятности относительно меры Лебега р{9п\$п-1 = 9 ) и р(0„|?9п_1 = 9 ) удовлетворяют неравенству

Ы I р{9п\дп„х =9) Лр{9п\дп-! = в")Лвп ^ С3(Я)1 (1.5)

Вц

где рх Арч = шт(р1,р2) .

Наблюдаемый процесс Хп £ Кг задается уравнением (1.1). При этом предполагаются выполненными следующие условия:

3° . а) вир ||Л(0)|| ^ д < 1, где ||Л|| - операторная норма матрицы;

б) зир(||.В(0)|| ||5-1(0)||) < оо (в частности, матрица В при

в

любом в невыролсдена);

в) найдется такое число а > 0, что Е ехр{а|т70|} < оо (это неравенство является ограничением на степень убывания хвостов распределения помехи г}п );

г) существует плотность распределения помехи , удовлетворяющая при любом Я > 0 условию

Р„(и) > 0.

Основной результат содержит

Теорема 1.1. Если выполнены условия 2° — 4° , то коэффициент с.п. процесса = (3„,Хп) при некоторых постоянных С > О,!?! > 0,£ > 0 удовлетворяет неравенству

аг(8) ^Се-^'е'М,

где Хо = х, т.е. с?гп{з) экспоненциально стремится к нулю с ростом 8 .

В дальнейшем неоднократно в задачах построения непараметрических оценок функционалов от векторных случайных величин используется векторная выборка, элементы которой имеют, общие части. Такая выборка может быть получена из одной реализации наблюдаемого процесса путем сдвига вектора, скажем длины Ь , на один или несколько шагов по времени. В результате получается выборка из векторного процесса, соседние элементы которой имеют перекрывающиеся составляющие. Возникает вопрос, сохранится ли свойство слабой зависимости у последовательности векторов, построенных путем сдвига по времени, если исходная последовательность свойством слабой зависимости обладает.

Лемма 1.3. Пусть Хп € И, п ^ 1 - стационарная последовательность с с.п. Тогда Уп £ п ^ 1, где

Уп = (Хп,...1Хп+^1)Т, (1.6)

также будет стационарной векторной последовательностью с с.п.

Во второй главе изучаются свойства непараметрических ядерных оценок условных многомерных плотностей вероятностей, их градиентов и логарифмических производных плотности, построенных по слобозависимой выборке, Такой выбор функционалов диктуется задачами обработки сигналов, поскольку оценки этих сигналов определяются из уравнений, содержащих функционалы такого типа. На самом деле оценки плотностей и их производных имеют и самостоятельный интерес, что показывает большая библиография по этому вопросу. Первые два результата, приведенные здесь, имеют почти двадцатилетнюю историю, однако способы доказательства подобных результатов изменились незначительно.

Пусть процесс Хп € Rr, п ^ 1, является строго стационарной последовательностью с с.п. Введем в рассмотрение вектор X = X" = = (Ху,..., Хп)т , представляющий собой отрезок последовательности длины п, так что X £ Rnr .

Пусть /(х),х 6 Rnr - неизвестная многомерная плотность вероятности отрезка стационарной последовательности Хп , а /лг(х) -непараметрическая ядерная оценка этой плотности, определяемая формулой

где многомерное ядро К(-) : Rnr -> R1 можно выбрать в мультипликативном виде

К(и) = П П * («?3)> U6RW (2-2)

t=ij=i

Здесь N - число наблюдаемых отрезков векторного процесса Х„ , а последовательность чисел Л/у 0 при N оо. Одномерная ядерная функция К(и) обычно является плотностью вероятности, но не всегда. Критерием близости оценки (2.1) к истинной неизвестной плотности /(х) в данном случае служит функционал

JN= sup Е(/(х) — /лг(х))2, (2.3) x6Rnr

Условия среднеквадратической сходимости оценки /дг(х) в равномерной метрике содержит следующая

Теорема 2.2. Пусть Хп £ Rr,n ^ 1 - стационарная случайная последовательность со слабой зависимостью, коэффициент сильного перемешивания ax(s) которой удовлетворяет условию

N

^Ei1-»/#)«(*)<«> (2.4)

Пусть плотность /(х),х £ R"r равномерно непрерывна и ограничена, ядро K(u),u £ Rnr - абсолютно непрерывная и абсолютно интегрируемая функция и последовательность положительных чисел hn такова, что lim (Лдг + дгЛпг) = 0. Тогда lim Jn = 0 . ОО "nN N -юо

Аналогичный результат справедлив и для градиента плотности. Здесь рассматривается наиболее общий вариант оценки, когда производная берется только по части аргументов плотности. Именно такие типы оценок встречаются при рассмотрении задач обработки сигналов. Рассмотрим градиент плотности V^„/(x) = Vsn/i®i,a?n) по последней векторной переменной хп . Оценка градиента плотности строится как градиент от непараметрической оценки плотности (2.1), т.е. Vsn/w(x) — V.t„//v(®i ,..., жп) . Поскольку градиент плотности является вектором, то в качестве критерия близости выбирается скалярное произведение

sup Е(VsJW - V*Jn(x))T(VxJ(x) ~ V*Jn(x))- (2.5)

x6Rnr Условия

сходимости J ff к нулю содержит

Теорема 2.3. Пусть Хп £ Rr,n ^ 1 - стационарная случайная последовательность со слабой зависимостью, коэффициент сильного перемешивания которой удовлетворяет условию (2.4). Пусть /(х),х £ Rnr - плотность вероятности, у которой все частные производные первого порядка ограничены и равномерно непрерывны, а ядро K(u),u£ Rnr - абсолютно непрерывная и абсолютно интегрируемая функция с абсолютно непрерывными частными производными первого порядка. Если последовательность убывающих положительных чисел

hfj такова, что км + пг+2 ->■ 0 при Nоо, то ^lim JN = 0.

Плотности вероятности и их производные относятся к так называемым базовым функционалам и непараметрическое оценивание их в настоящее время не вызывает принципиальных затруднений, так как они в большинстве случаев бывают конечными величинами. Однако, на практике приходится сталкиваться с более тяжелым случаем, когда оцениваемый функционал представляет собой известную функцию от нескольких базовых функционалов. Такие функционалы называются характеризационными и их непараметрические оценки подстановки при некоторых значениях аргументов могут принимать неограниченные значения. Ярким примером этого может служить характериза-ционный функционал в виде отношения градиента плотности к самой плотности

(2.6)

возникающий в уравнениях оптимальной обработки сигналов. Его оценка подстановки равна

(2.7)

Понятно, что при значениях оценки плотности, близких или равных нулю, оценка (2.7) становится неустойчивой и доказать больше, чем поточечную сходимость по вероятности не представлялось возможным.

Выход из этого положения был найден лишь несколько лет назад на пути построения так называемых кусочно-гладких аппроксимаций оценок подстановок. Эти аппроксимации очень близки к регуляризо-ванным оценкам Тихонова и при некоторых значениях входящих в них параметров могут быть получены методами минимизации соответствующих критериев. Использование кусочно-гладких аппроксимаций позволило построить устойчивые непараметрические оценки характери-зационных функционалов с особенностями, доказать их сходимость по моментам (в частности, среднеквадратическую) и найти скорость такой сходимости. Общий подход к оцениванию функционалов с особенностями, предложенный Г.М. Кошкиным, тем не менее, предполагает приложение значительных усилий по нахождению условий сходимости для каждого конкретного характеризационного функционала. Ниже будут приведены основные результаты, полученные при доказательстве сред-неквадратической сходимости и отыскании скорости сходимости для

Ф(х)

/(х) :

/Дг(х

оценки функционала (2.7), представляющего собой оценку вектора логарифмических производных многомерной плотности.

Для формулировки основной теоремы необходимо ввести следующие определения. Пусть i/v = {f-iN, ■■•/¿sjv) ~ векторная статистика с компонентами tjN - tjN(x) = tjN(x; Xi,..., Хм), x £ Rj = TTs; ||ijv|| = = y/iiN + ••• + - евклидова норма вектора ijv i t = i(x) = (ti(x), tn(x)) - ограниченная вектор-функция; My||ijv|| = Е\\Ьм-t\\v - момент порядка и нормы отклонения оценки In (ж) от функции t(x) в точке х .

Введем в рассмотрение векторную функцию H(t) : Rs Rr и сложную функцию

H(t) = H(t{x)) : R( —> Rs, где (2.8)

t = t(e) :R' ~»Rs. (2.9)

С помощью выражений (2.8) и (2.9) описываются многие статистики и, в частности, статистика в виде отношения, входящая в формулу (2.7). В качестве оценки для (2.8) в произвольной точке igR' возьмем статистику подстановки

H(tN) = H{tN{x)), (2.10)

для которой момент отклонения порядка и задается формулой

Mu(H(tN)) = E||#(fjv) - ЯСОН". (2.11)

При определенных условиях гладкости функции #(•) свойства сходимости по распределению, по вероятности, с вероятностью 1 для ttf оказываются справедливыми для оценки подстановки H(tдг) . Задача усложняется при изучении асимптотического поведения моментов отклонений статистики -#(iw) , что связано с возможной неограниченностью H(tff) в некоторых точках, как это имеет место в статистике (2.7). Один из способов разрешения этой проблемы состоит в использовании для H(t}\г) кусочно-гладкой аппроксимации вида

H(tN,SN) = п , х.-и^-ЛПгчр, Г > 0, /> > 0, рг £ 1, > 0. (2.12)

(1 + <Ч1#М1П'

Определение 2.1. Функция Н(г) : Rs —> Rг принадлежит классу Ку^(г) , если функция Н(г) и все частные производные ее компонент до и -го порядка включительно непрерывны в точке г ; Н(г) £ ЭДу^^'), если указанные свойства Н{г) выполняются для всех 2 6 Е1

Определение 2.2. Ядерная функция К (и) принадлежит, классу ДМ, г — 0,1, = А, если sup„ |Л'(г)(")| < / l#(r)(«)l du < J K(u)du = 1; К (и) е л£г), если К (и) е Аи К (и) удовлетворяет, дополнительным условиям f K(u)\du < оо, Tj = fu3K{u) du = О, 3 = 1^7=1.

Выбор вместо H(tN) "регуляризованного" приближения (2.12) позволяет получить не только сходимость по моментам H(tpf,SN) к H(t), но и оценить скорость сходимости оценки. Из (2.6) следует, что в рассматриваемом случае

ггм т ^ _ t ft \ V»n/(x) 1 (Щ*) 5/(х)-\ H(t) = Ф(х) = In/(*) = -щ- = щ (^рр . • ■■, ,

где Hi(t) = tf/tuh = Дх) , a f = 6f(x)/dxl$,i = T^.

Введем следующие улучшенные (по сравнению со стандартными оценками подстановки) по скорости сходимости их СКО ядерные оценки градиента логарифма плотности (минимизация СКО производится по /ijv):

*Й?М = v..AT"+amlM/$. М. (2ЛЗ)

(/+2)1/ (/ + 2)1/ m = 2 — -—2/"' ^ ~ —21 '''' '_~ • • • ' гДе в знаменателе

- улучшенная / -мерная оценка плотности распределения с мультипликативным ядром (2.2), где К(и) € Ли , что означает равенство нулю всех четных и нечетных моментов одномерных ядер К(-) до (v — 1) -го порядка включительно, причем наименьшее v, с которого начинается улучшение скорости сходимости, равно 4. Индекс "О" у переменных соответствует оптимальному выбору коэффициента размытости /гjv,о , минимизирующему СКО оценки плотности. В числителе

[t^+2т](]_ 1 Л fx-X(t)\

является улучшенной оценкой градиента плотности, и одномерные ядра К, образующие мультипликативное ядро К, здесь уже выбираются из класса Лг±а„+2т для того, чтобы выровнять скорости сходимости числителя и знаменателя оценки (2.13). Регуляризованный вариант оценки, соответствующий улучшенной оценке подстановки (2.13), записывается в виде:

=(1 + б*ты)\\т)>' г>0,р>0,гг*1,**>0. (2-14)

Ниже приводятся две теоремы, определяющие условия среднеквадрати-ческой сходимости и скорости сходимости для оценки (2.14).

Теорема 2.4. Пусть: 1) Ф(2) принадлежит >

2) Е||*л - ¿||2 = С2с1„\ N оо, 3) = Сй~м1. Тогда

Е||Ф(^,^) - Ф(*)||2 ^ 2{5[С£ шах(1, рт - 1)]2Е||% - Щ2 +

дН(я)

где Се = max{Ci,..., Cs} - постоянная, причем С,- = sup

__zea OZi

i = l,s, a cr - радиус шара, содержащего точку z, внутри которого производные функции Н существуют и ограничены. При г > 2 можно взять р = 1. Таким образом, для сходимости в среднеквадратическом Флг,о к Ф требуется, чтобы вторые моменты отклонений статистик ti и =1,г, стремились к нулю со скоростью 1 /cíjsr, djv = Nd2™ t 00 • Именно эти факты вытекают из теорем 2.1 и 2.2, сформулированных в первой части этого раздела.

Оценки V*n/jv,¿ "+2m](x) и /]^0(х) в (2.13) имеют одинаковые порядки сходимости лг-2^/(2у+0 Их оптимальных СКО; при 2- ^

^ га < 0 оптимальная СКО числителя оценки (2.13) сходится к нулю медленнее оптимальной СКО знаменателя, а при m > 0 - наоборот. Сказанное выше приводит к необходимости рассматривать три вида оценок Ф^т0<0} (х), ФЙГ0} (х), Ф^т0>0} (х) и три вида соответствующих кусочно-гладких аппроксимаций Ф^10<0^(х), ф|^10_0^(х), Ф^"0>0^(х) .

ш,

у/2

Введем обозначения, используемые в следующей теореме:

ы-Иг ^/(х) г Ы(Ю ЛЛ-fc.lv в^т (*) Ъ ему1"' ^/2 Iх) -

а/(х)

Условимся, что смысл нижнего индекса [у] у величин, зависящих от (и), состоит в том, что

А'(и) € Л19\ д = 0,1. Обозначим

ш

(10 у/2

<Эи = <^/2 (^и)" .

1/(2у+/+2)

1/(2у+0

РИ ~

Л'

АИ

л ч ^у-г'-г^; /■

зл^-1^!) (г^вй0) , ЛМ(1) = /(х) J к»л,

],Ь)(1) = /(х) I К^(ч)К(1>Ци)с1и, ; = !,...,/.

и'

Следующая теорема определяет скорость сходимости и константу сходимости градиента логарифма многомерной плотности. При этом рассматривается поточечная сходимость. Переход к равномерной метрике приводит к дополнительным ограничениям на непараметрические свойства плотности и ее производной типа равномерной непрерывности на всем пространстве.

Теорема 2.5. Пусть

1) {Хл}п^,Хп€П1 —стационарная с.п. последовательность, коэффициент перемешивания которой удовлетворяет условию

оо

/ г2Иг)]

2+-/с1т < оо, 7 > 0;

2) /(х), У*„/(х) € Дх) > 0 абсолютно непрерывна на

Л1, I = пг и вир /(х) < оо, вир | Ух Дх)| < оо, вир

вир

д{хЫу

дЧ(х) <9(жМ)"

< оо,

< оо, т = 1,,,, , I, г = 1,...,/, V > 1 ;

3) 21-мерная плотность /i,r(x,y) равномерно по г > 1 ограничена в R21 ;

41 -мерная плотность fititi+jti+j+k(u, v,t, z) £ Л/о,4/(х,х,х,х), i,j, к ^ 1, i + j + к ^ щ

4) V«n/(*) # о;

5) 9 = 0,1 К (и) е lim |Ä'(u)| = 0, sup иК^(и)

|u|->oo u

^ < oo;

£

ß) ^ + —1x^4.0, r = 0,1;

/ (Ч^+Зт) \

7) 4то<0}(х) = о , 4то^0)(х) = О (лп А) .

Тогда скорость сходимости регуляризованных оценок Ф(-) для всех трех случаев определяется выражениями:

Цт N (i^j+sm+i + x) Е||ф0«}(х) _ ф(х)||2 = / —lern 1

ЛГ-+00

1 2

(/ + 2)v

ЕГ 'о/Г + гп-?>

"¿5 ' /2(*0 +

X + Ф2(х)ЛМ(1)//?М

' ' я(х) 1 т~0;

- Ф(х)])||2 = 7[дмФ(х)]2 ММ( 1)Ф2(х) ~ /2(х) + /?м/2(х) ' т>°'

Анализ результатов этой теоремы показывает, что за получение скорости сходимости оценок и константы сходимости приходится платить повышенными требованиями к существованию и ограниченности плотности и ее производных до определенного порядка. Кроме того, в данном конкретном случае для определения скорости сходимости в среднеквадратическом отношения градиента к самой плотности требу-

ется знание скорости сходимости уже четвертого момента отдельно для плотности и ее градиента. Перейдем к задачам обработки сигналов, в которых используются построенные непараметричёские оценки.

В третьей главе рассматривается классическая задача фильтрации полезного сигнала из смеси с помехой. Поскольку рассмотрение проводится в дискретном времени, то математической моделью полезного сигнала служит случайная последовательность £„ 6 К-"1, п ^ 1. Предполагается, что полезный сигнал в чистом виде (без помехи) никогда не наблюдается, так что восстановить его распределение по выборке невозможно. Поэтому в данном подхода считается, что распределение случайной последовательности неизвестно и, более того, не существует априорной информации о каком-либо конечно-параметрическом семействе распределений, которому могло бы принадлежать это распределение. Наблюдаемый процесс Хп £ 11г, п ^ 1 связан с полезным сигналом 5П известной условной плотностью наблюдений /(жп|ж™-1, в"). Требуется в момент времени п построить оптимальную или близкую к оптимальной оценку Зп по реализациям ж" = (ж1, ...,хп) процесса Х]1 = (X]., ...,Х„) . Известно, что условная плотность наблюдений содержит в себе два типа информации: 1) модель наблюдения и 2) распределение помехи т)п . Если /(ж„|ж"_1,в") = /(¡5„|«„), то это означает, что модель наблюдения является статической Хп = <р(Зп, т]п). Если /(ж„|гс"-1,в?) = f(xn\xl~1,sn) , то модель наблюдения Х„ = Ф(Х"~х, Т]п) является динамической. При этом предполагается, что распределение шума т]п — ф(Х, 5П) известно.

В настоящей работе рассматриваются как статические, так и динамические модели наблюдений, однако, основной упор делается на динамические модели, определяемые уравнением авторегрессии

£

=цп + ^2АМ(Хп-г-Цп) + Впг)п> (3.1)

«=1

в котором наблюдение Х„ в момент п явно зависит от одного или нескольких прошлых наблюдений = 1,Ь , а векторная функция

цп = м(5п) и матрицы = .ДМ(5П) и Вп — В(Зп) управляются ненаблюдаемым векторным марковским процессом 5П . Кроме того, класс возможных условных плотностей наблюдений ограничивается случаем, когда /(жп^"-1,я"-1) принадлежит семейству условно-экспонентных плотностей вида

/(ж„К,<:1) = С(зп-,х^1)Цхп]х^1)ехр{Тт(хпп-_1)д(вп)} (3.2)

при условии = хп~ь • Если случайный вектор 5П составлен из

компонент, имеющих вероятностный смысл (таких, как условное математическое ожидание, условная дисперсия и т.д.), то такая параметризация семейства (3.2) называется естественной. Однако, это же семейство допускает и более простую, так называемую каноническую параметризацию, когда в качестве параметра берется вектор вп = , линейно входящий в выражение под экспонентной. В этом случае

/Ы<~Л,вп) = С(вп]хпп21)Нхп1)ехр{ТТ(хЧ)вп} ,

где С - нормирующий сомножитель.

Идея построения алгоритма оценивания состоит в том, чтобы вместо процесса 5П оценивать процесс 1?п = (¡¿(Зп) , порождающий в семействе (3.2) более простую каноническую параметризацию. Затем оценку 5„ можно получить в виде с помощью обратной функ-

ции <2-1 , существование которой обязательно предполагается. Известно, что такой путь не является оптимальным в обычном смысле, но оказывается, что существует разумная функция потерь, в смысле которой данный способ оценивания является оптимальным.

Выберем для оценивания квадратическую функцию потерь

Ь (ип, 0„) = (г?п - *„)Т - ¿я) ■ (3.3)

Оптимальная байесовская оценка, минимизирующая функцию риска,

К = Яп^п) = Е (*„ - ¿„)Т (|?„ - 0п) , (3.4)

как известно, равна условному математическому ожиданию

¿п = Е,0п = Е[,?п|ХП, (3.5)

реализация которого при условии X"-1 = ж""*1 равна в„ = Е[$„|аг"].

Подстановка = (¡{Би) вместо 1?„ в (3.3) приводит к следующему выражению для функции потерь:

£(5„,5„) = [д(5„) - д(5„)]т[д(5„) -$(£„)]. (3.6)

Такая функция потерь удовлетворяет обычным условиям, накладываемым на функции потерь, а именно: 1) она обращаться в нуль при

§п ~ ¿>п и 2) она является неубывающей функцией некоторого, возможно неевклидова расстояния р(Зп,13п) между значением процесса 5„ и его оценкой Бп) , если в качестве такого расстояния выбрать

р($п,§п) =

На самом деле это расстояние является метрикой в пространстве сигнала (5'п). Таким образом, если для конкретной задачи функция потерь (3.6) имеет разумный физический смысл, то ею можно пользоваться, получая оптимальные оценки, минимизирующие функцию риска

т$п) - (?(5П)]Т[<Э(3П) - $(£„)]. (3.7)

Процедура минимизации функции риска (3.7) по ¿'п приводит к оптимальной оценке естественного параметра

5„ = (Г1 [ЕДО«)], (3.8)

которая выражается через оптимальную оценку канонического параметра (3,5). Следовательно, процедура вычисления оценки естественного параметра 5П через оценку канонического параметра является оптимальной с точки зрения критерия с функцией потерь (3.6), которая кроме обычных двух свойств, часто обладает некоторыми полезными специфическими особенностями.

По определению ЕГ[(5(5П)] равна (5(вп)'ш„(в„|а;")сгвп , где гип - апостериорная плотность вероятности. Поэтому основная трудность вычисления оптимальной оценки сосредоточена на определении апостериорной плотности вероятности ъип . Воспользовавшись рекуррентным уравнением Р.Л. Стратоновича для апостериорной плотности, а также тем, что условная плотность наблюдений выбирается из условно-экспонентного семейства (3.2), получаем уравнение оптимальной фильтрации в виде

П\хп~Ь+1)

где Т - матрица размера т х г с элементами г,^ = ЗТ,(ж")^дх„\

(г = 1,111, з = 1,г). В этом уравнении известные функции Ли Т зависят от всех наблюдений , что позволяет учесть динамику систем.

Особенность уравнения (3.9) состоит в том, что все входящие в него величины, кроме неизвестных Сд(§п), зависят только от характеристик наблюдаемого процесса Хп . Поскольку по условию распределение ненаблюдаемого процесса Зп неизвестно и, следовательно, рассчитать точно условную плотность наблюдений /(агп|ж"-1) невозможно, то предлагается в уравнении (3.9) заменить ее на непараметрическое приближение , построенное по достаточно длинной после-

довательности наблюдений со слабой зависимостью или серии таких наблюдений ^1(1),..., .Хп(г), г = 1, N : если эксперимент допускает повторение. Свойство слабой зависимости последовательности наблюдений следует из теоремы 1.1. Правая часть уравнения (3.9) распадается на две части

7.в Лп = ЦМ1 _ , (ЗЛО)

V М*п) ) Л®?) ЧК-1+г)

где первое слагаемое правой части является отношением градиента плотности вероятностей к самой плотности, а второе слагаемое - известная функция. Именно для этого отношения и предлагается строить сходящееся непараметрическое приближение. Это нетрудно сделать, воспользовавшись результатами теорем 2.3 и 2.4, которые определяют регуляризованные непараметрические оценки логарифмического градиента плотности, сходящиеся в среднеквадратическом поточечно или в равномерной метрике. Из теоремы 2.4 можно получить также скорость их сходимости. В результате подстановки в (3.10) вместо неизвестного логарифмического градиента плотности его регуляризованной непараметрической оценки (2.14) получается уравнение непараметрической фильтрации в виде:

П\хп-1+1)

В разделе 3.10 диссертации выводится уравнение для оценок некоторых нелинейных функций У(Зп) от компонентов полезного сигнала 5П = (Бп^,..., 5,п"^)т не путем подстановки оценки 5„ в качестве аргумента функции У(§п) , а непосредственно для самой функции ^(5„) . Примерами таких функций могут служить ^(5П) = Х^-^б'п^)2 или

уМ = ' . Первая функция имеет смысл суммарной мощности ненаблюдаемого сигнала, а вторая может быть использована для оценки

ковариационной связи между компонентами векторного сигнала. Кроме того, формулы для оценки этих функций необходимы для построения оценок среднеквадратических рисков в задаче фильтрации, которые определяют качество полученных оценок.

Пусть <3(5П) - векторная функция сигнала £„ . Введем матрицу V = (5<5Т и функцию потерь

ДддГ, ^ = 4г [(ддТ _ V_ Щ _ (д 12)

где V — симметрическая квадратная матрица оценок произведений фМ<3&], г,3 = 1, т. Минимизация риска с такой функцией потерь приводит к оценке

V = Е [<Р(5„)дт(5„)|®"], (3.13)

которая является условным средним матрицы . В предположении, что динамическая модель наблюдения укладывается в рамки условно-экспонентного семейства плотностей (3.2), а неизвестный полезный сигнал удовлетворяет лишь общему непараметрическому требованию стационарности и марковости, оптимальная оценка (3.13) удовлетворяет уравнению

7 00 = (утТ) ^(ТуТ) + ^ ' (ЗЛ4)

В уравнении (3.14) оптимальная матричная оценка V выражается через оптимальную оценку самого сигнала <2- Используя уравнение (3.9), слагаемое УУТ > зависящее от <5 , можно выразить через

характеристики наблюдаемого процесса Хп в следующей форме

УУТ {тт$) = ч) VI ({) = УУТ 1п ({) • (3.15)

В уравнениях (3.14), (3.15) в соответствии с концепцией эмпирического байесовского подхода оптимальная матричная оценка V снова выражается через характеристики только наблюдаемых случайных величин. Функции и заданы экспонентным семей-

ством, а плотность / = /(х^х^1) и выражения V/ = -1)

и У\7Т / = Чхп У®„ 1{хп |Ж1_1) должны оцениваться с помощью непараметрических процедур.

В разделе 3.11 рассматривается задача построения непараметрических оценок фильтрации по одной достаточно длинной реализации наблюдаемого процесса, Из формулы (2.1) следует, что для построения непараметрической ядерной оценки плотности необходимо иметь N отрезков (серий) реализаций длины п процесса Хп , быть может, слабо зависимых друг от друга. Если эксперимент допускает повторение в идентичных условиях, то, естественно, отрезки х"(1), ...¡хЦИ) следует брать из N повторных опытов. Однако, на практике часто имеется возможность проведения лишь одного опыта и наблюдения лишь одной, но достаточно длинной реализации ж" процесса Хп . В этом случае непосредственно пользоваться формулой (2.1) нельзя. Получение нескольких отрезков реализаций наблюдаемого процесса можно обеспечить, используя свойство слабой зависимости.

Условная плотность вероятности /(жп|х"_1) , входящая в уравнение (3,9), для процессов с с.п. существенно зависит не от всех наблюдений ж"-1, а только от их части, скажем, длины г, т.е. от жп1г) 0 ^ г ^ п — 1 , причем будем считать, что при г = 0 наблюдения независимы, т.е. /(жп|аг"-1) = /(хп).

Таким образом, условную плотность f(xn\x1~1) с некоторой ошибкой можно заменить "урезанной" плотностью которая по определению равна /(а;£_т)//(ж"1*) . Непараметрическую оценку плотности с относительно небольшой фиксированной размерностью аргумента по единственной достаточно длинной реализации случайного процесса можно производить стандартным образом. В работе предлагается критерий, согласно которому следует выбирать длину т зоны зависимости, т.е. длину отрезков реализаций, используемых в непараметрических оценках, аппроксимирующих условную плотность в (3.9).

В работе принимается следующий способ разбиения наблюдаемой реализации х" : к -я выборка совпадает с отрезком реализации хк+Т, последний отрезок используется в каче-

стве аргумента функции ///(■) в (3.9), где N = ?1 — г — 1.

Каждому г соответствует своя эмпирическая оценка N = п — т-1 . Для выяснения соотношений между эмпирическими оценками при различных т рассмотрим три оценки: оптимальную оценку > "урезанную" оптимальную оценку т£„ , построенную по реализации ж"_т длины г + 1 , и эмпирическую "урезанную" оценку т5П]дг. Риски, отвечающие каждой из этих оценок, обозначим соответственно Я°п = Д(5„) , = ЩтЗп) и тЯП1м = Л(Т5„Л) . Риск , отвечаю-

щий оптимальной оценке, минимален, ариек тЯп^ эмпирической "урезанной" оценки т§п^ больше двух других. Разность рисков тЯп^~Я° характеризует средние потери от замены оптимальной оценки 5„ эмпирической "урезанной" оценкой Г5'п,дг. Представим эту разность в виде двух слагаемых:

тЯп,м - Я°п = (гЯп,м -т Я°п) + (тЯ°п - Я°п) (3.16)

При г ->■ п -1 Т5П -> §п и -)• , так что второе слагаемое уменьшается, а первое возрастает, так как уменьшается число N векторных выборок, по которым строится непараметрическая оценка "урезанной" условной плотности. При г —>■ 0 , наоборот, возрастает второе слагаемое за счет плохого учета зависимости в наблюдениях, а первое убывает из-за улучшения точности непараметрического оценивания. Значение г0 = то(п), при котором разность рисков (3.16) минимальна, принимается в качестве длины зоны зависимости. Если минимум разности (3.16) достигается на некотором множестве {г}п значений г, то г0(п) определяется как тш[г : г 6 {т}„].

Кроме такого критерия рассматривается его асимптотический эквивалент при п —> оо . В этом случае для слабозависимых процессов при N оо первое слагаемое в правой части (3.16) стремится к нулю при любом конечном т , так что асимптотически при N—¥00 качество эмпирической "урезанной" оценки т5П:дг определяется только вторым слагаемым, т.е. близостью оптимального 5П и "урезанного" оптимального т5п решающих правил. Задав некоторое е > 0 , можно вычислить такое минимальное г0, что ТЯ° - Я0 = Нтп_юо(тЛ° — Л°) ^ е для всех г ^ г0. Такое го и выбирается в качестве длины зоны зависимости по асимптотическому критерию.

Эмпирическую "урезанную" оценку То5„д, N = п — то — 1, соответствующую таким образом полученному значению го , будем называть асимптотически е -оптимальной непараметрической оценкой. Ее качество при больших п будет отличаться от качества оптимальной байесовской оценки не более, чем на заданное е > 0 .

Полезной модификацией асимптотического критерия является критерий, основанный на вычислении относительного приращения предельного риска "урезанной" оптимальной оценки ТД° . При т = п — 1 риск ТЯ° совпадает с оптимальным риском Я0 , а при т = 0 разность — Я0 =° — Я0 определяет наибольшее различие рисков. Тогда

отношение

ТДО _ (п-1^0 0Д0 _ (п-1^0

(3.17)

характеризует относительную близость используемой оценки к оптимальной при заданной степени зависимости г. Заметим,что0 ^ 8Т ^ 1, так что близость к оптимальной оценке можно вычислять в процентах.

Первые две формы критериев выбора го можно использовать лишь в задачах анализа свойств эмпирических оценок, когда при полностью известных статистических характеристиках сигналов удается построить оптимальную оценку и вычислить соответствующий ей риск. Третий критерий 6Г формально зависит лишь от свойств "урезанных" оценок и может быть при больших п приближенно вычислен в реальной ситуации, когда оптимальную процедуру построить нельзя. Критерий (3.17) выражается через математические ожидания от квадратов оценок, которые непосредственно вычисляются в задаче:

Задаваясь некоторым е > 0 (т.е. относительной точностью приближения к оптимальному правилу), получаем выражение для длины зоны зависимости в следующем виде:

6 = ЕОТ""1^)^""1^»)] ~ Е[дтГ5п)0(г5п)]

(3.18)

го = тш{г : 6Т ^ е}.

(3.19)

1.0

0.5

е

-т-. . ^..^яиц-

1 2 3-1 5 6 7 8

г

Таблица 1: Длина зоны зависимости по критерию 6Т

а 0,5 0,8 0,95

то 1 3 5

На рис. 1 представлены графики критерия 6Т как функции от длины зоны зависимости т для трех случаев, когда ненаблюдаемые сигналы 1?„ обладают различной корреляцией а = 0.95,0.8,0.5 (эти параметры при вычислении графиков не учитываются). При е' = 0.05 для каждого случая получается своя длина зоны зависимости, приведенная в таблице 1, Результаты моделирования означают, что с относительной точностью в 5% условная плотность /(¡сп|ж"-1) может быть заменена на "урезанную" плотностью /(а:п|а:£1*) , где для каждого процесса г берется из таблицы 1.

Приведенный критерий является, по-существу, критерием приближения немарковского процесса марковским процессом, связность которого совпадает с минимальной длиной зоны зависимости то . С другой стороны, этот критерий можно рассматривать как критерий выбора размерности непараметрической модели аналогично тому, как выбирается размерность параметрических моделей или порядок авторегрессионных уравнений.

Четвертая глава посвящена непараметрическим методам интерполяции случайных последовательностей с неизвестным распределением. Для построения оптимальных по среднеквадратическому критерию оценок интерполяции достаточно уметь вычислять апостериорные плотности вероятности я^в*!®"), 1 ^ к ^ п, которые удовлетворяют известному реккурентному уравнению. Симметризованный вариант такого уравнения записывается в виде

^ -• (4.1)

В этом уравнении интерполяционная плотность полезного сигнала тт*, выражается через произведение двух фильтрационных апостериорных плотностей ю/, я й/, в прямом и обратном времени соответственно. Каждая из плотностей -Шк и -ш^ вычисляется рекуррентно, начиная с разных концов реализации я" , а результаты перемножаются для получения значения тгк ■

Уравнение (4.1) в том виде, как оно записано, справедливо как для статических, так и для динамических моделей наблюдения. В последнем случае к уравнению (4.1) необходимо добавить рекуррентный пересчет знаменателя в соответствии с уравнением

Д®п,вп) =

Рекуррентные уравнения (5.1) и (5.2) являются отправной точкой при построении нерекуррентного уравнения для оценки оптимальной интерполяции С}(Зп) = f^SkjQ(sk)кk(sk\xl)ds|t в случае, когда распределение полезного сигнала Зп неизвестно и апостериорные вероятности вычислить нельзя. Ограничиваясь снова семейством условно-экспонентных плотностей наблюдения, получаем уравнение для оптимальной оценки интерполяции в виде:

где Т - матрица с элементами д^/дху, г'=1,т, .7 = 1 ,г.

Уравнение для интерполяционной оценки имеет точно такую же форму, как и уравнение фильтрации (3.9), только условная плотность наблюдения хк берется при условии всех имеющихся наблюдений в обе стороны от к как в прошлое, так и в будущее.

Для решения задач построения оценки интерполяции по одной реализации векторного процесса Х„ € ]1г необходимо переходить к асимптотически е -оптимальной процедуре интерполяции, в которой вместо условной плотности /(аг^я" без хк) = /(я^а;*-1, ж£+1) рассматривав ется "урезанная" условная плотность /(хк\хк21, , где параметр т определяет связность марковского процесса, аппроксимирующего немарковский процесс Хп со слабой зависимостью. Критерии и методы поиска т, развитые в третьей главе применительно к фильтрации, полностью переносятся на задачи интерполяции. Поэтому для поиска длины зоны зависимости г при неизвестных характеристиках ненаблюдаемого сигнала 5П можно пользоваться критерием $т (3.17). Условную плотность ¡{хк\хкк2\>хкк'^_\) при этом можно представить в виде отно-

f{xn\xn-.l1 8п)1{хп-1,(4.2)

■п

/(хк\хЧ без хк) Цхк)

г-^ 1 — 1 т

(4.3)

шения

к+т\ _ /К-г)

- н к-1 А+гч

К

Л-1 г/е+т

Л-1 ~Н-г\>

где в числителе стоит (2т + 1) -мерная безусловная плотность, а в знаменателе 2т -мерная плотность наблюдений. Подставляя вместо этих плотностей непараметрические ядерные оценки (2.1), получим непараметрический аналог уравнения (4.3)

Интерпретация этого уравнения очень наглядна. Для построения оценки интерполяции в точке к используются данные, отстоящие слева и справа от к Не больше, чем на г , причем чем больше г, (т.е. чем больше используемых данных), тем труднее вычислять оценку, но тем ближе она к оптимальной, полученной по полной статистической информации. В соответствии с теоремой 2.3 оценка ^^(¡в^^) сходится в среднеквадратическом к оптимальной "урезанной" оценке т5/с(ж{^), риск которой отличается от риска оптимальной байесовской оценки Бк не больше, чем на заданное е > 0 .

В пятой главе строятся оценки прогноза наблюдаемой и ненаблюдаемой компоненты стационарной случайной последовательности в условиях непараметрической неопределенности.

В разделе 5.1 решается задача прогноза наблюдаемой стационарной в узком смысле случайной последовательности Хп £ Иг,п ^ 1 на тп шагов вперед по наблюдениям ж™ до момента п включительно. Оптимальной в среднеквадратическом смысле оценкой прогноза заданной функции д{Хп+т) является условное математическое ожидание

где 1(хп+т ) - условная плотность наблюдений. Один из способов вычисления интеграла (5.1) в случае полностью неизвестных распределений процесса Хп состоит в подстановке вместо подынтегральной плотности /(жп+т|ж") ее непараметрического приближения /^(жп+т|ж"), построенного по реализации х" или серии таких реализаций. Однако, ввиду слишком длинного "хвоста" в условии плотности, возникает необходимость оценивания маргинальных плотностей

Тт(хМтКЫ) =

fN(xkktтт) 1гЫ

(4.4)

слишком большой размерности. Поэтому предлагается использовать "урезанные" плотности /(а;„+т|ж^_т) , приводящие к асимптотически е -оптимальным процедурам оценивания.

Как упоминалось в третьей главе, такие процедуры можно применять к стационарным процессам со слабой зависимостью, в частности, обладающих с.п. В этом случае оценку (5.1) заменяют на "урезанную" оценку

Г3п+т(^п-т) ~ j 3(!*:п+т)/(3:п+тп\%п—т)^3:п+т> (^-2)

(з-п+т)

которая представляет собой функционал от условной плотности наблюдений. Поэтому для ее вычисления можно использовать непараметрические оценки функционалов по зависимым наблюдениям, разработанные в гл. 4 монографии [18].

Функционал (5.2) представляет собой отношение двух базовых функционалов, /9{у)I{у\х)^У и /(х) , поэтому его оценку возьмем в виде отношения двух непараметрических оценок базовых функционалов

Е9(хп+т(г)) п птхА-х^т

х' = 1_к=0]-1_

е п п тм'А-^Ш)

¡=1 к=<и=1

которое построено по N случайным векторам

(Х„_т(г), Хп_,-+1(г), ...,Х„(г), Хп+т(1)), г = 1, Л/\

Особенность этой последовательности векторов состоит в том, что последний вектор последовательности сдвинут по отношению к предыдущему на ш шагов по времени и значение хп+гп случайной величины Хп+т к моменту п пока не существует. Поэтому, опираясь на свойство стационарности в узком смысле процесса Хп , сдвинем эту последовательность налево (в сторону уменьшающихся индексов) на т шагов и получим последовательность

{Хп-т-т(1),-,Хп-т{{),ХпЩ), » = Т7Ж

точно с такими же свойствами, как предыдущая. Такая последовательность уже полностью наблюдаема и путем последовательного сдвига налево получим N = п — т - т реализаций процесса Хп для подстановки

5.3

в непараметрическую оценку (5.3). В этом случае оценка функционала (5.3) принимает следующую форму:

га 1 _

</п+т,ЛЧжг1-т~т,/ —

П ПВД'Л-г^-«-»^))

_ <=1_А;—0 .7=1_

е п п вд1^.* -

¿=1 kssOj=l

где N — п-т — т . Структура получившейся оценки проста и понятна. Она представляет собой средневзвешенную величину Е>=о ап~г9п-% значений функции д(-) в точках п — г, удаляющихся с ростом г от оцениваемой точки в момент л -(- тп ; причем веса (Уп ~ т убывают, подчеркивая уменьшающийся вклад наблюдений хп-1 при увеличении расстояния от точки п.

Сходимость в среднеквадратическом регуляриэованного варианта (2.12) этой оценки к оптимальной "урезанной" оценке (5.2) обеспечивается теоремой 2.3.

В разделе 5.2 строится оценка прогноза ненаблюдаемой компоненты стационарной марковской последовательности (3П1ХП),П ^ 1, в которой ненаблюдаемая компонента 6 Ш" , обладающая свойством с.п., связана с наблюдением еЕ' с помощью условной плотности /(:с„ |х"""\вп) . Рассмотрим оптимальную в среднеквадратическом смысле оценку прогноза на т шагов вперед некоторой функции <р от процесса £„ . При этом предполагается, что <р не произвольна, а является функционалом типа

^(в«;^""1) = J д(хп)/(хп\хг{-1,8п)(1хп, (5.4)

где д(-) - заданная функция. В этом случае оказывается, что оптимальная оценка прогноза Е[9з(5П4-т|ж")] совпадает с оценкой прогноза (5.2) в случае одной наблюдаемой компоненты. Совпадение результатов прогноза наблюдаемой и ненаблюдаемой компонент стационарного процесса можно объяснить спецификой оцениваемой функции </?(,?„) , в которой на самом деле оценивается усредненная по 5П характеристика д(Хп) наблюдаемого

процесса, д^ , хотя онз. при к&ждом ть ззьвисит от

Во второй части раздела 5.2 рассматривается случай, когда в частично наблюдаемом марковском процессе (3П1Хп), п ^ 1, наблюдения Хп € В.г связаны с ненаблюдаемым процессом £ К"1 с помощью динамического уравнения авторегрессии

Хп = цп + Ап(Хп-1 - (1п) + Впг)п1 (5.5)

где цп - г -мерный вектор; Ап - матрица размера г X г; Вп -матрица размера г х г , а т]п - последовательность н.о.р.с. векторов. Здесь в общем случае полезный ненаблюдаемый сигнал Зп представляет собой тройку {¡лп,Ап, Вп).

Оптимальная оценка прогноза для модели (5.5) в предположении условной экспонентности наблюдений имеет вид

в*\т = Е0п+т|*?] =

Чхп+шКх\ *") ., „+т I г»ч

¿<1?- (5.6)

В случае, когда условная плотность наблюдений /(а;п|вп) описывает статическую связь между переменными хп и 5П , функции Л(-) и Т(-) зависят только от Хп . Поэтому многомерный интеграл в формуле (5.2.9) вырождается в одномерный, и оценка прогноза получается более простой:

(хп+т)

- к~1{хп+т) \7®„+т Н(хп+т)}(хп+т |ягу)]£га;п+т. (5.7)

Следует отметить, что получившаяся оценка прогноза ненаблюдаемой компоненты выражается явно только через функции от наблюдений х" . Именно это свойство оценки позволяет вычислить ее непараметрическое приближение, которое строится в два этапа. На первом этапе в условной плотности /(г^+Г!1?) избавляются от длинного "хвоста" х" , заменяя его на "урезанный хвост" х"_Т . Эту операцию можно производить в предположении с.п. наблюдаемого процесса Х„ (в силу теоремы 1.1). Оценку прогноза, полученную таким образом, будем

"рос. национальная]

БИБЛИОТЕКА (¡.Петербург ' 08 300 а»т ___\

называть оптимальной "урезанной" оценкой прогноза:

(Яп+т)

~ 1г-1(хп+гп)'уХп+т }г(хп+т)/(хп+гп\х™_Т)](1хп+т. (5.8)

Здесь параметр г выбирается так, чтобы риск такой оценки отличался от риска оптимальной оценки не больше, чем на е > 0 . Структура получающейся ядерной оценки аналогична структуре оценки (5,3) в виде отношения, однако выражения, стоящие в числителе и знаменателе значительно сложнее. Как было отмечено выше, оценки в виде отношения являются неустойчивыми. Поэтому применение регуляризо-ванных оценок (2.12) в данном случае оказывается эффективным, позволяя получать не только сходимость в среднеквадратическом, но и скорость такой сходимости.

В шестой главе приведены результаты по непараметрическому оцениванию рисков в задачах обработки сигналов.

Общепринятой характеристикой оценки в теории статистических решений является риск оценки или средние потери от ее использования. Поскольку риск оптимальной оценки минимален, то любую оценку естественно считать хорошей, если ее риск близок к минимальному. Однако, риски оценок в общем случае нельзя вычислить без знания априорных характеристик ненаблюдаемого сигнала. Здесь для принятого в работе класса условий (неизвестное априорное распределение полезного сигнала и условно-экспонентное семейство условных плотностей наблюдения) предлагается метод оценки рисков, не требующий знания априорных характеристик ненаблюдаемого процесса. При больших размерах выборки эти оценки дают представление об истинных значениях рисков используемых оценок.

Пусть 6п = <У„(ж") - некоторая оценка борелевской функции от сигнала <Э(5„), а = = Я{Бп) - оптимальная байесовская оцен-

ка. Качество первой оценки определяется риском Яп = = Е||<?п - <5(5„)||2, а качество оптимальной оценки - минимальным байесовским риском = Е||£° - <5(5„)||2 . Разность рисков

Дп-Я° =Е||*„-0|2 (6.1)

от ненаблюдаемой величины <5(5П) не зависит.

В разделе 6.2. выводится формула эмпирического риска для задачи фильтрации. Представим формулу (6.1) в другом виде:

(6.2)

Из (6.2) видно, что риск произвольной оценки составлен из суммы байесовского риска и добавки в виде математического ожидания от квадрата нормы разности оценок. Оценка квадрата нормы разности дана в теореме 2.4, а выражение для байесовского риска в предположении (3.2) условной экспонентности наблюдений динамических систем (3.1.) имеет следующий компактный вид:

(6.3)

<*Г)

Из этой формулы видно, что риск не зависит явно от характеристик ненаблюдаемого процесса 5П . Однако воспользоваться этой формулой можно, если сделать ее менее компактной, т.е. вставить в нее выражение для градиента от оптимальной оценки, полученное из уравнения фильтрации (3.9). Тогда подынтегральное выражение (6.3) будет зависеть только от известных функций Т и Л и плотности наблюдаемых величин /(ж"):

и(тт)+ъят =

= ЦГТ)+ ь Л Г++1г(Гт)+утЬ

/ д

д

т+

\ д-л

[г]

т+

/

Байесовский риск (6.3) является математическим ожиданием случайной величины

(6.4)

и поскольку вес /(¡с") и оптимальная оценка (^„{х") не известны, то их заменяют на непараметрические приближения /лг(ж?) и Оп.тЛ®") > построенные по N реализациям х1(к),к = а интегралы заме-

няют па среднее арифметическое по числу М таких отдельных статистических экспериментов. В результате эмпирическую формулу для

оптимального риска (6.3) можно представить в виде:

1 м г x 1 ©

Ям = ^ £ ^[(^№"(0)) V». (0)] , (6.5)

где аргументом функции является вектор в 1-ом экспери-

менте, а [£]® = £ V 0 . Назовем оценки Ям эмпирическими оценками рисков.

Эмпирическая оценка риска для задачи интерполяции приводится в разделе 6.3. Поскольку уравнения (3.9) для фильтрационных оценок и (4.3) для интерполяционных оценок различаются только видом условной плотности наблюдений / , то следует ожидать совпадения форм рисков в задачах фильтрации и интерполяции. Действительно, байесовский риск в задаче интерполяции записывается как

Д($) = 1г I (6.6)

где = Я{§к) определяется уравнением (4.3). Форма эмпирического риска ничем не отличается от (6.4) кроме использования оценок интерполяции вместо фильтрации.

Оценка риска в задачах прогноза дается в разделе 6.4. Здесь приводится наиболее сложный случай прогноза ненаблюдаемой компоненты $п+т = <Э(5п+т) марковского процесса рГп,5„) на т шагов вперед. Оптимальный риск с квадратической функцией потерь с учетом условной экспонентности наблюдений представляется в виде суммы трех слагаемых

я** = ь{Е[дп+тётп+т} +

+ Е[(Гт№1"+'") (^+т(хг+т))] - Е[е+т^г+т]}-

Здесь первое и второе слагаемые зависят от математического ожидания фильтрационных оценок в момент п + т . Переход к риску от " урезанных" оптимальных оценок приводит к выражению

ТР» = +

+ Е[(ТТ) + (К-г) V«. - ЕГ^Г+тТ^Г+т]}. (6.7)

в котором в силу стационарности наблюдений индексы сдвинуты назад во времени на т шагов без изменения величины риска.

Стационарность и эргодичность наблюдений позволяет заменить математические ожидания в (6.7) на сходящиеся к ним средние арифметические по числу реализаций ж" , полученных из одной и той же генеральной совокупности. Переходя в (6.7) к выборочным средним, получаем следующую непараметрическую оценку риска в задаче прогноза:

м ¿=1

(6.8)

где [£]® = £ V 0; оценка фильтрации г$„,лг определяется уравнением (3.9); оценка прогноза вычисляется по формуле (5.8), а

V-. (тКМхп-гШ =

Если в последнем выражении логарифмический градиент плотности в силу его неустойчивости заменить регуляризованными непараметрическими оценками, то можно получить среднеквадратическую сходимость оценок рисков к "урезанным" оптимальным рискам, отличающимся на заданное е > 0 от оптимального байесовского риска.

Свойство сходимости эмпирических оценок рисков позволяет на практике решать задачи выбора не только длины зоны зависимости г (или степени связности марковского приближения) наблюдаемого немарковского процесса Хп,п ^ 1 со слабой зависимостью, но и указывать длину реализации п = пт , при которой риск "урезанной" непараметрической оценки будет отличаться от риска оптимальной оценки по критерию 5Т не более, чем на заданное г > О . Таким образом, знание пары параметров (т,пт) позволяет строить по реализации наблюдаемого процесса х" непараметрические процедуры обработки сигналов с неизвестным распределением с заданной точностью и конечной глубины памяти. В работе предлагается алгоритм одновременного отыскания (г, пт) с использованием критерия 6Т , определяемого формулой (3.17).

В седьмой главе рассмотрены задачи фильтрации и интерпо-ляциии марковских цепей дп с конечным множеством состояний N = = {1,..., Ь] . Предположение о конечности числа состояний позволяет снять основное ограничение предыдущих глав - экспонентность условной плотности наблюдений Хп , а также расширить динамическую модель наблюдений (3.1) до уравнения вида

Хп = р(Хп-1,дп) + В{Хп-и К)г]п, (7.1)

где т]п - последовательность н.о.р.с.в. с известной функцией распределения, а функции и В удовлетворяют определенным условиям роста, обеспечивающим стационарность и эргодичность наблюдений Хп . Уравнение (7.1) описывает процесс, свойства которого изменяются в случайные моменты времени, управляемые марковской цепью , причем статистика переключений, определяемая матрицей переходных вероятностей этой цепи, не известна. В рамках этих условий ниже будут приведены уравнения для оптимальных оценок Ьп по наблюдениям ж" (фильтрация) и оценок по наблюдениям а(интерполяция).

Вопрос о слабой зависимости наблюдений Хп в общей модели (7.1) пока что остается открытым. Для частной модели (3.1), управляемой конечнозначной марковской цепью, свойство с.п. наблюдений вытекает из теоремы 1.1. Это дает уверенность в том, что множество процессов со слабой зависимостью, описываемое уравнением (7.1), по крайней мере непусто, поэтому имеет смысл развивать для них методы непараметрического оценивания.

Пусть задан частично наблюдаемый марковский процесс (дп, Хп), где - ненаблюдаемая однородная марковская цепь с конечным множеством состояний N , а Хп - наблюдаемый процесс, описываемый уравнением (7.1). Требуется при каждом п построить оптимальную оценку в смысле минимума риска с простой функцией потерь

Для такой функции потерь оптимальной оценкой является функция

= англах Р{т?п = ш|ЛГ"} (7.3)

т

где Р{$п — т|Х"} - апостериорная вероятность значения 1?„ = т при условии а -алгебры, образованной случайными величинами X" до

момента п включительно. Обозначим реализацию этой апостериорной вероятности при условии = х" через

гип(гп) = шп(тК) = = т\Х? = (7.4)

Тогда для и)п(т) справедливо уравнение преобразования апостериорных вероятностей, которое для конечнозначных марковских цепей выглядит следующим образом:

ып{т) = , -г-Р{г?„ = т|0„_1 = Лшп-10), (7-5)

] \Хп |1П- 1) ,=1

где Р(-|') - переходная вероятность однородной марковской цепи дп за один шаг, а /(жп|жп_1,= т) - известная условная плотность наблюдений Хп (не обязательно условно-экспонентная), описываемых уравнением (7.1). В работе предполагается, что априорное распределение вероятностей значений марковской цепи дп и матрица переходных вероятностей, неизвестны. Вместо них считаются заданными такие непараметрические характеристики, как стационарность и эргодичность марковской цепи 19п .

Без знания априорных и переходных вероятностей марковской цепи 1?п для вычисления апостериорных вероятностей (7.4) рекуррентным уравнением (7.5) воспользоваться нельзя. Поэтому в работе выводится система уравнений относительно апостериорных вероятностей, в которую неизвестные априорные характеристики не входят. В этом и состоит применение эмпирического байесовского подхода к рассматриваемой задаче. Введем обозначения:

ь

ип(т) = = т|1?„_1 = ;>п-1(«?п_1 = У). (7-6)

/т = /т(хп) = 1{хп\хп-1,1?п = т),

и заметим, что величины ип(т), т = 1, Ь , содержащие в себе всю априорную информацию о марковской цепи ■дп , пропорциональны неизвестным апостериорным вероятностям. Относительно этих величин справедлива система линейных уравнений

Р«„ = /Г, (7.7)

Е =

( 1 1 1 \

/1 л /2 ' /а ' • Л • л

ЛЬ-2) 12 •

- матрица с элементами

с!к

^ ~~ йхк

/" = (1, /1 /(1), f(L~2)yI' - вектор производных от условной плотности наблюдений /(жп|а;"-1), а ип = (ип(1),..., ип(£))т - вектор неизвестных.

В таком виде система уравнений (7.7) зависит от характеристик только наблюдаемых величин, а именно от (неизвестной) условной плотности наблюдений f(xn\x1~~1) и Ь — 2 ее производных. Переход к непараметрическим оценкам производится стандартным образом.

Риск в задаче оценивания состояний марковской цепи имет смысл вероятности ошибки при принятии решения о том, что $п=т . Эмпирической оценкой этого риска служит выражение

тЬМ _ 1

яп,ЛГ — 1 '

1 М Ь

м

(7.8)

1=1 т=1

в котором область тЛт,дг выборочного пространства определяется как

тЛт,лг = {ж? :ТюП1^(т) >

> тах[Тш„,^(1)) ...,Тюп<ы{т- 1),Тгип,лг(т + 1), ...,Т■и)п^Щ}}.

Основой подхода к задаче интерполяции марковской цепи с неизвестными априорными характеристиками является уравнение (4.1), в котором апостериорные вероятности и>ь и й>к состояния марковской цепи в прямом и обратном времени удовлетворяют рекуррентным уравнениям типа (7.5). Эти две вероятности порождают два уравнения относительно величин гц. и Ук , пропорциональных и>к и й>к соответственно:

(7.9)

л* = (^/ы**-1), . •

д» = (1, /м4+1), ¿л«*!®?, •..,

Для условных плотностей вероятности наблюдений /(ж^ж*-1) и ¡(хк 1^2+1) в прямом и обратном времени и их производных ввиду неизвестности следует строить непараметрические приближения по схеме, изложенной в данной работе.

Проблема обнаружения и оценивания моментов изменения свойств случайных процессов в условиях неизвестных статистических характеристик переключения может быть решена с помощью уравнений, полученных в седьмой главе.

Рассмотрим решение этой задачи на примере авторегрессионной модели наблюдений

Хп = + - + В(К)г]п, (7.10)

где коэффициенты А и В управляются марковской цепью с двумя состояниями {1,2} ,а т)п - гауссовские н.о.р.с.в.

Представляет интерес сравнить два способа оценивания моментов изменения свойств (фильтрационный и интерполяционный), о которых говорилось выше. В случае фильтрационной оценки марковской цепи дп с двумя состояниями решающая функция для дихотомического случая сводится к отношению апостериорных вероятностей

г™/е,лг(1) _ /1/2 - Л/дг

/г/лг — /1/2'

откуда асимптотически е -оптимальная процедура оценивания состояния марковской цепи по наблюдениям ж£_т принимает вид

(г.ЛГ

Г 1, если 2/1 /а/(/1 + /а)>Лг, (7 ш

\ 2, в противном случае. ' ^ ' '

где Л и /2 - две известные плотности вероятности, описывающие два состояния наблюдаемого процесса Хк , а /м = /(ж/с~ непараметрическая оценка неизвестной условной плотности наблюдений.

В случае интерполяционной оценки асимптотически е -оптимальная процедура оценивания состояния марковской цепи по наблюдениям принимает вид

/

1, если 5{хк+_тт) =

Т,

= <

Р 2,ЛГ

Р 1,ЛГ

2, в противном случае.

(7.12)

Отметим, что статистика 6(хкпредставляет собой усложненный аналог отношения правдоподобия, в котором первый сомножитель является в точности отношением правдоподобия при наблюдении переменной Хк , второй сомножитель определяется фильтрацией в прямом времени и зависит от переменных до момента к , а третий сомножитель определяется фильтрацией в обратном времени и зависит от наблюдаемых переменных после момента к .

На защиту автором выносятся следующие основные

положения.

1. Условия сильного перемешивания процессов, удовлетворяющих уравнению авторегрессии с коэффициентами, управляемыми стационарным марковским процессом.

2. Теоремы о среднеквадратической сходимости непараметрических ядерных оценок многомерной плотности вероятности и ее частных производных в равномерной метрике по выборке из стационарного процесса с сильным перемешиванием.

3. Способ описания динамических систем наблюдения с помощью распределений из условно-экспонентного семейства, позволивший получить уравнения оптимальной обработки сигналов.

4. Уравнения оптимальной нелинейной фильтрации, интерполяции и прогноза частично наблюдаемых марковских случайных последовательностей, порождаемых динамическими системами авторегрессионного типа. Непараметрические аналоги уравнений оптимальной обработки сигналов.

5. Непараметрическое оценивание рисков в задачах фильтрации, интерполяции и прогноза марковских случайных последовательностей.

6. Процедура асимптотически б—оптимальной фильтрации, позволяющая аппроксимировать по определенному критерию немарковский процесс наблюдения марковским соответствующей связности и за-

тем находить непараметрические оценки полезного сигнала по одной достаточно длинной реализации наблюдемого процесса,

7. Уравнения оптимальной фильтрации и интерполяции конечно-значных марковских цепей в динамических системах общего вида и их непараметрические эквиваленты. Непараметрический вариант задачи об оценивании моментов изменения свойств случайных процессов. Основные результаты диссертации опубликованы в работах:

1. Веретенников А.Ю., Добровидов A.B., Пакшин П.В. Условия эргодичности и перемешивания марковских процессов в задачах непараметрической фильтрации // Автоматика и телемеханика. 1991. 10. С. 36-45.

2. Гинсберг К.С., Бунич A.JL, Добровидов A.B. и др. SICPRO'2000. Аналитический отчет. // Труды международной конференции "Идентификация систем и задачи управления". Москва, 29-31 января 2003.

3. Гришин М.В., Добровидов A.B. Оценивание скачкообразных процессов при неполной информации // Автоматика и телемеханика. 1983. 11. С. 64-71.

4. Добровидов A.B. Самообучающийся алгоритм асимптотически оптимальной фильтрации случайных сигналов с неизвестным априорным распределением // Проблемы управления и теории информации. 1971. Т. 1. 2. С. 163-176.

5. Добровидов A.B. Об одном алгоритме непараметрической оценки случайного многомерного сигнала // Автоматика и телемеханика. 1971. 2. С. 88-99.

6. Добровидов A.B. Непараметрическая оценка оптимального байесовского риска в задачах фильтрации случайных сигналов // Автоматика и телемеханика. 1971. 10. С. 51-56.

7. Добровидов A.B. Подход к задачам принятия решений в условиях статистической неопределенности // Автоматика и телемеханика. 1976. 5. С. 90-95.

8. Добровидов A.B. Непараметрические методы нелинейной фильтрации стационарных случайных последовательностей // Автоматика и телемеханика. 1983. 6. С. 85-98.

9. Добровидов А.В, Асимптотически е-оптимальная непараметрическая процедура нелинейной фильтрации стационарных последовательностей с неизвестными статистическими характеристиками // Автоматика и телемеханика. 1984. 12. С. 40-49.

10. Добровидов A.B. Определение вероятностных характеристик ненаблюдаемого случайного сигнала // Докл. 3 Всес. совещания по статистическим методам в процессах управления, г. Вильнюс. 1973. С. 161-163.

11. Добровидов A.B. Непараметрические приближения конечномерных распределений строго стационарных эргодических последовательностей // Докл. 4 Всес. совещания по статистическим методам теории управления. Фрунзе. 1978. С.154-155.

12. Добровидов A.B. Непараметрический метод прогноза ненаблюдаемой компоненты марковской случайной последовательности //5 Всес. совещание по статистическим методам в процессах управления. Тезисы докл. Алма-Ата. 1981. С. 108-110.

13. Добровидов A.B. Непараметрические методы фильтрации и экстраполяции случайных последовательностей // Докл. 3 Всес. школы-семинара по непараметрическим и робастным методам статистики в кибернетике. Дивногорск, 1981. 4.1. С. 119-129.

14. Добровидов A.B. Непараметрические методы в задачах статистики случайных процессов // Докл. 5 Всес. школы-семинара по непараметрическим и робастным методам статистики в кибернетике. Томск, 1985 . 4.1. С.20-25.

15. Добровидов A.B. Непараметрические методы выделения скачкообразных марковских процессов. Труды Института проблем упра-ления. Т.З. 1999. С. 166-176.

16. Добровидов A.B. О скорости сходимости непараметрических оценок фильтрации в динамических системах авторегрессионного типа // Автоматика и телемеханика. 2003. 1. С.56-73.

17. Добровидов A.B. Основы теории непараметрического оценивания сигналов. // Труды международной конференции "Идентификация систем и задачи управления". Москва, 29-31 января 2003. Доклад на пленарном заседании.

18. Добровидов A.B., Кошкин Г.М. Непараметрическое оценивание сигналов. М.: Наука. Физматлит. 1997. - 336 с.

19. Добровидов A.B., Кошкин Г.М. Нелинейная непараметрическая фильтрация в динамических системах // Межд. конф. по проблемам управления. (29 июня - 2 июля 1999 г.). Тезисы докл. в трех томах. Т.1. 1999. М.: Фонд "Проблемы управления. С.280-281.

20. Добровидов A.B., Кошкин Г.М. Непараметрическая фильтрация в динамических системах // Межд. конф. по проблемам управления. (29 июня - 2 июля 1999 г.). Избранные труды. Т.1. 1999. М.: Фонд "Проблемы управления. С.188-196.

21. Добровидов A.B., Кошкин Г.М. Непараметрическое оценивание логарифмической производной плотности для последовательностей с сильным перемешиванием. // Автоматика и телемеханика. 2001. 9. С.63-88.

22. Добровидов A.B., Кошкин Г.М. Непараметрическое оценивание логарифмической производной плотности по зависимым выборкам. Труды международной конференции "Идентификация систем и задачи управления", SICPRO'2000, Москва, 26-28 сентября 2000г. С. 594-607.

23. Добровидов A.B., Кошкин Г.М. Скорость сходимости напара- метрических оценок фильтрации в динамических системах. Труды международной конференции "Параллельные вычисления и задачи управления", PACO[20ül. Москва, 2-4 октября 2001. С. 153-164.

24. Добровидов A.B., Кошкин Г.М. Об оценивании логарифмической производной плотности для последовательностей с сильным перемешиванием в условиях неопределенности. // Математические модели и методы их исследования. Труды международной конференции (1621 августа 2001 г.) под редакцией В.К.Андреева и Ю.В.Шанько.Т.1 / Красноярск: Институт вычислительного моделирования СО РАН. 2001. С.231-237.

25. Добровидов А.В., Кошкин Г.М. Кусочно-гладкая аппроксимация непараметрической оценки логарифмической производной плотности. Труды Института проблем управления, т.XIX, 2002г., с. 104-129.

26. Добровидов А.В. Основы теории иепараметрического оценивания сигналов. Труды международной конференции "Идентификация систем и задачи управления", SICPRO'2003, Москва, 29-31 января 2003г. С. 66-96.

27. Dobrovidov A.V., Koshkin G.M, Nonparametric Filtering in Autoregression Models // The Third Russian-Korean International Symposium on Science and Technology. (June 22-25, 1999, Novosibirsk). Abstracts. 1999, Vol.1. Novosibirsk: Novosibirsk State Technical University. P.250.

Зак. 26. Тир. 110. ИПУ.

ВВЕДЕНИЕ

1 УСЛОВИЯ СЛАБОЙ ЗАВИСИМОСТИ В МОДЕЛЯХ НАБЛЮДЕНИЙ

1.1. Понятие слабой зависимости.

1.2. Условия сильного перемешивания функции от стационарных процессов.

1.3. Перемешивание для динамических моделей

1.4. Свойства выборки с перекрытием.

1.5. Выводы.

2 НЕПАРАМЕТРИЧЕСКОЕ ОЦЕНИВАНИЕ НЕКОТОРЫХ ФУНКЦИОНАЛОВ ОТ РАСПРЕДЕЛЕНИЯ ПО СЛАБОЗАВИСИМОЙ ВЫБОРКЕ

2.1. История вопроса.

2.2. Среднеквадратическая сходимость непараметрических оценок плотностей.

2.2.1. Смещение.

2.2.2. Дисперсия.

2.3. Среднеквадратическая сходимость непараметрической оценки градиента плотности

2.3.1. Критерий.

2.3.2. Смещение.

2.3.3. Дисперсия.

2.4. Непараметрическое оценивание логарифмической производной плотности.

2.4.1. Предварительные замечания.

2.4.2. Ядерные оценки плотности распределения и ее производной для независимой случайной выборки

2.4.3. Свойства ядерной оценки плотности дляп. последовательностей

2.4.4. Свойства ядерной оценки производной плотности дляп. последовательностей.

2.4.5. Сходимость четвертых моментов ядерной оценки плотности и ее производной дляп. последовательностей ф 2.4.6. Свойства ядерной оценки логарифмической производной плотности распределения дляп. последовательностей

2.5. Непараметрическое оценивание логарифмического градиента плотности.

2.6. Выводы.

3 НЕПАРАМЕТРИЧЕСКИЕ МЕТОДЫ НЕЛИНЕЙНОЙ

ФИЛЬТРАЦИИ

3.1. Общие проблемы обработки сигналов.

3.2. Постановка задачи фильтрации.

3.2.1. Критерий.

3.2.2. Приближенные методы решения.

3.2.3. Эмпирический байесовский подход.

3.2.4. Асимптотически оптимальные процедуры

3.3. Условия асимптотической оптимальности оценок

3.3.1. Необходимое и достаточное условие асимптотической оптимальности

3.3.2. Достаточное условие асимптотической оптимальности

3.4. Статические модели наблюдений.

3.4.1. Функция потерь.

3.5. Формула преобразования апостериорных вероятностей

3.6. Уравнение оптимальной фильтрации для статических моделей

3.7. Непараметрический вариант уравнения оптимальной фильтрации для статических моделей

3.8. Динамические модели наблюдений

3.8.1. Условно-экспонентное семейство.

3.8.2. Функция потерь.

3.9. Уравнение оптимальной фильтрации для динамических моделей.

3.10. Фильтрация некоторых функций от полезного сигнала

3.11. Асимптотически е -оптимальная процедура фильтрации

3.11.1. Оценка плотности по одной реализации процесса.

3.11.2. Критерий выбора длины зоны зависимости.

3.11.3. Фильтр Калмана и асимптотически е -оптимальная оценка.

3.11.4. Выбор длины зоны зависимости при конечном п

3.11.5. Длина зоны зависимости при неизвестной оптимальной процедуре.

3.12. Выводы.

4 НЕПАРАМЕТРИЧЕСКИЕ МЕТОДЫ ИНТЕРПОЛЯЦИИ

4.1. Уравнение оптимальной нелинейной интерполяции.

4.2. Непараметрический аналог интерполяционного уравнения 175 ^ 4.3. Выводы.

5 НЕПАРАМЕТРИЧЕСКИЕ МЕТОДЫ ПРОГНОЗА

5.1. Прогноз наблюдаемой стационарной последовательности

5.2. Прогноз ненаблюдаемой компоненты частично наблюдаемой марковской последовательности.

5.3. Примеры задач прогноза.

5.4. Выводы.

6 РИСК В ЗАДАЧАХ ОБРАБОТКИ СИГНАЛОВ И ЕГО НЕПАРАМЕТРИЧЕСКОЕ ОЦЕНИВАНИЕ

6.1. Постановка задачи

6.2. Формула эмпирического риска для задачи фильтрации

6.3. Эмпирический риск в задачах интерполяции.

6.4. Оценка риска в задачах прогноза.

6.5. Сходимость эмпирических оценок рисков.

6.6. Примеры непараметрических оценок рисков.

6.7. Одновременный выбор длины реализации и степени заО висимости наблюдаемого процесса.

6.8. Выводы.

7 НЕПАРАМЕТРИЧЕСКИЕ МЕТОДЫ ВЫДЕЛЕНИЯ СКАЧКООБРАЗНЫХ МАРКОВСКИХ ПРОЦЕССОВ221 7.1. Модель наблюдений и условие слабой зависимости

7.2. Непараметрическая фильтрация конечнозначных марковских цепей.

7.3. Непараметрическая интерполяция конечнозначных марковских цепей

7.4. Оценивание моментов изменения свойств случайных процессов

7.5. Выводы.

Для современного состояния статистической теории управления характерно стремление к разработке эффективных процедур при минимальной априорной информации об исходных наблюдениях. Такой подход соответствует реальной ситуации, когда точные математические модели изучаемых объектов (процессов, явлений) и свойства действующих на них возмущений на самом деле не известны. Например, при решении таких сложных задач, как автоматизация металлургического производства, обнаружение и распознование радио- и гидролокационных сигналов на фоне помех, поиск новых методов диагностики и лечения заболеваний и др. все чаще приходится иметь дело с объектами, структура которых и характеристки возмущений практически не доступны. Имеющаяся априорная информация о распределении помех в этих случаях носит настолько неопределенный характер (например, ограниченность некоторых моментов, множество всех дифференцируемых функций распределения), что при построении вероятностной математической модели нет оснований воспользоваться каким-либо ко-нечнопараметрическим семейством распределений. В таких случаях говорят о непараметрической априорной неопределенности.

В ряде случаев параметрические информационные модели нельзя построить в принципе. Это происходит тогда, когда реализации случайной величины нельзя наблюдать в чистом виде. Такая ситуация имеет место, например, в гидролокации, где полезный сигнал, содержащий информацию об объекте и реверберации, без помех никогда не наблюдается, и, следовательно, чистые данные для построения оценочной модели объектов и реверберации отсутствуют.

В описанных случаях возникают трудности с применением не только параметрических процедур, но и некоторых непараметрических процедур. В частности, довольно широко применямые на практике ранговые статистики [112, 13] имеют следующие недоастатки: во-первых они требуют большого числа вычислительных операций, связанных с упорядочиванием выборки; во-вторых, появление зависимости между элементами выборки приводит к потере непараметрических свойств ранговых процедур.

Кроме того, принятые в большинстве классических методов математической статистики схемы с независимыми испытаниями также часто не соответствуют реальной действительности, особенно когда мы имеем дело с динамическими моделями наблюдений. Поэтому при построении оценок желательно найти способы учета зависимость между наблюдениями.

Проблемы решения классических задач обработки сигналов, получивших широкое распространение в системах радио- и гидролокации, в астрономических наблюдения и т.д., приобретают особую актуальность в рамках широких условий априорной неопределенности, которую обеспечивают непараметрические ограничения. Непараметрическое описание моделей физических явлений оказывается более адекватным реально протекающим процессам и охватывает существенно более широкий круг явлений. Поэтому особый интерес представляют задачи теории решений, которые необходимо решать в условиях непараметрической априорной неопределенности.

В классической постановке этих задач в дискретном времени обычно предполагается заданным частично наблюдаемый случайный процесс Zn = (Sn,Xn) с наблюдаемой компонентой Хп и ненаблюдаемой Sn . Требуется дать оценку ненаблюдаемой компоненты Sn по реализации процесса Хп . Для решения этих задач в рамках параметрических моделей необходимо знание совместного распределения процесса (Sn, Хп) . Однако в силу ненаблюдаемости процесса Sn его распределение восстановить невозможно и, следовательно, в общем случае построить оптимальную байесовскую оценку Sn нельзя. Тем не менее при некоторых дополнительных предположениях о модели наблюдения и непараметрических ограничениях на Sn удается сконструировать непараметрическую оценку Sn , близкую по своим свойствам к оптимальной оценке Sn , полученной при известном распределении пары

Хп) . Особенность подхода к построению оценок в таких случаях можно проиллюстрировать на следующем примере.

Пусть метеоролог М на центральной станции прогноза погоды получает данные о различных метеорологических параметрах. По результатам этих измерений он дает прогноз погоды в двух районах А и В , находящихся в различных климатических поясах. Относительно природы метеорологических параметров естественно предположить, что в каждом климатическом поясе они принимают значения в соответствии со своим случайным механизмом. Если метеоролог М получил данные для двух районов, А и В , с идентичными результатами измерений всех метеорологических параметров, то легко представить себе ситуации, возникающие в зависимости от того, работает ли метеоролог М недавно или уже имеет богатый опыт работы с этими районами. В первом случае результаты обработки данных одинаково влияют на прогноз в районах А и В . Во втором случае, если предшествующий опыт метеоролога говорит ему, что в районе А данная совокупность значений метеорологических параметров гораздо чаще приводит к дождю, чем в районе В , то вряд ли можно сомневаться, что предшествующий опыт метеоролога при установлении прогноза будет каким-то образом сочетаться со способом обработки поступающих данных. Таким образом, здесь мы имеем ситуацию, когда скорее всего подсознательно оценка истинных значений метеорологических параметров (проводимая при помощи теории статистических решений) дополняется субъективной байесовской поправкой. Эта поправка вводится на основе грубой оценки априорного распределения, складывающегося у метеоролога благодаря его предшествующему опыту. Возникает вопрос: нельзя ли совершать такую операцию сознательно и систематически? Это как раз тот вопрос, который поставил и на который дал ответ Г. Роббинс для ряда конкретных примеров [87, 88]. Он сумел выделить те ситуации, в которых данные включают "предшествующий опыт", достаточный для построения хорошей аппроксимации, в то время как точное решение возможно только при полностью известном семействе распределений вероятностей полезного сигнала.

Специфика этих ситуаций состоит в том, что при некоторых предположениях оценки полезного сигнала Sn , сделанные на основе наблюдений сигнала Хп , выражаются в виде функционалов от распределения только наблюдаемых случайных величин Хп . Поскольку, однако, распределение G(sn) процесса Sn по условию не известно, то маргинальная плотность распределения f(xn) = f f(xn\sn)dG(sn) наблюдаемого процесса Хп также не известна, но она может быть восстановлена по наблюдениям х" = (xi,. ,хп)т . Для оценивания функционалов, зависящих от неизвестного распределения, в работе применяется непараметрическии подход, основанный на ядерных оценках Розенблатта-Парзена [126, 134], обобщенных в двух направлениях: на наблюдения с зависимыми значениями и на функционалы с особенностями. Обобщение в первом направлении позволяет пользоваться динамическими моделями наблюдений [34] и строить сходящиеся непараметрические оценки условных функционалов по слабозависимым наблюдениям [23, 64]. Обобщение во втором направлении обеспечивает возможность построения устойчивых непараметрических оценок с "хорошими" свойствами, т.е. оценок, не принимающих бесконечных значений [63, 37].

Разработанные в настоящее время методы непараметрического ядерного оценивания в основом посвящены оцениванию так называемых "базовых" (по теминологии Г.М.Кошкина) функционалов от распределения где д{х)— известная функция, a F(x)— неизвестная функция распределения. Сюда, в частности, относятся задачи оценивания плотности вероятности и ее производных. Достаточно полная и красивая теория напараметрического ядерного оценивания таких функционалов в метрике L\ изложена в монографии JI. Девроя, JI. Дьёрфи [18, 1988]. Полученные здесь верхние и нижние границы для скорости сходимости рисков непараметрических оценок, методы адаптивного ядерного оценивания и другие результаты по анализу свойств оценок из различных непараметрических классов представляют несомненный интерес. Однако непосредственно воспользоваться этими результатами в нашем случае не удается, поскольку 1) все они получены в предположении независимой выборки, 2) метрика L\ не является естественной для задач оценивания сигналов, где оптимальные байесовские оценки, представляющие собой условное среднее, минимизируют среднеква-дратический критерий, 3) в задачах обработки сигналов приходится оценивать более сложные конструкции в виде заданных функций от базовых функционалов. Отметим также, что построенные в [129, 54] ядерный оценки по реализациям марковских процессов также не могут быть использованы в нашем подходе, так как наблюдаемый процесс Хп не является марковским. Поэтому и возникла необходимость построения непараметрических ядерных процедур для процессов с более общей стохастической зависимостью, о которой говорилось выше. Везде в дальнейшем под непараметрическим оцениванием всегда понимаются непараметрические ядерные процедуры оценивания.

Следует подчеркнуть, что полученные в диссертации непараметрические оценки ненаблюдаемого полезного сигнала Sn сходятся к оптимальным байесовским оценкам в различных метриках (в зависимости от условий). По терминологии 70-х годов такие системы относятся к самообучающимся системам автоматического управления, поскольку их функционирование с ростом наблюдений все меньше и меньше отличается от оптимального.

Совокупность задач и методы их решения, представленные в диссертации, можно классифицировать именно как теорию обработки сигналов с неизвестным априорным распределением, потому что удалось выделить стандартный набор задач обработки сигналов (фильтрация, интерполяция, прогноз и оценивание моментов изменения свойств процессов), которые как с точки зрения используемых математических моделей сигналов, так и с точки зрения методов решения, являются родственными. Набор задач является классическим, которые ранее рассматривались в работах Н. Винера, Р. Калмана, Р. Липцера и А. Ширяева, В. Пугачева и др. Различными являются исходные условия, которые и определяют своеобразие способов решения этих задач. При этом какие бы решения ни отыскивались, всегда желательно, чтобы их свойства, по крайней мере асимптотически, не сильно отличались от классических результатов, полученных при полной статистической информации.

Развиваемая в диссертации теория непараметрического оценивания сигналов базируется на 4-х основных положениях: теории условно-марковских процессов Р. Стратоновича [90], идеях эмпирического байесовского подхода Г. Роббинса [87], условно-экспонентном семействе распределений для описания моделей наблюдений [24] и методах непараметрического оценивания функционалов по зависимым наблюдениям [34]. Если говорить предельно кратко, то в диссертации делается следующее. Для описания помех и моделей наблюдения используется достаточно представительное условно-экспонентное семейство распределений, позволяющее работать как со статическими, так и с динамическими моделями. Подстановка условно-экспонентного распределения в уравнение преобразования апостериорных вероятностей Р. Стратоновича после некоторых манипуляций приводит в общем случае к нелинейному уравнению относительно оптимальной оценки, все члены которого удается выразить через известные функции и функционалы от распределений наблюдаемых величин. Поскольку в условиях непараметрической априорной неопределенности эти функционалы неизвестны, то остается воспользоваться техникой непараметрического оценивания функционалов и обобщить ее на случай зависимых наблюдений, так как в исходных моделях наблюдения получаются зависимыми.

В случае общей зависимости между случайными величинами получить какие-либо плодотворные результаты весьма сложно (нет соответствующих теорем сходимости). Поэтому мы ограничиваемся случаем слабой зависимости, в частности, свойством "сильного перемешивания", которым обладают устойчивые уравнения авторегрессии с постоянными коэффициентами. В рассматриваемых нами моделях коэффициенты уравнения авторегрессии зависят от ненаблюдаемого стационарного процесса Sn . Поэтому возникает задача определения условий, при которых наблюдаемый процесс, удовлетворяющий уравнению авторегресии с переменными коэффициентами, обладал свойством сильного перемешивания. Эта задача решена в первой главе. В работе принята тройная нумерация формул, теорем, лемм, рисунков и таблиц: первое число — номер главы, второе — номер раздела, третье —формулы, теоремы, леммы, и т.д. в пределах раздела. Часть результатов получена совместно с А.Ю. Веретенниковым и Г.М. Кошкиным. Автор признателен О.Е. Юскаевой за помощь в наборе текста диссертации на ПК.

Диссертационная работа выполнялась в соответствии с планами научно-исследовательской работы Института проблем управления им. В.А.Трапезникова РАН, а также по программам, поддержанным грантом РФФИ 98-01-00296 "Непараметрическое оценивание функционалов от распределений по зависимым выборкам" (1998-2000г.г руководитель Кошкин Г.М.) грантом РФФИ 96-01-14080. Проект по изданию монографии. (1996г., руководитель Добровидов А.В.).

Целью настоящей работы является разработка методов оценивания полезных сигналов с неизвестным априорным распределением по последовательности наблюдений, генерируемых динамическими системами авторегрессионного типа; исследование условий слабой зависимости случайных величин, генерируемых динамическими системами авторегрессионного типа; исследование и разработка методов непараметрического ядерного оценивания некоторых условных функционалов от распределения вероятностей по слабозависимым наблюдениям; анализ асимптотических свойств получаемых оценок.

Методы исследования.

На основе теории условно-марковских процессов Р. Стратонови-ча [90] и эмпирического байесовского подхода Г. Роббинса [87] решена задача построения уравнений для оптимальных оценок обработки сигналов в условиях неизвестного априорного распределения полезного сигнала. Специфика полученных уравнений состоит в том, что они зависят только от известных функций и функционалов от неизвестных распределений наблюдаемого случайного процесса. Для оценки этих функционалов используются непараметрические ядерные оценки Розенблатта-Парзена [126, 134], обобщенные на слабозависимые наблюдения. Анализ свойств полученных оценок проводится с помощью аппарата теории вероятностей, математической статистики, теории случайных процессов и теории матриц. При решении иллюстративных примеров используется имитационное моделирование на ПК.

Научная новизна.

1. Найдены условия слабой зависимости процессов, удовлетворяющих уравнению авторегрессии с коэффициентами, управляемыми стационарным марковским процессом.

2. Доказаны теоремы о среднеквадратической сходимости непараметрических ядерных оценок многомерной плотности вероятности и ее частных производных в равномерной метрике по выборке из стационарного процесса с сильным перемешиванием.

3. Получены условия среднеквадратической сходимости устойчивых аппроксимаций непараметрических оценок подстановки функционала в виде логарифма градиента многомерной плотности вероятности, через который выражаются оптимальные оценки фильтрации, интерполяции и прогноза полезного сигнала.

4. Введено условно-экспонентное семейство распределений, позволяющее описывать динамические системы наблюдения.

5. Построены и исследованы уравнения оптимальной нелинейной фильтрации, интерполяции и прогноза частично наблюдаемых марковских случайных последовательностей, порождаемых динамическими системами авторегрессионного типа. Особенность этих уравнений состоит в том, что в них входят функционалы от распределения только наблюдаемых случайных величин.

6. Решены задачи непараметрического оценивания рисков в задачах фильтрации, интерполяции и прогноза марковских случайных последовательностей.

7. Введено понятие асимптотически € — оптимальных процедур фильтрации, позволяющих находить непараметрические оценки по одной достаточно длинной реализации наблюдаемого процесса.

8. Получены уравнения оптимальной фильтрации и интерполяции конечно-значных марковских цепей в динамических системах общего вида и их непараметрические эквиваленты. Эти уравнения позволяют решать задачу оценивания моментов изменения свойств случайных процессов, когда распределение вероятностей и переходные вероятности значений марковской цепи, управляющие коэффициентами уравнения наблюдения, не известны.

Практическая ценность.

Предложенные в диссертации методы и алгоритмы оценивания частично наблюдаемых процессов разработаны с учетом существующих потребностей практики и позволяют в условиях непараметрической неопределенности решать задачи стохастической теории управления (фильтрации, интерполяции, прогноза, обнаружения, оценивания моментов изменения свойств процессов), радиосвязи, имитационного моделирования, когда классические методы оказываются неприменимыми.

Внедрение результатов работы.

Программное обеспечение ряда непараметрических процедур обработки сигналов использовано в работах по спецтематике.

На защиту автором выносятся следующие основныеположени.

1. Условия сильного перемешивания процессов, удовлетворяющих уравнению авторегрессии с коэффициентами, управляемыми стационарным марковским процессом.

2. Теоремы о среднеквадратической сходимости непараметрических ядерных оценок многомерной плотности вероятности и ее частных производных в равномерной метрике по выборке из стационарного процесса с сильным перемешиванием.

3. Способ описания динамических систем наблюдения с помощью распределений из условно-экспонентного семейства, позволивший получить уравнения оптимальной обработки сигналов.

4. Уравнения оптимальной нелинейной фильтрации, интерполяции и прогноза частично наблюдаемых марковских случайных последовательностей, порождаемых динамическими системами авторегрессионного типа. Непараметрические аналоги уравнений оптимальной обработки сигналов.

5. Непараметрическое оценивание рисков в задачах фильтрации, интерполяции и прогноза марковских случайных последовательностей.

6. Процедура асимптотически е— оптимальной фильтрации, позволяющая аппроксимировать по определенному критерию немарковский процесс наблюдения марковским соответствующей связности и затем находить непараметрические оценки полезного сигнала по одной достаточно длинной реализации наблюдемого процесса.

7. Уравнения оптимальной фильтрации и интерполяции конечнозначных марковских цепей в динамических системах общего вида и их непараметрические эквиваленты. Непараметрический вариант задачи об оценивании моментов изменения свойств случайных процессов.

Апробация работы и публикации.

Основные результаты диссертационной работы докладывались и обсуждались на следующих научно-технических конференциях и совещаниях:

II, III, IV Всесоюзных Совещаниях по статистическим методам в управлении (Ташкент, 1971, Вильнюс, 1973, Фрунзе, 1978)

V Всесоюзное Совещание по статистическим методам в процессах управления (Алма-Ата, 1981)

IX Всесоюзное Совещание по проблемам управления (Ереван, 1983)

I, III, V-VII Всесоюзных школах-семинарах по непараметрическим и робастным методам статистики в кибернетике (Томск, 1974, Дивно-горек, 1981, Шушенское, 1985, Томск, 1987, Иркутск, 1991)

I Всесоюзной конференции РОАИ.1.91 (Минск, 1991)

V Международной конференции по байесовским статистикам (Alicante (Испания), 1994)

Международной конференции по проблемам управления (Москва, 1999)

III Russian-Korean Intarnational Symposium in Science and Technology (Новосибирск, 1999)

Международной конференции "Идентификация систем и задачи управления", SICPRO'2000, (Москва, 2000)

Международной конференции "Параллельные вычисления и задачи управления", РАСО'2001, (Москва, 2001)

Международной конференции "Математические модели и методы их исследования", (Красноярск, 2001).

Международной конференции "Идентификация систем и задачи управления", SICPRO'2003, (Москва, 2003)

По результатам выполненных исследований опубликованы 1 монография [34] и 26 печатных работ [4], [12], [14], [16], [20]-[29],[30],[31], [32],[33], [34] [36], [37], [38]-[41],[42]. Структура диссертации.

Работа состоит из введения, семи глав, заключения, списка литературы и приложения, включающего доказательства результатов.

Во введении обосновывается актуальность темы исследования, обсуждается история возникновения задачи, ее источники и составные части, дается краткий обзор основных результатов по рассматриваемой тематике, определяются цели и пути исследования.

В первой главе исследуются свойства процессов, порождаемых статическими и динамическими моделями наблюдений. Поскольку в первую очередь нас интересует свойство слабой зависимости наблюдений, то формально дело сводится к изучению некоторых преобразований над случайным процессом, обладающим свойством слабой зависимости. В качестве такого свойства рассматривается свойство "сильного перемешивания". В главе сформулирован и доказан результат о том, что процесс наблюдения, удовлетворяющий уравнению авторегрессионного типа с переменными коэффициентами, управляемыми стационарным марковским процессом с сильным перемешиванием, сам является процессом с сильным перемешиванием

34]. Этот результат позволяет доказать сходимость непараметрических процедур оценивания, использующих наблюдения динамических моделей. В этой же главе содержится важный для практики результат, позволяющий корректно использовать повторную выборку при построении непараметрических ядерных оценок. Результаты главы можно найти в работах автора [34, 12].

Вторая глава посвящена построению и доказательству сходимости непараметрических ядерных оценок некоторых вероятностных характеристик стационарных процессов с сильным перемешиванием. В частности, доказана среднеквадратическая сходимость непараметрических ядерных оценок многомерных плотностей вероятностей и их частных производных в равномерной метрике. Найдены условия среднеквадратической сходимости и скорости сходимости "регуляризованных" непараметрических аппроксимаций функции в виде отношения градиента плотности к самой плотности, через которую выражаются оптимальные оценки полезного сигнала в уравнениях оптимальной обработки [27, 37, 32, 34].

В третьей главе рассмотрены задачи фильтрации ненаблюдаемого полезного случайного сигнала для статических и динамических моделей наблюдения. При этом предполагается, что условная плотность наблюдений принадлежит условно-экспонтному семейству распределений. Получены уравнения оптимальной фильтрации в форме, не зависящей от априорных распределений ненаблюдаемого сигнала, и их непараметрические эквиваленты. Опираясь на результаты первых двух глав, доказана среднеквадратичесая сходимость непараметрических оценок к оптимальным оценкам с полной статистической информацией. Введено понятие асимптотически б— оптимальной фильтрации, позволяющей строить сходящиеся непараметрические оценки сигнала по одной реализации наблюдаемого процесса. Результаты этой главы опубликованы в работах автора [20, 21, 22, 23, 24, 25, 29, 34, 35, 36, 30, 32, 42].

В четвертой главе представлены результаты решения задачи интерполяции полезного случайного сигнала, быть может нелинейно связанного с помехой. В предположении, что условная плотность наблюдений принадлежит условно-экспонентному семейству, получено уравнение оптимальной нелинейной интерполяции и его непараметрический аналог. Приведены примеры, иллюстрирующие работу алгоритмов непараметрической интерполяции. Рассмотренные в этой главе вопросы нашли отражение в следующих работах автора [29, 34].

Пятая глава посвящена задачам прогноза наблюдаемого случайного процесса и ненаблюдаемой компоненты марковского случайного процесса. Выведены уравнения оптимального прогноза и его непараметрические варианты. Показано, как построить непараметрические оценки прогноза по одной реализации наблюдаемого случайного процесса. Полученные в данной главе результаты опубликованы в работах автора [28, 29, 34].

В шестой главе исследуются вопросы построения непараметрических оценок рисков, которые характеризуют качество оценок сигналов, полученных в главах 3-5. Для каждого из трех видов обработки сигналов определены функционалы от неизвестного распределения наблюдений, явно не зависящие от характеристик ненаблюдаемого полезного сигнала. Для этих функционалов строятся "регуляризованные" непараметрические приближения, называемые эмпирическими оценками рисков. Исследуется сходимость эмпирических оценок рисков. Приведены примеры вычисления рисков для каждого случая обработки сигнала. Результаты по рискам опубликованы в работах автора [20, 22].

В седьмой главе изучаются методы выделения стационарных скачкообразных марковских цепей с неизвестными переходными вероятностями состояний. Дискретность множества состояний марковской цепи позволяет изучать более общие, чем авторегрессионные, модели наблюдения. Рассматриваются две задачи: фильтрации и интерполяции конечнозначных марковских цепей. Получены уравнения оптимальной обработки для обоих случаев в форме, не зависящей от априорных характеристик марковской цепи. Последнее свойство позволяет выписать непараметрические аналоги этих уравнений. В обоих случаях вычислены непараметрические оценки рисков, смысл которых сводится к вероятности принять ошибочное решение. Исследуется сходимость предложенных процедур. Рассмотренные в этой главе вопросы нашли отражение в работах автора [34, 31, 41].

7.5. Выводы

В седьмой главе получены уравнения оптимальной фильтрации и интерполяции скачкообразных марковских процессов (марковских цепей), управляющих изменением коэффициентов динамических систем, описываемых уравнением (7.1.1) более общего вида, чем уравнения авторегрессии с изменяющимися коэффициентами, которые рассматривались ранее. При этом условная плотность наблюдений не обязана принадлежать экспонентному семейству распределений. Получить свойство с.п. в таких более общим моделях пока что не удалось, однако мы развиваем для них методы непараметрического оценивания в надежде, что условия с.п. в моделях типа (7.1.1) будут в скором времени найдены.

Математической моделью скачкообразного марковского процесса служит стационарная марковская цепь. В соответствии с концепцией эмпирического байесовского подхода во всех полученных уравнениях апостериорные вероятности состояний марковской цепи выражаются через характеристики наблюдаемого процесса (см. ур-ния (7.2.9) и (7.3.6)). В качестве таких характеристик в данном случае выступают условные плотности наблюдений f(xnjx"-1) и их производные по хп или их урезанные варианты f{xn\x^zl) . Для последних строятся сходящиеся непараметрические приближения.

В качестве примера приложения предлагаемых методов рассмотрена задача определения моментов изменения свойств случайных процессов, когда в модели наблюдения коэффициенты изменяются скачком в неизвестные случайные моменты времени. Предполагается, что распределение значений скачков и матрицы переходных вероятностей неизвестны. На примере модели авторегрессии со случайно изменяющимися коэффициентами показано, что процедура интерполяции, учитывающая информацию до и после момента измерения, приводит к лучшим результатам по сравнению с оптимальной фильтрацией в этот же момент времени, где информация учитывается только до момента измерения.

ЗАКЛЮЧЕНИЕ

В классических методах решения задач обработки случайных сигналов (фильтрации, интерполяции, прогноза) при получении оптимальных байесовских оценок предполагаются заданными распределение ненаблюдаемого случайного процесса (возможно, вместе с уравнением состояния), модель наблюдения и распределение помехи. Модель наблюдения чаще всего описывает способ измерения сигнала определенными приборами, при конструировании которых закладывается уравнение связи наблюдаемой последовательности с полезным сигналом и помехой. Закорачивая вход прибора измерения мы получаем на выходе сигнал, порождаемый одной помехой, так что данные для восстановления распределения помехи всегда можно получить. Что же касается полезного сигнала, то он в чистом виде почти никогда не наблюдается и, следовательно, данные для восстановления его распределения отсутствуют. Не имея хотя бы приближенной формы распределения полезного сигнала, весьма сложно, если не невозможно, выбрать содержащее его конечно-параметическое семейство распределений, а значит для решения задач обработки сигналов в этом случае нельзя воспользоваться классическими методами оценивания параметров распределений (например, методом максимального правдоподобия). Поэтому возникает вопрос: нельзя ли в условиях неизвестного распределения полезного сигнала построить его приближенные оценки, которые асимптотически (при увеличении длины наблюдаемой реализации) обладали такими же свойствами, как байесовские оценки, полученные при полной статистической информации? Оказывается, что при некоторых условиях такие оценки построить можно.

В диссертации предлагается общий подход к решению задач обработки случайных сигналов с неизвестным распределением. Этот подход предполагает, что модель наблюдения и распределение помехи образуют условную плотность наблюдений при фиксированном полезном сигнале, принадлежащую условно-экспонентному семейству плотностей (3.8.2). Это семейство является достаточно представительным и содержит такие известные распределения, как гауссовское, X2 -распределение, экспоненциальное, все семейство (3 -распределений, часть распределений системы Пирсона и др. Распределение наблюдаемого процесса ввиду произвольности априорного распределения полезного сигнала нельзя поместить в какое-либо параметрическое семейство распределений. Поэтому для оценки его используются непараметрические ядерные процедуры.

Принадлежность экспонентному семейству, с одной стороны, сужает класс рассматриваемых моделей наблюдения, но с другой стороны значительно расширяет его за счет того, что решение задачи перестает зависеть от конкретного распределения полезного сигнала. Дело в том, что в рамках приведенных условий оптимальную байесовскую оценку удается выразить через вероятностные характеристики только наблюдаемого случайного процесса (см. уравнения (3.9.3),(4.2.7),(5.2.9),(7.2.9)). В этом состоит кокретное выражение эмпирического байесовского подхода Г. Роббинса, вызвавшего большой интерес в шестидесятые годы прошлого века. Остается для неизвестных характеристик наблюдаемого процесса построить сходящиеся непараметрические оценки. На этом пути и возникли новые математические проблемы, связанные со свойством слабой зависимости в динамических моделях наблюдений (глава 1), а также с условиями сходимости непараметрических процедур по слабо зависимым наблюдениям (глава 2). При этом оказалось, что непараметрические оценки характеристик наблюдаемых процессов, входящих в уравнения для оценок полезного сигнала, представляют собой функционалы с особенностями (т.е. они могут принимать бесконечные значения). Поэтому пришлось создавать способы регуляризации, приведшие к разработке кусочно-гладких аппроксимаций, позволивших получить устойчивые непараметрические оценки. Для этих оценок удалось доказать не только среднеквадратическую сходимость, но и определить скорость их сходимости. Это в свою очередь привело к разработке улучшенных по скорости сходимости непараметрических ядерных оценок за счет специального выбора ядерных функций и коэффициентов размытости.

В шестой главе приведены непараметрические оценки рисков, определяющих в теории решений качество оценок сигналов в задачах их обработки. Здесь удалось доказать лишь сходимость по вероятности из-за наличия в подынтегральном выражении неизвестной функции. Такая оценка непосредственно не укладывается в общую схему базовых и характеризационных функционалов, рассматриваемых в [34].

В седьмой главе ненаблюдаемый случайный сигнал представляет собой марковскую цепь с известным конечным множеством состояний и неизвестными матрицами вероятностей переходов. По сравнению с предыдущими главами такое упрощение позволяет, с одной стороны, рассмотреть более общие (чем авторегрессионные) модели наблюдений, а с другой - отказаться от экспонентности условной плотности наблюдений при фиксированном сигнале. В этой достаточно общей ситуации снова удается построить уравнение относительно апостериорных вероятностей, зависящее лишь от характеристик наблюдаемого процесса. Принцип эмпирического байесовского подхода не нарушается и в этой последней задаче.

В целом предлагаемая диссертация представляет собой законченное научное исследование в том смысле, что для выбранного класса задач приводятся все явные решения, даже в случае функционалов с особенностями. С другой стороны развиваемый подход не замыкается сам на себя и порождает много новых задач, некоторые из которых приведены ниже.

1. Найти условия сильного пермешивания для динамических моделей типа (7.1.1).

2. Корректный выбор начального значения коэффициента размытости в непараметрических ядерных оценках.

3. Строгое решение задачи интерполяции для динамических моделей.

4. Условия среднеквадратической сходимости оценки рисков. Это означает, что теоретические положения развиваемого здесь подхода стимулируют дальнейшее развитие в данной области статистической теории управления.

1. Билингсли П. Сходимость вероятностных мер. М.: Наука, 1977, 352 с.

2. Боровков А.А. Теория вероятностей. М.: Наука, 1986. 432 с.

3. Боровков А.А. Математическая статистика. Новосибирск: Наука; Изд-во Института математики. 1997. 772 с.

4. Бунич A.JL, Гинсберг К.С., Добровидов А.В. и др. Параллельные вычисления. Задачи управления. (Обзор). // Автоматика и телемеханика, 12, 2002г., с. 3-23.

5. Вальд А. Статистические решающие функции // Позиционные игры. М.: Наука, 1987. С.300-522.

6. Вапник В.Н. Восстановление зависимостей по эмпирическим данным. М.: Наука, 1979. 448 с.

7. Васильев В.А. Об идентификации динамических 'с'истем авто-.регрессионного типа //.Автоматика и телемеханика. 1997. 12.* т1. С.107-119.

8. Васильев В.А., Кошкин Г.М. Оценивание функций от плотности распределения по зависимым наблюдениям // Пробл. передачи информ. 1997. Т.ЗЗ. Вып.4. С.45-60.

9. Васильев В.А., Кошкин Г.М. Непараметрическая идентификация авторегрессий // Теория вероятностей и ее применения. 1998. Т.43. Вып.З. С.577-588.

10. Васильев В.А., Кошкин Г.М. Непараметрическое оценивание отношений производных многомерной плотности распределения по зависимым наблюдениям // Сибирский математический журнал. 2000. Т.41. 2. С. 280-298.

11. Веретенников А.Ю. Об оценках скорости перемешивания для стохастических дифференциальных уравнений // Теория веро-ят. и ее примен. 1987. Т. 32. Вып. 2. С. 299-308.

12. Веретенников А.Ю., Добровидов А.В., Пакшин П.В. Условия эргодичности и перемешивания марковских процессов в задачах непараметрической фильтрации // Автоматика и телемеханика. 1991. 10. С. 36-45.

13. Гаек Я., Шидак 3. Теория ранговых критериев. М.: Наука, 1971. 375 с.

14. Гинсберг К.С., Бунич А.Л., Добровидов А.В. и др. SICPRO'2000. Аналитический отчет. // Труды международной конференции "Идентификация систем и задачи управления". Москва, 29-31 января 2003.

15. Гринвуд П.Е., Ширяев А.Н. О равномерной слабой сходимости семимартингалов с применениями к оцениванию параметра в авторегрессионной модели первого порядка // Статистика и управление случайными процессами. М.: Наука. 1989. С. 40-48.

16. Гришин М.В., Добровидов А.В. Оценивание скачкообразных процессов при неполной информации // Автоматика и телемеханика. 1983. 11. С. 64-71.

17. Давыдов Ю.А. О сходимости распределений, порожденных стационарными случайными процессами // Теория вероятностей и ее применения. 1968. Т. XIII. Вып.4. С.730-737.

18. Деврой JL, Дьерфи JI- Непараметрическое оценивание плотности. М.: Мир, 1988. 408 с.

19. Дмитриев Ю.Г., Кошкин Г.М., Симахин В.А., Тарасенко Ф.П., Шуленин В.П. Непараметрическое оценивание функционалов по стационарным выборкам. Томск: Изд-во Том. ун-та. 1974. 93 с.

20. Добровидов А.В. Самообучающийся алгоритм асимптотически оптимальной фильтрации случайных сигналов с неизвестным априорным распределением // Проблемы управления и теории информации. 1971. Т. 1. 2. С. 163-176.

21. Добровидов А.В. Об одном алгоритме непараметрической оценки случайного многомерного сигнала // Автоматика и телемеханика. 1971. 2. С. 88-99.

22. Добровидов А.В. Непараметрическая оценка оптимального байесовского риска в задачах фильтрации случайных сигналов // Автоматика и телемеханика. 1971. 10. С. 51-56.

23. Добровидов А.В. Подход к задачам принятия решений в условиях статистической неопределенности // Автоматика и телемеханика. 1976. 5. С. 90-95.

24. Добровидов А.В. Непараметрические методы нелинейной фильтрации стационарных случайных последовательностей // Автоматика и телемеханика. 1983. 6. С. 85-98.

25. Добровидов А.В. Асимптотически е -оптимальная непараметрическая процедура нелинейной фильтрации стационарных последовательностей с неизвестными статистическими характеристиками // Автоматика и телемеханика. 1984. 12. С. 40-49.

26. Добровидов А.В. Определение вероятностных характеристик ненаблюдаемого случайного сигнала // Докл. 3 Всес. совещания по статистическим методам в процессах управления, г. Вильнюс. 1973. С. 161-163.

27. Добровидов А.В. Непараметрические приближения конечномерных распределений строго стационарных эргодических последовательностей // Докл. 4 Всес. совещания по статистическим методам теории управления. Фрунзе. 1978. С.154-155.

28. Добровидов А.В. Непараметрический метод прогноза ненаблюдаемой компоненты марковской случайной последовательности //5 Всес. совещание по статистическим методам в процессах управления. Тезисы докл. Алма-Ата. 1981. С. 108-110.

29. Добровидов А.В. Непараметрические методы фильтрации и экстраполяции случайных последовательностей // Докл. 3 Всес. школы-семинара по непараметрическим и робастным методам статистики в кибернетике. Дивногорск, 1981. 4.1. С. 119-129.

30. Добровидов А.В. Непараметрические методы в задачах статистики случайных процессов // Докл. 5 Всес. школы-семинара понепараметрическим и робастным методам статистики в кибернетике. Томск, 1985. 4.1. С.

31. Добровидов А.В. Непараметрические методы выделения скачкообразных марковских процессов. Труды Института проблем упраления. Т.З. 1999. С. 166-176.

32. Добровидов А.В. О скорости сходимости непараметрических оценок фильтрации в динамических системах авторегрессионного типа // Автоматика и телемеханика. 2003. 1. С.56-73.

33. Добровидов А.В. Основы теории непараметрического оценивания сигналов. // Труды международной конференции "Идентификация систем и задачи управления". Москва, 29-31 января 2003. Доклад на пленарном заседании.

34. Добровидов А.В., Кошкин Г.М. Непараметрическое оценивание сигналов. М.: Наука. Физматлит. 1997. 336 с.

35. Добровидов А.В., Кошкин Г.М. Нелинейная непараметрическая фильтрация в динамических системах // Межд. конф. по проблемам управления. (29 июня 2 июля 1999 г.). Тезисы докл. в трех томах. Т.1. 1999. М.: Фонд "Проблемы управления. С.280-281.

36. Добровидов А.В., Кошкин Г.М. Непараметрическая фильтрация в динамических системах // Межд. конф. по проблемам управления. (29 июня 2 июля 1999 г.). Избранные труды. Т.1. 1999. М.: Фонд "Проблемы управления. С.188-196.

37. Добровидов А.В., Кошкин Г.М. Непараметрическое оценивание логарифмической производной плотности для последовательностей с сильным перемешиванием. // Автоматика и телемеханика. 2001. 9. С.63-88.

38. Добровидов А.В., Кошкин Г.М. Непараметрическое оценивание логарифмической производной плотности по зависимым выборкам. Труды международной конференции "Идентификация систем и задачи управления", SICPRO'2000, Москва, 26-28 сентября 2000г. С. 594-607.

39. Добровидов А.В., Кошкин Г.М. Скорость сходимости напара-метрических оценок фильтрации в динамических системах. Труды международной конференции "Параллельные вычисления и задачи управления", РАСО'2001. Москва, 2-4 октября 2001. С. 153-164.

40. Добровидов А.В., Кошкин Г.М. Кусочно-гладкая аппроксимация непараметрической оценки логарифмической производной плотности. Труды Института проблем управления, T.XIX, 2002г., с. 104-129.

41. Добровидов А.В. Основы теории непараметрического оценивания сигналов. Труды международной конференции "Идентификация систем и задачи управления", SICPRO'2003, Москва, 29-31 января 2003г. С. 66-96.

42. Дуб Дж. Д. Вероятностные процессы. М.: Ин. лит-ра, 1976. 605 с.

43. Епанечников В.А. Непараметрическая оценка многомерной плотности // Теория вероят. и ее примен. 1969. Т. 14. Вып. 1. С. 156162.

44. Живоглядов В.П., Медведев А.В. Непараметрические алгоритмы адаптации. Фрунзе: Илим, 1974. 134 с.

45. Заварин А.Н. О вероятностных моментах непараметрической оценки функции регрессии // Автоматика и телемеханика. 1985. 4. С. 57-68.

46. Заварин А.Н. Использование априорной информации в непараметрических оценках функции регрессии // Автоматика и телемеханика. 1985. 5. С. 79-85.

47. Ибрагимов И.А. Некоторые предельные теоремы для стационарных процессов // Теория вероят. и ее примен. 1962. Т. 7. Вып. 4. С. 361-392.

48. Ибрагимов И.А., Линник Ю.В. Независимые и стационарно связанные величины. М.: Наука, 1965. 524 с.

49. Ибрагимов И.А., Хасьминский Р.З. Асимптотическая теория оценивания. М.: Наука. 1979. 528 с.

50. Катковник В.Я. Непараметрическая идентификация и сглаживание данных. М.: Наука. 1985. 336 с.

51. Колмогоров А.Н., Фомин С.В. Элементы теории функций и функционального анализа. М.: Наука. 1972. 496 с.

52. Конаков В.Д. Непараметрическое оценивание условных и частных моментов // Теория вероят. и ее примен. 1973. Т.18. Вып.2. С.440-442.

53. Кошкин Г.М. Об одном подходе к оцениванию переходной функции распределения и моментов для некоторых марковских процессов // Матем. статистика и ее приложения. Томск: Изд-во Том. ун-та, 1976. Вып 4. С.116-121.

54. Кошкин Г.М. Об одном подходе к исследованию функционалов от условных распределений при статистической неопределенности // Автоматика и телемеханика. 1978. 8. С.53-65.

55. Кошкин Г.М. О непараметрическом оценивании условных функционалов // Докл. VII Всес. конф. по теории кодирования и передачи информации. М.:-Вильнюс: Наука, 1978. 4.6. С.50-53.

56. Кошкин Г.М. Об равномерной сходимости в среднеквадратиче-ском функционалов от условных распределений // Матем. статистика и ее приложения. Томск: Изд-во Том. ун-та, 1979. Вып 5. С.39-52.

57. Кошкин Г.М. Об одном методе устранения смещения оценок // Теория вероят. и ее примен. 1987. Т.32. Вып. 1. С.147-149.

58. Кошкин Г.М. Улучшенная неотрицательная ядерная оценка плотности // Теория вероят. и ее примен. 1988. Т.ЗЗ. Вып. 4. С.817-822.

59. Кошкин Г.М. Асимптотические свойства функций от статистик и их применения к непараметрическому оцениванию // Автоматика и телемеханика. 1990. 3. С.82-97.

60. Кошкин Г.М. Устойчивое оценивание отношений случайных функций по экспериментальным данным // Изв. вузов. Физика. 1993. 10. С.137-145.

61. Кошкин Г.М. Оценивание статистических характеристик по экспериментальным данным методами подстановки и регуляризации. // Изв. вузов. Физика. 1997. 1. С.128.

62. Кошкин Г.М. Моменты отклонений оценки подстановки и ее кусочно-гладких аппроксимаций // Сибирский математический журнал. 1999. Т.40. 3. С.605-618.

63. Кошкин Г.М., Симахин В.А., Тарасенко Ф.П. Об одной оценке условной функции распределения и линии регрессии по зависимой выборке // Материалы IV научной конф. по математике и механике. Томск: Изд-во Том. ун-та, 1974. Кн.1. С.135-136.

64. Крамер Г. Математические методы статистики. М.: Мир, 1975. 648 с.

65. Кушнир А.Ф. Асимптотически оптимальные критерии для регрессионной задачи проверки гипотез // Теория вероят. и ее применен. 1968. Т.13. Вып.4. С.682-700.

66. Ле Кам JI. О некоторых асимптотических свойствах оценок максимального правдоподобия и соответствующих байесовских оценок // Математика (сб. переводов). 1960. 4:2. С.69-119.

67. Леман Э. Проверка статистических гипотез. М.: Наука, 1979. -408 с.

68. Липцер Р.Ш., Ширяев А.Н. Статистика случайных процессов. М.: Наука, 1974. 696 с.

69. Лоэв М. Теория вероятностей. М.: Ин. лит-ра. 1962. 720 с.

70. Медведев А.В. Непараметрические системы адаптации. Новосибирск: Наука, 1983. 176 с.

71. Надарая Э.А. Об оценке регрессии // Теория вероят. и ее примен. 1964. Т.19. Вып.1. С. 147-149.

72. Надарая Э.А. О непараметрических оценках плотности вероятности и регрессии // Теория вероят. и ее применен. 1965. Т.10. Вып.1. С. 199-203.

73. Надарая Э.А. Непараметрические оценки кривой регрессии // Тр. ВЦ АН ГССР. Тбилиси: Мецниереба, 1965. 5:1. С. 56-68.

74. Надарая Э.А. Об интегральной среднеквадратической ошибке некоторых непараметрических оценок плотности вероятностей // Теория вероят. и ее примен. 1974. Т.19. Вып.1. С.131-139.

75. Надарая Э.А. Непараметрическое оценивание плотности вероятностей и кривой регрессии. Тбилиси: Изд-во Тбил. ун-та. 1983. -194 с.

76. Натансон И.П. Теория функций вещественной переменной. М.: Наука, 1974. 480 с.

77. Невельсон М.Б., Хасьминский Р.З. Стохастическая аппроксимация и рекуррентное оценивание. М.: Наука. 1972. 304 с.

78. Нейман Дж. Два прорыва в теории статистических решений // Математика (сб. переводов). 1964. 8:2. С.113-132.

79. Немировский А.С., Цыпкин Я.З. Об оптимальных алгоритмах адаптивного управления // Автоматика и телемеханика. 1984. 12. С.64-77.

80. Пакшин П.В. Устойчивость дискретных систем со случайной структурой при постоянно действующих возмущениях // Автоматика и телемеханика. 1983. 6. С.74-84.

81. Пенская М.Я. Об устойчивом оценивании функции параметра // Статистические методы оценивания и проверки гипотез. Пермь: Изд-во Перм. ун-та, 1990. С.44-55.

82. Прохоров Ю.В., Розанов Ю.А. Теория вероятностей. М.: Наука, 1973. 494 с.

83. Пугачев B.C. Статистическая теория обучающихся автоматических систем // Изв. АН СССР. Техническая кибернетика. 1967. 6. С.26-42.

84. Пугачев B.C. Теория вероятностей и математическая статистика. М.: Наука, 1979. 496 с.

85. Пугачев B.C., Синицын И.Н. Стохастические дифференциальные системы. М.: Наука, 1985. 560 с.

86. Роббинс Г. Эмпирический байесов подход к статистике // Математика (сб. переводов). 1964. 8:2. С.133-140.

87. Роббинс Г. Эмпирический байесов подход к задачам теории статистических решений // Математика (сб. переводов). 1966. 10:5. С.122-140.

88. Сергеев В.Л. Об использовании оценок локальной аппроксимации плотности вероятности // Автоматика и телемеханика. 1979. 7. С.56-61.

89. Стратонович P.JI. Условные марковские процессы и их применение к теории оптимального управления. М.: Изд-во МГУ, 1966. с.

90. Тарасенко Ф.П. Непараметрическая статистика // Томск: Изд-во Том. ун-та, 1976. 292 с.

91. Тихонов А.Н., Арсенин В.Я. Методы решения некорректных задач. М.: Наука, 1979.

92. Фетисов В.Н. Аппроксимация случайного процесса процессом авторегрессии в задачах стохастического управления // Автоматика и телемеханика. 1983. 4. С. 94-98.

93. Фетисов В.Н. Марковская аппроксимация случайной последовательности в задачах оптимального управления // Изв. АН СССР. Техн. кибернетика. 1979. 1. С. 37-43.

94. Хазен Э.М. Методы оптимальных статистических решений и задачи оптимального управления. М.: Сов. радио, 1968. 256 с.

95. Хазен Э.М. Восстановление компонент многомерного марковского процесса по наблюдениям других его компонент // Пробл. управления и теории информ. 1978. Т.7. 4. С.263-275.

96. Хэннан Э. Многомерные временные ряды. М.: Мир, 1974. 575 с.

97. Цыбаков А.Б. О выборе ширины окна в ядерной непараметрической регрессии // Теория вероят. и ее примен. 1987. Т.32. Вып.1. С.153-159.

98. Цыпкин Я.З. Адаптация и обучение в автоматических системах. М.: Наука, 1968. 399 с.

99. Ченцов Н.Н. Статистические решающие правила и оптимальные выводы. М.: Наука, 1972. 520 с.

100. Шапиро Е.И. Непараметрические оценки плотности вероятности в задачах обработки результатов наблюдений // Зарубежная радиоэлектроника. 1976. 2. С.З-Зб.

101. Ширяев А.Н. Вероятность. 2-е изд., перераб. и доп. М.: Наука. 1989. 640 с.

102. Aoki М. On some convergence question in Bayesian optimization problem // IEEE Trans, on Automat. Control // 1965. 2. P. 180-182.

103. Bhattacharya P.K. Estimation of a probability density function and its derivatives // Sankhya. Indian. J. Statist. 1967. V.A29. P.373-382.

104. Bradley R., Bryc W. Multilinear forms and measures of dependence between random variables // J. Multivar. Anal. 1985. V.16. 3. P.335-367.

105. Cacoullos T. Estimation of a multivariate density // Ann. Inst. Statist. Math. 1966. V.18. symbol242 2. P.179-189.

106. Castellana J.V., Leadbetter M.R. On smoothed probability density estimation for stationary processes // Stochastic Processes and Appl. 1986. V.21, 2. P.179-193.

107. Collomb G. Estimation non parametrique de la regression par la methode du noyau: These Docteur Ingenieur. Toulouse: Univ. Paul-Sabatier, 1976.

108. Dobrovidov A.V., Koshkin G.M. Nonparametric Filtering in Autore-gression Models // The Third Russian-Korean International Symposium on Science and Technology. (June 22-25, 1999, Novosibirsk).

109. Abstracts. 1999. Vol.1. Novosibirsk: Novosibirsk State Technical University. P.250.

110. Doukhan P., Ghindes M. Estimation de la transition de probabilite d'une chain de Markov Doeblin-recurrente. Etude du eas processus autoregressif general d'ordre 1 // Stochastic Processes and Appl. 1983. V.15. 3. P.271-293.

111. Farrel R.H. On the best obtainable asymptotic rates of convergency in estimation of a density function at a point // Ann. Statist. 1972. V.43. symbol242 1. P.170-180.

112. Fraser D.A.S. Nonparametric methods in statistics. N.-Y.: J. Wiley and Sons. 1957. 299 p.

113. Fukunaga K., Hostetler L.D. The estimation of the gradient of a density function , with applications in pattern recognition // IEEE Trans. Inform. Theory. 1975. V.IT-21. symbol242 1. P.32-40.

114. Fukunaga K., Hostetler L.D. Optimization of к -nearest neighbor density estimates // IEEE Trans. Inform. Theory. 1975. V.IT-21. symbol242 3. P.320-326.

115. Gasser Т., Muller H.-G. Kernel estimation of regression functions // Lect. Notes Math. 1979. V.757. P.23-68.

116. Muller H.-G., Gasser T. Optimal convergence properties of kernel estimates of derivatives of a density function // Lect. Notes Math. 1979. V. 757. P. 144-154.

117. Gyorfi L. Strong consistent density estimate from ergodic sample // J. Multiv. Analysis. 1981. V.ll. 1. P.81-84.

118. Gyorfi L. Recent results on nonparametric regression estimate and multiple classification // Problems of Control and Inform. Theory. 1981. V.10. 1. P.43-52.

119. Gyorfi L., Hardle W., Sarda P., Vieu P. Nonparametric curve estimation from time series. Lecture Notes Math. Statist. N.Y.: Springer-Verlag, 1988. 128 p.

120. Johns M.V. Non-parametric empirical Bayes procedures // Ann. Math. Statist. 1957. V.228. 3. P.649-669.

121. Konakov V.D. Asymptotic prorerties of some functions of nonparametric estimates of a density function // J. Multiv. Anal. 1973. V.3. 4. P.454-468.

122. Kushner H.J. On the dynamical equations of conditional probability density functions with applications to optimal stochastic control theory // J. Math. Appl. 1964. 8. P. 332-334.

123. Masry E. Probability density estimation from sampled data // IEEE Trans. Inf. Theory. 1983. V. IT-29. № 5. P. 696-709.

124. Masry E. Recursive probability density estimation for weakly dependent stationary processes // IEEE Trans. Inf. Theory. 1986. V.IT-32. № 2. P. 254-267.

125. Murthy V.K. Nonparametric estimation of multivariable densities with applications. // Multiv. Analysis I. N.Y., London: Academic Press, 1966. P. 43-56.

126. Rosenblatt M. Remarks on some nonparametric estimates of a density functions // Ann. Math. Statist. 1956. V. 27. № 3. P. 832-837.

127. Rosenblatt M. Independence and Dependence I j Proc. 4-th Berkley Sympos. Vfth. Statist, and Probability. V. 2 Los Angeles: Bercley, 1960. P. 431-433.

128. Rosenblatt M. Conditional Probability Density and Regresiion estimators // Multiv. Analysis II. N.Y.: Academic Press, 1969. P. 25-31.

129. Rosenblatt M. Density estimates and Markov sequences / Nonpara-metric Techniques in Statistical Inference. Cambridge: Univ. Press, 1970.

130. Rosenblatt M. Curve estimates // Ann. Math. Statist. 1971. V. 42. № 6. P. 1815-1842.

131. Rosenblatt M. Markov Processes, Structure and Asymptotic Behavior. Springer Verlag, 1971.

132. Roussas G.G. Nonparametric estimation in Markov processes // Ann. Inst. Statist. Math. 1969. V. 21. № 1. P. 73-87.

133. Roussas G.G Nonparametric estimation of the transition distribution function of a Markov process // Ann. Math. Statist. 1969. V. 40. 4. P.1386-1400.

134. Parzen E. On estimation of a probability density function and mode // Ann. Math. Statist. 1962. V. 33. № 3. P. 1065-1076.

135. Pracasa Rao B.L.S. Nonparametric functional estimation. Academic Press, 1983.

136. Schuster E.F. Estimation of a probability density function and its derivatives // Ann. Math. Statist. 1969. V. 40. № 4. P. 1187-1195.

137. Schuster E.F. Joint asymptotic distribution of the estimated regression function at a finite number of distinct points // Ann. Math. Statist. 1972. V. 43. № 1. P. 84-88.