автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Методы минимаксного оценивания в многомерных линейных моделях наблюдения при наличии геометрических ограничений на моментные характеристики

На правах рукописи

Семенихин Константин Владимирович

МЕТОДЫ МИНИМАКСНОГО ОЦЕНИВАНИЯ В МНОГОМЕРНЫХ ЛИНЕЙНЫХ МОДЕЛЯХ НАБЛЮДЕНИЯ ПРИ НАЛИЧИИ ГЕОМЕТРИЧЕСКИХ ОГРАНИЧЕНИЙ НА МОМЕНТНЫЕ ХАРАКТЕРИСТИКИ

Специальность 05.13.01 «Системный анализ, управление и обработка информации (авиационная и ракетно-космическая техника)»

АВТОРЕФЕРАТ

диссертации на соискание ученой степени доктора физико-математических наук

2 4 ОЕВ 2011

Москва — 2010

4856068

Работа выполнена на кафедре теории вероятностей Московского авиационного института (государственного технического университета) «МАИ».

Научный консультант:

Официальные оппоненты:

доктор физико-математических наук

Ведущая организация:

профессор Панков Алексей Ростиславович

доктор физико-математических наук профессор Пантелеев Андрей Владимирович

доктор физико-математических наук профессор Матасов Александр Иванович

доктор технических наук старший научный сотрудник Курдюков Александр Петрович

Учреждение Российской академии наук Институт проблем передачи информации им. А. А. Харкевича РАН

Защита состоится 25-го февраля 2011 г. в Ю00 на заседании Диссертационного совета Д 212.125.04 при МАИ по адресу: 125993, Москва, А-80, ГСП-3, Волоколамское ш., 4, Ученый совет МАИ.

С диссертацией можно ознакомиться в библиотеке МАИ.

Отзывы на автореферат, заверенные гербовой печатью организации, просим направлять по указанному адресу в двух экземплярах.

Автореферат разослан

^ О/ 2О10/г.

Ученый секретарь Диссертационного совета, кандидат физико-математических наук, доцент

Ротанина

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Разработка новых эффективных методов восстановления неизвестных параметров и состояний стохастических систем является актуальной проблемой теории и практики обработки измерительной информации и системного анализа.

Теоретический подход к изучению разнообразных задач оценивания основан на описании трех объектов: модели наблюдения, класса допустимых операторов оценивания и критерия оценивания. Модель наблюдения определяет зависимость между оцениваемыми параметрами или состояниями исследуемой системы с одной стороны и наблюдаемыми величинами или процессами с другой стороны. В рамках теоретико-вероятностного подхода задание модели наблюдения предполагает также описание доступной априорной информации о значениях детерминированных параметров и вероятностных характеристиках случайных факторов. Класс допустимых операторов оценивания представляет собой набор решающих правил, позволяющих по имеющейся реализации наблюдений построить оценку неизвестного состояния системы. Критерий оценивания формулирует правило, согласно которому один оператор оценивания признается лучшим по сравнению с другим в условиях имеющейся модели наблюдения.

С практической точки зрения указание всех трех перечисленных выше объектов также является чрезвычайно важным. Во-первых, описание модели наблюдения устанавливает границы применимости имеющихся технических решений. Во-вторых, класс операторов оценивания определяет рамки возможных программных или инструментальных средств извлечения необходимой информации из доступных опытных данных. В-третьих, критерий оценивания представляет собой формализацию требований, предъявляемых практиком к качеству оценок. И наконец, все это вместе позволяет принять обоснованное решение о том, стоит ли ради повышения точности оценивания производить новые измерения, вносить изменения в условия эксперимента или совершенствовать измерительные средства и их программно-алгоритмическое обеспечение.

Понятие модели наблюдения охватывает как статистические модели (параметрические и непараметрические), так и частично наблюдаемые стохастические системы. Изучению статистических моделей посвящены монографии Т. Андерсона, А. А. Боровкова, В. Н. Вапника, Е. 3. Демиденко, Г. Крамера, Ш. Закса, И. А. Ибрагимова, Ю. В. Линника, С. Р. Pao, Дж. Себера, Р. Фишера, Р. 3. Хасьминского. Основы теории оптимального оценивания случайных процессов были заложены в работах Н. Винера, М. Закаи, Р. Калмана,

A. Н. Колмогорова, Р. JI. Стратоновича. Задачи оптимального оценивания и фильтрации в стохастических системах управления исследовались в работах

B. Н. Афанасьева, У. Вонэма, Н. С. Дёмина, А. В. Добровидова, М. Дэвиса, И. Е. Казакова, В. Б. Колмановского, Н. В. Крылова, Н. А. Кузнецова, Р. Ш. Липцера, Б. М. Миллера, П. В. Пакшина, А. В. Пантелеева, В. С. Пугачёва, Е. Я. Рубиновича, И. Н. Синицына, А. Н. Ширяева.

На языке теории вероятностей любую модель наблюдения можно описать в терминах оцениваемого элемента, наблюдаемого элемента и множества их совместных распределений (множества неопределенности). Это множество вводится либо непосредственно с помощью ограничений на взаимные характеристики оцениваемого и наблюдаемого элементов, либо опосредованно через определение зависимости этих элементов от третьего элемента, распределение которого известно с точностью до принадлежности некоторому фиксированному классу. Если часть параметров и процессов являются детерминированными, то ограничения на их значения также можно описать в вероятностных терминах с использованием вырожденных распределений.

Таким образом, понятие модели наблюдения позволяет охватить различные системы: детерминированные и стохастические, конечномерные и бесконечномерные, статические и динамические. С целью подчеркнуть указанную общность будем использовать термин неопределенно-стохастические модели наблюдения для систем, которые содержат неслучайные неопределенные параметры и случайные величины с неточно заданным законом распределения. Систематическое исследование таких систем было начато В. С. Пугачёвым.

В конечномерном случае линейные неопределенно-стохастические системы описываются уравнениями обобщенной линейной регрессии, в которых не делается изначального предположения о невырожденности каких-либо матриц, описывающих структуру корреляционной или регрессионной зависимости. Данные модели наблюдения и соответствующий аппарат псевдообращения изучались в работах А. Алберта, А. Вен-Израэля, Т. Гревилля, Д. Катлина, В. И. Мелешко, М. Нэшеда, В. Рута. Класс линейных моделей наблюдения включает в себя как регулярные модели, в которых постулируется, что ковариационная матрица вектора наблюдений — невырожденная, так и сингулярные модели, где это предположение нарушается. Класс неопределенно-стохастических систем, описываемых моделью обобщенной линейной регрессии с экстремальными ограничениями на моментные характеристики второго порядка, был изучен в работах А. Р. Панкова и его учеников.

В задачах точечного оценивания оператор оценивания представляет собой измеримое отображение пространства наблюдаемого элемента в пространство, в котором принимает значения оцениваемый элемент. В статистических моделях на оператор оценивания традиционно накладывают условия линейности, аффинности, несмещенности, состоятельности и т. д. В динамических системах ограничения на оператор оценивания (рекуррентность, стационарность, устойчивость и т.д.) обусловлены организацией процесса наблюдения или требованиями к свойствам замкнутой системы. Таким образом, в зависимости от потребности практики могут использоваться различные классы операторов оценивания.

Обычно под критерием оценивания понимают функционал, отражающий некоторую усредненную характеристику ошибки оценивания, которую необходимо минимизировать на фиксированном классе решающих правил. Однако при наличии неопределенности в описании характеристик модели наблюдения данная задача оказывается недоопределенной. Для ее корректной постановки используют два основных подхода: асимптотический и минимаксный.

Асимптотический подход основан на операции предельного перехода, смысл которого состоит в том, чтобы предел критерия оценивания не зависел от неопределенных характеристик модели наблюдения. Если используется предельный переход по количеству наблюдений, то теоретическую базу соответствующих методов образуют предельные теоремы теории вероятностей, которые обеспечивают инвариантность асимптотики критерия оценивания относительно неизвестного распределения случайных ошибок наблюдения. Другая часть асимптотических методов основана на гипотезе о том, что истинные значения неопределенных характеристик находятся в достаточно малой окрестности некоторых расчетных или номинальных значений.

В основе минимаксного подхода лежит теоретико-игровая формулировка, при которой исследователь и внешняя среда рассматриваются как пара игроков с взаимно противоречивыми интересами. Цель исследователя, как и прежде, состоит в минимизации критерия посредством выбора оператора оценивания из определенного класса, но при минимаксном подходе оценка ищется из расчета на наихудшее состояние исследуемой системы. Тем самым задача оценивания сводится к минимизации точной верхней грани критерия, вычисленной по заданному множеству неопределенности. Поэтому в отличие от асимптотических методов оценивания минимаксные методы призваны обеспечить наилучшее качество восстановления неизвестных параметров и процессов по фиксированному объему наблюдений.

Решение игровой постановки задачи оценивания предполагает определение не только минимаксной оценки, но и наименее благоприятных значений неопределенных факторов, которые образуют решение максиминной задачи. Эта задача называется также двойственной, поскольку ее решение доставляет максимум на множестве неопределенности оптимальному значению критерия оценивания. Если при этом имеет место соотношение двойственности, т. е. оптимальные значения функционалов в минимаксной и двойственной задачах совпадают, то пара, состоящая из минимаксной оценки и наименее благоприятного элемента множества неопределенности, образует седловую точку. При этих условиях для определения минимаксной оценки имеет смысл использовать метод двойственной оптимизации, суть которого состоит в нахождении оптимальной оценки, соответствующей наименее благоприятным характеристикам модели наблюдения.

При использовании гарантирующего подхода обычно целью исследования является оценка неоптимальности стандартных алгоритмов оценивания, таких как метод наименьших квадратов или фильтр Калмана, в ситуации более общей, чем та, при которой эти алгоритмы являются оптимальными.

Отметим, что рассмотренные подходы допускают различные вариации и сочетания. Например, совместное использование оптимальных и асимптотических методов приводит к адаптивным приемам в обработке статистической информации. В рамках адаптивного подхода предполагают, что недостающая априорная информация о неизвестных значениях неопределенных характеристик системы может быть извлечена из нарастающего объема данных, за счет чего на каждом шаге адаптации происходит уточнение текущего значения оценки. Адаптивным методам обработки информации посвящены работы

О. Н. Граничина, А. С. Кощеева, Л. Льюнга, А. В. Назина, М. Б. Невельсона, Б. Т. Поляка, В. Н. Фомина, Я. 3. Цыпкина. Идеи асимптотически минимаксного статистического оценивания отражены в работах И. А. Ибрагимова,

A. П. Коростелёва, Б. Я. Левита, А. С. Немировского, В. Г. Покотило, Р. 3. Хасьминского, А. Б. Цыбакова.

Гарантирующие и минимаксные методы лежат в общем русле робастно-го подхода, основоположником которого является А. Вальд. Развитию его идей с привлечением асимптотических результатов посвящена монография П. Хыобера. В нашей стране первые публикации, посвященные гарантирующим и минимаксным методам обработки статистической информации, связаны с именами В. М. Александрова, Н. Н. Красовского, А. Б. Куржанского, М. Л. Лидова и С. А. Смоляка. Прикладные аспекты использования робаст-ных методов обработки экспериментальных данных в задачах авиационно-космической техники отражены в работах И. К. Бажинова, Б. Ц. Бахшияна, Л. Ю. Белоусова, И. А. Богуславского, В. И. Карлова, М. Н. Красилыцикова,

B. В. Малышева, Р. Р. Назирова, В. Н. Почукаева, П. Е. Эльясберга.

Важные результаты о структуре минимаксных оценок при наличии эллипсоидальных ограничений на неизвестные параметры и состояния получены А. Куксом, В. Ольманом, Ф. Л. Черноусько. Детерминированные постановки проблем гарантирующего оценивания изучались в работах Б. И. Ананьева, Б. Ц. Бахшияна, Д. Бертсекаса, В. Вичино, X. Витценхаузена, М. И. Гусева,

A. И. Матасова, М. Миланезе, Й. Роудса, Ф. Швеппе, В. И. Ширяева. Синтез алгоритмов минимаксного оценивания в различных моделях наблюдения с неопределенными моментными характеристиками второго порядка на основе методов двойственной оптимизации описан в работах С. Верду,

B. Б. Меласа, И. Ф. Пинелиса, В. Пура, В. Н. Соловьёва. Использование оптимизационной техники линейных матричных неравенств для решения различных задач робастного оценивания и фильтрации продемонстрировано в работах С. Бойда и Л. Эль Гауи.

Распространению методов минимаксного оценивания на бесконечномерные статистические и стохастические модели наблюдения посвящены работы Б. И. Ананьева, А. В. Борисова, А. Г. Наконечного, А. Р. Панкова, Ю. П. Пы-тьева, А. М. Федотова. Структура минимаксного фильтра в стационарном случае установлена в работах Ю. Б. Коробочкина, О. М. Куркина, Д. Луза, В. Пура, С. А. Шаталова. Проблема оптимальности линейных алгоритмов в задачах гарантирующего оценивания была изучена в работах М. И. Гусева, Д. Донохо, Г. Г. Магарил-Ильяева, А. И. Матасова, К. Ю. Осипенко.

Теперь рассмотрим различные варианты критериев, которые возникают в задачах оценивания и фильтрации. В стохастических постановках можно выделить два основных типа критериев: априорные и апостериорные.

Апостериорные критерии используются для определения качества оценок на текущей реализации наблюдений. Разработка методов апостериорного оценивания в статистически неопределенных системах была инициирована в работах И. Я. Каца и А. Б. Куржанского. Этот подход основан на технике построения информационных множеств для состояний детерминированных систем. Дальнейшие исследования в этой области с привлечением методов

доверительного оценивания были продолжены Г. А. Тимофеевой. В работах А. В. Борисова апостериорный критерий использовался для минимаксной фильтрации в системах со случайной структурой.

Использование априорного критерия качества для оптимизации алгоритмов оценивания возникло в статистических моделях с целью исследования статистических свойств МНК-оценок и оценок метода максимального правдоподобия. Большинство этих исследований основано на изучении среднеквадратичного критерия, который стал традиционным показателем качества оценивания. Несмотря на это, первые результаты по минимаксному статистическому оцениванию, опубликованные Дж. Ходжесом и Е. Леманом, уже были ориентированы на использование функционалов, более общих чем среднеквадратичный. Понятие асимптотической эффективности относительно вероятностного критерия было введено Р. Бахадуром. Один из первых примеров использования вероятностного и квантильного критериев для построения минимаксных оценок содержится в книге Б. Ц. Бахшияна, Р. Р. Назирова, П. Е. Эльясберга. В связи с минимаксной постановкой задачи интервального оценивания свойства вероятностного критерия были изучены в работах М. Минтца и М. Зейтиноглу. Методика построения доверительных оценок на основе обобщенного минимаксного подхода предложена в работе

A. И. Кибзуна.

Отметим, что в большинстве из перечисленных выше работ в качестве показателя риска использовалась евклидова норма ошибки. Однако в последнее время широкое распространение получили критерии неевклидовой структуры: обобщенный квадратичный критерий, критерий в виде отношения «сигнаг/шум», Т^оо-критерий, а также информационные критерии. В связи с задачами управления и фильтрации в неопределенных и стохастических системах соответствующие постановки изучались в работах Т. Башара, П. Бернхарда, А. П. Курдюкова, К. Мартина, М. Минтца, И. Питерсена,

B. Пура, А. В. Савкина, В. А. Угриновского.

Приведенный обзор методов обработки статистической информации в условиях априорной неопределенности позволяет выделить несколько актуальных направлений исследований в области робастного оценивания:

1) анализ обобщенных линейных моделей регрессии в присутствии априорной информации, выраженной в терминах геометрических ограничений на моментные характеристики первого и второго порядков;

2) разработка методов двойственной оптимизации для построения минимаксных оценок векторных параметров в регулярных и сингулярных неопредел енно-стохастических моделях линейной регрессии;

3) создание алгоритмической базы методов минимаксного оценивания и анализ соответствующих численных процедур;

4) расширение набора типовых неопределенно-стохастических моделей наблюдения, допускающих аналитический синтез минимаксных оценок;

5) минимаксная оптимизация операторов оценивания с привлечением нестандартных критериев качества, таких как вероятностный и квантильный;

6) обоснование оптимальности линейных оценок в различных постановках задачи минимаксного оценивания;

7) минимаксное оценивание в бесконечномерных стохастических системах при наличии геометрических ограничений на ковариационные операторы оцениваемого и наблюдаемого элементов;

8) разработка численных методов, предназначенных для вычисления минимаксных оценок в бесконечномерных моделях наблюдения.

Все перечисленные направления соответствуют проблематике минимаксного оценивания в многомерных линейных неопределенно-стохастических моделях наблюдения. Указанные модели составляют объект исследования диссертационной работы.

Целью диссертации является разработка и анализ методов оптимального оценивания параметров и состояний линейных стохастических систем с неопределенными моментными характеристиками, стесненными геометрическими ограничениями.

Для достижения поставленной цели необходимо:

1) описать класс конечномерных линейных неопределенно-стохастических моделей наблюдения, в которых априорная информация о распределениях сформулирована в виде ограничений на математические ожидания и ковариационные матрицы;

2) определить условия существования седловой точки в задаче оценивания по среднеквадратичному критерию;

3) установить границы применимости метода двойственной оптимизации для построения минимаксных оценок;

4) разработать алгоритмы оценивания в сингулярных моделях наблюдения с использованием теории двойственности и процедур регуляризации;

5) разработать численные процедуры оптимизации, обеспечивающие решение минимаксной и двойственной задач;

6) описать класс критериев оценивания, отвечающих естественным требованиям и допускающих явное построение минимаксных оценок в линейных неопределенно-стохастических моделях наблюдения;

7) определить структуру распределения, реализующего наименее благоприятную ситуацию при использовании указанных выше критериев оценивания;

8) распространить результаты об оптимальности линейных алгоритмов оценивания на более широкий класс неопределенно-стохастических моделей наблюдения;

9) разработать основы теории минимаксного оценивания в бесконечномерных стохастических системах с фиксированными математическими ожиданиями и неопределенными ковариационными операторами;

10) продемонстрировать эффективность разработанных методов оценивания на нескольких прикладных задачах обработки измерительной информации.

В диссертации были использованы следующие методы исследования: методы выпуклого анализа (понятие рецессивного направления, теоремы о минимаксе, теория субдифференциала); методы теории оптимизации (процедура регуляризации по Тихонову, метод условного градиента, теоремы о сходимости численных методов); методы линейной алгебры (операция

псевдообращения, свойства неотрицательно определенных матриц); методы теории вероятностей, элементы математической статистики и регрессионного анализа, основы теории фильтрации; методы функционального анализа (понятие оснащенного гильбертова пространства, свойства неотрицательно определенных, ядерных и гильберто-шмидтовых операторов).

Научная новизна диссертационной работы состоит в том, что в ней впервые были получены следующие теоретически значимые результаты:

1) доказательство эквивалентности различных способов описания обобщенных линейных регрессионных моделей с неопределенными моментными характеристиками второго порядка;

2) обоснование метода двойственной оптимизации для решения задачи минимаксного оценивания в многомерных линейных неопределенно-стохастических моделях наблюдения;

3) разработка процедур регуляризации для построения минимаксных оценок в конечномерных сингулярных моделях наблюдения;

4) аналитический синтез минимаксных оценок параметров и состояний неопределенно-стохастических систем частного вида;

5) разработка основ теории оценивания относительно обобщенных вероятностных критериев;

6) описание наименее благоприятного распределения, соответствующего обобщенному вероятностному критерию оценивания;

7) доказательство оптимальности линейных оценок относительно среднеквадратичного и обобщенного вероятностного критериев для широкого класса неопределенно-стохастических моделей наблюдения;

8) разработка и анализ численных процедур минимаксной оптимизации в задаче оценивания параметров и состояний многомерных линейных неопределенно-стохастических моделей наблюдения.

О практической ценности работы свидетельствует то, что ее теоретические результаты были успешно применены для решения ряда прикладных задач обработки информации, среди которых:

— робастная идентификация кинематической модели движения летательного аппарата (JIA);

— минимаксное оценивание дальности и радиальной скорости JIA при наличии ограничений;

— оптимизация надежности оценивания координат ЛА;

— выделение тренда в мультиколлинеарной эконометрической модели.

Достоверность утверждений, представленных в диссертации, обоснована строгими математическими доказательствами и подтверждена результатами численного моделирования.

Диссертационная работа прошла апробацию в ходе обсуждений на научных семинарах под руководством профессоров А. И. Кибзуна (МАИ), Б. М. Миллера (ИППИ РАН), Б. Т. Поляка (ИПУ РАН), В. Н. Афанасьева (МИЭМ), Ю. П. Пытьева (Физфак МГУ), М. И. Гусева (ИММ УрО РАН), а также на семинаре по стохастическим системам в Технологическом институте Стивенса (Хобокен, США).

Результаты работы докладывались диссертантом на следующих научных конференциях: European Control Conf. (Budapest, 2009); Conf. on Stochastic Programming (Vienna, 2007); IEEE Conf. on Physics & Control (Potsdam, 2007);

Всеросс. конф. «Математическое программирование и приложения» (Екатеринбург, 2007); «Устойчивость, управление и моделирование динамических систем» (Екатеринбург, 2006); Joint Conf. «Prague Stochastics'2006»; Joint IEEE Conf. on Decision & Control CDC-ECC'2005 (Seville); IFIP ТС 7 Conf. on System Modelling & Optimization (Turin, 2005); Всеросс. конф. «Математические методы распознавания образов» (Звенигород, 2005); Междунар. конф. «Идентификация систем и задачи управления» (ИПУ РАН, 2003 и 2000); «Системный анализ и управление космическими комплексами» (Евпатория, 2002); Междунар. симпозиум IFAC по теории нелинейных систем управления (С.-Петербург, 2001); Междунар. симпозиум по теории адаптивных систем управления (С.-Петербург, 1999); Междунар. конф. по проблемам управления (ИПУ РАН, 1999); Всеросс. конф. «Научные чтения школы академика В. С. Пугачёва» (ВВИА им. Н. Е. Жуковского, 1999); Междунар. конф. «Бортовые интегрированные комплексы и современные проблемы управления» (Ярополец, 1998).

Основные результаты диссертации получены лично автором и опубликованы в 54 печатных работах: в том числе 16 статей в рецензируемых периодических изданиях (из них 14 — из перечня ВАК) и 21 статья в сборниках трудов.

Структура диссертации: диссертационная работа содержит введение, шесть глав, приложение и заключение; объем диссертации — 326 страниц, включая список литературы (198 наименований), список обозначений и сокращений, а также 17 рисунков и две таблицы.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность исследуемой проблемы, сформулированы цель и задачи диссертационной работы, перечислены полученные в диссертации новые результаты, указана их практическая ценность, описана структура диссертации.

В первой главе определен класс конечномерных линейных неопределенно-стохастических моделей наблюдения с геометрическими ограничениями на моментные характеристики второго порядка:

Х = ав + Ь^, У = Ав + В С- (1.1)

Здесь X 6 К" — оцениваемый вектор; У € М" — вектор наблюдений; в € Ер — вектор детерминированных параметров; ( 6 М9 — случайный вектор с произвольным распределением, таким что

М< е М, соу{С,С}етг, (1.2)

где Л4,И — известные ограниченные подмножества пространства К9 и семейства неотрицательно определенных матриц 4 соответственно; а 6 Мт><р, Ъ е МтХд, А е Жпхр и В е К"*9 - заданные матрицы.

Описанные выше условия позволяют описать семейство возможных распределений Рz расширенного вектора модели наблюдения Z col[X, У]:

Vz = {Pz : Z = Lp, Mp e Mp, соv{p, р} е Пр}, (1.3)

где , р := ^ , МР := R" х М, Пр := {diag[0, Д] : R 6 К).

Однако семейство распределений Рz можно ввести непосредственно с помощью ограничений на моментные характеристики вектора Z:

V(Mz,Kz) :={Pz:MZe Mz, соv{Z, Z} 6 П2}, (1.4)

если положить M.z '•= {Lw: w S Mp} и Hz '•= {LWL* : W б ~R-P}-

Как следует из приведенной ниже теоремы, оба способа описания априорной информации оказываются эквивалентными.

Теорема 1.1. Для всякой матрицы L 6 МаХг и произвольных множеств Мр Çlr, TZP СК;ХГ семейства распределений (1.3), (1.4) совпадают.

Тем самым класс распределений линейного преобразования Lp вектора р с произвольным распределением, но фиксированными средним w и кова-риацией W, состоит из всевозможных распределений с соответствующими моментными характеристиками Lw и LWL*. Сформулированный результат основан на следующем систематически используемом в диссертации факте.

Лемма 1.1. Пусть даны детерминированные матрицы L e RsXr, W £ М+Хг и вектор w € Rr, а также случайный вектор ZgM5 со средним Lw и ковариационной матрицей LWL*. Если случайный вектор р' Е Мг выбрать таким образом, чтобы Шр' = w, cov{p',p'} = W и соv{p', Z} — О, то вектор

р := GZ + {I — GL)p', где G := WL*(LWL*)+,

будет удовлетворять условиям

Ыр = w, со v{p, р} = W, Р {Lp = Z} = 1.

Далее в первой главе рассмотрена задача минимаксного линейного оценивания относительно среднеквадратичного критерия

3(F,PZ)

на произвольном классе J- линейных операторов оценивания F.

Оператор оценивания F и соответствующая оценка X = FY называются минимаксными, если

F e argmin sup 3(F,Pz). Fer pzevz

В дальнейшем удобно использовать следующий функционал:

itr[(b - FB)K(b - FB)*], FA = a, J{F,K):= sup 3(F,PZ)= (L5)

PzePz(K) t+oo, FA ф a,

где Vz(K) —класс распределений из Vz с фиксированной матрицей вторых моментов М{«*} = К. Теперь задача минимаксного оценивания принимает вид

F € arg min sup J(F, К), (1.6)

Fefo кек

где J-~o := {F € J-: FA = а}—множество допустимых операторов оценивания, таких что J(F, К) < оо, а К. := {ии* + R: и € Ai, R € TZ} — множество неопределенности, элементами которого являются всевозможные матрицы вторых моментов М{СС*}- При этом без ограничения общности можно считать, что К выпукло и замкнуто, так как иначе sup J{F, К) = sup J(F, К), где cö[-] — выпуклая замкнутая оболочка. КеК. КеЩК]

Задача (1.6) имеет смысл, если ф 0. В этом случае говорят, что модель наблюдения идентифицируема. При Т = С, где С — класс всех линейных операторов, условие идентифицируемости равносильно одному из следующих трех эквивалентных условий:

ker[-4]Cker[a], im[a*] С im[<4*], аА+А = а. (1.7)

Теорема 1.4. Если множество J-q не пусто, выпукло и замкнуто, то для существования минимаксного оператора оценивания (1.6) достаточно выполнения одного из следующих условий: а) ^~}{кст\ВКВ*]: К € 1С} = {0}, б) образ множества J-о при любом линейном отображении замкнут.

Теперь опишем свойства множества минимаксных операторов оценивания

F := arg min sup J(F, К).

feto k€fz

Теорема 1.5. Пусть J-q не пусто, выпукло и замкнуто. Тогда

1) Т выпукло и замкнуто;

2) J- не пусто, выпукло и компактно, если ¡~}{кех[ВКВ*]: К е К} = {0};

3) если найдется матрица Ко Е 1С, такая что kcv[BKoB*] = {0}, то

где отт — минимальное собственное значение, a J := min sup J(F,K) — оптимальное гарантированное значение с.к.-критерия; FeJr° к etc

4) минимаксный оператор F определен однозначно, если К. компактно и имеет место условие регулярности, т. е.

кех[ВКВ*} = {0} VKe/C. (1.8)

Если Р определен неоднозначно, то разумно выбрать оператор с наименьшей фробениусовой нормой:

€а^тш|И2, где ||^||2 := у^**].

Этот оператор назван нормальным минимаксным оператором.

Основное внимание в работе уделено методам минимаксного оценивания, основанным на использовании решения двойственной задачи:

К е азътвхДК), где ¿(К):= Ы ДР,К). (1.9)

кек

Теорема 1.6. Пусть множество операторов оценивания J-q выпукло и

qx

замкнуто, а множество неопределенности К. с R+XlJ выпукло и компактно.

Тогда имеют место следующие утверждения:

1) выполнено соотношение двойственности

inf sup J(F,К) = sup inf J(F,K)-, Р&Гокек кекР&о

2) существует решение К двойственной задачи (1.9);

3) если к тому же определен минимаксный оператор Р, то он вместе с наименее благоприятной матрицей К образует седловую точку

J(F, К) < J(F, К) < J(F, К) V (F, К) е Яо х К.

Решение задачи минимаксного оценивания предлагается искать в виде наилучшего оператора оценивания

F е argminJ(F,K), (1.10)

Fe?о

соответствующего матрице К, которая представляет собой решение двойственной задачи (1.9). В общем случае оператор F определен неединственным образом. Поэтому данный метод, названный в работе методом двойственной оптимизации, требует аккуратного обоснования. В следующей теореме описаны необходимые и достаточные условия, при которых метод двойственной оптимизации приводит к решению задачи минимаксного оценивания.

Теорема 1.8. Пусть в условиях теоремы 1.6 определен минимаксный оператор. Тогда оператор (1.10) является минимаксным в том и только том случае, если для всякого Н, такого что F + Н € J-q, HP = Н, где

Р := Q[I — BKB*{QBKB*Q)+], Q:=I-AA+,

существует матрица К € argmaxJ(F,K), удовлетворяющая неравенству tr [(FB - Ь)КВ*Н*} > 0. кек

Из сформулированного критерия вытекают просто проверяемые достаточные условия минимаксности оператора (1.10):

1) (FB - Ь)КВ*Р = О для всех К б /С;

2) im[QBKB*Q] с im[QBKB*Q] для всех К е К.\

3) В(К — К)В* неотрицательно определена для любой К е /С;

4) ker[ВКВ*\ = {0}.

Последний пункт позволяет выделить класс регулярных моделей наблюдения, в которых минимаксная оценка может быть найдена на основе метода двойственной оптимизации.

Теорема 1.9. Пусть множество операторов оценивания Fq не пусто, выпукло и замкнуто, а множество неопределенности К. представляет собой выпуклый компакт. Если выполнено условие регулярности (1.8), то наилучший оператор оценивания (1.10), соответствующий наименее благоприятной матрице К из (1.9), будет минимаксным.

Модели наблюдения, не удовлетворяющие условию регулярности (1.8), называют сингулярными. Для распространения метода двойственной оптимизации на сингулярные модели в работе используется процедура регуляризации по Тихонову. Для этого вместо функционала J(F,K) рассматривается его регуляризованный вариант

J£(F,K) = J(F,K) + stv[FF*},

где £ > 0 — параметр регуляризации. В этом случае задача минимаксного оценивания (1.6) принимает вид

F£ е argmin sup JE(F, К). (1.11)

Fe?о кек

При этом величину J£ := inf sup J£(F, К) назовем оптимальным гаранти-

F&Ta Ке/с

рованным значением регуляризованного критерия.

Из описанных выше результатов следует, что регуляризованный минимаксный оператор (1.11) может быть вычислен в виде

F£ G argmin J£(F,K£) (1.12)

FzTo

с использованием решения соответствующей двойственной задачи:

К£ е argmax Je(üQ, где J£(K) := inf JS(F,K).

кек FtFo

Теорема 1.10. Пусть в условиях теоремы 1.6 определен минимаксный оператор. Тогда регуляризованный оператор (1.12) при е { 0 сходится к нормальному минимаксному оператору F^, а оптимальные гарантированные значения погрешности оценивания для исходной и регуляризованной задач связаны соотношением: J ^ J£ ^ J + eWF^W^.

Далее в первой главе рассмотрены численные методы минимаксной оптимизации. В качестве основы для разработки соответствующих алгоритмов выбран метод условного градиента. Результатом его применения к двойственной задаче будет последовательность {/¡Г5}, вырабатываемая следующей итерационной процедурой. Алгоритм 1.1.

0) Положить s := 0 и выбрать произвольно К0 6 /С;

1) определить оптимальный оператор, соответствующий матрице К3,

F3 б arg min J(F,KS);

2) найти наихудшую матрицу Ks £ arg max J(FS, К);

кек

3) вычислить производную по направлению

6s := J{FS,KS-K3) ^0; (1.13)

4) если 5s = 0, то закончить итерационный процесс, положив

F := Fs, К := К',

в противном случае перейти к следующему шагу,

5) определить оптимальный сдвиг вдоль выбранного направления

7s е arg max J(KS + ^(K3 - К'));

76[0,1]

6) положить Ks+1 := К3 + 7S(K3 — К3) и перейти к шагу 1). Теорема 1.15. Допустим, что множество J-q выпукло и замкнуто,

а множество К. с R^*9 выпукло и компактно, а также удовлетворяет условию регулярности (1.8). Пусть {.F8}, — последовательности, вырабатываемые алгоритмом 1.1. Тогда {F3} сходится к минимаксному оператору оценивания F, а {К3} сходится к множеству решений двойственной задачи.

При дополнительном условии на класс операторов оценивания можно указать скорость сходимости.

Теорема 1.16. Если в условиях предыдущей теоремы образует аффинное подпространство, то

J - J(KS) = 0{l/s) < ¿s, (1.14)

где J — оптимальное гарантированное значение с.к.-критерия, а число 6s определяется по правилу (1.13).

Алгоритм 1.1 в сочетании с методом регуляризации позволяет разработать численные процедуры минимаксного оценивания в сингулярных моделях наблюдения. В следующей теореме описаны условия, которые обеспечивают устойчивость регуляризованных оценок по отношению к неточности решения двойственной задачи.

Теорема 1.18. Пусть на выпуклом замкнутом множестве операторов оценивания J-q существует минимаксный оператор F; множество неопределенности 1С выпукло и компактно-, определены последовательности матриц К" € 1С и соответствующих операторов Fv € arg min J£" (F, Kv). Если Je» - r»(Kv) = o(e„), где e„ | 0, то lim Fv = F.

1/—ЮО

Далее в диссертации рассмотрено несколько типичных случаев множеств неопределенности, в которых задача минимаксного оценивания может быть существенно упрощена.

Во второй главе для модели наблюдения (1.1) найдено аналитическое решение задачи оптимального линейного оценивания при фиксированных моментных характеристиках:

XK:=FKY, FK G arg min J(F, K), C0 := {F e C: FA = o}. (2.1)

f€c0

В обозначениях Kx := ЬКЬ*, KXY := ЬКВ*, KY := В К В*, К := М{СС*} с.к.-критерий имеет следующий вид:

J(F, К) = tr[Кх - ÏKxyF* + FKyF*]. (2.2)

Будем считать, что модель наблюдения (1.1) удовлетворяет условию идентифицируемости (1.7).

Теорема 2.1. Возьмем какое-либо решение Fo уравнения FA = a (например, Fo = аА+) и обозначим

Q '■= I — АА+, Pk:=Q[I-Ky(QKyQ)+],

FK := Fo + (Kxy - F0Ky)(QKyQ)+. (2.3)

Тогда справедливы следующие утверждения:

1) общее решение задачи (2.1) имеет вид Fr + H, где H £ С — произвольный оператор, такой что H = НРк, при этом

J(K) := min J(F,K) = J(FK,K) =

FÇCq

= tr[(F0ß - b)[K - KB*(QBKB*Q)+BK]{F0B - 6)*] ; (2.4)

2) оптимальная линейная оценка Хк определена единственным образом с вероятностью 1, а соответствующий оператор (2.1) определен однозначно в том и только том случае, если Рк = О;

3) если ker[ÄV] = {0}, то задача (2.1) имеет единственное решение, которое может быть записано как

FK = КхуКу1 + (а - КХуКу1А)(А*Ку1А)+А*Ку\ (2.5)

при этом формула (2.4) принимает вид

ЦК) = tr [Кх - КхуКу1 К*ху+

+ {а- КХУКу1А)(А*Ку1А) + (а - КхуКу1 А)*]. (2.6)

Из теоремы 2.1 вытекает следующий способ построения оптимальной линейной оценки Хц:

1) вычислить оценку Гаусса—Маркова вектора в

6 = A+[I - BKB*{QBKB*Q)+}Y-

2) определить оптимальную линейную оценку вектора £ по остаточному вектору QY

C = KB*(QBKB*Q)+QY;

3) подставить найденные оценки в выражение Хц — ав + В(;

Далее в диссертации определена структура зависимости минимаксного оператора оценивания

F е arg min sup J(F, К) (2.7)

FeCo кек

от решения двойственной задачи:

К G argmax J(K), (2.8)

кек

где К — заданное множество матриц вторых моментов М{£С*}-Теорема 2.2. Если множество К. выпукло и компактно, то

1) минимаксный оператор оценивания (2.7) существует,

2) определено решение двойственной задачи (2.8);

3) минимаксный оператор F и решение двойственной задачи К образуют седловую точку J(-) на Со х /С.

Теорема 2.3. Пусть в условиях предыдущей теоремы выполнено

кег[Йу] С ker[ÄY] V К е 1С.

Тогда, подставив в выражение (2.3) для наилучшего оператора оценивания Fk вместо К решение двойственной задачи К, получим минимаксный оператор, т. е. F = Ffr. В частности, если выполнено условие регулярности

ker[ify] = {0} УКеК, то минимаксный оператор F определяется выражением (2.5) при К = К.

Для сингулярных моделей наблюдения метод регуляризации приводит к следующему способу построения минимаксной оценки.

Теорема 2.4. Обозначим с.к.-критерий (2.2), двойственный функционал (2.6) и оптимальный линейный оператор (2.5) через Кх,Кху, Ку), ¿(Кх,Кху,Ку) и ^(Кху-,Ку) соответственно. Если множество неопределенности К. выпукло и компактно, то

1) существует решение регуляризованной двойственной задачи К£ е € а^тах¿(Кх,КХу,Ку +£I),'

кек

2) оператор оценивания Р£ := Р{К£ху^Ку + £-0 является минимаксным в регуляризованной постановке, т. е.

Р£ е ащтттах7(^;#х,Кху,.Ку +£:/);

3) последовательность регуляризованных операторов Р£ при е | 0 сходится к нормальному решению

исходной задачи минимаксного оценивания (2.7);

4) гарантированное значение среднеквадратичной погрешности регуляризованной оценки Xе := РеУ ограничено сверху

тах^Р£,К)<1{К£х,К£ху,к£у+е1) < 3 + в))Р^))1

Л

Далее в диссертации рассмотрены примеры аналитического нахождения минимаксных оценок в трех типовых моделях регрессии с неограниченными, ограниченными и стохастическими параметрами.

Статистически неопределенная модель Гаусса—Маркова определяется следующими условиями:

Х = ав, У = Ав + г), М.Т) = 0, соу{т7,т?} бТг, (2.9)

где ТЬ— известное выпуклое компактное подмножество Е"хп. Способы построения минимаксной оценки вектора X в данной модели наблюдения описаны в следующей теореме.

Теорема 2.5 (Минимаксный вариант теоремы Гаусса—Маркова).

1) Пусть кег[Д] С кег[Д] для любых II €.71 и

Ё е aIgmaxJ_(R), ¿(Я) := - Д(дЛ(5)+Д)(аЛ+)*] .

яетг

Тогда минимаксной оценкой будет оценка Гаусса—Маркова:

рй — аА+[1-к{С}кс})+}, д:=/-лл+.

2) Если выполнено условие регулярности, т. е. кег[Д] = {0} справедливо для каждой матрицы Я € 71, то двойственный функционал допускает представление ¿(Я) = 1г[а(Л*Д_1Л)+а*], а минимаксный оператор принимает

вид = а{А*Й-1А)+А*В.-\

3) В общем случае минимаксный оператор оценивания F может быть найден следующим образом:

F = 1 ima(A*(Re + е I)~l А)+А* (Re + el)~\

£ J.0

где R£ € arg max tr [а (А* (Я + el^A^a*}. ReK

Статистически неопределенная байесовская модель наблюдения определяется посредством ограничений на ковариационную матрицу Rz расширенного вектора Z := col[X, У], в котором X обозначает m-мерный вектор, подлежащий оцениванию на основе n-мерного вектора наблюдений У:

MZ = 0, соv{Z, Z} е 7Zz, (2.10)

где TZz — известное выпуклое компактное множество неотрицательно определенных матриц размера (т + п) х (тп + п). Элементы этого множества будем записывать в виде блочных матриц

R _ ( Rx Rxy\

Rz-[Ryx Ry)-

Отметим, что в данном случае условие идентифицируемости выполнено автоматически, поскольку рассматриваемая модель наблюдения не содержит неограниченных детерминированных параметров.

Методы построения минимаксной оценки X на основе априорной информации (2.10) изложены в следующей теореме, которая является минимаксным аналогом теоремы о нормальной корреляции. Теорема 2.7.

1) Если наименее благоприятная ковариация вектора наблюдений Ry невырожденная, то. е.

кег[Дг] - {0}, Rz € arg maxtr[Rx - RxvRyRyx] ,

RzZTLz

то наилучшая линейная оценка X := RxyRyY, соответствующая указанной матрице, является минимаксной.

2) В общем случае минимаксный оператор можно построить по правилу

F = limRxy(Ry + sl)'1, REZ e arg max tr - Rxy(Ry + el^Ryx] ■

Далее описан результат применения теоремы 2.7 к стохастическому варианту модели линейной регрессии (2.9), в которой вектор параметров в £ Кр считается случайным с частично заданными моментными характеристиками:

Мб = 0, cov{0, г]} = О, cov{0, в} 6 Т, (2.11)

где Т — известное выпуклое компактное подмножество

Теорема 2.9.

1) Если выполнено условие регулярности: кег[Д] = {0} VR £ 1Z, то минимаксная оценка имеет вид X — Ff ^Y, где

Ft,r := а(Т+ + PTA*R~1APT)+A*R-1

представляет собой наилучший оператор оценивания, соответствующий ковариационным матрицам Т = cov{0, в} и R = cov{r?, г)}, Рт := Т+Т — ор-топроектор на im[T], aT,R — матрицы, образующие решение двойственной задачи

(Г, R) е argmax J(T, R), J{T,R) ~ tr[a(T+ + PTA*R~lAPT)+a*] . тег,Яе7г

2) В общем случае минимаксный оператор оценивания F вычисляется следующим образом:

F = lim Frfe л , при (Те, R£) € arg max J(T, R + el). eio тетжк

Далее в диссертации рассмотрена статистически неопределенная модель Гаусса—Маркова (2.9) при наличии ограничений на вектор детерминированных параметров в, а именно, в € О, где © — выпуклое компактное множество. Заметим, что если ввести множество матриц

Т :=со{&в*: в €ве}, (2.12)

где со[-] — выпуклая оболочка, 0е — множество крайних точек 0, то

тахМ||^У-Х||2 = max J(F-,T,R) VF e С,

где J(F;T, R) := tr[{FA-a)T{FA-a)* + FRF*]. Поэтому с точки зрения минимаксного линейного оценивания такая модель наблюдения эквивалентна рассмотренной выше стохастической регрессии (2.9), (2.11) с множеством неопределенности (2.12). Следовательно, все утверждения теоремы 2.9 переносятся на случай регрессии с ограниченными параметрами.

В последнем разделе второй главы рассмотрена стохастическая система, описываемая линейными разностными уравнениями

Xt = ctZt, 6 = otCt-i + btCt, Yt = AtZt + Bttu t = l,...,N,

в которых £о, Ci> • • •) Слг — центрированные некоррелированные векторы с ковариационными матрицами, известными с точностью до принадлежности заданным множествам:

cov{£0,£o} € И0, cov{Ci,Ci} € ?гс, ..., соv{Cw,6v} €

Проблема фильтрации процесса {Xt} формулируется в виде минимаксной задачи оценивания вектора со\[Х\,... по среднеквадратичному критерию на классе линейных неупреждающих оценок Xt = FtiYi + ... + FttYt-

Если система удовлетворяет условию регулярности:

ker[(j4t6t + Bt)Rt{Atbt + Bt)*} = {0} Vt > 1, Rt e Щ,

то минимаксный фильтр совпадает с фильтром Калмана, соответствующим наименее благоприятным ковариациям {Rt}- Для их нахождения в работе предложена итерационная процедура, основанная на алгоритме 1.1.

В третьей главе введен класс функционалов, который охватывает большинство важных с практической точки зрения критериев оценивания: среднеквадратичный, вероятностный, квантильный, «ожидаемые потери» и т. д.

Пусть оцениваемый вектор X £ ffim и вектор наблюдений У G Кп удовлетворяют уравнениям регрессии (1.1), в которых в G представляет собой произвольный детерминированный вектор, а С € К9 обозначает случайный вектор с произвольным распределением, таким что

МС = 0, cov{C, С} е К, (3.1)

где 1Z — известное подмножество R'*9. Далее условие идентифицируемости (1.7) считается выполненным. Соответствующее семейство распределений расширенного вектора Z := col[X, Y] обозначим через Vz- Пусть также В — класс всевозможных операторов оценивания, т. е. измеримых по Борелю отображений F : Жп -> Кш.

Функционал Э:Вх Vz —> R и {+оо} назовем обобщенным вероятностным критерием оценивания, если он:

а) имеет вид Pz) = f(P||x-F(y)||2)) гДе — функционал, определенный на множестве всех распределений тг, заданных на полуоси [0, оо);

б) является монотонным относительно отношения стохастического порядка, т.е. i(7Ti) ^ 5(тг2), как только 7Ti(s,+оо) ^ 7T2(s,+oo) для всех s ^ 0.

Тем самым качество каждой оценки X := F(Y) по критерию Э(-) определяется распределением евклидовой нормы ее ошибки — Х||. Помимо этого условия и свойства монотонности используются также следующие два технических предположения:

в) точная верхняя грань

¿(¡л) :— sup 0(7г),

те тМм)

вычисленная по множеству V+(fi) распределений 7Г € V+ с фиксированным средним /х, непрерывна слева по fx > 0;

г) величина

d(оо) := sup Т>(7г), ■rrev+

определяющая порог возможных значений критерия оценивания, достигается на вырожденных распределениях 6М, т. е.

d( оо) = supö(6^).

¿t>0

Перечисленные условия позволяют указать явное выражение для гарантированного значения обобщенного вероятностного критерия на любой линейной оценке.

Теорема 3.1. Для всякого критерия оценивания удовлетворяющего условиям а)-г), справедливо равенство

где F — произвольный линейный оператор, а J(F,R) — с. к.-критерий (1.5).

Данный результат является ключевым для решения задачи минимаксного оценивания относительно широкого класса обобщенных вероятностных критериев. Теорема 3.1 основана на лемме 1.1 и следующем факте.

Лемма 3.1. Класс распределений квадрата нормы вектора е € Еш, такого что Ме = 0, соу{е, е} = 17, совпадает с множеством V).

Теорема 3.1 позволяет утверждать, что задача минимаксного линейного оценивания относительно обобщенного вероятностного критерия

В частности, если ковариационная матрица Я = соу{£, С} вектора случайных параметров известна точно, т. е. И = {Л}, то искомый оператор оценивания (3.2) совпадает с оптимальным линейным оператором (2.3), где К = Я..

Для распространения полученного результата на более широкий класс операторов оценивания в диссертации введено дополнительное условие на критерий оценивания:

д) точная верхняя грань функционала д(-) по множеству "Р+ (/г) достигается на распределениях 7г* := (1 — £-1)<5о + сосредоточенных в двух точках {0,^}, т.е.

FS arg min sup S(F, P^) Fee pzeVz

(3.2)

эквивалентна соответствующей с.к.-минимаксной задаче

F € arg min sup J(F,R). F££ Ren

(3.3)

d(ß) := sup Э(7г) = supD(Tr') V/i > 0. Для построения наименее благоприятного распределения

t> 1

Pz € arg max inf Z>(F,Pz)

Pz€Pz F€C°

(3.4)

введем класс распределений Щ, где (> 1 и К Е 4 — заданные параметры. Будем считать, что П(£, Д) состоит из распределений векторов Z следующего вида:

где в G Rp — произвольный детерминированный вектор; Fr — оптимальный линейный оператор оценивания (2.3); Ar — ковариационная матрица ошибки соответствующей оценки, т. е. Ar := {Ь - FRB)R(b - FrB)* G R™xm; р G R9 — случайный вектор с моментными характеристиками Мр = О, cov{p, р} = (t/(t — 1 ))R; г G Km — вектор, независящий от р, такой что

рицы Ar, а ||е||, п,..., тт — независимые случайные величины, причем

Перечислим основные свойства описанного класса распределений. Во-первых, распределения из Д) являются допустимыми, иначе говоря,

II(t, R)cVz-Во-вторых, Р{Х - FrY = г} = 1 при col[X, У] ~ П(£, R). В-тре-

тьих, е имеет наихудшее распределение ошибки при определенном выборе параметра t. Наконец, при col[X, У] ~ II(i, R) с вероятностью 1 имеет место следующая альтернатива: либо оптимальная линейная оценка Xr :— FrY является безошибочной, либо ее ошибка максимальна, причем ||Х — Хд|| = const. Иллюстрация данного свойства представлена на рис. 3.1.

Перечисленные свойства позволяют утверждать, что при Рz G П(£, R) линейная оценка Xr является оптимальной относительно обобщенного вероятностного критерия на более широком классе операторов оценивания:

Операторы Р £ Во были названы операторами несмещенного оценивания* поскольку с одной стороны при отсутствии случайных ошибок и параметров

*Бахшиян Б. Ц., Назиров Р. Р., Эльясберг П. Е. Определение и коррекция движения. М.: Наука, 1980.

Me = 0, cov{e, е} = Ar, Р{£ = 0} - 1 - 1/t, Р{||е||2 = ПгДд} = 1 ft.

При этом вектор £ также может быть построен явно:

Во := {F G В: F{MY) = MX VPZ G Vz}■

Рис. 3.1. Слева: оценка, построенная по наблюдениям (2), совпадает с полезным сигналом (1). Справа: траектория полезного сигнала (1) изображена вместе со всевозможными реализациями его оценки в том случае, когда ошибка оценивания максимальна.

соответствующие оценки X := F(Y) оказываются безошибочными, а с другой стороны Bq Л С совпадает с классом линейных несмещенных операторов Со := {F е£ : FA = a}.

Основной результат третьей главы состоит в том, что при определенном выборе параметров {f, R} оптимальная линейная оценка Хц := FrY и распределение из П(£, R) будут образовать седловую точку обобщенного вероятностного критерия на произведении #0 х Pz-

Теорема 3.4. Пусть критерий оценивания Э(-) подчиняется условиям а)-д); множество ковариационных матриц 11 является выпуклым компактом; F обозначает минимаксный линейный оператор (3.3); R— наименее благоприятная ковариационная матрица, т. е.

R е argmax J(R), (3.5)

Ren

где J_(-) имеет вид (2.4); J := J(F, R). Тогда

1) F является минимаксным относительно критерия £>(•) на классе Во',

2) справедливо соотношение двойственности

min sup 2>(F, Pz)= sup inf D(F,PZ), feßop zz-pz P z£VzFeB°

причем в правой части супремум достигается на последовательности распределений € П(tk,R), если tk > 1 и lim ъЫ\к) = supö(тг'г);

^к-юо ^ t> 1 „ ^

3) если t € arg max{ö (ttj) : t > 1} иРг£ ü(t, R), то пара F,T*z образует седловую точку критерия £>(•) на Во х 'Pz и, в частности, любое распределение из ü(i, R) будет наименее благоприятным (3.4).

Свойства наименее благоприятного распределения проиллюстрированы на примерах типовых моделей наблюдения.

Далее в работе рассмотрены вероятностный и квантильный критерии:

yh(F,Pz):=P{\\X-F(Y)\\>h}, (3.6)

Pz) ■= max{ft > 0: Р{||Х - ^(У)|| > ft} > a}, (3.7)

для которых установлены свойства а)-д). Отметим, что параметр ft > 0 определяет предельно допустимый уровень ошибки оценивания, а число а с (0,1) играет роль уровня значимости. Следовательно, при использовании вероятностного критерия на первое место выходит оптимизация надёжности оценки, а не ее точностных характеристик, и наоборот, при использовании квантильного критерия минимизации подлежит величина ошибки оценивания при условии, что надежность оценки зафиксирована на уровне 1 — а.

Для критериев (3.6), (3.7) найдены верхние границы на классе распределений VZ{R) с фиксированной ковариационной матрицей R = cov{£,

sup yh(F,Pz) = min^/ft2,1), sup Qc(F,Pz) = yfafc,

PzeVz{R) Pz€Pz(R)

где ¡1 = J(F, R) — значение с.к.-критерия на линейном операторе F. При этом

является наихудшим распределением квадрата нормы ошибки ||Х — FY)|2 с точки зрения обоих критериев (3.6), (3.7) (для вероятностного критерия необходимо положить t := ft2//х, а для квантильного критерия t := 1/а).

Далее в работе изучен критерий в виде математического ожидания:

ЯВДРг):=МА(||Х-.Р(У)||). (3.8)

Если функция потерь A(s) монотонно не убывает, непрерывна и вогнута по переменной t = s2, то критерий (3.8) удовлетворяет условиям а)-д), причем его верхняя граница на множестве Vz(R) имеет явный вид

sup mx(F, Pz) - A(y/J(F,R)) VF e С.

PzePz(R)

Для всех трех критериев (3.6), (3.7) и (3.8) справедливы все утверждения теоремы 3.4.

Для байесовской модели наблюдения (2.10) и критерия 9Ла(') доказана минимаксность линейного оператора (3.3) на классе всех измеримых оцени-вателей F € В при выпуклой функции потерь. В случае степенной функции A7(i)=i7, 7 > 0, получено исчерпывающее решение задачи минимаксного оценивания.

Четвертая глава посвящена проблеме оптимальности линейных оценок относительно среднеквадратичного критерия. Для неопределенно-стохастической модели наблюдения общего вида (1.1), (1.2) определена структура минимаксной аффинной оценки. Доказано, что эта оценка будет линейной, если

множество М. математических ожиданий вектора ( центрально симметрично относительно нуля.

Для гауссовской модели наблюдения

£ <">

доказано утверждение, объединяющее классические факты математической статистики: теорему о равномерной оптимальности оценки Гаусса—Маркова и теорему о линейности с.к.-оптимальной оценки.

Теорема 4.3. Пусть Fr — оптимальный линейный оператор оценивания (2.3). Тогда соответствующая оценка Xr := FrY является равномерно оптимальной в модели наблюдения (4.1), т. е. М||Хд — Х||2 ^ М||Х — Х||2 при любом значении параметра в бКр и для любой измеримой оценки X, удовлетворяющей классическому условию несмещенности: MX = MX V0.

Доказательство основано на следующем факте. _ Лемма 4.4. В условиях (4.1) ошибка оптимальной линейной оценки Xr — X и вектор наблюдений Y условно независимы относительно вектора оценки Гаусса—Маркова 6R := A+[I - Ry(QRyQ)+]Y, Q := I - АА+.

Обобщение теоремы Ходжеса—Лемана о минимаксности оценки МНК описано в следующем утверждении.

Теорема 4.4. В гауссовской модели наблюдения (4.1) оптимальная линейная оценка Xr := FrY является минимаксной на классе всех измеримых

оценок X := F(Y), F е В, т. е. sup М||ХЯ - Х||2 < sup М||Х - Х||2.

0€Rp 0eRp

Идея доказательства состоит в том, чтобы проверить равенство

sup М||ХД - Х||2 - supM(n>||M(n>{X | Y} - Х||2, вен* п

где М<п> — математическое ожидание, вычисляемое в предположении, что в — случайный вектор, распределенный по гауссовскому закону П с нулевым средним и произвольной ковариационной матрицей.

Результат теоремы 4.4 распространен на случай неизвестного закона распределения случайных параметров.

Теорема 4.5. Пусть в модели наблюдения (1.1), (3.1) множество ковариационных матриц 1Z представляет, собой выпуклый компакт. Тогда линейный оператор F из (3.3) является минимаксным на классе всех измеримых операторов оценивания В:

Fe argmin sup M||F(F) - Х||2.

f&b P z€vz

При этом гауссовское распределение Af(0 ,R), где R — решение двойственной задачи (3.5), оказывается наименее благоприятным распределением вектора случайных параметров

На примере задачи оценивания скалярного ограниченного параметра показано, что в отличие от гауссовского случая при неизвестном распределении ошибки наблюдения гарантированное значение с.к.-критерия нельзя уменьшить за счет привлечения нелинейных оценок.

Пятая глава посвящена проблеме минимаксного оценивания в бесконечномерной стохастической системе, априорная неопределенность которой задана в терминах ковариационных операторов.

Для описания соответствующей модели наблюдения определим: V — класс мер Р на измеримом пространстве элементарных событий ($7,21); X — измеримое отображение в сепарабельное гильбертово пространство X, наделенное борелевской <т-алгеброй; Ту — линейное отображение сопряженного пространства У* в пространство случайных величин, заданных на (0,21), где У — банахово пространство. Далее X будем интерпретировать как оцениваемый случайный элемент, а У — как наблюдаемый случайный элемент. Если У задано как измеримое отображение У: О, —► У, то оператор Ту определяется по правилу (Туд)(ы) = д(У(ш)), д € У*. Будем считать, что М||Х||2 < оо и М(Ту<?)2 < оо для любого д 6 У*. Тогда Тх,Ту можно рассматривать как ограниченные операторы: Тх 6 £(<¥, 12(П)), Ту € С(У*, 12(П)), где 1_2(Г2) — лебегово пространство скалярных случайных величин относительно фиксированной меры Р € V. Допустим также, что 1т [Ту] С у.

Относительно случайных элементов X, У известна следующая априорная информация: математические ожидания МХ, МУ являются нулевыми, где МУ := Ту 1 £У; ковариационный оператор Д расширенного элемента (X, У) со значениями в Я := X х У пробегает заданное множество 71, т. е.

где Ях := Т*ХТХ £ С{Х,Х), Яху := Т*хТу е С{У*,Х), Дух := Т$ТХ € 6 С(Х,У), Ду := Т$Ту е С{У*,У).

Поскольку Ду — неотрицательно определенный оператор, с ним можно связать два гильбертовых пространства: ~Н~ [Ду] — пополнение фактор-пространства У*/ксг[Яу] по норме \\д\\-— л/дЩуд); Н+[Яу] — пополнение нп[Ду] по норме ||Дуд||+ = удЩуд). Тогда оператор Ду допускает изо-метричное продолжение Ду: Н~[Яу] —> Н+[Яу]. Кроме того, Ях — ядерный оператор, поэтому для Дху определено продолжение Яху € С2{^Н~[Яу\,Х), т.е. Яху ~ оператор Гильберта—Шмидта. При этом Дух € С?(Х,'Н+[Яу]), так как нп[Дух] С ТС+[Яу].

Введем класс допустимых процедур оценивания Т^. Для цилиндрического отображения Рп: У -> X, имеющего вид ¥п(у) - <рп (д1 (у),..., дтп (у)), где (рп: КШп —» X — борелевское отображение, а д\,...,дт„ — элементы IV*, положим по определению РПУ := <рп(Ту(дг),...,Ту(дтп))- Будем называть случайный элемент X допустимой оценкой, если найдется последовательность указанных выше цилиндрических отображений {Рп}, таких что

Иш М||Х-Р„У||2 =0, М||Р„У||2 < оо УРеГ.

Таким образом, F {Fn} —допустимая процедура оценивания, т.е. F € J^3. Если Fn — линейные отображения, то I- допустимая линейная оценка. Класс всех допустимых линейных процедур оценивания обозначим через СУ . Теорема 5.2. Пусть выполнено условие доминирования

ЗДеТС, се (0,оо): g(RYg)<cg(~RYg) VReK,gey. (5.1)

Если не различать эквивалентные оценки, то класс допустимых линейных процедур оценивания £v изометрически изоморфен пространству операторов Гильберта—Шмидта C2(H+[Ry],X).

Оператор F е C2(H+[Ry], X), соответствующий оценке X :— FY, F S Cv, назван воспроизводящим. По оператору F оценка X восстанавливается однозначно с вероятностью 1. В диссертации рассмотрено несколько способов построения оценок по воспроизводящему оператору.

Для случая, когда мера Р фиксирована, т.е. V = {Р}, решение задачи оптимального линейного оценивания

F е argminM||X-FY||2 (5.2)

Fe-C

описано в следующей теореме с помощью воспроизводящих операторов.

Теорема 5.5. Оптимальная линейная процедура оценивания (5.2) воспроизводится оператором

Fr := Rxy(RYГ1 € C\H+[Ry\, X). (5.3)

Ковариационный оператор ошибки X — FY имеет вид

Д(Д) := Rx ~ КхгШгТ^гх,

причем М||Х - FY||2 = trA(ß).

Оптимальную линейную оценку X := FY можно построить как с.к.-пре-дел следующей последовательности:

п М

£ ÜiTY(gk)RxY9i при тг —+ со, к,1=1

если система {дк} С У* полна в Н~[Яу], а числа {fffl} образуют матрицу, псевдообратную к матрице {{RyQk,9i))k,i=i-

Основной результат пятой главы состоит в том, что при некоторых условиях минимаксная оценка

X := FY, F G argmin sup М||Х — FY||2, Fe-T^ Рея

определяется оптимальной линейной процедурой оценивания (5.2), соответствующей решению двойственной задачи

R <Е arg maxtr A(R). (5.4)

Ren

Теорема 5.9. Пусть множество ковариационных операторов 71 выпукло, существует решение Я двойственной задачи (5.4) и выполнено условие доминирования (5.1) для Я = Я. Тогда линейная оценка, определяемая воспроизводящим оператором (5.3) при Я = Я, является минимаксной на классе всех допустимых оценок. При этом мера Р € V, относительно которой совместное распределение элементов X, У является гауссовским с ковариа-цией Я, будет наименее благоприятной::

Р байтах и* М\\Х - ЕУ||2.

Далее в диссертации рассмотрена итерационная схема для определения минимаксного оператора и решения двойственной задачи.

Шестая глава посвящена решению прикладных задач обработки измерительной информации.

В разделе 6.1 решена задача параметрического оценивания траектории движения летательного аппарата (ЛА) по результатам наблюдений комплексом наземных измерительных средств при наличии неопределенности в моментных характеристиках случайных ошибок измерений. При решении данной задачи проведен сравнительный анализ минимаксных и оптимальных методов оценивания. На основе результатов численного моделирования был сделан вывод о том, что применение оптимальных методов, рассчитанных на номинальные значения неизвестных характеристик, приводит к получению недостоверных результатов.

2700 2600 2500 2400

2300 2200 2100 2000

Рис. 6.1. Наблюдения, графики дальности и ее оценки в зависимости от времени.

В разделе 6.2 на ряде численных примеров продемонстрирована возможность использования методов минимаксного оценивания для эффективного учета имеющихся ограничений на значения неизвестных параметров движения. Существенное преимущество минимаксной оценки отчетливо демонстрируют графики соответствующих функций регрессии (см. рис. 6.1 и 6.2,

на которых точками изображены измерения, сплошной линией — истинная дальность, штриховой линией — минимаксная оценка, штрих-пунктирной линией — МНК-оценка).

В разделе 6.3 изложена методика минимаксного оценивания координат Л А на основе вероятностного и квантильного критериев. На примере модели наблюдения, соответствующей наихудшему распределению ошибок наблюдений, было показано, что стандартное предположение о гауссовости снижает достоверность результатов о надежности и точности оценок параметров движения ЛА. На рис. 6.3 представлена иллюстрация данного результата для случая оценки координат терминального положения ЛА.

Рис. 6.3. Истинная траектория (1) и ее оценка (2) построены по измерениям (3) с наименее благоприятным распределением при заданных границах погрешности (4) в сравнении с гауссовскими границами (5) (слева — событие вероятности а = 0,04, при котором ошибка оценки максимальна, справа — противоположное событие: ошибка оценки равна нулю).

В разделе 6.4 рассмотрена задача выделения тренда в многофакторной эконометрической модели. Как показано на рис. 6.4, результат вычисления МНК-оценки оказался неприемлем ввиду сильной мультиколлинеарности соответствующей модели наблюдения, ридж-оценка также достаточно далека от оцениваемого тренда, и только минимаксная оценка, эффективно использующая имеющуюся априорную информацию, имеет удовлетворительную точность. Для нахождения минимаксной оценки был использован алгоритм 1.1, о сходимости которого свидетельствует рис. 6.5.

Рис. 6.4. Результаты статистического моделирования: I — оцениваемый тренд; II — минимаксная оценка; III — ридж-оценка; IV — результат вычисления МНК-оценки; V — измерения.

Рис. 6.5. Верхняя оценка (1.14) для погрешности решения двойственной задачи в зависимости от номера итерации е.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ

В диссертационной работе разработаны методы и алгоритмы оптимального оценивания параметров и состояний многомерных линейных стохастических систем в условиях априорной неопределенности, описываемой с помощью геометрических ограничений на моментные характеристики второго порядка. Ниже перечислены основные результаты диссертации, выносимые на защиту:

1) разработан метод минимаксного оценивания в многомерных линейных неопределенно-стохастических моделях наблюдения [2,4];

2) получены аналитические выражения для минимаксных линейных операторов оценивания в моделях частного вида [1,12];

3) доказана оптимальность линейных оценок при использовании среднеквадратичного и обобщенного вероятностного критериев [7,11];

4) найдено наименее благоприятное распределение при оценивании по обобщенному вероятностному критерию [9,11];

5) разработан метод двойственной оптимизации в задаче минимаксного оценивания состояний бесконечномерных стохастических систем с неопределенной ковариационной структурой [6,10];

6) разработано алгоритмическое обеспечение решения задач минимаксной оптимизации [3,13,14];

7) решено несколько прикладных задач обработки измерительной информации (робастная идентификация кинематической модели движения ЛА; оценивание дальности и радиальной скорости ЛА при наличии ограничений; оптимизация надежности оценивания координат ЛА; выделение тренда в мультиколлинеарной эконометрической модели) [8,13].

Публикации по теме диссертации в изданиях, рекомендованных ВАК

1. Панков А. Р., Семенихин К. В. Минимаксная идентификация неопределенно-стохастической линейной модели // Автоматика и телемеханика. — 1998. — № 11.-С. 158-171.

2. Панков А. Р., Семенихин К. В. Методы параметрической идентификации многомерных линейных моделей в условиях априорной неопределенности // Автоматика и телемеханика. — 2000. — № 5. — С. 76-92.

3. Панков А. Р., Платонов Е. Н., Семенихин К. В. Минимаксная квадратиче-ская оптимизация и ее приложения к планированию инвестиций // Автоматика и телемеханика. — 2001. — № 12.— С. 55-73.

4. Панков А. Р., Семенихин К. В. О минимаксном оценивании в сингулярных неопределенно-стохастических моделях // Автоматика и телемеханика. — 2002. — № 9.-С. 40-57.

5. Панков А. Р., Платонов Е. Н., Семенихин К. В. Минимаксная оптимизация инвестиционного портфеля по квантильному критерию // Автоматика и телемеханика. — 2003. — № 7. — С. 117-133.

6. Семенихин К. В. Минимаксное оценивание случайных элементов по средне-квадратическому критерию // Известия РАН. Теория и системы управления.— 2003. - № 5. - С. 12-25.

7. Семенихин К. В. Оптимальность линейных алгоритмов оценивания в задаче минимаксной идентификации // Автоматика и телемеханика. — 2004. — № 3.— С. 148-158.

8. Панков А. Р., Платонов Е. Н., Семенихин К. В. Гарантирующее вероятностное оценивание в линейных статистически неопределенных моделях // Вестник компьютерных и информационных технологий. — 2006. — № 9. — С. 8-13.

9. Панков А. Р., Семенихин К. В. О минимаксном оценивании по вероятностному критерию // Автоматика и телемеханика. — 2007. — № 3. — С. 66-82.

10. Лебедев М. В., Семенихин К. В. Минимаксная фильтрация в стохастической дифференциальной системе с нестационарными возмущениями неизвестной интенсивности // Известия РАН. Теория и системы управления. — 2007. — № 2.— С. 45-56.

11. Семенихин К. В. Минимаксность линейных оценок неопределенно-стохастического вектора по обобщенным вероятностным критериям // Автоматика и телемеханика. — 2007. — № 11. —С. 88-104.

12. Лебедев М. В., Семенихин К. В. Минимаксная оценка случайного вектора при наличии произвольно коррелированных помех // Вестник МАИ.—2008.— Т. 15, № 2. - С. 90-104.

13. Игнащенко Е. Ю., Панков А. Р., Семенихин К. В. Минимаксно-статистический подход к повышению надежности обработки измерительной информации // Автоматика и телемеханика. — 2010. — № 2. — С. 76-91.

14. Игнащенко Е. Ю., Панков А. Р., Семенихин К. В. Минимаксно-статистический подход к оптимизации линейных моделей в условиях априорной неопределенности // Известия РАН. Теория и системы управления. — 2010.— № 5. —С. 32-40.

В работах, опубликованных в соавторстве, диссертантом были получены следующие результаты: обоснование метода двойственной оптимизации в задачах минимаксного оценивания и оптимизации [1-3,5]; разработка метода регуляризации сингулярных неопределенно-стохастических моделей линейной регрессии [4]; проведение численных расчетов [8]; построение наименее благоприятного распределения [9]; разработка методов минимаксного оценивания случайных элементов [10]; аналитический синтез оптимальных решений [1,5,12]; робастная идентификация кинематической модели движения ЛА [8,13]; разработка и анализ сходимости численных процедур минимаксной оптимизации [3,13,14].

Другие публикации по теме диссертации

15. Pankov A. R., Siemenikhin К. V. Minimax estimation in generalized linear uncertain-stochastic model // Proc. 37th IEEE Conf. Decision and Control (CDC'98). — Tampa, Florida, USA: 1998. — December, 16-18,—Pp. 2902-2903.

16. Панков A. P., Платонов E. H., Семенихин К. В. Задача гарантирующего инвестирования для неопределенно-стохастической модели эффективностей // Труды 2-й Междунар. конф. «Средства математического моделирования». — С.-Петербургский государственный технический университет: 1999. — 14-19 июня.

17. Панков А. Р., Семенихин К. В. Минимаксная параметрическая идентификация обобщенных линейных моделей // Труды 6-го Междунар. симп. по теории адаптивных систем управления, посвященного памяти Я. 3. Цыпкина (СПАС'99). — Т. 2, —С.-Петербург: 1999.-7-9 сентября, —С. 131-134.

18. Pankov A. R., Platonov E. N., Siemenikhin К. V. Nonparametric identification of multivariate linear uncertain-stochastic model by minimax criterion // Preprints of the IFAC Symp. System Identification (SYSID'2000). — Santa Barbara, California, USA: 2000. —June, 21-23.

19. Pankov A. R., Platonov E. N., Siemenikhin К. V. Estimation of random elements under uncertainty via dual optimization // Proc. Intern. Conf. "System Identification and Control Problems" (SICPRO'2000). — Moscow: Institute of Control Sciences, 2000. — September, 26-28. — Pp. 1236-1243.

20. Панков A. P., Платонов E. H., Семенихин К. В. Минимаксная оптимизация инвестиционной модели Марковича—Тобина // Труды Междунар. конф. «Идентификация систем и задачи управления» (SICPRO'2000). — М.: Институт проблем управления РАН, 2000.-26-28 сентября, —С. 2012-2021.

21. Pankov A. R., Platonov Е. N., Siemenikhin К. V. On minimax identification: Method of dual optimization // Proc. 39th IEEE Conf. Decision and Control (CDC'2000).-Sydney, Australia: 2000. — December, 12-15.-Pp. 4759-4764.

22. Pankov A. R., Platonov E. N., Siemenikhin К. V. Recursive nonlinear filtering by minimax criterion // Proc. IFAC Nonlinear Control Systems Symp. (NOLCOS'2001).— St.-Petersburg, Russia: 2001. —July, 4-6.—Pp. 697-702.

23. Pankov A. R., Siemenikhin К. V. Regularized estimation procedures for statistically indeterminate singular linear models // Proc. 41st IEEE Conf. Decision and Control (CDC'2002).-Las Vegas, Nevada, USA: 2002. - December, 10-13.-Pp. 26252626.

24. Pankov A. R., Siemenikhin К. V. Minimax estimation of random elements with application to infinite-dimensional statistical linearization // Proc. 2nd Intern. Conf. "System Identification and Control Problems" (SICPRO'2003). — Institute of Control Sciences, Moscow: 2003. — January, 29-31, —Pp. 1277-1290.

25. Pankov A. R., Platonov E. N., Popov A. S., Siemenikhin К. V. Linear stochastic programming with minimax quantile and probability criterions // Proc. 43rd IEEE Conf. Decision and Control (CDC'2004). —Bahamas, Nassau: 2004. — December, 14-17.-Pp. 3179-3182.

26. Siemenikhin К. V., Lebedev M. V. Minimax estimation of random elements: Theory and applications // Proc. 43rd IEEE Conf. Decision and Control (CDC'2004). — Bahamas, Nassau: 2004. — December, 14-17. —Pp. 3581-3586.

27. Pankov A. R., Siemenikhin К. V. Minimax parameter estimation for singular linear multivariate models with mixed uncertainty // Proc. 16th IFAC World Congress (IFAC'2005). — Prague, Czech Republic: 2005. —July, 4-8.

28. Siemenikhin К. V., Lebedev M. V., Platonov E. N. Kalman filtering by minimax criterion with uncertain noise intensity functions // Proc. Joint 44th IEEE Conf. Decision and Control and European Control Conf. (CDC-ECC'2005).—Seville, Spain: 2005. — December, 12-16. — Pp. 1929-1934.

29. Pankov A. R., Platonov E. TV., Popov A. S., Siemenikhin К. V. Minimax identification of linear systems by probability criterion // Proc. Joint 44th IEEE Conf. Decision and Control and European Control Conf. (CDC-ECC'2005).—Seville, Spain: 2005.-December, 12-16.-Pp. 8054-8057.

30. Лебедев M. В., Семенихин К. В. Минимаксное оценивание в линейных неопределенно-стохастических динамических системах с непрерывным временем // В кн. Проектирование, конструирование и производство авиационной техники. — М.: МАИ, 2005.-С. 103-108.

31. Siemenikhin К. V. On linearity of minimax estimates in general linear regression models 11 Proc. Joint Conf. Prague Stochastics'2006. — Prague, Czech Republic: MATFYZPRESS, 2006. - August, 21-25.-Pp. 611-621.

32. Pankov A. R., Siemenikhin K. V. Minimax estimation for singular linear multivariate models with mixed uncertainty // J. Multivariate Analysis. — 2007. — Vol. 98, no. l.-Pp. 145-176.

33. Miller G. B., Pankov A. R., Siemenikhin K. V. Minimax filter for statistically uncertain stochastic discrete-continuous linear system // Proc. 9th European Control Conf. (ECC'2007). —Isl. Kos, Greece: 2007. —July, 2-5. —Pp. 3929-3933.

34. Miller B. M., Miller G. B., Siemenikhin K. V. Control of Markov chains with constraints // Proc. VIII Intern. Conf. "System Identification and Control Problems" (SICPRO'09). —Moscow: 2009. — January, 26-30. —Pp. 737-760.

35. Siemenikhin K., Pankov A., Ignastchenko Ye. Sample-based minimax linear-quadratic optimization // Proc. European Control Conf. (ECC'2009). —Budapest, Hungary: 2009. —August, 23-26, —Pp. 3221-3226.

36. Miller B., Miller G., Siemenikhin K. Optimal control of Markov chains with constraints // Proc. 48th IEEE Conf. Decision and Control (CDC'2009). — China, Shanghai: 2009. —December, 16-18. —Pp. 512-518.

37. Miller B., Miller G., Siemenikhin K. Towards the optimal control of Markov chains with constraints // Automatica. — 2010.—Vol. 46, no. 9. — Pp. 1495-1502.

Введение.

Список обозначений и сокращений.

Глава 1. Основы теории минимаксного линейного оценивания

§ 1. Линейная неопределенно-стохастическая модель наблюдения

§ 2. Задача минимаксного оценивания.

§ 3. Принцип двойственной оптимизации

§ 4. Метод регуляризации

§ 5. Численные методы минимаксной оптимизации

§ 6. Частные случаи множеств неопределенности

Разработка новых эффективных методов восстановления неизвестных параметров и состояний стохастических систем является актуальной проблемой теории и практики обработки измерительной информации и системного анализа.

Теоретический подход к изучению разнообразных задач оценивания основан на описании трех объектов: модели наблюдения, класса допустимых операторов оценивания и критерия оценивания.

Модель наблюдения определяет зависимость между оцениваемыми параметрами или состояниями исследуемой системы с одной стороны и наблюдаемыми величинами или процессами с другой стороны. В рамках статистического подхода задание модели наблюдения предполагает также описание известной априорной информации о значениях детерминированных параметров и вероятностных характеристиках случайных факторов. При использовании аппарата нечетких множеств эта информация формулируется на языке функций принадлежности.

Класс допустимых операторов оценивания представляет собой набор решающих правил, позволяющих по имеющейся реализации наблюдений выдать оценку неизвестного состояния системы. Данный класс должен быть достаточно широк для того, чтобы производить на нем сравнение различных алгоритмов оценивания.

Критерий оценивания формулирует правило, согласно которому один оператор оценивания признается лучшим по сравнению с другим в условиях имеющейся модели наблюдения. Чаще всего критерий оценивания определяется посредством введения некоторого числового функционала, чье значение отражает риск (или убыток) от использования оценки при данных характеристиках системы.

С практической точки зрения указание всех трех перечисленных выше объектов также является чрезвычайно важным. Во-первых, критерий оценивания представляет собой формализацию требований, предъявляемых практиком к качеству оценок. Во-вторых, класс операторов оценивания определяет рамки возможных программных или инструментальных средств извлечения необходимой информации из доступных опытных данных. В-третьих, описание самой модели наблюдения устанавливает границы применимости имеющихся технических решений. И наконец, все это вместе позволяет практику принять обоснованное решение о том, стоит ли ради повышения точности оценивания производить новые измерения, вносить изменения в условия эксперимента или совершенствовать измерительные средства и их программно-алгоритмическое обеспечение.

Таким образом, априорный анализ, основанный на описанной выше формализации проблемы оценивания, позволяет до проведения сложного эксперимента, отсечь заранее непригодные решения, а в ряде случаев указать на возможность существенного повышения качества оценивания.

Понятие модели наблюдения включает в себя как частный случай параметрические статистические модели, традиционно изучаемые в математической статистике. Изучению этих моделей посвящены классические монографии Р. А. Фишера [130], Г. Крамёра [53], Ш. Закса [35]. В них роль оцениваемой величины играет некоторая функция от неизвестного параметра, а априорная информация описывается в терминах распределения элементов выборки (а также распределен i im самого параметра — при байесовском подходе).

В регрессионном анализе модель наблюдения формулируется посредством указания двух уравнений: уравнения между оцениваемыми величинами и неизвестными параметрами, а также уравнения, определяющего зависимость наблюдаемых величин от параметров и ошибок измерений. Здесь априорная информация задается с помощью ограничений на значение вектора детерминированных параметров и вероятностное распределение вектора случайных ошибок. Методы исследования линейных регрессионных моделей изложены в монографиях С. Р. Pao [113]. Ю. В. Линника [68], Дж. Себера [117], Е. 3. Демиденко [33].

Частично наблюдаемые системы, в которых одни процессы являются неизвестными, а другие доступны непосредственному наблюдению. можно считать динамической версией модели наблюдения. Исследованию таких систем посвящены работы Р. JI. Стратонови-ча [127]. Р. Ш. Липцера, А. Н. Ширяева [69], В. С. Пугачёва [105,106] и II. Н. Синицына [107]. Для унифицированного описания динамических моделей наблюдения оцениваемый и наблюдаемый процессы удобно рассматривать как элементы подходящих функциональных пространств. Такой способ описания используется в моделях непараметрической статистики.

Итак, на языке теории вероятностей любую модель наблюдения можно описать в терминах оцениваемого элемента, наблюдаелюго элемента и множества их совместных распределений (множества неопределенности). Это множество вводится либо непосредственно с помощью ограничений на взаимные характеристики оцениваемого и наблюдаемого элементов, либо опосредованно через определение зависимости этих элементов от третьего элемента, распределение которого известно с точностью до принадлежности некоторому фиксированному классу. Если часть параметров и процессов являются детерминированными, то априорные ограничения на их значения также можно описать в вероятностных терминах с использованием вырожденных распределений.

Таким образом, понятие модели наблюдения позволяет охватить различные системы: детерминированные и стохастические, конечномерные и бесконечномерные, статические и динамические. С целью подчеркнуть указанную общность будем использовать термин неопределенно-стохастические модели наблюдена я для систем, которые содержат неслучайные неопределенные параметры и случайные величины с неточно заданным законом распределения. Исследование таких систем было инициировано В. С. Пугачёвым.

В конечномерном случае линейные неопределенно-стохастические системы описываются уравнениями обобщенной линейной регрессии, в которых не делается изначального предположения о невырожденности каких-либо матриц, описывающих структуру корреляционной или регрессионной зависимости. Данные модели наблюдения и соответствующий аппарат псевдообращения изучались в работах А. Беп-Израэля, Т. Гревилля [142], А. Алберта [2], В. И. Мелешко [78], Д. Катлина [146.147]. Класс линейных моделей наблюдения включает в себя как регулярные модели, в которых постулируется, что ковариационная матрица вектора наблюдений — невырожденная, так и сингулярные модели, где это предположение нарушается. Кроме того, в обобщенных регрессионных моделях нет принципиального разделения параметров на ч< полезные» и «мешающие»: важно лишь указать зависимость исследуемых и наблюдаемых переменных от неизвестных параметров и описать априорные предположения, которым они удовлетворяют.

Класс неопределенно-стохастических систем, описываемых моделью обобщенной линейной регрессии с экстремальными ограничениями па моментные характеристики второго порядка, был изучен в работах А. Р. Панкова и его учеников [19,20,83,143,166].

Теперь остановимся на понятии оператора оценивания. В задачах точечного оценивания он представляет собой измеримое отображение пространства наблюдаемого элемента в пространство, в котором принимает значения оцениваемый элемент. Если речь идет о задаче нелинейного (линейного, аффинного, несмещенного) оценивания, то допустимыми считаются все измеримые (соответственно линейные, аффинные, несмещенные) операторы. При этом понятие несмещенного оператора оценивания трактуют двояко: либо постулируют, что математическое ожидание ошибки оценки равно нулю, либо предполагаю г. что ошибка оценивания не зависит от выбора значений неопределенных детерминированных параметров. В линейных моделях эти два определения несмещенности совпадают для линейных оценок.

В динамических моделях наблюдения ограничения на оператор оценивания возникают естественным образом, если цель исследователя состоит в оценке полезного сигнала в режиме реального времени, т. е. текущее значение неизвестного процесса требуется восстановить по имеющейся предыстории наблюдаемого процесса. Соответствующий класс оценок принято называть фильтрами. Они определяются 7iеупреждающим и операторами оценивания. При этом для упрощения алгоритма оценивания очень часто сужают класс операторов, оставляя в нем только те операторы, которые допускают реккурентный способ вычисления. Если функционирование системы и процесс наблюдения предполагаются в течение продолжительного времени, то допустимые фильтры должны подчиняться дополнительным условиям. гарантирующим устойчивость замкнутой системы. Кроме того, априорное сужение класса операторов оценивания возникает в том случае, если имеются физические ограничения на вид искомой оценки, например, ограничения на энергию выходного сигнала или усло,-вия, обеспечивающие стационарное поведение системы.

Отметим, что в задачах доверительного оценивания роль оценки выполняет множество, которое в той или иной степени локализует значение исследуемой величины в зависимости от наблюдений. Поэтому здесь под оператором оценивания следует понима ть многозначное отображение, удовлетворяющее естественным условиям измеримости.

Перечисленные замечания позволяют утверждать, что в зависимости от потребности практики могут использоваться различные классы допустимых операторов оценивания. Поэтому все они заслуживают внимания и подробного изучения.

Теперь перейдем к описанию критериев оценивания. Обычно качество оценок возможно описать с помощью функционала, отражающего некоторую усредненную характеристику ошибки оценивания. В дальнейшем это т функционал будет называться критерием оцениванияпоскольку соответствующая задача оценивания состоит в его минимизации на фиксированном классе оценок. В условиях полной априорной информации эта оптимизационная проблема называется задачей оптимального или наилучшего оценивания. Методам оптимального оценивания посвящена обширная литература. Ключевые результаты о виде и свойствах оптимальных оценок в разнообразных моделях наблюдения были получены А. Н. Колмогоровым [50], Н. Винером [194], С. Р. Pao [113], Г. Крамером [53], Р. Калманом [155], Р. Бьюси [156] и др.

Известно, что в некоторых специальных случаях определены так называемые равномерно оптимальные оценки, которые представляют собой решение соответствующей задачи оптимального оценивания одновременно при всех значениях неизвестных параметров. Однако в общем случае, когда критерий оценивания зависит от неопределенных параметров и характеристик, задача оптимального оценивания перестает быть корректной. Для корректной ее постановки в условиях априорной неопределенности можно предложить два основных подхода: асимптотический и минимаксный.

Асимптотический подход основан на операции предельного перехода, смысл которого состоит в том, чтобы предел критерия оценивания не зависел от неопределенных характеристик модели наблюдения.

Если используется предельный переход по количеству наблюдений, то теоретическую базу соответствующих методов образуют предельные теоремы теории вероятностей, которые обеспечивают инвариантность асимптотики критерия оценивания относительно неизвестного распределения случайных ошибок наблюдения. Зачастую благодаря использованию асимптотической формулировки задача оптимального оценивания упрощается, в то время, как решение исходной оптимизационной постановки может очень сложным образом зависеть от объема выборки и характеристик модели наблюдения. Например, оценка, полученная по методу максимального правдоподобия, при некоторых условиях регулярности является оптимальной по критерию минимума асимптотической дисперсии на классе асимптотически несмещенных оценок. Однако при фиксированном объеме выборки несмещенной оптимальной оценки зачастую не существует. Кроме того, с помощью асимптотических методов становится возможно исследовать сложные нелинейные модели, в которых построение точных оптимальных решений сопряжено с колоссальными вычислительными затратами особенно при большом объеме измерений.

Другая часть асимптотических методов основана па гипотезе о том, что истинные значения неопределенных характеристик находятся в достаточно малой окрестности некоторых расчетных или номинальных значений. Обычно цель исследования в таких задачах сводится к отысканию асимптотических границ критерия оценивания в зависимости от некоторого малого параметра, размеров множества неопределенности или объема выборки.

В основе минимаксного подхода лежит теоретико-игровая формулировка, при которой исследователь и внешняя среда рассматриваются как пара игроков с взаимно противоречивыми интересами. Цель исследователя, как п прежде, состоит в минимизации критерия посредством выбора оператора оценивания из определенного класса. Однако при минимаксном подходе оптимальная оценка ищется из расчета на наихудшее состояние исследуемой системы. Э то означает, что задача оценивания сводится к минимизации точной верхней грани критерия, вычисленной по заданному множеству неопределенности.

Отметим, что изначально применение минимаксного подхода в задачах обработки статистической информации было связано с ограниченностью объема данных, когда каждое новое измерение требус г организации дорогостоящего эксперимента. В этом состоит принципиальное отличие минимаксного подхода от асимптотического. Тем самым минимаксные методы оценивания призваны обеспечить наилучшее качество восстановления неизвестных параметров и процессов по фиксированному набору наблюдений.

Решение игровой постановки задачи оценивания предполагает определение не только минимаксной оценки, но и наименее благоприятных значений неопределенных факторов, которые образуют решение максиминной задачи. Эта задача называется также двойственной, поскольку ее решение доставляет максимум на множестве неопределенности оптимальному значению критерия оценивания. Если при этом имеет место соотношение двойственности, т. е. оптимальные значения функционалов в минимаксной и двойственной задачах совпадают, то пара, состоящая из минимаксной оценки и наименее благоприятного элемента множества неопределенности, образует седловую точку. При этих условиях для определения минимаксной оценки имеет смысл использовать метод двойственной оптимизации, суть которого состоит в нахождении оптимальной оценки, соответствующей наименее благоприятным характеристикам модели наблюдения.

Близким к минимаксному подходу является метод гарантирующего оценивания. Он основан на оценке неоптимальности стандартных алгоритмов оценивания, таких как метод наименьших квадратов или фильтр Калмана, в ситуации более общей, чем та, при которой эти алгоритмы являются оптимальными. В такой постановке искомыми являются гарантированные границы качества оценивания.

Отметим, что рассмотренные подходы допускают различные вариации и сочетания. Например, совместное использование оптимальных и асимптотических методов приводит к адаптивным, приемам в обработке статистической информации. В рамках адаптивного пол ход а предполагают, что недостающая априорная информация о неизвестных значениях неопределенных характеристик системы может быть извлечена из нарастающего объема данных, за счет чего на каждом шаге адаптации происходит уточнение текущего значения оценки. При этом эффективность данного подхода обусловлена наличием у адаптивных алгоритмов рекуррентной структуры, которая позволяет производит адаптацию на основе текущего значения оценки и вновь поступившего измерения. Адаптивным методам обработки информации посвящены работы Я. 3. Цыпкина [134], В. Н. Фомина [132], Б. Т. Поляка [104]. Л. Лыонга [70], А. В. Назина [79], О. Н. Граничи-на [28].

Сочетание асимптотического и минимаксного подходов привело к развитию области асимптотически минимаксного статргстического оценивания. При таком смешанном подходе неопределенность, связанная со значениями детерминированных параметров, учитывается на основе минимаксного критерия, а неизвестный характер распределения случайных ошибок наблюдения нивелируется с помощью асимптотических методов статистики. Эти идеи отражены в работах И. А. Ибрагимова, Р. 3. Хасьминского, А. С. Немировского [38-40], Б. Я. Левита [66], Б. Н. Пшеничного, В. Г. Покотило [110|, А. П. Ко-ростелёва [52], А. Б. Цыбакова [191].

Гарантирующие и минимаксные методы лежат в общем русле робастного подхода, согласно которому требуется указать гарантированные границы точности известных оценок или же синтезировать новые алгоритмы, обеспечивающие минимальное значение верхней границы погрешности оценивания. Основоположником теоретико-нгрового подхода в области робастных методов статистики является А. Вальд [22]. Развитию его идей с привлечением асимптотических результатов посвящена монография П. Хьюбора [133]. Обоснование методов робастного оценивания П. Хыобера с точки зрения минимаксного подхода получено в работе Б. Т. Поляка [104]. Обзор различных идей робастного статистического оценивания представлен в статье А. А. Ершова [34].

В нашей стране первые публикации, посвященные гарантирующим и минимаксными методам обработки статистической информации, связаны с именами В. М. Александрова [3], Н. Н. Красовского [54]. М. Л. Лпдова [67]. А. В. Куржанского [57] и С. А. Смоляка [123]. Дальнейшее развитие идей гарантирующего оценивания для детерминированных и стохастических систем продолжено в работах Б. И. Ананьева. [1,5—7], М. И. Гусева [29-31] и А. И. Матасова [73-76,160.161].

Прикладные аспекты использования робастных методов обработки экспериментальных данных в задачах авиационно-космической техники отражены в книгах И. А. Богуславского [16], Б. Ц. Бахшияна, Р. Р. Назирова, П. Е. Эльясберга [13], И. К. Бажинова, В. Н. Почука-ева [8], В. В. Малышева, М. Н. Красилыцикова, В. И. Карлова [72], Л. Ю. Белоусова [15].

Основы теории минимаксного оценивания при налртчии эллипсоидальных ограничений на неизвестные параметры и состояния изложены в монографиях А. Б. Куржанского [158] и Ф. Л. Черноусько [135], а один из первых результатов в данной области был получен А. Куксом и В. Ольманом [55]. Теория обобщенного линейного программирования и ее применение к задачам гарантирующего оценивания изложена в работах Б. Ц. Бахшияна [11-14]. Синтез алгоритмов минимаксного оценивания в различных моделях наблюдения с неопределенными вторыми моментами на основе методов двойственной оптимизации описан в работах С. Верду, В. Пура [192, 193], В. Б. Меласа |77], И. Ф. Пинелиса [100, 101] и В. Н. Соловьёва [124, 125]. Использование оптимизационной техники линейных матричных неравенств для решения различных задач робастного оценивания и фильтрации продемонстрировано в работах Л. Эль Гауи [151,152].

Распространению методов минимаксного оценивания на бесконечномерные статистические и стохастические модели наблюдения посвящены работы А. М. Федотова [129], А. Г. Наконечного [80], Ю. П. Пы-тьева [111], А. Р. Панкова [19], А. В. Борисова [20], Б. И. Ананьева [1]. Задача минимаксной фильтрации при наличрш неопределенного произвольно коррелированного случайного процесса в модели наблюдения исследовалась в работах Г. А. Голубева [25.26]. Метод условно-минимаксной фильтрации нелинейных стохастических систем разработан А. Р. Пайковым [82,166]. Случай неопределенности в динамики модели наблюдения рассматривался К. Мартином и М. Минтцем [159]. Структура минимаксного фильтра в стационарном случае установлена в работе В. Пура и Д. Луза [181], а общее состояние этой теории изложено в монографии О. М. Куркина, Ю. Б. Коробочкина и С. А. Шаталова [58].

Проблема оптимальности линейных алгоритмов в задачах гарантирующего оценивания была изучена в работах А. И. Матасова [73,74], М. И. Гусева [29], Д. Донохо [149,150].

Отметим, что в последнее время появились попытки совместного использования адаптивных и робастных методов обработки информации в задачах оптимизации и принятия решений [41,42,153,196].

Теперь рассмотрим различные варианты критериев, которые возникают в задачах оценивания и фильтрации. В стохастических постановках можно выделить два основных типа критериев: априорные и апостериорные.

Апостериорные критерии используются для определения качества оценок на текущей реализации наблюдений. Разработка методов апостериорного оценивания в статистически неопределенных системах была инициирована в работах И. Я. Каца [47,48]. Этот подход основан на технике построения информационных множеств для состояний детерминированных систем. Дальнейшие исследования в этой облас ти с привлечением методов доверительного оценивания были продолжены Г. А. Тимофеевой [49,128]. В работах А. В. Борисова [17,18] апостериорный критерий использовался для минимаксной фильтрации в системах со случайной структурой.

Использование априорного критерия качества для оптимизации алгоритмов оценивания возникло в статистических моделях с целью исследования статистических свойств МНК-оценок и оценок метода максимального правдоподобия. Большинство этих исследований основано на изучении поведения среднеквадратичного кри терия, который стал традиционным показателем качества оценивания. Несмотря на это. первые результаты по минимаксному статистическому оцениванию, опубликованные Дж. Ходжесом и Е. Лемапом в статье [154], уже были ориентированы на использование функционалов, более общих чем среднеквадратичный. Понятие асимптотической эффективности относительно вероятностного критерия было введено Р. Бахадуром [140]. Один из первых примеров использования вероятностного и квантильного критериев для пос троения минимаксных оценок содержится в книге Б. Ц. Бахшияна, Р. Р. Назирова, П. Е. Эльяс-берга [13]. В связи с минимаксной постановкой задачи интервального оценивания свойства вероятностного критерия были изучены в работах М. Минтца и М. Зейтиноглу [197,198]. Методика построения доверительных оценок на основе обобщенного минимаксного подхода предложена в работе А. И. Кибзуна [37].

Отметим, что в большинстве из перечисленных выше работ в качестве показателя риска использовалась евклидова норма ошибки. Однако в последнее время широкое распространение получили критерии неевклидовой структуры: обобщенный квадратичный критерий, критерий в виде отношения «сигнаг/шум», со-критерий, а также информационные критерии. В связи с задачами управления и фильтрации в неопределенных и стохастических системах соответствующие постановки изучались в работах С. Верду [192], В. Пура [141], Т. Ба-шара [139], Й. Питерсена [180], В. А. Угриновского [195], А. В. Сав-кина [179], А. П. Курдюкова [56].

Приведенный обзор методов обработки статистической информации в присутствии априорной неопределенности позволяет выделить несколько актуальных направлений исследований в области робаст-ного оценивания:

1) анализ обобщенных линейных моделей регрессии в присутствии априорной информации, выраженной в терминах геометрических ограничений на моментные характеристики первого и второго порядков;

2) разработка методов двойственной оптимизации для построения минимаксных оценок векторных параметров в регулярных и сингулярных неопределенно-стохастических моделях линейной регрессии;

3) создание апгоритмической базы методов .минимаксного оценивания и анализ соответствующих численных процедур;

4) расширение набора типовых неопределенно-стохастических моделей наблюдения, допускающих аналитический синтез минимаксных оценок;

5) минимаксная оптимизация операторов оценивания с привлечением нестандартных критериев качества, таких как, вероятностный и квантильный;

6) обоснование оптимальности линейных оценок в различных постановках задачи минимаксного оценивания;

7) минимаксное оценивание в бесконечномерных стохастических системах при наличии геометрических ограничении на ковариационные операторы оцениваемого и наблюдаемого элементов;

8) разработка численных методов, предназначенных для вычисления минимаксных оценок в бесконечномерных моделях наблюдения.

Все перечисленные направления соответствуют проблематике минимаксного оценивания в многомерных линейных неопределенно-стохастических моделях наблюдения. Указанные модели составляют объект исследования диссертационной работы.

Целью диссертации является разработка и анализ методов оптимального оценивания параметров и состояний линейных стохастических систем с неопределенными моментными характеристиками, стесненными геометрическими ограничениями.

Для достижения поставленной цели необходимо:

1) описать класс конечномерных линейных пеопределенно-етоха-стических моделей наблюдения, в которых априорная информация о распределениях сформулирована в терминах ограничений па математические ожидания и ковариационные матрицы;

2) определить условия существования седловой точки в задаче оценивания по среднеквадратичному критерию;

3) установить границы применимости метода двойственной оптимизации для построения минимаксной оценки;

4) разработать алгоритмы оценивания в сингулярных моделях наблюдения с использованием теории двойственности и процедур регуляризации;

5) разработать численные процедуры оптимизации, обеспечивающие одновременное решение минимаксной и двойственной задач;

6) описать класс критериев оценивания, отвечающих естественным требованиям и допускающих явное построение минимаксных оценок в линейных неопределенно-стохастических моделях наблюдения;

7) определить структуру распределения, реализующего наименее благоприятную ситуацию при использовании обобщенного вероятностного критерия оценивания;

8) распространить результаты об оптимальности линейных алгоритмов оценивания на более широкий класс неопределенно-стохастических моделей наблюдения;

9) разработать основы теории минимаксного оценивания в бесконечномерных с юхаетических системах с фиксированными математическими ожиданиями и неопределенными ковариационными операторами;

10) разработать алгоритмы построения оптимальных и минимаксных оценок случайных элементов со значениями в гильбертовых пространствах.

В диссертационной работе использовались следующие методы исследования:

1) методы выпуклого анализа (понятие рецессивного направления, теоремы о минимаксе, теория субдифференциала);

2) методы теории оптимизации (процедура регуляризации по Тихонову, метод условного градиента, теоремы о сходимости численных методов);

3) методы линейной алгебры (операция псевдообращения, свойства неотрицательно определенных матриц);

4) методы теории вероятностей, элементы математической статистики и регрессионного анализа, основы теории фильтрации;

5) методы функционального анализа (понятие оснащенного гильбертова пространства, свойства неотрицательно определенных, ядерных и гильберто-шмидтовых операторов).

Научная новизна диссертационной работы состоит в том, что в ней впервые были получены следующие теоретически значимые результаты:

1) инвариантное определение класса обобщенных линейных регрессионных моделей с неопределенными моментными характеристиками второго порядка;

2) обоснование метода двойственной оптимизации для решения задачи минимаксного оценивания в многомерных линейных пеопределенно-стохастических моделях наблюдения;

3) разработка процедур регуляризации для построения минимаксных оценок в конечномерных сингулярных моделях наблюдения;

4) аналитический синтез минимаксных оценок параметров и состояний неопределенно-стохастических систем частного вида;

5) разработка основ теории оценивания относительно обобщенных вероятностных критериев;

6) описание наименее благоприятного распределения, соответствующего обобщенному вероятностному критерию оценивания:

7) доказательство оптимальности линейных оценок относительно среднеквадратичного и обобщенного вероятностного критериев для широкого класса неопределенно-стохастических моделей наблюдения;

8) разработка и анализ численных процедур минимаксной оптимизации в задаче оценивания параметров и состояний многомерных линейных неопределенно-стохастических моделей наблюдения.

О практической ценности работы свидетельствует то, что ее теоретические результаты были успешно применены для решения ряда прикладных задач обработки измерительной информации, среди которых:

1) робастная идентификация кинематической модели движения летательного аппарата;

2) определение параметров движения при наличии ограничений;

3) оптимизация надежности оценивания координат летательного аппарата;

4) выделение тренда в мультиколлинеарной эконометричеекой модели.

Диссертационная работа содержит введение, шесть глав, приложение, заключение, список литературы, а также список обозначений и сокращении.

Основные результаты этой главы опубликованы в [42,89.90,126].

ЗАКЛЮЧЕНИЕ

В диссертационной работе разработаны методы и алгоритмы оптимального оценивания параметров и состояний многомерных линейных стохастических систем в условиях априорной неопределенности, описываемой с помощью геометрических ограничений на моментные характеристики второго порядка.

Ниже перечислены основные результаты диссертации, выносимые на защиту:

1) разработан метод минимаксного оценивания в многомерных линейных неопределенно-стохастических моделях наблюдения [95,96];

2) получены аналитические выражения для минимаксных линейных операторов оценивания в моделях частного вида [62,91];

3) доказана оптимальность линейных оценок при использовании среднеквадратичного и обобщенного вероятностного критериев [119,121];

4) найдено наименее благоприятное распределение при оценивании по обобщенному вероятностному критерию [98,121];

5) разработан метод двойственной оптимизации в задаче минимаксного оценивания состояний бесконечномерных стохастических систем с неопределенной ковариационной структурой [60,118];

6) разработано алгоритмическое обеспечение решения задач минимаксной оптимизации [41,42,86];

7) решено несколько прикладных задач обработки измерительной информации (робастная идентификация кинематической модели движения ЛА; оценивание дальности и радиальной скорости ЛА при наличии ограничений; оптимизация надежности оценивания координат ЛА; выделение тренда в мультиколлинеарной эконометрической модели) [42,89].

1. Адыйуллина Е. С., Ананьев Б. И. Линейное оценивание статистически неопределенных систем // Труды института математики и механики УрО РАН. — 2005. — Т. 11, № 1. — С. 3-16.

2. Алберт А. Регрессия, псевдоинверсия и рекуррентное оценивание. — М.: Наука, 1977.

3. Александров В. М. Минимаксный подход к решению задачи обработки информации // Изв. АН СССР. Сер. Техн. киберн. — 1966. — № 5. — С. 124-136.

4. Алексеев В. М., Тихомиров В. М., Фомин С. В. Оптимальное управление.— М.: Наука, 1979.

5. Ананьев Б. И. Минимаксные среднеквадратические оценки в статистически неопределенных системах // Дифференц. уравнения. — 1984. — Т. 20, № 8. — С. 1291-1297.

6. Ананьев Б. И. Гарантированное оценивание статистически неопределенных систем и задачи коррекции движения: Дис. .докт. физ.-матем. наук / УрО АН СССР, Институт математики и механики. — Свердловск, 1990.

7. Ананьев Б. И. Многошаговые стохастические включения специального вида и их мультиоценки // Автоматика и телемеханика.— 2007.— № 11.- С. 3-11.

8. Баж.инов И. К., Почукаев В. Н. Оптимальное планирование навигационных измерений в космическом полете. — М.: Машиностроение, 1976.

9. Балакришнаи А. В. Прикладной функциональный анализ,— М.: Наука, 1980.

10. Балакришнан А. В. Теория фильтрации Калмана. — М.: Мир, 1988.

11. Бахшиян Б. Ц. Симплексный алгоритм решения оптимальной задачи гарантирующего оценивания с немоделируемыми возмущениями / / Космич. исслед.— 1988. — Т. 26, № 1.

12. Бахшиян Б. Ц. Критерии оптимальности и алгоритмы решения вырожденной и обобщенной задач линейного программирования // Экономика и матем. методы. — 1989. — Т. 28, № 2.

13. Бахшиян Б. Ц., Назиров Р. Р., Эльясберг П. Е. Определение и коррекция движения.— М.: Наука, 1980.

14. Бахшиян Б. Ц., Федяев К. С. О решении почти вырожденных и плохо обусловленных задач линейного программирования, возникающих при управлении системой // Известия РАН. Теория и системы управления. — 2005. — № 6, — С. 77-88.

15. Белоусов Л. Ю. Оценивание параметров движения космическихаппаратов. — М.: Физматлит, 2002.

16. Богуславский И. А. Методы навигации и управления по неполной статистической информации. — М.: Машиностроение, 1970.

17. Борисов А. В. Минимаксное апостериорное оценивание в скрытых марковских моделях // Автоматика и телемеханика.— 2007.— № 11.— С. 31-45.

18. Борисов А. В. Минимаксное апостериорное оценивание марковских процессов с конечным числом состояний // Автоматика и телемеха,пика. — 2008. — Я" 2. — С. 64-79.

19. Борисов А. В., Панков А. Р. Проблемы минимаксного оценивания случайных элементов со значениями в гильбертовых пространствах // Автоматика и телемеханика. — 1996. — № 6. — С. 61—75.

20. Борисов А. В., Панков А. Р. Минимаксное линейное оценивание в обобщенных неопределенно-стохастических системах. I. Оценивание случайных элементов со значениями в гильбертовых пространствах // Авто-лштика и телемеханика. — 1998. — № 5. — С. 102—111.

21. Боровков А. А. Математическая статистика (дополнительные главы).— М.: Наука, 1984.

22. Валъд А. Статистические решающие функции // Позиционные игры,— М.: Наука, 1967.

23. Васильев Ф. П. Численные методы решения экстремальных задач. — М.: Наука, 1988.

24. Вахания Н. Н., Тариеладзе В. И., Чобанян С. А. Вероятностные распределения в банаховых пространствах. — М.: Наука, 1985.

25. Голубев Г. А. Минимаксная линейная фильтрация динамических процессов с дискретным временем // Автоматика и телемеханика.— 1984. — № 2. — С. 72-81.

26. Голубев Г. А., Муравлев О. В., Писарев В. Ф. Линейная рекуррентная фильтрация динамических процессов с дискретным временем при частичной информации о возмущающих процессах // Автолштика и телемеханика. — 1989. — № 12. — С. 49-59.

27. Го Х.-С. Гауссовские меры в банаховых пространствах.— М.: Мир, 1979.

28. Граничин О. Н., Поляк Б. Т. Рандомизированные алгоритмы оценивания и оптимизации при почти произвольных помехах.— М.: Наука, 2003.

29. Гусев М. И. Оптимальность линейных алгоритмов в задачах гарантированного оценивания // Известия РАН. Техническая кибернетика. — 1994. — № 3. — С. 87-95.

30. Гусев М. И. Оптимальность и устойчивость алгоритмов гарантированного оценивания: Дис. . докт. физ.-матем. наук / УрО РАН, Институт математики и механики. — Екатеринбург, 2003.

31. Гусев М. И. Планирование эксперимента в задачах гарантированной идентификации //' Автоматика и телемеханика. — 2007. — № 11. — С. 6175.

32. Далецкий Ю. Л., Фомин С. В. Меры и дифференциальные уравненим и бесконечномерных пространствах. — М.: Наука, 1983.

33. Демидвнко Е. 3. Линейная и нелинейная регрессии. — М.: Финансы и статистика, 1981.

34. Ершов А. А. Стабильные методы оценки параметров (обзор) // Автоматика и телемеханика. — 1978. — № 8. — С. 66—100.

35. Закс Ш. Теория статистических выводов. — М.: Мир, 1975.

36. Зангвилл У. Нелинейное программирование. Единый подход.— М.: Сон. радио. 1973.

37. Зверев А. И., Кибзун А. И., Малышев В. В. Обобщенный минимаксный подход в задаче оценивания // Изв. АН СССР. Сер. Техн. кибер}1. — 1986. — Л'° 4. — С. 98-104.

38. Ибрагимов И. А., Немировский А. С., Хасълшнский Р. 3. Некоторые проблемы непараметрического оценивания в гауссовском белом шуме // Теория вероятп. и ее примен. — 1986. — Т. 31. — С. 391-406.

39. Ибрагимов И. А., Хасъминский Р. 3. Асимптотическая теория оценивания.— М.: Наука, 1977.

40. Ибрагимов И. А., Хасъминский Р. 3. О непараметрическом оценивании значения линейного функционала в гауссовском белом шуме // Теория вероятн. а ее примен. — 1984.— Т. 29, Я0 1. — С. 19-32.

41. Игнагценко Е. Ю., Панков А. Р., Семенихин К. В. Минимаксно-статистический подход к оптимизации линейных моделей в условиях априорной неопределенности // Известия РАН. Теория и системы управления. — 2010. — № 5. — (В печати).

42. Игнои1,енко Е. Ю., Панков А. Р., Семенихин К. В. Минимаксно-статистический подход к повышению надежности обработки измерительной информации // Автоматика и телелгеханика.— 2010.— № 2.- С. 76-91.

43. Иоффе А. Д., Тихомиров В. М. Теория экстремальных задач. — М.: Наука, 1974.

44. Канторович II. В., Акилов Г. П. Функциональный анализ.— М.: Наука, 1984.

45. Карлин С., Стадден В. Д. Чебышевские системы и их применение в анализе и статистике. — М.: Наука, 1976.

46. Карманов В. Г. Математическое программирование.— М.: Наука, 1986.

47. Кац II. Я. Минимаксно-стохастические задачи оценивания в многошаговых системах // Оценивание в условиях неопределенности. — Свердловск: УНЦ АН СССР, 1982. — С. 43-59.

48. Кац И. Я., Курснсапский А. Б. Минимаксное оценивание в многошаговых системах // ДАН СССР. — 1975. — Т. 221, № 3. — С. 535-538.

49. Кац И. Я., Тимофеева Г. А. Динамические оценки доверительных и информационных множеств в статистически неопределенных системах / / Известия РАН. Техническая кибернетика. — 1994. — № 6. — С. 42-46.

50. Колмогоров А. II. К обоснованию метода наименьших квадратов // Успехи матем. наук. — 1946. — Т. 1, № 1. — С. 57-70.

51. Колмогоров А. Н., Фомин С. В. Элементы теории функций и функционального анализа. — М.: Наука, 1986.

52. Коростелев А. П. Минимаксная фильтрация траектории динамической системы, зависящей от непараметрического сигнала // Автоматика и телемеханика. — 1989. — № 9. — С. 89-96.

53. Крамер Г. Математические методы статистики. — М.: Мир. 1975.

54. Красовский Н. Н. К теории з'правляемости и наблюдаемости линейных динамических систем // Прикладная математика и механика.— 1964. — Т. 28, № 1. — С. 3-14.

55. Куке А., Олъман В. Минимаксная линейная оценка коэффициентов регрессии // Изв. АН Эст. ССР. Сер. физ.-мат. — 1972,— Т. 21, № 1.— С. 66-72.

56. Курдюков А. П., Тимин В. Н. Синтез робастного Доо-регулятора для управления энергетической котельной установкой // Управление большими системами. — 2009. — JVS 25. — С. 179—214.

57. Куржанский А. Б. Управление и оценивание в условиях неопределенности. — М.: Наука, 1977.

58. Курки?t О. М., Коробочкин Ю. Б., Шаталов С. А. Минимаксная обработка информации. — М.: Энергоатомиздат, 1990.

59. Лебедев AI. В., Семенихин К. В. Минимаксное оценивание в линейных неопределенно-стохастических динамических системах с непрерывным временем //В кн. Проектирование, конструирование и производство авиационной техники. — М.: МАИ, 2005.— С. 103-108.

60. Лебедев М. В., Семенихин К. В. Минимаксная фильтрация в стохастической дифференциальной системе с нестационарными возмущениями неизвестной интенсивности // Известия РАН. Теория и системы управления. — 2007. — № 2. — С. 45-56.

61. Лебедев М. В. Семенихин К. В. Восстановление параметров и состояний стохастических систем в присутствии произвольно коррелированных возмущений // Тезисы докладов конф. «Научная сессия МПФИ-2008». — М.: МИФИ: 2008.-21-27 января. — С. 88-89.

62. Лебедев М. В., Семенихин К. В. Минимаксная оценка случайного вектора при наличии произвольно коррелированных помех // Вестник МАИ. 2008. — Т. 15, № 2. — С. 90-104.

63. Левит Б. Я. Об асимптотической минимаксности второго порядка // Теория вероятн. и ее примен.— 1980.— Т. 25, № 3.— С. 561-576.

64. Лидов М. Л. К априорным оценкам точности определения параметров по методу наименьших квадратов // Космич. исслед.— 1961.— Т. 2, № 5. — С. 713-718.

65. Линник Ю. В. Метод наименьших квадратов и основы теории обработки наблюдений. — М.: Наука, 1974.

66. Липцер Р. Ш., Ширяев А. Н. Статистика случайных процессов.— М.: Наука, 1974.

67. Лъюнг Л. Идентификация систем. Теория для пользова телей. — М.: Наука, 1991.

68. Магнус Я. Р., Нейдеккер X. Матричное дифференциальное исчисление с приложениями к статистике и эконометрике.— М.: Физматлит, 2002.

69. Малышев В. В., Красильщиков М. Н., Карлов В. И. Оптимизация наблюдения и управления летательных аппаратов. — М.: Машиностроение, 1989.

70. Матасов А. И. Об оптимальности линейных алгоритмов гарантирующего оценивания // Космич. исслед. — 1988. — Т. 26, № 5, 6. — С. 643-653, 807-812.

71. Матасов А. И. Оптимальность линейных алгоритмов в задаче о «наихудшей корреляции» // Вестник МГУ. — 1989. — № 1. — С. 61-63.

72. Матасов А. И. Об априорной точности метода наименьших квадратов в задачах гарантирующего оценивания // Космич. исслед. — 1990. — Т. 28, № 1, 2.-С. 11-16, 170-185.

73. Матасов Л. И. Метод гарантирующего оценивания.— М.: Изд-во МГУ, 2009.

74. Мелас В. Б. О выборе плана эксперимента и метода оценивания при наличии априорных сведений о параметрах // Математические методы планирования эксперимента. — Новосибирск: Наука, 1981.— С. 155-173.

75. Мелегико В. И. Рекуррентное статистическое оценивание на основе псевдообратных операторов // Автоматика и телемеханика.— 1976.— № 8. — С. 101-110.

76. Назин А. В. Информационный подход к задачам оптимизации и адаптивного управления дискретными стохастическими системами: Дис. докт. физ.-матем. наук / ИПУ РАН. — М., 1995.

77. Наконечный А. Г. Минимаксное оценивание функционалов от решений вариационных уравнений в гильбертовых пространствах.— К.: Изд-во КГУ, 1989.

78. Обен Ж.-П., Экланд И. Прикладной нелинейный анализ.— М.: Мир, 1988.

79. Панков А. Р. Рекуррентная условно-минимаксная фильтрация процессов в разностных нелинейных стохастических системах // Известия РАН. Техническая кибернетика. — 1992. — № 3. — С. 71-77.

80. Панков А. Р. Минимаксные методы оценивания и оптимизации процессов в неопределенно-стохастических системах: Дис. .докт. физ.-матем. наук / МАИ. М., 1998.

81. Панков А. Р., Платонов Е. Н., Семенихин К. В. Минимаксная квад-ратическая оптимизация и ее приложения к планированию инвестиций // Автоматика и телемеханика. — 2001. — № 12. — С. 55-73.

82. Панков А. Р., Платонов Е. Н., Семенихгт К. В. Минимаксная квантильная оптимизация // Тезисы докладов 8-й Междунар. конф. «Системный анализ и управление космическими комплексами». — Крым, Евпатория: 2003. —29 июня 6 июля, — С. 125-126.

83. Панков А. Р., Платонов Е. П., Семенихгт К. В. Минимаксная оптимизация инвестиционного портфеля по квантильному критерию // Автолштика и телемеханика. — 2003. — Л'2 7. — С. 117-133.

84. Панков А. Р., Платонов Е. П., Семенихин К. В. Гарантирующее вероятностное оценивание в линейных статистически неопределенных моделях // Вестник компьютерных и информационных технологий. — 2006. — № 9. — С. 8-13.

85. Панков А. Р., Семенихин К. В. Минимаксная идентификация неопределенно-стохастической линейной модели // Автоматика и телемеханика. — 1998. — № 11. — С. 158-171.

86. Панков А. Р., Семенихин К. В. Методы параметрической идентификации многомерных линейных моделей в условиях априорной неопределенности // Автоматика и телелгеханика. — 2000. — № 5. — С. 76-92.

87. Панков А. Р., Семенихин К. В. О минимаксном оценивании в сингулярных неопределенно-стохастических моделях // Автоматика и телемеханика. — 2002. — № 9. — С. 40-57.

88. Панков А. Р., Семенихин К. В. О минимаксном оценивании по вероятностному критерию // Автоматика и телемеханика. — 2007. — № 3. — С. 66-82.

89. Панков А. Р., Се-иснихин К. В. О применении метода регуляризации к сингулярной задаче минимаксного оценивания // Инф. бюлл. Ассоциации математического программирования № 11,— Екатеринбург: УрО РАН, 2007. — С. 138-139.

90. Пименте И. Ф. О минимаксном оценивании регрессии // Теория вероятн. и ее примен.— 1990. — Т. 35, № 3.— С. 494—505.

91. Пинелис II. Ф. О минимаксном риске // Теория вероятн. и ее примен. — 1990. — Т. 35, № 1. — С. 92-97.

92. Полак Э. Численные методы оптимизации. Единый подход.— М.: Мир, 1974.

93. Поляк Б. Т. Введение в оптимизацию. — М.: Наука, 1980.

94. Поляк Б. Т., Цыпкин Я. 3. Адаптивные алгоритмы оценивания (сходимость, оптимальность, устойчивость) // Автоматика и телельеха-ника. — 1979. — № 3. — С. 71-84.

95. Пугачев В. С. Рекуррентное оценивание переменных и параметров в стохастических системах, описываемых разностными уравнениями // ДАН СССР. — 1978. — Т. 243, № 5. — С. 1131-1133.

96. Пугачев В. С., Синицын И. Н. Стохастические дифференциальные системы.— М.: Наука, 1990.

97. Пугачев В. С., Синицын П. Н. Теория стохастических систем.— М.: Логос, 2004.

98. Пшеничный Б. Н. Выпуклый анализ и экстремальные задачи. — М.: Наука, 1980.

99. Пшеничный Б. Н. Необходимые условия экстремума. — М.: Наука,1982.

100. Пшеничный Б. Н., Покотило В. Г. Минимаксный подход к оценке параметров линейной регрессии" // Изв. АН СССР. Сер. Техн. киберн. —1983. — № 2.

101. Пытъев Ю. П. Методы редукции измерений в гильбертовых пространствах // Матем. сб. — 1985. — Т. 126, № 4. — С. 543-565.

102. Пытъев Ю. П. Математические методы интерпретации эксперимента.— М.: Высшая школа, 1989.

103. Pao С. Р. Линейные стагистические методы и их применения.— М.: Наука, 1968.

104. Рокафеллар Р. Выпуклый анализ. — М.: Мир, 1973.

105. Рудин У. Функциональный анализ. — М.: Мир, 1975.

106. Сайон М. Некоторые общие теоремы о минимаксах // Бесконечные антагонистические игры. — М.: Физматгиз, 1963.

107. Себер Дэю. Линейный регрессионный анализ. — М.: Мир, 1980.

108. Семенихин К. В. Минимаксное оценивание случайных элементов по среднеквадратическому критерию // Известия РАН. Теория и систелгы управления. — 2003. — № 5. — С. 12-25.

109. Семенихин К. В. Оптимальность линейных алгоритмов оценивания в задаче минимаксной идентификации // Автоматика и телемеханика. — 2004. — № 3. — С. 148-158.

110. Семенихин К. В. Минимаксность линейных оценок неопределенно-стохастического вектора по обобщенным вероятностным критериям // Автоматика и телемеханика. — 2007. — № 11. — С. 88-104.

111. Скороход А. В. Интегрирование в гильбертовом пространстве.— М.: Наука, 1975.

112. Смоляк С. А., Тгтаренко Б. П. Устойчивые методы оценивания. — М.: Статистика, 1980.

113. Соловьев В. Н. Двойственные экстремальные задачи и их применение к задачам минимаксного оценивания // Успехи матем. наук. — 1997. — Т. 52, Л'" 4. — С. 49-86.

114. Соловьев В. Н. К теории минимаксно-байесовского оценивания // Теория вероятн. и ее примен. — 1999. — Т. 44, Ns 4. — С. 738—756.

115. Стратонович Р. Л. Избранные вопросы теории флюктуации в радиотехнике.— М.: Сов. радио, 1961.

116. Тимофеева Г. А. Оптимальные доверительные множества для статистически неопределенных систем // Автоматика и телемеханика. — 2003. — № 11. — С. 84-95.

117. Федотов А. М. Линейные некорректные задачи со случайными ошибками в данных. — Новосибирск: Наука, 1982.

118. Фишер Р. А. Статистические методы для исследователей.— М.: Госстатиздат, 1958.

119. Флеминг У., Puuicji Р. Оптимальное управление детерминированными и стохастическими системами. — М.: Мир, 1978.

120. Фомин В. Н. Рекуррентное оценивание и адаптивная фильтрация. — М.: Наука, 1984.

121. Хьюбер П. Робастность в статистике. — М.: Мир, 1984.

122. Цыпкин Я. 3. Адаптация и обучение в автоматических системах. —1. М.: Наука, 1968.

123. Черноусъко Ф. Л. Оценивание фазового состояния динамических систем. Метод эллипсоидов.— М.: Наука, 1988.

124. Ширяев Л. Я. Вероятность. — М.: Наука, 1980.

125. Штойян Д. Качественные свойства и оценки стохастических моделей. — М.: Мир, 1979.

126. Экланд И., Темам Р. Выпуклый анализ и вариационные проблемы. — М.: Мир, 1979.

127. Ва§аг Т., Bernhard P. iico-optimal control and related minimax design problem. A game theoretic approach. — Boston: Birkhauser, 1991.

128. Bahadur R. On the asymptotic efficiency of tests and estimators // Sankhya. — 1960. Vol. 22. — Pp. 229-252.

129. Barton R. J., Poor H. V. On generalized signal-to-noise ratios in quadratic detection // Mathematics of Control, Signals and Systems. — 1992. — Vol. 5, no. 1. —Pp. 81-91.

130. Ben-Israel A., Greville T. N. E. Generalized inverses: Theory and applications. — N.Y.: J. Wiley & Sons, 1974.

131. Borisov A. V., Pankov Д. R. A solution of the filtering and smoothing problems for uncertain-stochastic dynamic systems // Interriat. J. Control.— 1994. — Vol. 60, no. 3. — Pp. 413-423.

132. Boyd S., Vandenberghe L. Convex optimisation. — Cambridge: Cambridge Univ. Press, 2004.

133. Casella G., Strawderman W. E. Estimating a bounded normal mean // Ann. Statist. — 1981, —Vol. 9, no. 1. — Pp. 870-878.

134. Catlin D. E. Estimation, control and the discrete Kalman filter. — N.Y.: Springer-Verlag, 1988.

135. Catlin D. E. Estimation of random states in general linear models //' IEEE Trans. Automat. Control — 1991. —Vol. AC-36, no. 2. — Pp. 248-252.

136. Curtain R. F., Pritchard A. J. Infinite dimensional linear systems theory. — N.Y.: Springer-Verlag, 1978.

137. Donoho D. L. Statistical estimation and optimal recover}' // Ann. Statist. — 1994. — Vol. 22, no. 1. — Pp. 238-270.

138. Donoho D. L., Liu R. C., MacGibbon B. Minimax risk over hypcrrectangles, and implications // Ann. Statist. — 1990. — Vol. 18, no. 3. — Pp. 1416-1437.

139. El Ghaoui L., Calafiore G. Robust filtering for discrete-time systems with structured uncertainty // IEEE Trans. Automat. Control.— 2001.— Vol. AC-46, no. 7. — Pp. 1084-1089.

140. El Ghaoui L., Lebret II. Robust solutions to least-squares problems with uncertain data // SIAM J. Matrix Anal. Appl. — 1997. — Vol. 18, no. 4. — Pp. 1035-1064.

141. Goldfarb D., Iyengar G. Robust portfolio selection problems // Mathematics of Operations Research. — 2003. — Vol. 28, no. 1. — Pp. 1-38.

142. Hodges J., Lehmann E. Some problems in minimax point estimation // Ann. Math. Stat. — 1950. — Vol. 21, no. 2. — Pp. 182-197.

143. Kalman R. E. A new approach to linear filtering and predictiontheory // ASME Transactions, Part D (J. of Basic Engng). — 1960. — Vol. 82. — Pp. 33-45.

144. Kalrnan R. E., Bucy R. S. New results in linear filtering and prediction theory // ASME Transactions, Part D (J. of Basic Engng). — 1961. — Vol. 83. — Pp. 95-108.

145. Kibzun A. I. Kan Yu. S. Stochastic programming problems with probability and qnantile functions. — London: J. Wiley & Sons, 1996.

146. Kurzhanski A. B., Valyi I. Ellipsoidal calculus for estimation and control. — Laxenburg: IIASA, 1989.

147. Martin C., Mintz M. Robust filtering and prediction for linear systems with uncertain dynamics: A game-theoretic approach // IEEE Trans. Automat. Control. — 1983. — Vol. AC-28, no. 9. — Pp. 888-896.

148. Matasov A. I. The Kalman—Bucy filter accuracy in the guaranteed parametric estimation problem with unkown statistics // IEEE Trans. Automat. Control. — 1994. Vol. AC-39, no. 3. — Pp. 635-640.

149. Matasov A. I. Estimators for uncertain dynamic systems. — Dordrecht: Kluwer Acad. Publ. 1998.

150. Miller B. M., Miller G. B., Siemcnikhin K. V. Control of Markov chains with constraints // Proc. VIII Intern. Conf. "System Identification and Control Problems" (SICPRO'09). — Moscow: 2009. — January, 26-30,— Pp. 737-760.

151. Miller B., Miller G., Siemenikhin K. Optimal control of Markov chains with constraints // Proc. 48th IEEE Conf. Decision and Control (CDC'2009). — China, Shanghai: 2009.—December, 16-18. — Pp. 512-518.

152. Miller B., Miller G., Siemcnikhin K. Towards the optimal control of Markov chains with constraints // Automatica.— 2010.— Vol. 46, no. 9.— Pp. 1495-1502.

153. Miller G. B., Pankov A. R. Siemenikhin K. V. Minimax filter for statistically uncertain stochastic discrete-continuous linear system // Proc. 9th European Control Conf. (ECC'2007).— Isl. Kos, Greece: 2007.— July, 2-5.— Pp. 3929-3933.

154. Pankov A. R., Bosov A. V. Conditionally minimax algorithm for nonlinear system state estimation // IEEE Trans. Automat. Control. — 1994. — Vol. AC-39. —Pp. 1617-1620.

155. Pankov A. R., Platonov E. N., Siemenikhin K. V. On minimax identification: Method of dual optimization // Proc. 39th IEEE Conf. Decision and Control (CDC'2000). — Sydney, Australia: 2000. — December, 12-15.— Pp. 4759-4764.

156. Pankov A. R., Platonov E. N., Siemenikhin K. V. Recursive nonlinear filtering by minimax criterion // Proc. TFAC Nonlinear Control Systems Symp. (NOLCOS'2001). — St.-Petersburg, Russia: 2001, —July, 4-6, —Pp. 697-702.

157. Pankov A. R., Siemenikhin K. V. Minimax estimation in generalized linear uncertain-stochastic model // Proc. 37th IEEE Conf. Decision and Control (CDC'98). — Tampa, Florida, USA: 1998.— December, 16-18,— Pp. 2902-2903.

158. Pankov A. R., Siemenikhin K. V. Regularized estimation procedures for statistically indeterminate singular linear models // Proc. 41st IEEE Conf. Decision and Control (CDC'2002).— Las Vegas, Nevada, USA: 2002,— December, 10-13. — Pp. 2625-2626.

159. Pankov A. R., Siemenikhin K. V. Minimax parameter estimation for singular linear multivariate models with mixed uncertainty // Proc. 16th IFAC World Congress (IFAC'2005). — Prague, Czech Republic: 2005. —July, 4-8.

160. Pankov A. R., Siemenikhin K. V. Minimax estimation for singular linear multivariate models with mixed uncertainty // J. Multivariate Analysis. — 2007. — Vol. 98, no. 1. — Pp. 145-176.

161. Petersen I. R., Savkin A. V. Robust Kalman filtering for signals and systems with large uncertainties. — Boston: Birkhauser, 1999.

162. Petersen I. R., Ugrinovskii V. A., Savkm A. V. Robust control design using iToo-methods. — London: Springer-Verlag, 2000.

163. Poor H. V., Looze D. P. Minimax state estimation for linear stochastic systems with noise uncertainty // IEEE Trans. Automat. Control.— 1981 — Vol. AC-26. Pp. 902-906.

164. Siemenikhin K. V. On linearity of minimax estimates in general linear regression models // Proc. Joint Conf. Prague Stoehastics'2006. — Prague, Czech Republic: MATFYZPRESS, 2006.— August, 21-25. —Pp. 611-621.

165. Siemenikhin K. V. On minimax estimating Hilbert random elements // Abstract collection of the 3rd IEEE Conf. Physics and Control. — Potsdam, Germany: Universitatsverlag Potsdam, 2007. — September, 3-7. — P. 274.

166. Siemenikhin K. V. On optimal estimation by minimax criterion withgeneralized probabilistic risk functions // Abstracts of the Xl-th Intern. Conf. Stochastic Programming. — Vienna, Austria: 2007.— August, 27-31. — P. 53.

167. Siemenikhin K. V., Lebedev M. V. Minimax estimation of random elements: Theory and applications // Proc. 43rd IEEE Conf. Decision and Control (CDC'2004). — Bahamas, Nassau: 2004.—December. 14-17.— Pp. 3581-3586.

168. Siemenikhin K. V. Pankov A. R. Linear stochastic optimization by quantile and probability criteria: A minimax approach / / Proc. 22nd IFIP TC 7 Conf. Svstem Modelling and Optimization (Abstracts). — Turin, Italy: 2005.— July, 18-22. — P. 80.

169. Siemenikhin K. Pankov A. Sample-based minimax approach and its application to linear quadratic optimization under uncertainty // Abstract collection of the IEEE Conf. Physics and Control (PliysCon'2009). — Catania, Italy: 2009. — September.

170. Siemenikhin K., Pankov A., Ignastchenko Ye. Sample-based minimax linear-quadratic optimization // Proc. European Control Conf. (ECC'2009).— Budapest, Hungary: 2009.— August, 23-26. — Pp. 3221-3226.

171. Sturm J. F. Using SeDuMi 1.02. a MATLAB toolbox for optimization over symmetric cones // Optimization Methods and Software. — 1999. — Vol. 11, no. 12. — Pp. 625-653.

172. Tsybakov A. B. Introduction to nonparametric statistics.— N.Y.: Springer-Verlag, 2009.

173. Verdú S., Poor II. V. Minimax linear observers and regulators for stochastic systems with uncertain second order stat istics // IEEE Trans. Automat. Control. — 1984. — Vol. AC-29, no. 6. — Pp. 499-511.

174. Verdú S., Poor H. V. On minimax robustness: A general approach and applications // IEEE Trans. Inform. Theory. — 1984.— Vol. IT-30, no. 2.— Pp. 328-340.

175. Wiener N. Extrapolation, interpolation, and smoothing of stationary time series. — N.Y.: MIT Press, 1949.

176. Yoon AI.-G., Ugrinovskii V. A., Petersen I. R. Robust finite horizon minimax filtering for discrete-time stochastic uncertain systems // Syst. Contr. Letters. — 2004. — Vol. 52. — Pp. 99-112.

177. Young M. R. A minimax portfolio selection rule with linear programming solution // Management Science.— 1998.— Vol. 44, no. 5.— Pp. 673-683.

178. Zeytinoglu M., Mintz M. Optimal fixed-size confidence procedures for a restricted parameter space // Ann. Statist.— 1984,— Vol. 12, no. 3.— Pp. 945-957.

179. Zeytinoglu M., Mintz M. Robust fixed-size confidence procedures for a restricted parameter space // Ann. Statist.— 1988.— Vol. 16, no. 3.— Pp. 1241-1253.

180. МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ

181. МОСКОВСКИЙ АВИАЦИОННЫЙ ИНСТИТУТ (ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ)1. На правах рукописи05201150563 УДК г,19.21

182. Семенихин Константин Владимирович

183. МЕТОДЫ МИНИМАКСНОГО ОЦЕНИВАНИЯ В МНОГОМЕРНЫХ ЛИНЕЙНЫХ МОДЕЛЯХ НАБЛЮДЕНИЯ ПРИ НАЛИЧИИ ГЕОМЕТРИЧЕСКИХ ОГРАНИЧЕНИЙ НА МОМЕНТНЫЕ ХАРАКТЕРИСТИКИ

184. Специальность 05.13.01 «Системный анализ, управление и обработка информации (авиационная и ракетно-космическая техника)»

185. Диссертация на соискание ученой степени доктора физико-математических наук1. Москва, 2010 г.1. СОДЕРЖАНИЕ1. Введение.4

186. Список обозначений и сокращений.18