автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.16, диссертация на тему:Идентификация моделей систем формирования изображений по малому числу наблюдений

И. - Г& с ^ ~ Ш/*

ИНСТИТУТ СИСТЕМ ОБРАБОТКИ ИЗОБРАЖЕНИЙ РОССИЙСКОЙ АКАДЕМИИ НАУК

На правах рукописи

Фурсов Владимир Алексеевич

ИДЕНТИФИКАЦИЯ МОДЕЛЕЙ СИСТЕМ ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЙ ПО МАЛОМУ ЧИСЛУ НАБЛЮДЕНИЙ

Специальность 05.13.16 Применение вычислительной техники, математического моделирования и математических методов в научных исследованиях

Диссертация на соискание ученой степени доктора технических наук

Научные консультанты:

д.т.н., профессор Сойфер В.А., ^ д.т.н., профессор Шамриков Б.М.

президиум ВАК Р/^У , . :

I1 :ршзш от".У* "

/ < \ учзную степень АО

—'

/V/ .-■'./

* У^рав^еамя ВАК Росср-т

ТАМАРА, 1999

РЕФЕРАТ

Основной текст 243 м. п. стр., 58рис., 35 табл., библ. 137 наим. '

В диссертационной работе рассматриваются основы теории, методы и алгоритмы идентификации моделей систем формирования изображений по малому числу наблюдений. Предложены новые меры информативности данных, приводятся разработанные на их основе методы и алгоритмы отбора подходящих для решения задачи идентификации малых фрагментов изображений. Развивается алгебраическая теория оценивания, не требующая задания апрорных вероятностных распределений ошибок измерений. Предложены основанные на этом подходе методы и алгоритмы идентификации, в которых для повышения точности используется дополнительная информация, в т.ч. нестатистического характера. Описываются построенные на основе разработанных методов и алгоритмов информационные технологии идентификации искажающих систем, восстанавливающих фильтров, оценки разрешающей способности видеотракта и совмещения изображений. Приводятся результаты экспериментов, подтверждающие работоспособность и эффективность этих технологий.

ОГЛАВЛЕНИЕ

«к

ВВЕДЕНИЕ...................................................................................................................-5

1. ОБЩАЯ СХЕМА И ПРОБЛЕМЫ ИДЕНТИФИКАЦИИ ПРИ МАЛОМ ЧИСЛЕ НАБЛЮДЕНИЙ НА ФРАГМЕНТАХ ИЗОБРАЖЕНИЙ......................13

1.1. Этапы подготовки данных для решения задачи идентификации.................13

1.2. Модели и предположения..................................................................................17

1.3. Общая схема решения задачи...........................................................................23

1.4. Формы представления ошибок..........................................................................27

1.5. Ортогональные разложения ошибок оценивания...........................................31

1.6. Достаточные оценки точности...........................................................................34

2. ОЦЕНКА ИНФОРМАТИВНОСТИ ДАННЫХ......................................................46

2.1. Понятие информативности данных, связь с обусловленностью задачи......46

2.2. Оценки для собственных значений матрицы Грама.......................................51

2.3. Оценки для числа обусловленности и определителя......................................58

2.4. Оценка обусловленности и мультиколлинеарности по диагональнму преобладанию матрицы Грама.........................................................................65

2.5. Оценка мультиколлинеарности по показателям сопряженности

с нуль-пространством матрицы измерений....................................................72

2.6. Связь мер обусловленности и мультиколлинеарности...................................76

3. ДОСТИЖИМАЯ ТОЧНОСТЬ ПРИ ПРЕОБРАЗОВАНИЯХ ДАННЫХ............84

3.1. Качественный анализ ошибок идентификации при преобразованиях взвешивания........................................................................................................84

3.2. Связь реализаций векторов ошибок и невязок...............................................93

3.3. Качественный анализ ошибок оценивания при непосредственной корректировке зависимых переменных.........................................................100

3.4. Влияние масштабирования независимых переменных.................................106

4. МЕТОДЫ ИДЕНТИФИКАЦИИ С ПРЕОБРАЗОВАНИЕМ ДАННЫХ..........111

4.1. Методы идентификации, основанные на непосредственной корректировке вектора выхода модели..........................................................] 11

4.2. Омтимизационный метод построения весовой матрицы.............................121

4.3. Статистическое обоснование метода взвешивания данных.........................125

4.4. Построение преобразований взвешивания путем формального задания параметрических классов распределений......................................................129

4.5. Различение классов по значениям среднего модулей невязок.....................135

4.6. Связь с Ц-оценками..........................................................................................141

5. РЕШАЮЩИЕ ПРАВИЛА И АЛГОРИТМЫ........................................................148

5.1. Общая схема алгоритма идентификации........................................................148

5.2. Процедура масштабирования независимых переменных............ .................152

5.3. Решающие правила и алгоритмы анализа информативности.....................153

5.4. Решающие правила и алгоритмы отбора данных..........................................159

5.5. Организация итеративного процесса преобразования данных

и вычисления оценок.....................................................................................163

5.6. Сравнение с рекуррентным взвешиванием данных......................................167

6. РЕАЛИЗАЦИЯ МЕТОДОВ И АЛГОРИТМОВ ИДЕНТИФИКАЦИИ

ПО МАЛОМУ ЧИСЛУ НАБЛЮДЕНИЙ..............................................................172

6.1. Идентификация импульсной характеристики искажающей системы........172

6.2. Построение восстанавливающих фильтров путем непосредственной идентификации инверсной модели видеотракта..........................................184

6.3. Идентификация кусочно-постоянных линейных моделей пространственно-зависимых искажений и восстанавливающих фильтров............................................................................................................192

6.4. Идентификация моделей систем формирования изображений в классе фильтров с бесконечной импульсной характеристикой.............................196

6.5. Оценки разрешающей способности видеотракта..........................................203

6.6. Совмещение изображений по информативным фрагментам......................211

6.7. Оперативная идентификация восстанавливающих фильтров

по типовым фрагментам изображений известных объектов......................218

7. ЗАКЛЮЧЕНИЕ........................................................................................................227

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ.................................................232

ПРИЛОЖЕНИЕ 1.........................................................................................................244

ПРИЛОЖЕНИЕ 2.........................................................................................................246

ПРИЛОЖЕНИЕ 3.........................................................................................................256

ПРИЛОЖЕНИЕ 4.........................................................................................................258

ПРИЛОЖЕНИЕ 5.........................................................................................................262

ПРИЛОЖЕНИЕ 6.........................................................................................................270

ПРИЛОЖЕНИЕ 7.........................................................................................................278

ВВЕДЕНИЕ

При проведении научных исследований во многих областях знаний (космонавтика, геофизика, астрономия, медицина и др.) широко используются изображения как носители информации об исследуемых объектах [18,62,63]. Оптико-электронные системы неизбежно вносят в формируемые изображения искажения. Для построения процедур восстановления изображений необходимо знать модель искажающей системы.

Задача определения модели искажающей системы может быть сформулирована как задача параметрической идентификации. Теории и методам идентификации систем посвящена обширная литература. Большой вклад в развитие теории идентификации внесли отечественные (Я.З. Цыпкин, Н.С. Райбман, И.И. Пе-рельман, A.A. Ершов, Б.Т. Поляк, Б.М. Шамриков) и зарубежные (P.E. Калман, Р. Ли, Э.П. Сейдж, Дж. Л. Мелса, Д. Гроп, П. Эйкхофф, Л. Люнг) ученые.

При проведении научных исследований и комплексных испытаниях образцов новой техники часто возникает необходимость идентификации модели системы по весьма малому числу наблюдений на фрагментах изображения [16,71*,72*]. Примерами таких задач являются: определение локально-инвариантных к сдвигу моделей неизопланатичных искажений, идентификация восстанавливающих фильтров и/или оценка разрешающей способности видеотракта по фрагментам изображений известных объектов в оптико-электронных системах дистанционного наблюдения, навигации и др. При идентификации моделей систем формирования изображений по малому числу наблюдений имеют место следующие трудности:

1. Информативность исходных данных существенно зависит от выбора фрагмента на изображении, в частности, при попадании на участок фона задача оказывается плохо обусловленной, что может привести к большим ошибкам в оценках параметров.

2. Свойство устойчивости статистических характеристик шумов при малом числе наблюдений на фрагментах изображения не проявляется, поэтому методы идентификации, основанные на использовании априорных вероятностных распределений помех, оказываются теоретически необоснованными и, как следствие, неработоспособными.

Эти две проблемы возникают во многих задачах, связанных с построением адаптивных систем, в которых перестройка осуществляется по результатам эпи-

зодической идентификации объекта в режиме его нормального функционирования [10,12*,58,128*,134*]. Поэтому при анализе новизны и актуальности настоящей работы необходимо учитывать основные результаты и подходы к решению указанных проблем в других приложениях [53,54,55,56,57,58,114,135].

Анализ работ по теории и прикладным аспектам определения характеристик систем [46,48,119,124] показывает, что проблема идентификации по малому числу наблюдений остается актуальной. Дело в том, что при малом числе наблюдений основное условие предельных теорем теории вероятностей (существование большого числа случайных явлений) [17] не выполняется. Поскольку эти теоремы являются фундаментом теоретической статистики, основанные на результатах этой теории методы идентификации в теоретическом отношении оказываются также недостаточно обоснованными [66].

По той же причине в рассматриваемой ситуации недостаточно обоснованным является использование минимаксных методов теории робастного оценивания [77,113]. В соответствии с принципом оптимальности на классе [6"1,115] [115] строится оптимальная функция потерь для наименее благоприятной плотности распределения из заданного класса. Тем самым предполагается существование удовлетворяющих условиям центральных предельных теорем теории вероятностей классов распределений. Вдобавок ищутся оценки, минимизирующие эмпирические средние потери, для которых сходимость к средним потерям имеет место лишь при выполнении условий усиленного закона больших чисел (там же, стр. 63).

В качестве альтернативы традиционно используемым методам, основанным на фишеровской теории оценивания [2], пропагандируется мизесовский подход, в котором всерьез принимаются только статистические вероятности. По-видимому, такая точка зрения в некоторых случаях предметно оправдана. Однако выявление статистических вероятностей объективно связано с увеличением числа наблюдений, что для рассматриваемого круга задач неприемлемо.

Резкой критике подходы, связанные с заданием так называемой "стандартной статистической гипотезы", подверг Р. Калман [33]. Он рассмотрел несколько известных методов идентификации и выявил предположения, которые основаны на предубеждениях. В частности, показал, что "хорошие" свойства МНК могут быть связаны либо с предположением о наличии переменных свободных от шума, либо с вложением МНК в некоторые вероятностные модели, которые в данном случае, к сожалению, не могут быть обоснованы.

Таким образом, использование теории и методов идентификации, опирающихся на статистическую теорию оценивания и использующих априорные вероятностные распределения, не соответствует существу задачи оценивания по малому числу наблюдений [60, 94*, 125]. Конструктивный подход к построению свободных от распределений помех алгоритмов оценивания предложен в работеах [36, 60]. В рамках этого подхода, однако, не учитывается и не исследуется фактор неопределенности информативных свойств выборки.

Для повышения точности идентификации в условиях неопределенности характеристик информативности полезных сигналов обычно применяют регуляризацию [1,3,21,23,28,31,43,76,79], основанную на теории некорректных задач [32,78]. При статистической регуляризации обычно предполагается, что объем выборки достаточно большой.

Если модель полезного сигнала задана и такова, что приводит к плохой обусловленности задачи [10], эта проблема традиционно считается вычислительной. Это нашло отражение в разработке алгебраической теории возмущений [19,80]. Проблема обусловленности тесно связана с решением полной или частной проблемы собственных значений. Сводка многих результатов и оценок для собственных значений содержится в работах [8,20,22,47,49,127]. Указанное направление исследований имеет большое самостоятельное значение, возможно, поэтому эти результаты, как правило, не учитывают некоторые важные особенности оценивания по малому числу наблюдений [20,80,116].

Невостребованность многих результатов алгебраической теории возмущений в рамках теории оценивания имеет также объективные причины. Действительно при идентификации систем формирования изображений характеристики обусловленности для заданного класса (например, портрет, пейзаж и т.д.) и даже для отдельных изображений из этого класса слабо изменяются от изображения к изображению. Поэтому влияние фактора информативности поля яркости на изменение точности оценивания в пределах одного класса изображений также оказывается незначительным.

При решении задачи идентификации на малых фрагментах тех же изображений ситуация принципиально иная. Свойства полезных сигналов и связанные с ними характеристики обусловленности существенным образом изменяются от фрагмента к фрагменту. Поэтому точностные свойства оценок по малому числу наблюдений с самого начала должны изучаться с учетом совместного влияния обоих факторов: ошибок в исходных данных и характеристик обусловленности

(информативности полезных сигналов). В рамках статистической теории оценивания это не представляется возможным.

При идентификации по малому числу наблюдений имеет значение обусловленность лишь на конкретном заданном наборе данных. Поэтому анализ информативности является сугубо алгебраической задачей. Исследование влияния на точность идентификации ошибок измерений при непредсказуемости их вероятностных распределений в рамках статистической теории оценивания также представляется теоретически необоснованным.

Поэтому актуальной проблемой является теоретическое обоснование и построение методов идентификации систем формирования изображений по малому числу наблюдений, работоспособных при априорной неопределенности вероятностных распределений ошибок измерений и моделей полезных сигналов на их малых фрагментах. В качестве теоретической базы для этого, вместо традиционно применяемой статистической теории оценивания, в настоящей работе используется алгебраическая теория возмущений. Это создает предпосылки для одновременного учета влияния на точность идентификации как ошибок исходных данных, так и информативности полезных сигналов, а также расширяет возможности повышения точности идентификации за счет использования дополнительной информации, в т.ч. нестатистического характера.

С учетом сказанного в настоящей работе ставятся следующие цели и задачи. Целью работы диссертационной работы является разработка теории, методов и алгоритмов идентификации моделей систем формирования изображений по малому числу наблюдений с высокой точностью при проведении научных исследований и комплексных испытаниях образцов новой техники.

Для достижения указанной цели в работе решаются следующие задачи:

1. Обоснование общей схемы оценивания и основанной на алгебраическом подходе методологии исследования точности идентификации моделей систем формирования изображений по малому числу измерений на фрагментах.

2. Теоретическое обоснование и исследование эффективности мер мульти-коллинеарности и обусловленности, пригодных для оценки информативности малых наборов данных на фрагментах изображений.

3. Выявление основных закономерностей формирования ошибок оценивания параметров моделей и условий достижения предельной точности, определяемой по критериям, принятым в алгебраической теории возмущений.

4. Теоретическое обоснование методов оценивания по малому числу изме-

рений, в которых не используются предположения об аналитической форме распределений ошибок измерений.

5. Разработка и экспериментальная проверка решающих правил и алгоритмов оперативного контроля информативности данных и параметрической идентификации моделей систем формирования изображений по малому числу наблюдений на их фрагментах.

6. Разработка и исследование эффективности новых информационных технологий обработки и анализа изображений, в которых идентификация моделей по малому числу наблюдений является функционально необходимой.

Для проведения исследований в указанных направлениях в диссертационной работе используются алгебраическая теория возмущений, вычислительные методы линейной алгебры, численные методы, методы оптимизации, цифровые методы обработки изображений и методы имитационного моделирования.

Н