автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Математические методы и комплекс программ частотно-пространственного анализа стереопар изображений

На правах рукописи

ИВАШКИН ДМИТРИЙ ИГОРЕВИЧ

МАТЕМАТИЧЕСКИЕ МЕТОДЫ И КОМПЛЕКС ПРОГРАММ ЧАСТОТНО-ПРОСТРАНСТВЕННОГО АНАЛИЗА СТЕРЕОПАР ИЗОБРАЖЕНИЙ

Специальность 05.13.18 - Математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Тверь - 2006

Работа выполнена на кафедре информационных систем и технологий факультета прикладной математики и кибернетики Тверского государственного университета.

Научный руководитель кандидат технических наук,

доцент С.И. Василенко

Официальные оппоненты доктор физико-математических наук,

профессор K.M. Зингерман

кандидат технических наук,

старший научный сотрудник В.И. Проскурин

Ведущая организация ФГУП Московское орденов

Октябрьской Революции и Трудового Красного Знамени конструкторское бюро «Электрон»

12

Защита состоится « 7» цюлД 2006 г. в на заседании

диссертационного совета Д212.263.04 в Тверском государственном университете по адресу: 170000, г. Тверь, ул. Желябова, 33.

С диссертацией можно ознакомиться в Научной библиотеке Тверского государственного университета: г.Тверь, ул. Володарского, 44а.

Автореферат разослан « € » чюи-я 2006 г.

Ученый секретарь

диссертационного совета Д212.263.04

доктор технических наук, профессор

В.Н. Михно

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность. Предметом настоящего исследования является решение задачи совмещения изображений при требованиях минимизации числа ложных соответствующих точек и снижения вычислительной трудоемкости. Сущность совмещения изображений заключается в установлении соответствия между точками одной или нескольких стереопар. Стереопара - это две проекции одного и того же трехмерного объекта полученные с разных позиций.

Решение задачи совмещения изображений является фундаментальной проблемой компьютерного видения, требующей своего разрешения при выявлении изменений в серии изображений, анализе движения объектов, объединения информации от различных сенсоров, стереозрении и текстурном анализе. Подобная проблема возникает при создании фотокарт и цифровых карт местности, навигации летательных аппаратов, дистанционном сборе данных и в биомедицинских приложениях. Поэтому практическая полезность решения задачи автоматического совмещения изображений, без помощи оператора, несомненна.

Различные методы совмещения изображений включают в себя такие действия, как выделение контуров, сегментация и построение структурного описания изображения. Все эти вопросы являются ключевыми в науке об интерпретации и понимании изображений — иконике. Поэтому несомненна ценность изучения проблемы совмещения изображений и для теории.

Существующие методы совмещения изображений можно разделить на три группы:

1. Область-ориентированные методы, основанные на анализе перепада яркости пиксел. В них находятся точечные особенности левого (/,) и правого (/2) изображений, которые сравниваются с целью обнаружения соответствующих точек. К недостаткам этих методов относится то, что возможность их использования ограничена условием наличия текстурированных областей на изображениях. Кроме того, при поиске соответствующих точек обрабатывается все изображение, что существенно увеличивает вычислительную сложность алгоритма.

2. Ориентированные на топологию методы, поиск соответствующих точек в которых основан на выделении структурных элементов левого и правого изображений стереопары (векторизация изображений) с их последующим сравнением между собой. К недостаткам данных методов можно отнести то, что поиск примитивных признаков происходит по всему изображению, для чего используются угловые детекторы, чувствительные к различным шумам в изображений. ■

3. Символические методы, в которых символические описания изображений сравниваются с последующим определением степени их подобия на основе использования оценочной функции. Символическое описание основывается на анализе градаций серого либо на иных характерных признаках изображения и может быть представлено в виде графа, дерева,

семантической сети и т.д. Так как методы данной группы основаны на использовании способов совмещения изображений из предыдущих методов, им свойственны такие же недостатки.

Из-за недостаточной уникальности элементов поиска при решении задачи совмещения изображений могут возникнуть следующие проблемы:

1. решения может не быть;

2. выбор соответствующих точек не однозначен.

Наличие неоднозначности, согласно работам А.Н. Тихонова и В.Я. Арсенина1, позволяет сделать вывод о том, что задача совмещения изображений стереопары является плохо обусловленной задачей.

Прямой способ сделать задачу хорошо обусловленной состоит в ограничении пространства возможных решений (например, сужением пространства поиска решения). В существующих методах сужение пространства поиска точек обеспечивается выделением структурных элементов изображений (ориентированные на топологию методы) либо использованием иерархической процедуры сглаживания (область-ориентированныеметоды)'и т.д. Однако всем методам присущ ряд недостатков, основной из которых состоит в том, что при формировании структурных элементов анализ яркости пиксел производится не в ограниченной области, а по всему изображению стереопар. Это в свою очередь влияет на временные и вычислительные ресурсы поиска соответствующих точек. Кроме этого, остается проблема не однозначного выбора соответствующих точек, что приводит к возникновению ложных пар соответствующих точек (пары точек изображений стереопары, которые не являются проекциями одной и той же точки трехмерного пространства).

Таким образом, плохая обусловленность задачи совмещения изображений и недостатки существующих методов . её решения предопределяют актуальность разработки методов совмещения изображений, удовлетворяющих критериям:

• низкой вычислительной трудоемкости решения данной задачи;

• минимизации количества ложных соответствующих точек.

Целью работы является разработка методов совмещения изображений, обеспечивающих минимизацию числа ложных соответствующих точек стереопары изображений и снижение вычислительной трудоемкости поиска соответствующих точек.

Для достижения данной цели в диссертации выполнена разработка:

- математического метода частотно-пространственного анализа стереопар изображений;

- математического метода векторизации изображений;

1 Тихонов А.Н. О некорректно поставленных задачах // Вычислительная математика и программирование. М., 1967. Вып. 8; Тихонов А.Н., Арсенин В.Я. Методы решения некорректных задач. М., 1974.

- комплекс . программ для поиска соответствующих точек стереоизображений.

Методы исследования. Для достижения поставленной цели в работе использовались методы корреляционного анализа, двумерного ДВП, а также методы регуляризации и обработки изображений.

Положения, выносимые на защиту:

1. Метод поиска соответствующих точек, основанный на локализации особых областей с помощью двумерного дискретного вейвлет-преобразования (ДВП).

2. Метод поиска соответствующих точек, использующий для векторизации изображений коэффициенты двумерного ДВП.

3. Программный комплекс, позволяющий осуществлять исследования и решать практические задачи по совмещению стереопар изображений в интерактивном режиме.

Научная новизна полученных результатов.

1. В работе разработан метод и алгоритм, позволяющий за счет применения двумерного ДВП одновременно обеспечить:

a. уменьшение размерности исходных данных за счет иерархической процедуры сглаживания изображений;

b. выявление множества перспективных для совмещения точек;

c. формирование исходных данных для процедуры векторизации изображений.

В существующих методах эти задачи либо не решаются, либо решаются последовательно с применением к каждой различных методов обработки изображений.

2. Разработаны новые алгоритмические решения, позволяющие обеспечить минимизацию числа ложных соответствующих точек и снижение вычислительной трудоемкости их поиска, путем выбора соответствующего метода (на основе анализа априорных данных) и введением пороговых ограничений.

Теоретическая и практическая значимость. Теоретическая значимость работы заключается в разработке и обосновании нового подхода в решении задачи совмещения стереоизображений, расширяющего возможности методов обработки изображений. Практическая значимость работы заключается в разработке алгоритмов и программного комплекса для поиска соответствующих точек стереопары изображений и представляет вклад в развитие программно-реализуемых методов обработки изображений.

Достоверность и обоснованность научных результатов базируются на корректном использовании методов цифровой обработки изображений и теории вейвлет-анализа. Достоверность поиска соответствующих точек обеспечивается

проведением ряда тестовых вычислительных экспериментов на реальных изображениях.

Апробация работы. Представленные в работе результаты докладывались и обсуждались на VI Международной научно-технической конференции интеллектуальных и многопроцессорных систем (пос. Дивноморское (Геленджик), 2005), на XI, XII, XIII Всероссийских научно-технических конференциях - "Современное телевидение" (Москва, 2003, 2004, 2005), на научных семинарах факультета ПМиК ТвГУ.

Публикации. Основные результаты диссертационного исследования отражены в восьми публикациях, в том числе две из них в центральных рецензируемых изданиях. В работах, выполненных в соавторстве, соискателю принадлежат участие в постановке задач, основные результаты в разработке методов и алгоритмов и проведении численных расчетов.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложений. Работа изложена на 154 листах. Перечень библиографических источников включает 75 наименования.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы, определяются цель и задачи исследования. В первой главе «Математическая постановка задачи: исходные данные, цель, ограничения» проведен сравнительный анализ существующих методов поиска соответствующих точек, выявлены основные достоинства и недостатки рассматриваемых методов. Кроме этого, приводится описание математической теории двумерного ДВП. Выполнена математическая постановка задачи для разработки методов поиска соответствующих точек стереопары и приведено математическое описание данных методов.

Исходными данными в задаче совмещения изображений точек объекта трехмерного пространства М ~[х,у,г]т, являются два изображения стереопары: левое /Да.у) и правое 1г(и,у). /,(и,у) (/ = 1,2) - функция освещенности соответствующего изображения в точке (и, V).

Для корректного описания операции проектирования точек трехмерного пространства на плоскость, необходимо присоединить дополнительный член к вектор-столбцам: М = [х,у,г]' и их проекциям на плоскость /и = [м,у]г, получим М = [х,у,г,\]' и т-[и,у,\\. В этом случае положение точки М на плоскости изображения может быть определено следующим образом:

где 5 - произвольный ненулевой скаляр;

«.V - координаты точки т на плоскости изображения;

Р - оператор отображения точки трехмерного пространства на плоскость, представляющий собой матрицу размера [3x4].

В том случае, если точка М при наблюдении ее из положения С1 (рис. 1) отображается в точку т , а при наблюдении из положения С2 в точку т^ , то

тх и т2 являются соответствующими точками.

Рис. 1. Проекция точки М на плоскости изображений: в точку т1 плоскости /, и точку т2 плоскости /2 из разных точек наблюдения С1 и С2.

Решение задачи совмещения изображений заключается в поиске соответствующих точек, путем применения процедуры максимизации функции взаимной корреляции двух областей стереопары изображений:

= шах /¡(м,,у,) = агй шах [ \1,(и,-u,v^-v)I2(,H2-u,V]-v)dudv, (1)

Здесь /, (и, V) - функция освещенности левого изображения /, стереопары; 12(и,у) - функция освещенности правого изображения /2 стереопары; £>2 - сегмент правого изображения (/2), где должна располагаться, согласно априорным данным, соответствующая точка /я2=(мг,уг) (рис. 3);

т1 = (м,,у,) - фиксированная точка на левом изображении;

- координаты точки-кандидата в соответствующие точки правого изображения;

а - радиус шаблона, центром которого является точка тх;

¿^ - расстояние, на которое смещается фотокамера'в горизонтальном направлении при формировании стереопары; -

Ьв - расстояние, на которое смещается фотокамера в вертикальном направлении при формировании стереопары;

Н - расстояние до объекта съёмки при формировании стереопары изображений;

йтах - максимальный перепад высоты рельефа снимаемой поверхности.

Пусть точка т2 = (и1,\'г) является решением задачи (1). Сформулируем обратную задачу:

II -- — о а

(и1;у,) = аг£ шах /^(м,,^) = аг§ шах \ //,(я,-у)/2(м,- у^ш/у, (2)

¡7„Р

X —и .__

Ц.Л6 д

£>'={(я„Юе9*2 || и, - и2 |<5С

'в

н-К н-К*

Здесь /,(и,V) -функция освещенности левого изображения /, стереопары;

12(и,у) - функция освещенности правого изображения /2 стереопары; £>' - сегмент левого изображения (/,), где должна располагаться соответствующая точка т[ — (и(,\г{) (рис. 2);

м,,V, - координаты точки-кандидата в соответствующие точки левого изображения;

а - радиус шаблона, центром которого является точка тг.

Пусть точка т[ = (и[,у[) является решением задачи (2). Если координаты фиксированной точки /и, = (и,,у,) совпадают с координатами точки т[ - (и{,у[), то точки т1 и т2 соответствующие.

2а о1

2а | ■ ■ 0 .V I 1 •

Рис. 2. Область поиска соответствующе точки левого изображения

2а о2

2а | .ад! > • • [

Рис. 3. Область поиска соответствующей точки правого изображения

При обработке растровых изображений непрерывные изображения стереопары /,(«,у) и 12(и,\') трансформируются в двумерные массивы данных /, (/', у) = /, (Д • /, Л - у) и /2 (/', _/) = /2 (Л ■ /, А • у), где А - размер пиксела растрового изображения. Дискретный аналог функционала ^¡(и,,^) может быть представлен в следующем виде:

п п 2

('2>Уг) = агЕ тах, ^1('2'У2) = аГё тах, 2 XЛ('1 +'>УI + .Жз('2 +'»72 + У)А > (3)

Ci={(ír2,Jí)eNxN||/¡-/,|<

+ 1, u.^^^j + l).

4а

. А .

Функционал Л, (г2 ,jf2) обеспечивает аппроксимацию функционала F, (м;, v,) порядка О(А).

Здесь С2 - (дискретный аналог (1)) сегмент правого растрового изображения (/2), где должна располагаться, согласно априорным данным, соответствующая точка растрового изображения т2 = (¡2 ,j2)> т\ = ('i > j\) ~~ фиксированная точка на левом растровом изображении; ;2, ]г - координаты точки-кандидата в соответствующие точки на правом растровом изображении;

п - радиус шаблона, центром которого является точка т,;

Аналогичный дискретный аналог можно записать и для функционала F2(ut,vt) (2).

В такой постановке задача совмещения изображений является плохо обусловленной, так как существует проблема неоднозначности выбора правильного решения, возникающая из-за недостаточной уникальности элементов поиска. Научной задачей диссертации является построение математических методов совмещения изображений, обеспечивающих минимизацию числа ложных соответствующих точек, и снижение вычислительной трудоемкости за счет регуляризации плохо обусловленной задачи совмещения изображений (3).

Решение научной задачи совмещения изображений в диссертации предлагается обеспечить на основе следующих положений:

• применения частотно-пространственного анализа для обработки изображений стереопары, а именно: уменьшение размеров изображений за счет прореживания двумерным ДВП, получения и обработки коэффициентов детализации изображений, восстановления оригинальных изображений с помощью обратного двумерного ДВП;

• выделения особых областей с уникальными перепадами яркости (совокупность точек, перепад яркости которой значительно отличается от перепада яркости в соседних областях);

• сужения области поиска за счет выявления уникальных соответствующих друг другу структурных элементов левого и правого изображений;

• сужения области поиска за счет наложения эпиполярных линий.

Алгоритм решения экстремальной задачи (3) состоит из следующих шагов (рис. 4):

1. Осуществляем сглаживание растровых изображений стереопары двумерным ДВП для уменьшения их размеров. Уменьшение размеров изображений происходит за счет прореживания пиксел в два раза на каждом ■ из уровней сглаживания. Благодаря уменьшению размерности исходных данных снижается вычислительная сложность задачи совмещения изображений;

2. На основе коэффициентов детализации двумерного ДВП осуществляем локализацию особых областей для поиска максимального значения решения задачи;

3. Находим максимальное значение функционала (3) на сглаженных изображениях;

4. Для локализации найденной точки максимума на оригинальных растровых изображениях осуществляем восстановление изображений с помощью обратного ДВП;

5. Оцениваем параметры эпиполярной геометрии и сводим задачу поиска соответствующих точек в области О2 с: ЭТ2 к задаче поиска соответствующих точек на линии I2 с 5Й1.

■ Сглаживание растровых изображений стереопары

Локализация особых областей

Поиск максимального значения функционала на сглаженных изображениях

1

....._■_____

Оценка качества найденной точки

максимума и сужение области поиска эпиполярными линиями

Восстановление оригинальных растровых изображений с уточнением координат; найденной точки

максимума

Рис. 4. Структурная схема алгоритма решения экстремальной задачи совмещения изображений

Для проверки найденных точек' на соответствие друг другу и для ограничения области поиска в диссертационной работе предлагается использовать геометрические ограничения - эпипалярные линии.

Эпиполярная геометрия двух изображений определяется при помощи фундаментальной матрицы Р (4),"которую можно оценить при помощи 8 пар соответствующих точек. Фундаментальная матрица Е - это проективное преобразование, содержащее свойства камеры и ракурса (сдвиг, поворот). Выполнение условия (4) является необходимым условием соответствия точек т, и тг.

Выражение (4) есть уравнение прямой линии в плоскости изображения /2: аи +с = 0.

После определения параметров эпиполярной геометрии, двумерная область поиска соответствующих точек И2 трансформируется в линию:

существенное сужение области поиска.

Для оценки фундаментальной матрицы достаточно найти не менее 8 пар соответствующих точек. Для этого в диссертационной работе предлагается уменьшить размерность растровых изображений стереопары за счет исключения из рассмотрения неперспективных для соответствия точек. Неперспективные точки исключаются путем сглаживания изображений двумерным ДВП, которое позволяет разложить любое изображение на несколько уровней сглаживания и при этом охарактеризовать его коэффициентами детализации (рис. 5): вертикальными, горизонтальными и диагональными (5).

т] Рт2 = 0,

где /и, =[и,,у1,1]Т - точка, взятая на левом изображении (/,), т, =[м2,у2,1]г - точка, взятая на правом изображении(/2),

Р Р

1 II 12

Г = К,, Р22 Р» - фундаментальная матрица.

21

(4)

т2 =[й2,Р2)]]. Таким образом, происходит

столбцы

А —

исконное изображение

Ьо Б ?н

строки

нцэ 2(1

Ла_1) ■ - 11.1

столбцы

— и,!

столбцы —

1х,_р 2

столбцы

НЦ> 1 » 2

са

сглаженное изображение

(Iи

_ сд

горизонтальные коэф. детад-ими

со

вертикалы*« коэф. неталции {Л* .

^ со

диагональные каэф детали им

2 4 1 I Прореживание столбцов

| 11 2[ Прореживание строк

Фильтр низких частот Н1_Д} Фильтр высоких частот строки

IV I Свертка фильтраХ с коэффициентами строк I изображения (X или Ьо_1), или столбцы

I Свертка фильтрах с коэффициентами столбцов _I изображения (X илиЪо_Ь . или Н1_П)

Рис. 5. Сглаживание и разложение изображения стереопары на коэффициенты детализации с помощью двумерного ДВП

р N

САя=Хакх;:к , /7 = 27 + 1, / = 1 -

Ы1 2

*-1 2 где САп - коэффициенты сглаженного изображения; С£>„ - коэффициенты детализации изображения; ак, Ик — коэффициенты вейвлет-преобразования; N - длина строк, длина столбцов обрабатываемого изображения; х„ - коэффициенты матрицы изображения NxN .

(5)

Поиск соответствующих точек в предлагаемых в диссертации методах основывается на локализации особых областей изображений стереопары. В середине особой области находится наиболее перспективный кандидат в соответствующие точки.

В методе поиска соответствующих точек основанном на анализе коэффициентов детализации сглаженных изображений, локализация особых областей происходит путем оценки уровня кривизны <у (6):

^=тах(£ £ ь2ра+п,]+к)+ £ £ ¿2ра+п^-+к)+ £ £ л, ./+*)), (б>

л,* „_- г к-- г п--г к - г 11- г к - г

где е С1^ - сегмент обрабатываемого изображения (/ = 1,2 );

Р ~ уровень сглаживания; '

- координаты столбца и строки точки т в матрицах коэффициентов детализации;

Ир(т) - горизонтальные коэффициенты детализации точки т ;

с!р(т) - диагональные коэффициенты детализации точки т;

\>р{т) - вертикальные коэффициенты детализации точки т;

г - радиус особой области;

ЧР ~ уровень кривизны особой области с центром в точке т = (г, у) и радиуса г.

В методе поиска соответствующих точек основанном на локализации особых областей в угловых точках структурных элементов, векторизация, в отличие от известных методов, проводится не на исходных, а на сглаженных двумерным ДВП изображениях.

Перед векторизацией на основе анализа значений коэффициентов детализации (вертикальных, горизонтальных и диагональных) проводится сужение областей поиска структурных элементов. При этом для последующей обработки (векторизации) отбираются только те пикселы изображений, сумма квадратов коэффициентов детализации которых, удовлетворяет неравенству

+ + (7)

где Ь - пороговое значение.

После процедуры сужения области поиска структурных элементов, предлагается провести дополнительную предобработку полученных изображений с целью удаления чужеродных объектов - "мусора", а также добавления дополнительных точек для восстановления разорванных линий.

Процедура векторизации изображений начинается с начальных точек отмеченных оператором и производится по краевым точкам по ходу часовой стрелки. При этом учитываются допустимые размеры разрывов между линиями. В том случае если. протяженность разрывов между отрезками превышает заданное пороговое значение, то координаты угловых точек объектов, а также точки обрыва линий фиксируются. В результате векторизации по краевым точкам объектов, формируются наборы структурных элементов изображений. Векторные наборы позволяют получить совокупность координатной информации об угловых точках и их соединениях для каждого структурного элемента.

Получив пары структурных элементов на сглаженных левом и правом изображениях стереопары и координаты угловых точек, необходимо определить, что они являются соответствующими. Тем самым будет получен дополнительный набор соответствующих точек, которые лежат на ребрах структурных элементов левого и правого изображений.

Так как угловые точки векторных наборов характеризуют структурные элементы, то они являются характерными особыми точками анализируемых объектов. Поэтому, считая угловые точки с известными координатами

— - можно _

обоих'меХГГуще™^?™ ^ "аЙ~и особыми областями в прямой (3) и ЗН£™ функционала

стереопары. экстремальной задачи на сглаженных изображениях

локализованы н7Гаж™х^Г^ ^ С~ТВУЮЩИХ 0бМ были соответствующих обла^ей ^я Ип3ображсниях' необходимо локализовать пары

этого испадиу^ся обратное Г^ГнГ ШП^Г™ ^Р60"^ ^ соответствующих областей на Д с Уточнением координат

Локализовав на исходных изобпТжГ УР°ВНе Сглаз™«* изображений, областей, можно \ СООТВетс™»е пары особых

расположенных в -

ярове^ГсТ^оГо™™6 Т°ЧКИ ° П°МОЩЬЮ качества (4)

на выделении*^ ^ —

предлагаемых методов пои^а ' °собеннос™ Реализации

предварительной "" Мето*

приведено описание метода ДПЯ пР0ВеДения векторизации,

особых областей. ^ГнГ С°ВМеЩеНИЯ

г—нГ г—■' —

отражением обьекш в воде^оТом с^ М И ^ °ТС>™ем под другим,

водной ряби в Другом и т п Так же "Тае " ^ °ТС^стаием «з-за внезапной другом и т.п. Гак же, неперспективные для совмещения области

могут возникать при съемке движущихся объектов, например, автомобилей (рис.7).

-Г

>

1 -л. •'! i А , й.

eSifl^vPSil

Рис. 7. На левом сглаженном изображении стереопары под номером 1 отмечена неперспективная для совмещения особая область — автомобиль, изображенный на дороге на левом изображении, отсутствует на правом

Кроме этого, в данной главе описана процедура локализации пар соответствующих областей на оригинальных изображениях с использованием двумерного ДВП без операции прореживания.

Третья глава «Комплекс программ для исследования методов и алгоритмов совмещения стереопар изображений» посвящена описанию комплекса программ для исследования предлагаемых в работе методов поиска соответствующих точек. Программный комплекс был разработан на основе системы инженерных и научных расчетов MatLab и представляет собой пакет функций, интегрированных в систему. Благодаря широкому выбору математических функций из Image Processing Toolbox, Wavelet Toolbox, Filter Design Toolbox; удобству средств отладки, а также возможности построения удобного графического интерфейса, система MatLab была выбрана в качестве средства программной реализации рассматриваемых в работе методов.

Структурная модель программного комплекса состоит из пяти функциональных модулей:

• загрузки исходных данных (начальная загрузка стереопары изображений, ввод априорных данных для обработки изображений, выбор типа вейвлета, установка пороговых значений);

• сглаживания (корректировка яркости и контрастности исходных изображений, сглаживание изображений двумерным ДВП);

• выявления особых областей (поиск особых областей с помощью коэффициентов детализации обработанных двумерным ДВП изображений, поиск координат структурных элементов изображений и

графическое представление контуров найденных элементов на сглаженных изображениях);

• формирования пар соответствующих точек (фильтрация неперспективных для совмещения особых областей, формирование пар соответствующих областей, применение обратного двумерного ДВП для восстановления оригинальных изображений стереопары, уточнение координат найденных пар соответствующих областей при восстановлении оригинальных изображений, формирование пар соответствующих точек на оригинальных изображениях);

• оценки качества найденных соответствующих точек (вычисление координат эпиполярных линий, графическое нанесение эпиполярных линий на изображения стереопары, оценка качества найденных соответствующих точек путем измерения расстояния от них до эпиполярных линий).

В четвертой главе «Результаты вычислительных экспериментов» приведены данные сравнительной оценки предложенных в диссертации методов и одного из область-ориентированных методов совмещения изображений, который используется в цифровой фотограмметрической системе РНОТОМСГО.

Оценка проводилась на основе анализа результатов совмещения 20 стереопар изображений различной текстурной сложности. Сравнительная оценка проведена по полученному числу ложных пар соответствующих точек.

Результаты сравнительной оценки, приведены на рис. 8.

Рис. 8. Результаты вычислительных экспериментов

Из данного рисунка следует, что минимальное число ложных пар соответствующих точек (10 — 16 %) обеспечивается методом, который основан на локализации особых областей путем анализа коэффициентов детализации

сглаженного изображения (Метод 1). Максимальное число ложных пар соответствующих точек наблюдается в системе PHOTOMOD, где реализован область-ориентированный метод совмещения изображений (Метод 3).

В диссертации получены следующие основные результаты:

1. Проведена регуляризация плохо обусловленной задачи совмещения изображений путем исключения неперспективных для совмещения точек с помощью двумерного ДВП, наложения пороговых ограничений, сужения области поиска эпиполярными линиями, что обеспечило повышение точности решения в 1.2 раза;

2. Разработан алгоритм поиска соответствующих точек, основанный на методах . локализации особых областей посредством анализа коэффициентов детализации сглаженных изображений и путем выделения структурных элементов изображений, что позволило снизить количество пар ложных соответствующих точек до 10-16%. Кроме этого была обеспечена экономия временных ресурсов на 20%-40% в зависимости от количества уровней сглаживания и в 2 раза снижена потребность в используемой оперативной памяти;

3. Разработан программный комплекс, позволяющий в интерактивном режиме проводить нормализацию яркости и контрастности исходных изображений стереопары, осуществлять пошаговую обработку изображений с возможностью контроля результатов на каждом из этапов обработки, обеспечивающий возможность корректировать входные параметры и проводить сравнительный анализ результатов для нескольких версий входных параметров;

Полученные результаты позволяют повысить эффективность обработки изображений стереопары с целью локализации пар соответствующих точек, расширяют теоретические положения в части решения задач совмещения изображений, совершенствуют и развивают программные комплексы обработки изображений.

Основное содержание диссертационного исследования отражено в следующих публикациях:

a. в центральных рецензируемых изданиях

1. Василенко С.И., Ивашкин Д.И. Использование двумерного дискретного вейвлет-преобразования для поиска соответствующих точек стереопары изображений П Известия ТРТУ: тематический выпуск "Интеллектуальные и многопроцессорные системы". Таганрог, 2005. №10. С. 180-188.

2. Ивашкин Д.И., Василенко С.И. Двумерное дискретное вейвлет-преобразование при совмещении изображений // Геодезия и картография. Москва, 2004. №7. С.54-64.

b. в прочих изданиях

3. Василенко С.И., Ивашкин Д.И. Применение 2 мерного дискретного вейвлет-преобразования в задаче построения стереоизображения // Современное

телевидение: Труды XI Всероссийской научно-технической конференции. Москва, 2003. С. 108-109.

4. Василенко С.И., Ивашкин Д.И. Применение 2 мерного дискретного вейвлет-преобразования в задаче поиска сопряженных точек стереопары // Современное телевидение: Труды XII Всероссийской научно-технической конференции. Москва, 2004. С. 161-163.

5. Василенко С.И., Ивашкин Д.И. Применение частотно-временного анализа в задачах построения стереоизображений // Современное телевидение: Труды XIII Всероссийской научно-технической конференции. Москва, 2005. С. 179-181.

6. Ивашкин Д.И., Василенко С.И. Задача построения стереоизображения на основе вейвлет-анализа // Exponenta Pro: Математика в приложениях. Москва,

2004. №5. С.72-76.

7. Ивашкин Д.И., Василенко С.И. Применение методов частотно-пространственного анализа в задачах совмещения стереопар изображений // Материалы VI Международной научно-технической конференции интеллектуальных и многопроцессорных систем. Дивноморское (Геленджик),

2005.Т.З. С.186-190.

8. Ивашкин Д.И. Векторизация изображений в задаче построения стереоизображения // Труды XIV Всероссийской научно-технической конференции "Современное телевидение". Москва, 2006. С.175-180.

1S

Технический редактор A.A. Медведева Подписано в печать 25.05.2006. Формат 60 х84 шб. Бумага типографская № 1. Печать офсетная. Усл.печ.лл. 1,25. Уч.-издл. 1,1. Тираж 100 экз. Заказ № 246. Тверской государственный университет, Редакционно-издательское управление. Адрес: Россия, 170000, г. Тверь, ул. Желябова, 33 Тел. РИУ: (0822) 35-60-63.

V

Введение.

Т' Глава 1. Математическая постановка задачи.

1.1. Сравнительный анализ существующих методов поиска соответствующих точек.

1.2. Двумерное вейвлет-преобразование: свойства, применение.

1.3. Исходные данные.

1.4. Условия наложения триангуляционной сетки.

1.5. Математическая постановка задачи.

1.6. Математическое описание методов локализации соответствующих точек.

1.7. Выводы.

Глава 2. Методы поиска соответствующих точек, основанные на выделении п особых областей.

2.1. Предварительная обработка стереоизображений.

2.2. Иерархическая процедура сглаживания изображений.

2.3. Выделение особых областей посредством анализа коэффициентов детализации двумерного вейвлет-преобразования.

2.4. Выделение особых областей с помощью процедуры векторизации стереопар изображений.

2.5. Фильтрация особых областей.

2.6. Локализация особых областей на стереопаре.

2.7. Проверка качества соответствующих точек.

2.8. Выводы.

Глава 3. Комплекс программ для исследования методов и алгоритмов совмещения стереопар изображений.

4f 3.1. Разработка архитектуры программного комплекса и организации вычислительного процесса.

3.1.1. Разработка структурной модели программного комплекса.

3.1.1.1. Список основных требований предъявляемых к программному комплексу

3.1.1.2. Описание структурной модели программного комплекса совмещения стереопар изображений.

3.2. Описание программных модулей графического интерфейса, входящих в состав программного комплекса.

3.2.1. Модуль установки и загрузки исходных данных.

3.2.1.1. Назначение модуля.

3.2.1.2. Описание графической формы модуля.

3.2.1.3. Входные данные модуля.

3.2.1.4. Выходные данные модуля.

3.2.1.5. Алгоритм работы модуля.

Н 3.2.2. Модуль главной управляющей формы.

3.2.2.1. Назначение модуля.

3.2.2.2. Описание графической формы модуля.

3.2.2.3. Входные данные модуля.

3.2.2.4. Выходные данные модуля.

3.2.2.5. Алгоритм работы модуля.

3.3. Описание расчетных модулей, входящих в состав программного комплекса.

3.3.1. Программный модуль "Сглаживание". t; 3.3.1.1. Назначение модуля.

3.3.1.2. Входные данные.

3.3.1.3. Выходные данные.

3.3.1.4. Алгоритм работы модуля.

3.3.2. Программный модуль "Выявление особых областей".

3.3.2.1. Назначение модуля.

3.3.2.2. Входные данные.

3.3.2.3. Выходные данные.

3.3.2.4. Алгоритм работы модуля.

3.3.3. Программный модуль "Формирование пар соответствующих точек".

3.3.3.1. Назначение модуля.

3.3.3.2. Входные данные.

3.3.3.3. Выходные данные. г} 3.3.3.4. Алгоритм работы модуля.

3.3.4. Программный модуль "Оценка качества соответствующих точек".

3.3.4.1. Назначение модуля.

3.3.4.2. Входные данные.

3.3.4.3. Выходные данные.

3.3.4.4. Алгоритм работы модуля.

3.4. Порядок работы оператора с программным комплексом.

3.4.1. Настройка программного комплекса.

3.4.1.1. Настройка (установка).

3.4.1.2. Задание параметров обработки.

3.4.1.3. Загрузка исходных данных по умолчанию.

3.4.2. Задание и редактирование исходных данных для исследования.

3.4.2.1. Открытие исходных (изображений) с диска.

3.4.2.2. Установка яркости.

3.4.3. Описание процесса поиска соответствующих точек.

3.5. Выводы.

Глава 4. Результаты вычислительных экспериментов.

4.1. Пример обработки стереопары изображений программным комплексом с целью поиска соответствующих точек.

4.2. Оценка времени работы предлагаемых в работе алгоритмов поиска соответствующих точек.

4.3. Выводы.

Актуальность работы

Предметом настоящего исследования является решение задачи совмещения изображений при требованиях минимизации числа ложных соответствующих точек и снижения вычислительной трудоемкости. Сущность совмещения изображений заключается в установлении соответствия между точками одной или нескольких стереопар. Стереопара - это две проекции одного и того же трехмерного объекта полученные с разных позиций.

Решение данной задачи является фундаментальной проблемой компьютерного видения, поскольку необходимость совмещения изображений возникает при решении таких задач, как выявление изменений в серии изображений, анализ движения, объединение информации от различных сенсоров, стереозрение [46] и текстурный анализ[17, 67]. Подобные проблемы, в свою очередь, возникают при создании фотокарт и цифровых карт местности [39, 58], навигации летательных аппаратов, при дистанционном сборе данных, в биомедицинских приложениях, поэтому практическая полезность автоматического совмещения изображений, без помощи оператора, несомненна.

Различные методы совмещения включают в качестве составных элементов выполнение таких операций, как выделение контуров, сегментация и построение структурного описания изображения. Все эти вопросы являются ключевыми в науке об интерпретации и понимании изображений - иконике, поэтому несомненна ценность изучения проблемы совмещения изображений и для теории.

Исходными данными в задаче совмещения изображений точек объекта трехмерного пространства M = [x,y,z]T, являются два изображения стереопары: левое /,(w,v) и правое /2(w,v). /,(w,v) (/ = 1,2) - функция освещенности соответствующего изображения в точке (u,v).

Для корректного описания операции проектирования точек трехмерного пространства на плоскость, необходимо присоединить дополнительный член к вектор-столбцам: M=[x,y,z]T и их проекциям на плоскость m = [u,v]\ получим M = [x,y,z,l]T и m = [u,v, 1]г. В этом случае положение точки М на плоскости изображения может быть определено следующим образом:

M,v,lf =?[x,y,z,\]r где s - произвольный ненулевой скаляр, w,v - координаты точки т на плоскости изображения, Р - оператор отображения точки трехмерного пространства на плоскость, представляющий собой матрицу размера [3x4].

В том случае, если точка М при наблюдении ее из положения С1 (см. рис. 1) отображается в точку w , а при наблюдении из положения С2 в точку т , то w, и тг являются соответствующими точками.

С2 CI

Рис. 1. Проекция точки М на плоскости изображений

В целом существующие методы совмещения изображений можно разделить на три группы [56,33,40,63,54, 55]:

• Область - ориентированные методы, основаны на анализе перепада яркости пиксел. В них находятся точечные особенности левого (/,) и правого (/2) изображений, которые сравниваются с целью обнаружения соответствующих точек. К недостаткам этих методов относится то, что возможность их использования жестко обусловлена наличием текстурированных областей в изображениях. Кроме того, при поиске соответствующих точек обрабатывается все изображение, что увеличивает вычислительную сложность алгоритма.

• Поиск соответствующих точек в ориентированных на топологию методах основан на выделении структурных элементов левого и правого изображений стереопары (векторизация изображений) с их последующим сравнением между собой. К недостаткам ориентированных на топологию методов можно отнести то, что поиск примитивных признаков происходит по всему изображению, для чего используются угловые детекторы, чувствительные к различным шумам в изображении.

• К группе символических методов относятся методы, в которых символические описания изображений сравниваются с последующим определением степени их подобия на основе использования оценочной функции. Символическое описание основывается на анализе градации серого, либо на иных характерных признаках изображения и может быть представлено в виде графа, дерева, семантической сети и т.д. Так как методы данной группы основаны на использовании способов совмещения изображений из предыдущих методов, то им свойственны такие же недостатки данных методов.

Из-за недостаточной уникальности элементов поиска при решении задачи совмещения изображений могут возникнуть следующие проблемы:

1. решения может не быть;

2. выбор соответствующих точек не однозначен.

В работах (Тихонов А.Н.) [24, 25] говорится о том, что задача называется хорошо обусловленной (корректно поставленной), если: 1) решение задачи существует, 2) решение единственно 3) решение непрерывно зависит от начальных данных. Таким образом, можно сделать вывод, что задача совмещения изображений стереопары является плохо обусловленной 8 задачей, так как нарушаются два из перечисленных выше условий корректно поставленной задачи.

Прямой способ сделать задачу хорошо обусловленной состоит в ограничении пространства возможных решений, например формированием границ поиска. В существующих методах сужение области поиска точек, обеспечивается выделением структурных элементов изображений (<ориентированные на топологию методы), либо использованием иерархической процедуры сглаживания {область - ориентированные методы) и т.д. Однако всем методам присущ ряд недостатков, основной из которых состоит в том, что при формировании структурных элементов анализ яркости пиксел производится не в ограниченной области, а по всему изображению стереопар. Это в свою очередь влияет на временные и вычислительные ресурсы поиска соответствующих точек. Кроме этого, остается проблема не однозначного выбора соответствующих точек, что приводит к возникновению ложных пар соответствующих точек (пары точек изображений стереопары, которые не являются проекциями одной и той же точки трехмерного пространства).

Таким образом, плохая обусловленность задачи совмещения изображений и недостатки существующих методов её решения предопределяют актуальность разработки методов совмещения изображений, удовлетворяющих критериям:

• Низкой вычислительной трудоемкости решения данной задачи;

• Минимизации количества ложных соответствующих точек.

Цель

Целью работы является разработка новых методов совмещения изображений, обеспечивающих минимизацию числа ложных соответствующих точек стереопары изображений и снижение вычислительной трудоемкости поиска соответствующих точек.

Для достижения данной цели в диссертации выполнена разработка:

• математического метода частотно-пространственного анализа стереопар изображений;

• математического метода векторизации изображений; Л

• комплекс программ для поиска соответствующих точек стереоизображений.

Таким образом, тема и содержание проводимого исследования соответствуют специальности 05.13.18 - математическое моделирование, численные методы и комплексы программ.

Методы исследования

Для достижения поставленной цели в работе использовались методы корреляционного анализа, двумерного дискретного вейвлет-преобразования, а также методы регуляризации и обработки изображений.

Положения, выносимые на защиту

На защиту выносятся следующие положения:

1. Метод поиска соответствующих точек, основанный на локализации особых областей с помощью двумерного дискретного вейвлет-преобразования.

2. Метод поиска соответствующих точек, использующий для векторизации изображений коэффициенты двумерного дискретного вейвлет-преобразования.

3. Программный комплекс, позволяющий осуществлять исследования и решать практические задачи по совмещению стереопар изображений в интерактивном режиме.

Научна новизна

Научная новизна полученных результатов.

1. В работе разработан метод и алгоритм, позволяющий за счет применения двумерного дискретного вейвлет-преобразования одновременно обеспечить: a. уменьшение размерности исходных данных за счет иерархической процедуры сглаживания изображений; b. выявление множества перспективных для совмещения точек; c. формирование исходных данных для процедуры векторизации изображений.

В существующих методах эти задачи либо не решаются, либо решаются последовательно с применением к каждой различных методов обработки изображений.

2. Разработаны новые алгоритмические решения, позволяющие обеспечить минимизацию числа ложных соответствующих точек и снижение вычислительной трудоемкости их поиска, путем выбора соответствующего метода (на основе анализа априорных данных) и введением пороговых ограничений.

Вклад в науку и практику

Теоретическая значимость работы заключается в разработке и обосновании нового подхода в решении задачи совмещения стереоизображений, расширяющего возможности методов обработки изображений. Практическая значимость работы заключается в разработке алгоритмов и программного комплекса для поиска соответствующих точек стереопары изображений и представляет вклад в развитие программнореализуемых методов обработки изображений.

Достоверность результатов

Достоверность и обоснованность научных результатов базируются на корректном использовании методов цифровой обработки изображений и теории вейвлет-анализа. Достоверность поиска соответствующих точек обеспечивается проведением ряда тестовых вычислительных экспериментов на реальных изображениях.

Структура диссертации

Диссертационная работа состоит из введения, четырех глав,

4.3. Выводы

В данном разделе были получены следующие результаты:

Был представлен наглядный пример обработки стереопары аэрофотоснимков. На стереопаре было найдено 20 пар соответствующих точек.

Был проведен сравнительный анализ результатов представленных вычислительных экспериментов с результатами программной реализации существующих методов поиска соответствующих точек. Результаты работы предлагаемых в диссертации алгоритмов сравнивались с результатами поиска соответствующих точек после применения корреляционного алгоритма поиска используемого компанией "Ракурс" в коммерческой цифровой фотограмметрической системе PHOTOMOD версии 3.8.

Была дана оценка времени работы предлагаемых в работе алгоритмов поиска соответствующих точек. Скорость схождения алгоритмов

Заключение

В диссертационной работе предлагаются новые методы поиска соответствующих точек стереопары изображений. Решена плохо обусловленная задача совмещения изображений. Для регуляризации плохо обусловленной задачи сделано следующее:

• Изображения предварительно обрабатывались двумерным дискретным вейвлет-преобразованием. При этом исключались из рассмотрения неперспективные для совмещения точки, что снижает размерность исходных данных задачи совмещения изображений и увеличивает вероятность нахождения не ложных соответствующих точек;

• Для поиска особых областей был предложен критерий, который оценивает области сглаженных изображений по полученным, в результате применения двумерного вейвлет-преобразования, коэффициентам детализации;

• Для сужения области поиска соответствующих точек предлагается проводить векторизацию сглаженных стереопар изображений, выделяя уникальные, соответствующие друг другу структурные элементы, в углах которых расположены соответствующие точки;

• Качество найденных соответствующих точек проверялось с помощью оценки расстояния проверяемых точек до эпиполярных линий. Благодаря свойству симметрии эпиполярных линий повышается точность поиска истинных соответствующих точек.

Локализация соответствующих точек осуществлялась с помощью корреляционного анализа.

Количество обрабатываемых точек при процессе корреляции в стандартных методах поиска соответствующих точек можно оценить, как сглаживания. Что снижает размерность исходных данных и повышает скорость поиска соответствующих точек предложенными в диссертации методами.

Поиск особых областей позволил получить более точную и полную информацию о перепаде уровня яркости не просто одной точки, а всего ее окружения в заданном радиусе. Это позволило исключить заведомо ложные точки соответствия на начальной стадии обработки стереопары.

В рамках проводимого исследования и проверки достоверности получаемых результатов был разработан программный комплекс, где предлагаемые методы были проверены на плановых маршрутных аэрофотоснимках полученных в дневное время суток. тогда как с применением двумерного дискретного вейвлетпреобразования обрабатывается порядка в точек, где р - уровень

1. Анисимов Б.В., Курганов В.Д., Злобин В.К. Распознавание и цифровая обработка изображений: Учебное пособие для студентов вузов. Высшая школа. 1983.

2. Бутаков Е.А., Островский В.И., Фадеев И.Л. Обработка изображений на ЭВМ. Радио и связь. Москва. 1987.

3. Виттих В.А., Сергеев В.В., Сойфер В.А. Обработка изображений в автоматизированных системах научных исследований. Наука. Москва. 1982.

4. Воробьев В.И., Грибунин В.Г. Теория и практика вейвлет-преобразования. ВУС. С-Петербург. 1999.

5. Гилой В. Интерактивная машинная графика: Структуры данных, алгоритмы, языки. Мир. Москва. 1981.

6. Дремин И.М., Иванов О.В., Нечитайло В.А. Вейвлеты и их использование.//Успехи физических наук. № 5.2001.

7. Дуда Р., Харт П. Распознавание образов и анализ сцен. Мир. Москва. 1976.

8. Дьяконов В.П. MATLAB 6: Учебный курс. Питер. С-Петербург. 2002.

9. Дьяконов В.П., Круглов В.И. MATLAB. Математические пакеты расширения MATLAB: Специальный справочник. Питер. С-Петербург. 2001.

10. Загоруйко Н.Г. Методы распознавания и их применение. Советское радио. Москва. 1972.

11. Конушин А. Слежение за точечными особенностями сцены. Graphics & Media Lab (cgm.graphicon.ru). 2003.

12. Королев Ю.К. Общая геоинформатика. Часть 1. Теоретическая геоинформатика. Дата Плюс. Москва. 1998.

13. Кошкарев А.В., Тикунов B.C. Геоинформатика. Картгеоцентр -Геодезиздат. Москва. 1993.

14. Курант Р. Уравнения с частными производными. Мир. Москва. 1964.

15. Лавский В.М. Справочник летчика и штурмана. Военное издательство министерства обороны СССР. Москва. 1974.

16. Мещеряков Ю.А. Рельеф и современная геодинамика. Наука. Москва. 1981.

17. Никитаев В.Г., Никифоров Д.Д., Свинарчук А.П., Троицкий А.К., Шаронов С.Н. Автоматизированная система текстурного анализа изображений для контроля качества материалов. Приборы и системы управления. №6.1986.

18. Новиков Л.В. Основы вейвлет-анализа сигналов. Учебное пособие. С-Петербург. 1999.

19. Павлидис Т. Алгоритмы машинной графики и обработки изображений. Радио и связь. Москва. 1986.

20. Прэтт У. Цифровая обработка изображений. Мир. Москва. 1982.

21. Путятин Е.П., Аверин С.И. Обработка изображений в робототехнике. Машиностроение. Москва. 1990.

22. Тикунов B.C. Моделирование в картографии. Издательство МГУ. Москва. 1997.

23. Тикунов B.C. Основы геоинформатики. Издательский центр "Академия". Москва. 2004.

24. Тихонов А.Н. О некорректно поставленных задачах. Сб. "Вычислительная математика и программирование" 8, МГУ, 1967

25. Тихонов А.Н., Арсенин В.Я. Методы решения некорректных задач. Наука. Москва. 1974.

26. Халугин Е.И., Жалковский Е.А., Жданов Н.Д. Цифровые карты. Недра. Москва. 1992.

27. Цветков В.Я. Геоинформационные системы и технологии. Финансы и статистика. Москва. 1998.

28. Черванев И.Г. Моделирование и автоматизированный анализ рельефа: методологические аспекты. Наука. Новосибирск. 1982.

29. Чукин Ю.В. Графические информационные системы. Зарубежная радиоэлектроника. № 10. 1985.

30. Шмидт А.А., Якубович В.А. Алгоритмы математической фильтрации и их применение в задаче распознавания сложных изображений. Автоматика и телемеханика. № 2.1978.

31. Ярославский Л.П. Введение в цифровую обработку изображений. Советское радио. Москва. 1979.

32. Adiv G. Inherent ambiguities in recovering 3-D motion and structure from a noisy flow field. IEEE Transactions on pattern analysis and machine intelligence. 1989.

33. Bender E.A. Mathematical methods in artificial intelligence. IEEE Computer society press. Los Alamitos, California. 1996.

34. Canny J.F. Finding edges and lines in images. Technical Report AI-TR 720 M.I.T. Artificial intelligence Lab. Cambridge MA. 1983.

35. Cochran S., Medioni G. 3d surface description from binocular stereo. IEEE Transactions on pattern analysis and machine intelligence. 1992.

36. Deriche R., Zhang Z., Luong Q.-T., Faugeras 0. Rubust recovery of epipolar geometry for an uncalibrated stereo rig. Third European conference computer vision, vol. 1. 1994.

37. Dhond U., Aggarwal J. Structure from stereo a review. IEEE Transactions on pattern analysis and machine intelligence. 1989.

38. Dikau R. The application of digital relief model to landform analysis in geomorphology. Three dimensional application in Geographical Information System. Taylor & Francis. London. 1989.

39. Forsyth D.A., Ponce J. Computer Vision: A Modern Approach. Prentice-Hall, Upper Saddle River, N.J. 2002.

40. Grimson W.E.L. Computational experiments with a feature based stereo algorithm. IEEE Transactions on pattern analysis and machine intelligence. 1985.

41. Hannah M.J. A system for digital stereo image matching. Photogrammetric engineering and remote sensing, № 55. 1989.

42. Harris C.G., Stephens M. A combined corner and edge detector. The Plessey company. UK. 1988.

43. Harris C.G. Determination of ego-motion from matched points. In Procceedings Alvey Conference. 1987.

44. Hartley R. Projective reconstruction and invariants from multiple images. РАМ, 1994.

45. Kitchen L., Rosenfeld A. Grey-level corner detection. Pattern recognition letters. 1982.

46. Krumina G., Ozolinsh M., Lyakhovetskii V.A. Stereovision by visual stimulus of different quality. Proceedings of the IV seminar "Ocular biomechanics". Moscow. 2004.

47. Larsen J.N., Balstrom Т., Jacobi 0. Towards a second generation digital elevation model for Denmark. Geographical analysis. 1999.

48. Longuet-Higgins H. A computer algorithm for reconstructing a scene from two projections. Nature. 1981.

49. Longuet-Higgins H.C. The reconstruction of a scene from two projections -configurations that defeat the 8-point algorithm. Denver. Colorado. 1984.

50. Luo A., Burkhardt H. An intensity-based method for the 3-D motion and structure estimation from binocular image sequences. Postfach. 1990.

51. Nastar C., Ayache N. Fast segmentation, tracking, and analysis of deformable objects. In proceedings of the fourth international conference on computer vision. Berlin. 1993.

52. Nastar C., Moghaddam В., Pentland A. Generalized image matching: statistical learning of physically-based deformations. 1996.

53. Peli Т., Malan D. A study of edge detection algorithms. Computer graphics and image processing. №20.1982.

54. Rothwell C., Gsurka G., Faugeras O. A comparison of projective reconstruction methods for pairs of views. In proceedings of the 5th international conference on computer vision. Boston. 1995.

55. Schalkoff R. Digital image processing and computer vision. John Wiley & sons. New York. 1989.

56. Schenk T. Digital photogrammetry. TerraScience. 1999.

57. Shapiro L., Haralick R. Structural description and inexact matching. IEEE Transactions on pattern analysis and machine intelligence. 1981.

58. Shapiro L., Stockman G. Textbook: Computer Vision. Prentice-Hall, Upper Saddle River, N.J. 2000.

59. Shi, Tommasini. Good features to track. 1994.

60. Stollnitz E.J., Derose T.D., Salesin D.H. Wavelets for Computer Graphics. Theory and Applications. Morgan Kaufman Publishers Inc. San Francisco California. 1996.

61. Tomasi C., Kanade T. Detection and tracking of point feature. School of computer science Carnegie Mellon university Pittsburgh. 1991.

62. Torkar D., Pavesic N. Feature extraction from aerial images and structural stereo matching. Technical report CSD-96-5. Jozef Stefan institute. 1996.

63. Weng J., Ahuja N., Huang T.S. Matching two perspective views. IEEE Transactions on pattern analysis and machine intelligence. 1992.

64. Zhang Z. Token tracking in a cluttered scene. INRIA research report № 2072. Sophia-Antipolis. 1993.

65. Zhang Z., Deriche R., Faugeras O. A robust technique for matching two uncalibrated images through the recovery of the unknown epipolar geometry. INRIA. 1994.

66. Zhang Z., Faugeras O.D. Estimation of displacements from two 3D frames obtained from stereo. IEEE. 1992.

67. Zhuvikin G.V., Medvedev A.V., Rys D.A. Texture primitives and the comprehensibility of images with use of binary representation. Proceedings of the third international arctic seminar in phys.& math. Murmansk. MSPI. 1998.

68. Публикации по теме диссертации

69. Василенко С.И., Ивашкин Д.И. Применение 2-х мерного дискретного вейвлет преобразования в задаче поиска сопряженных точек стереопары. Современное телевидение: Труды 12-ой Всероссийской научно-технической конференции. Москва. 2004. С.161-163.

70. Василенко С.И., Ивашкин Д.И. Применение 2-х мерного дискретного вейвлет преобразования в задаче построения стереоизображения. Современное телевидение: Труды 11-ой Всероссийской научно-технической конференции. Москва. 2003. С.108-109.

71. Василенко С.И., Ивашкин Д.И. Применение частотно-временного анализа в задачах построения стереоизображений. Современное телевидение: Труды13.ой Всероссийской научно-технической конференции. Москва. 2005. С.179-181.

72. Ивашкин Д.И., Василенко С.И. Двумерное дискретное вейвлет преобразование при совмещении изображений. Геодезия и картография, №7. Москва. 2004. С.54-64.

73. Ивашкин Д.И., Василенко С.И. Задача построения стереоизображения на основе вейвлет-анализа. Exponenta Pro: Математика в приложениях, №5. Москва. 2004. С.72-76.

74. Ивашкин Д.И. Векторизация изображений в задаче построения стереоизображения. Труды 14-й Всероссийской научно-технической конференции "Современное телевидение". ФГУП МКБ "Электрон". Москва. 2006г. с.175-180.