автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Разработка алгоритмов высокодетального моделирования объектов на основе анализа цифровых изображений

На правах рукописи

Горбачев Вадим Александрович

РАЗРАБОТКА АЛГОРИТМОВ ВЫСОКОДЕТАЛЬНОГО МОДЕЛИРОВАНИЯ ОБЪЕКТОВ НА ОСНОВЕ АНАЛИЗА ЦИФРОВЫХ ИЗОБРАЖЕНИЙ

Специальность 05.13.18 - математическое моделирование, численные методы и

комплексы программ

АВТОРЕФЕРАТ диссертации на соискание учёной степени кандидата физико-математических наук

9 0КТ 2014

Москва - 2014

005553157

Работа выполнена на кафедре управляющих и информационных систем Московского физико-технического института (государственного университета).

Научный руководитель:

член-корреспондент РАН, доктор технических наук, профессор Желтов Сергей Юрьевич

Официальные оппоненты:

доктор технических наук профессор Чибуничсв Александр Георгиевич,

Московский государственный университет геодезии и картографии (МИИГАиК),

проректор но международной деятельности

кандидат физико-математических наук, доцент Конушин Антон Сергеевич, Московский государственный университет им. М.В. Ломоносова, факультет вычислительной математики и кибернетики, лаборатория компьютерной графики и

мультимедиа, заведующий лабораторией

Ведущая организация: Институт прикладной математики им. М.В. Келдыша РАН

диссертационного совета д ¿iz.ijo.uj при Московском физико-техническом институте (государственном университете) по адресу: 141700, Московская обл., г. Долгопрудный, Институтский пер., д. 9, ауд. 903 КПМ.

С диссертацией можно ознакомиться в библиотеке Московского физико-технического института (государственного университета) и на сайте университета www.mipt.ru.

Защита состоится

2014г. в

часов на заседании

Автореферат разослан

Ученый секретарь

диссертационного совета Д 212.156.05

Федько О.С.

Общая характеристика работы

Актуальность темы. В настоящее время широкое распространение получили геоинформационные системы, системы навигации и виртуальные тренажеры, работающие с трехмерными цифровыми моделями реально существующих объектов или местности. Кроме того, системы стереозрения, работающие в реальном времени, могут быть установлены на беспилотных летательных аппаратах для предоставления пространственной информации бортовой системе управления. Подобные системы на основе обработки данных видеокамер, используемые для получения текущей пространственной информации о дорожной обстановке, уже устанавливаются на некоторые серийно выпускаемые автомобили. Для создания трехмерных моделей объектов для таких систем могут применяться радары, лазерные сканеры либо системы стереозрения (стереореконструкции), получающие информацию от цифровых снимков сцены. При этом последние гораздо более дешевы, более компактны, однако имеют достаточно большую разрешающую способность и являются пассивными устройствами, что важно в ряде приложений. Камеры могут быть установлены на наземные платформы, самолёты и БПЛА, космические аппараты. Построение цифровой модели поверхности (ЦМП) на основе анализа изображений является бурно развивающейся темой, и хотя созданы различные алгоритмы построения ЦМП, задача построения трёхмерных моделей по цифровым фотоснимкам далека от окончательного решения.

Цель н задачи диссертации. Целью диссертации является повышение точности и детальности ЦМП, получаемых в результате анализа цифровых фотоснимков земной поверхности. Для достижения этой цели решаются следующие задачи:

1. Разработка робастного метода привязки изображений на основе отождествления замкнутых контуров изображений, инвариантного к масштабированию и повороту изображений.

2. Разработка метода восстановления высокодетальной цифровой модели поверхности на основе стереоотождествления контуров и вероятностной релаксации точечных особенностей изображений.

3. Разработка алгоритма плотного стереоотождествления точек изображений для увеличения точности и ускорения построения ЦМП по аэрофотоснимкам высокого разрешения.

4. Разработка схемы многолучевого отождествления на основе алгоритма полуглобального отождествления.

5. Разработка методики построения цифровых моделей зданий по неупорядоченным коллекциям наземных снимков с использованием дополнительной опорной информации без применения процедуры стереоотождествления изображений.

Научная новизна. В диссертационной работе получены следующие результаты:

1. Разработан робастный метод привязки изображений на основе отождествления замкнутых синтезированных контуров и процедуры голосования, позволяющий производить привязку инвариантно к масштабированию и повороту изображений.

2. Создан оригинальный метод отождествления контуров и устранения неоднозначностей отождествления на основе поиска кратчайшего пути на графах, в комбинации с алгоритмом вероятностной релаксации повышающий точность и детальность построения ЦМП в среднем на 20%.

3. Разработан модифицированный алгоритм полуглобальной оптимизации энергии соответствия для плотного отождествления точек изображений. Применены иерархическая обработка, использование градиентной информации, интерполяция метрики, постобработка кроссбилатеральным фильтром, в целом повышающие точность на 20-30% (по сравнению с базовым алгоритмом 80М) и разрешающую способность алгоритма вдвое, увеличивающие устойчивость к искажениям во входных данных и снижающие количество выбросов.

4. Предложен новый метод многолучевого отождествления на основе полуглобальной оптимизации энергии соответствия, ускоряющий процесс плотного отождествления трёх и более изображений для построения ЦМП.

5. Разработана оригинальная высокопроизводительная методика автоматического построения трёхмерных цифровых моделей объектов по данным наземной съёмки без использования стереоотождествления, использующая геометрические ограничения на форму здания, существенно ускоряющая процесс построения моделей зданий по неупорядоченной коллекции снимков.

Практическая ценность. Созданные в диссертационной работе методы и алгоритмы позволяют существенно повысить точность и детальность получаемых ЦМП. Увеличение точности моделей на разных данных может достигать 20%. Применение разработанных методов плотного отождествления позволяет восстанавливать модели зданий с резкими краями, что невозможно при использовании традиционных (корреляционных) методов. Разработанное на базе методов программное обеспечение позволяет производить автоматическое построение высокодетальных ЦМП по наборам аэрофотоснимков высокого разрешения. Полученные высокодетальные модели могут быть использованы для наполнения ГИС, при подготовке полётных зданий летательных объектов, а в перспективе для задач навигации мобильных автономных объектов.

Методы исследования. При решении поставленных задач использовались методы цифровой обработки изображений, теории вероятностей, теории графов, дискретной оптимизации. Для практической реализации алгоритмов применялись численные методы оптимизации и методы объектно-ориентированного программирования.

Реализация и внедрение. Разработанные в диссертации методы и алгоритмы были реализованы в виде программных компонент объёмом порядка 30000 строк кода, имеющих высокомодульную структуру. Компоненты были включены в состав цифрового фотограмметрического комплекса 28расе, и использовались при проведении НИР и ОКР ГосНИИАС по проведению

5

дистанционного зондирования и построения трёхмерных моделей рельефа и местности по данным аэрофотосъемки. Работоспособность и качество работы методов были протестированы на больших объёмах фотографических данных, располагаемых ГосНИИАС.

Апробация работы. Результаты работы были доложены на ряде конференций: Всероссийская научно-техническая конференция «Моделирование авиационных систем» (Москва, 2011), Всероссийская научно-техническая конференция "Навигация, наведение и управление летательными аппаратами" (Москва-Раменское, 2012), V Международный межотраслевой научно-технический форум «Молодёжь и будущее авиации и космонавтики» (Москва, 2013), на конкурсе «УМНИК» на лучшую предпринимательскую инициативу в научно-технической сфере в рамках XIV Всероссийской выставки научно-технического творчества молодежи (Москва, 2014).

Достоверность и обоснованность полученных результатов подтверждена результатами экспериментальных исследований, в том числе сравнением с известными алгоритмами, а также опытом практического применения алгоритмов в составе программно-алгоритмических фотограмметрических комплексов.

Публикации. По теме диссертации опубликовано 6 работ, в том числе 4 статьи в журналах, рекомендованных ВАК Минобрнауки РФ.

Лнчный вклад соискателя в работы с соавторами включает все результаты, вынесенные на защиту. Ряд вспомогательных операций обработки изображений, необходимых для демонстрации работы разработанных методов, был произведён с помощью ПО и методик, разработанных в ФГУП ГосНИИАС.

Структура диссертации. Диссертация общим объёмом 135 с. состоит из введения, трёх глав, приложения, содержит 85 рисунков, 2 таблицы и перечень используемой научно-технической литературы из 55 наименований. Основные положения, выносимые на защиту: 1. Метод привязки изображений на основе отождествления замкнутых контуров и процедуры голосования.

2. Метод отождествления контуров и устранения неоднозначностей отождествления на основе поиска кратчайшего пути на графах.

3. Модифицированный алгоритм полуглобального отождествления.

4. Метод многолучевого отождествления на основе полуглобалыюй оптимизации энергии соответствия.

5. Методика автоматического построения трёхмерных моделей зданий на основе комплексирования данных наземной съёмки и дополнительной опорной информации.

Содержание работы

Во введении обосновывается актуальность темы исследований, формулируются цель и задачи диссертационной работы, определяется научная и практическая значимость полученных результатов, а также излагаются основные положения, выносимые на защиту.

Первая глава посвящена нескольким методам отождествления элементов изображений, все из которых имеют локальный характер, то есть работают по принципу один-ко-многим. Описаны предложенные методы отождествления контурных особенностей и их применение.

В параграфе 1.1 даётся краткий обзор существующих методов выделения, описания и отождествления контуров, а так же описываются проблемы, которые необходимо решить в процессе разработки метода отождествления контурных особенностей.

Параграф 1.2 посвящен рассмотрению разработанного метода отождествления замкнутых контуров.

В пункте 1.2.1 описываются исходные данные и процесс обработки изображений для построения базовых объектов для работы метода — синтезированных замкнутых контуров. Синтезированные контура строятся с помощью объединения информации о контурах и границах областей на изображении. Они обладают точностью, характерной для выделения линий

перепада. При этом они обладают свойством замкнутости, как и границы областей, в отличие от контуров, выделяемых традиционными методами.

Для сегментации областей применён алгоритм поиска связных компонент. Для этого строится граф, состоящий из точек изображения. Множество рёбер графе определяется следующим образом:

(у,,у2) = ((х1,у1),(х2,у2)) е Е ^(х,,у,)-Е(х2,у2)\<Ь

где и (х2,у2) - соседние (в смысле 4-связномсти) пиксели, Р(х,у) - матрица

яркости изображения, а Ь- выбранный порог.

Показывается, что множество связных компонент графа будет соответствовать множеству областей изображения.

В пункте 1.2.3 описывается предложенная форма представления контура в виде длина дуги — угол излома (5,0).

Далее в пункте 1.2.4 предлагается мера сходства замкнутых контуров неизвестной ориентации и алгоритм эффективного вычисления такой меры.

Меру сходства двух контуров, представленных в виде наборов —» >

особенностей А = {А1,А2,...,Ат} и В = {В1,В2,...,Вп}, определим как максимум стоимости соответствия по всем упорядоченным по порядку выборкам Т пар особенностей этих контуров. Стоимость соответствия для выборки определим как сумму стоимостей соответствия каждой пары особенностей, входящих в выборку, плюс стоимости пропуска особенностей, не вошедших в неё:

Ш(А,В) = тах| £ и<4+ +

где IV — функция стоимости соответствия особенностей, р — функция штрафа за пропуск особенности. Такая мера сходства необходимо потому, что неизвестна начальная точка контура, и неизвестно, какие из особенностей контуров вызваны шумом или ошибками, а какие существенны. Задача вычисления такой меры сходства двух контуров обладает оптимальной подструктурой поэтому для её решения применимо использование метода динамического программирования.

Для вычисления меры строится таблица соответствий СОУ), которая заполняется рекурсивно:

С(/,у) = тах. +

Далее в параграфе обсуждается выбор функции и> стоимости соответствия отдельных особенностей контуров.

Для отсечения ложных соответствий в пункте 1.2.5 предлагается алгоритм постобработки, основанный на сравнении относительных длин сегментов контуров:

где Ь - контур на левом изображении, Я - контур на правом изображении, х'г, х* - координаты угловых точек контура на левом и правом изображении.

В пункте 1.2.6 предлагается способ привязки точек на основе использования контуров. При этом используется методика, подобная обобщённому преобразованию Хафа.

Для каждого контура выбирается некоторая точка (будем называть её центральной точкой), для которой будет производиться выбор соответствующей точки на другом снимке. Строится референсная таблица, показывающая радиус вектор от вершин контура к центральной точке. Вычисляется функция поддержки б:

6М = Х^Р

-2ст

где р, - координаты угловых точек контура на правом снимке, Д, - вектора

смещения точки центра от соответствующих угловых точек контура на левом снимке. Точку максимума функции поддержки и будем считать истинной проекцией точки с левого изображения:

х* = аг£ ггап 0{х).

Рис. 1. Процесс голосования точек контура за центральную точку В пункте 1.2.7 доказываются два следующих утверждения, касающиеся оценки точности оценки координат центральной точки:

Утверждение 1. Дисперсия оценки положения центральной точки при оценке методом голосования отождесвлённых контурных точек равняется

2сгд2

уаг = ——

Е N

2 Л

±уК

где ах~ — дисперсия оценки координат угловых точек контура, /?, - длина радиус-вектора из угловой точки к центральной точке, N - число угловых точек контура, Д - длина сегмента контура перед угловой точкой /.

Утверждение 2. Если принять равными дисперсии оценки угла наклона сегментов ломаной, то при выборе центральной точки как средней точки по точкам контура:

1 Л' 1 N

* 1 V—1 * I ^—1

СУ -—/ = — / У; ■>

х Ы^' у ы^

дисперсия оценки положения центральной точки минимальна.

Параграф 1.3 посвящен краткому обзору задачи построения ЦМП и

методики отождествления точечных особенностей изображений, как основному

средству для построения ЦМП. Рассмотрены основные недостатки локальных

методов отождествления точечных особенностей изображений, устранению

которых будут посвящены последующие части работы.

10

В параграфе 1.4 представлен разработанный метод отождествления контурных особенностей при наличии эпиполярных ограничений.

В пунктах 1.4.1-1.4.4 описаны этапы подготовки данных для отождествления. После выделения контуров на изображениях предлагается в целях повышения стабильности работы метода разбивать их на короткие прямолинейные участки - т.н. элементарные отрезки. Такое разбиение позволяет избежать эффектов, связанных с нестабильностью выделения контуров, всегда присутствующей вследствие изменчивости изображений. Описывается построение списков кандидатов на отождествление для элементарных отрезков.

При отождествлении элементарных отрезков предлагается руководствоваться следующими признаками:

• геометрический признак: угол излома в точках контура,

• фотометрический признак: величина перепада яркости в окрестности контуров,

• топологический критерий: если отрезки на левом изображении непосредственно связаны, то и соответствующие им отрезки на правом изображении должны быть связаны.

Оригинальный метод отождествления контуров элементарных отрезков на основе алгоритма нахождения кратчайшего пути в графе предложен в пункте 1.4.5. Граф составляется из элементарных отрезков, рёбра в графе соответствуют отношению соседства между отрезками. Веса рёбер соответствуют стоимости отождествления отрезка плюс штраф за разрыв связности. Кратчайший путь в графе соответствует набору отрезков минимальной стоимости отождествления максимальной связности. Применение такого метода позволяет найти оптимальное соответствие не для индивидуальных элементарных отрезков по отдельности, а для их групп, составляющих контур или его участок.

Левый снимок Правый снимок -

Рис. 2. К задаче выбора соответствий для элементарных отрезков

Поиск соответствий в контуров производился для каждого контура левого I

!

изображения отдельно и независимо от результатов сопоставления остальных. Поэтому может возникнуть ситуация, при которой один и тот же контур правого изображения ставятся в соответствие различным контурам левого изображения.

Чтобы исключить подобные ситуации, в п. 1.4.6 предлагается алгоритм I „

разрешения коллизии.

Рис. 3. Разрешение коллизий сопоставления Алгоритм решает задачу выбора для каждого контура правого изображения набора контуров левого изображения, соответствующих ему, причём таких, что они во-первых соответствуют попарно различным частям контура, во-вторых имеют максимальную стоимость отождествления. Для решения задачи строится граф следования для контуров левого изображения с весами рёбер

12

-■-

соответствующими стоимости соответствия рёбер. На графе производится поиск оптимального пути, который будет соответствовать искомому оптимальному набору неперекрывающихся контуров.

Параграф 1.5 посвящен обзору метода вероятностной релаксации для выбора кандидатов на отождествление для точек, не имеющих одного • предпочтительного кандидата. Метод заключается в итеративном пересчёте вероятностей отождествления

Р»»<а -Ь Л

где Р<п,(я, =Ьа ) — вероятность отождествления точки а1 левого изображения и точки Ьа правого изображения на и-ом шаге итеративного процесса, Р("+1)(а, =Ьа ) — обновленная вероятность отождествления на следующем (и+1)-ом шаге, (¿п) (а 1 =Ь?) - это функция поддержки:

=у=ПЕ = ь№\ Iа,==ьр) >

7гЛ', ЬреВ

где | а1 = Ь1,а] = - некоторая коэффициент взаимного влияния, который

рассчитывается с учётом пространственной информации о рассматриваемых точках и в работе выбран в следующем виде:

лг2 4

Т

р(А„ к =ьр)=—гехР

где А2 = ZX—Zp — разница глубин между парами объект-метка, г/,у - расстояние

между точками на левом изображении, - параметры алгоритма.

В пункте 1.5.4 предлагается использовать отождествлённые на предыдущем этапе контуры в процессе вероятностной релаксации точечных особенностей изображений. Их можно использовать следующим образом:

1. Как источник дополнительных опорных точек. Концы элементарных отрезков соответствующих контуров можно считать соответствующими точками.

2. Контуры могут быть использованы для ограничения влияния соседей в функции поддержки пар объект-метка. Так как контуры часто соответствуют линиям разрыва на поверхности, то точки, находящиеся по разные стороны от контура не должны оказывать влияние друг на друга,

3. Контуры могут быть использованы для удаления заведомо ложных кандидатов на отождествление. Точка на левом снимке и соответствующая ей точка на правом снимке должны лежать по одну сторону от ближайшего контура и на левом и на правом снимках (при отсутствии загораживающих объектов переднего плана).

На измеренных вручную точках тестовой сцены было произведено сравнение точностей разработанного метода, использующего контурную информацию, и традиционного метода. Результаты измерения, приведенные в таблице 2 диссертации, показывают увеличение точности ЦМП на 20-30%.

Вторая глава посвящена глобальным методам отождествления точек изображения. Такие методы характерны тем, что оптимальное соответствие ищется не для пикселей по отдельности (как в локальных методах), а для групп 1 одновременно. При этом оптимальность понимается в смысле минимума энергии соответствия.

В параграфе 2.1 даётся обзор методов глобального стереоотождествления. Задачу стереоотождествления можно иначе определить как задачу выбора диспаратностей. Если значение диспаратности D(p) для пикселя р изображения представить как его метку, то задачу глобального стереоотождествления можно в общем виде сформулировать как задачу построения оптимальной разметки дискретного двумерного множества пикселей изображения, минимизирующей функционал энергии соответствия изображений:

E{D(-))=Xc(p,D(p))+X £ W(D(p),D(q))^ mm.

Рр^Т qzN(p)

Функционал энергии соответствия имеет вид суммы унарных и бинарных потенциалов. Унарный потенциал диспаратности

C(p,D(p)) = m(p,q) = т(р,р + D(p))

14

описывает стоимость отождествления пикселя р на исходном изображении и пикселя q на другом изображении с диспаратностью D(p). Как правило, стоимость соответствия привязывается к мере т цветового или яркостного сходства пикселей (или окрестностей пикселей) изображений.

Бинарный потенциал диспаратности

q<=N(p)

описывает штраф за рассогласование диспаратности D(p) пикселя р и диспаратностей D(q) его соседей из окрестности N(p). Суммирование потенциалов производится по всем пикселям р рассматриваемого изображения.

Учет только унарного потенциала соответствует принципу работы локальных методов (таких как корреляционный), когда минимизируется суммарная стоимость индивидуальных соответствий. Бинарный потенциал отличает глобальные методы от локальных, вводя учет взаимосвязей между пикселями. Как правило, оно налагает условие гладкости решения, штрафуя присвоение сильно различающихся значений диспаратности соседним пикселям.

Форма окрестности N(p) определяет, какие из соседних пикселей оказывают влияние на р. Окрестности пикселей можно задать в виде графа, его структура оказывает определяющее влияние на сложность решения задачи оптимизации.

В параграфе 2.2 даётся обзор моделей связей между пикселями изображения. Модели выражаются в виде формы бинарного потенциала энергии соответствия. Обычно выделяют следующие основные типы: Линейная модель:

£ W(D{p),D{q»

Модель Поттса:

Модифицированная модель Поттса:

p2\dp-d4\>\

В параграфе 2.2 показано, что модифицированная модель Поттса лучше подходит для задач стереореконструкции объектов с резкими краями.

В параграфе 2.3 описывается базовый алгоритм SGM, являющийся алгоритмом численной оптимизации энергии соответствия относительно карты диспаратности. Он использует модифицированную модель Поттса и звёздчатый граф зависимостей. Функционал энергии соответствия имеет вид:

Я(Д-))=ХС(р,Д(р))+£| £ />QD(p)-D{q)\ = l] + £ P2[|D(P)-D(9)|>1]1,

pzT psT [?ЕЛ'(р) qeN(p) J

где С - функция стоимости соответствия точки р=(х,у) на одном снимке и смещенной точки р'= (х + D(p), у) на другом, N(p) - окрестность точки р.

Данный алгоритм был существенно модифицирован на всех его этапах, предложенные усовершенствования рассматриваются в параграфе 2.4.

В пункте 2.4.1 описано применение переписного преобразования (census transform) для вычисления метрики сравнения пикселей:

Census(x,y) = J J 2R^"^'\I(x,y) > I(x + Uy + j)}.

i=-R p-R

Предложен способ учёт цветовой информации о пикселах изображения в метрике сравнения, использующий информацию о цветовом тоне пиксела:

О**, (х.у.х'.у') = Сис(х,у,х\у') +1), [АН(х,у,х\у') >ТН], где AH(x,y,x',y')=\HueL(x,y)-HueR(x',y')\, С-метрика сравнения точек.

В пункте 2.4.2 предложено использование иерархической обработки при работе алгоритма. Вычисленная карта диспаратностей на определённом уровне пирамиды масштабов может использовать для построения ограничений на диапазон диспаратностей, исследуемый на следующем уровне. Так интервал поиска (Д™' (х>у)>Ц'шг (х>>0) на следующем уровне (и+1) можно определить как:

шах

ПИП

(.О" (*',/) +ДЯ),

где /)"(•) - карта диспаратности, полученная на предыдущем уровне п,Я- радиус влияния точки, АО — отступ по диспаратности.

Такой выбор интервала обусловлен тем, что основные ошибки в карте диспаратности наблюдаются в участках резкого перепада высот (и соответственно диспаратности) и там интервал может быть существенно больше ЛИ. В тоже время плоские участки содержат, как правило, незначительные ошибки, и там интервал близок к ЛИ.

В пункте 2.4.3 предложен способ учёта градиентной информации в алгоритме ЙИМ. Для этого в каждой точке исходя из карты градиентов выбирается параметр модели Поттса - величина штрафа Р2С за большое отклонение диспаратности:

где Р(, — начальная величина штрафа, Та - порог, С(х,у) — значение модуля градиента в точке (х,у). Такая модификация штрафа обусловлена тем, что точки перепада глубины в пространстве на изображении как правило соответствуют линиям перепада яркости. Уровень перепада яркости характеризует величина градиента.

В пункте 2.4.4 предложен способ достижения субпиксельной точности изображения без использования интерполяции функции стоимости. Для этого вдоль оси х вводятся промежуточные точки изображения с интерполированными значениями яркости

Запустив алгоритм на «увеличенном» изображении, содержащем введенные по координате х промежуточные точки, получим карту диспаратности, которая будет соответствовать карте диспаратности для исходного изображения, но с

1?(х,у) = Р2-Р0[С(х,у)>Тп],

разрешением 0.5 пиксела. Кроме увеличения разрешения карты диспаратностей, в ряде случаев удается избавиться от ошибок отождествления.

В пункте 2.4.5 предложен способ уменьшения чувствительности алгоритма к ошибкам нормализации. Для этого вдоль оси у вводятся промежуточные точки изображения с интерполированными значениями яркости

ах,у±^) = ^(1(х,у) + 1(х,у±1)).

Тогда метрика сравнения точек вычисляется как минимум между значениями метрики для основной точки и двух промежуточных:

С(х, у, х', у') = шп |С(х, у, х', у'), С(х, у + ^, дг>>'), С(х, у - ^, х', у') |.

В результате удается компенсировать ошибочные смещения точек изображения по вертикали на ±0.5 пиксела.

В пункте 2.4.6 предлагается сглаживающая фильтрация вычисленной функции стоимости для устранения ложных минимумов.

В пункте 2.4.7 описывается пост-обработка полученной карты диспаратностей для устранения отдельных ошибок и выбросов. Предлагается производить пост-обработку с помощью кросс-билатерального фильтра с использованием трех различных ядер, учитывающих яркости пикселей на исходном изображении, диспаратность и расстояние от центра ядра, кроссбилатеральная фильтрация будет выглядеть следующим образом:

О(р) = ^^-

Мр,дМр,<7Мр,<?) '

где ядра уу(р,д) = ехр (-||р - ^Ц2 /), с(р,д) = ехр(-|/(р) -5(/7,^) = ехр^-|0(/7) — /?(9)|2/2сг^ ат ас, а3 - параметры фильтра; точки изображения р = (х,у), ? = -

окрестность центральной точки р,Я — радиус апертуры фильтра.

Использование кроссбилатерального фильтра позволяет не только сгладить неровности карты диспаратности, вызванные ошибками стереоотождествления, но и повысить точность границ объектов. Кроссбилатеральный фильтр показывает лучшие результаты и является более предпочтительным среди остальных, так как при фильтрации использует дополнительную информацию -значения яркостей на исходном изображении (рис. 4).

Рис. 4. Фильтрация карты диспаратности. Слева направо: исходное изображение, медианный фильтр, кроссбилатеральный фильтр. Результат работы представлен в пункте 2.4.8. (рис.5).

Рис. 5. Фрагмент модели поверхности, построенной предложенным методом (слева) и традиционным корреляционным методом (справа).

Параграф 2.5 посвящён рассмотрению многолучевого стереоотождествления, то есть такого процесса отождествления, при котором одновременно используется более двух снимков.

В пункте 2.5.1 описывается такая проблема, возникающая при стереоотождествлении особенностей, как возникновение слепых зон. Точки

19

сцены, которые находятся в слепых зонах, видны только на одном из изображений, либо не видны вовсе. Для таких точек невозможно построить верное стереоотождествление, следовательно невозможно определить их глубину по стереопаре. Чтобы избежать ошибок, связанных с наличием слепых зон, необходимо использовать методы многолучевого отождествления. В пункте 2.5.2 описывается такой алгоритм многолучевого отождествления, как многолучевой метод заметающей плоскости. В этом методе поле глубин точек модели сцены выбирается из условия минимизации функционала энергии соответствия:

Р Р Я^К(р)

унарный потенциал которого можно определить следующим образом:

где {хр1х,ури)=л- операция проецирования точки на изображение /, т(1,{х/^с2Шх2,У2)) ~ мера сходства между изображениями в окрестности точек, ! -порог отсечения, Ь - номер базового изображения, N - число изображений, на которых видна точка

Предлагается выбирать бинарный потенциал энергии соответствия в виде модифицированной модели Поттса

ТГ{1{р),г(д)) =

о ,г(р)=г(д) р„\г(Р)-г(д)\ = 1 р2,\г(р)-г(д)\>1

В таком случае вид функционала энергии становится аналогичным

функционалу. Для его оптимизации предлагается использовать описанный выше

алгоритм БвМ, являющийся эффективным численным методом решения задач

оптимизации функционала энергии, содержащего бинарный потенциал в виде

модифицированной модели Поттса.

В пункте 2.5.3 доказывается Утверждение 3 о том, что для полного

отсутствия слепых зон при плановой аэрофотосъёмке необходимо минимум 16-

кратное перекрытие зон съёмки. Доказывается, что минимальное необходимое

20

для этого расстояние между точками съёмки ЦЫп=На!Л], где Н - высота съёмки, а - ширина кадра,/- фокусное расстояние камеры.

Глава 3 описывает предложенный модельно-ориентированный метод построения трёхмерных моделей зданий, используемый для дополнения ЦМП, полученных с" помощью методов, описанных в предыдущих главах, детальными фотореалистичными моделями зданий.

Параграф 3.2 посвящён описанию предложенной методики построения геометрической модели объекта. Процесс определения положения элементов модели на изображениях с помощью преобразования Хафа и геометрических ограничений описан в пункте 3.2.1. В пункте 3.2.2. представлен способ определения положения элементов модели в пространстве. Предложенный подход благодаря использованию априорных геометрических ограничений позволяет обойтись без использования стереоотождествления, что позволяет на порядок упростить процесс построения модели.

В пункте 3.2.3 предлагается метод коррекции ошибок определения положения элементов модели, основанный на использовании избыточности данных. Для этого производится оценка истинного положения с помощью голосования:

1 ч 1 « ^Х - X

х = .

В параграфе 3.3 предложен метод обнаружения элементов фасада здания на изображениях, использующий комплексные эталоны. Метод использует информацию о контурных и точечных особенностях изображения и процедуру голосования для определения положения объектов. В пункте 3.3.2 предлагается модификация метода, позволяющая производить поиск при неизвестном масштабе объекта, за счёт расширения размерности пространства аккумулятора.

В приложении приведены основные сведения о фотограмметрических методах, применяемых в работе.

Заключение

В диссертации рассмотрены основные этапы технологии построения высокодетальных цифровых моделей поверхности на основе цифровых изображений. На ключевых этапах обработки изображений были предложены новые оригинальные методы и существенные модификации:

• робастная автоматическая привязка изображений на основе сопоставления замкнутых синтезированных контуров;

• метод стереоотождествления контуров изображений и его применение в методе вероятностной релаксации для увеличения надёжности и точности локальных методов построения цифровой модели поверхности (ЦМП);

• модифицированный алгоритм полуглобалыюго отождествления для плотного сопоставления точек изображений, повышающий точность и детальность ЦМП;

• метод многолучевого отождествления на основе полуглобальной оптимизации энергии соответствия, ускоряющий процесс плотного отождествления трёх и более изображений;

• высокопроизводительный метод автоматического построения моделей типовых зданий по данным наземной съёмки с применением комплексирования информации, дополняющий цифровую модель поверхности фотореалистичными моделями зданий.

Все предложенные методы направлены на то, чтобы благодаря более глубокому семантическому анализу информации, которую несут в себе изображения, повысить точность и детальность трёхмерной цифровой модели сцены, восстанавливаемой на основе данных изображений.

В ходе работы были созданы программные модули, позволяющие осуществлять практически полный цикл технологии построения ЦМП в соответствии с предложенными методами и модификациями. Работоспособность и эффективность методов была подтверждена многочисленными испытаниями на

реальных данных - коллекциях аэрофотоснимков, располагаемых ФГУП «ГосНИИАС».

В свете поступательного развития технологий фотосъёмки и увеличения вычислительной мощности компьютерных систем, для дальнейших исследований автору представляется наиболее перспективными разработка глобальных методов отождествления контуров по схеме многие-ко-многим и развитие методов плотного многолучевого отождествления. Такие методы хотя и являются крайне вычислительно-затратными, но могли бы привести к значительному увеличению точности и детальности получаемых моделей.

Публикации автора по теме диссертации

1. Горбачев В.А. Плотная стереореконструкция рельефа местности на основе модифицированного алгоритма SGM // Известия РАН. Теория и Системы Управления. -2014. - №2 - С. 68-79.

2. Блохинов Ю.Б., Веркеенко М.С., Горбачев В.А. Разработка алгоритмов стереоотождествления особенностей изображений в методе построения высокодеталыюй цифровой модели местности // Известия РАН. Теория и Системы Управления. -2013,- №2 - С. 76-91.

3. Блохинов Ю.Б., Веркеенко М.С., Горбачев В.А., Скрябин C.B. Методика автоматического построения цифровой трехмерной модели здания на основе цифровых снимков и плана // Известия ВУЗов. Геодезия и аэрофотосъемка. — 2011,-№6.-С. 54-60.

4. Блохинов Ю.Б., Горбачев В.А. Привязка наземных объектов на аэрофотоснимках на основе анализа контуров // Известия РАН. Теория и Системы Управления. -2011. - №5 - С.83-94.

5. Веркеенко М.С., Горбачев В.А. Использование метода вероятностной релаксации для восстановления цифровой модели поверхности (ЦМП) объекта// Тезисы докладов всероссийской научно-технической конференции «Навигация, наведение и управление летательными аппаратами» - Москва-Раменское: Научтехлитиздат, 2012. - С. 221-224.

6. Горбачев В.А. Методика построения цифровой трёхмерной модели здания на основе его цифровых снимков и плана // Сборник аннотаций докладов юбилейной всероссийской научно-технической конференции «Моделирование авиационных систем» - М.: типогр. ФГУП «ГосНИИАС», 2011. — С. 126-127.

Горбачев Вадим Александрович

РАЗРАБОТКА АЛГОРИТМОВ ВЫСОКОДЕТАЛЬНОГО МОДЕЛИРОВАНИЯ ОБЪЕКТОВ НА ОСНОВЕ АНАЛИЗА ЦИФРОВЫХ

ИЗОБРАЖЕНИЙ

АВТОРЕФЕРАТ

Подписано в печать 15.09.2014г. Формат 60x84 1/16. Усл. печ. л. 1.0. Тираж 100 экз. Заказ № 306. -Федеральное государственное автономное образовательное учреждение высшего профессионального образования «Московский физико-технический институт (государственный университет)» Отдел оперативной полиграфии «Физтех-полиграф» 141700, Московская обл., г. Долгопрудный, Институтский пер., 9.