автореферат диссертации по радиотехнике и связи, 05.12.04, диссертация на тему:Алгоритмы формирования кругового панорамного изображения в системе разнесенных в пространстве видеокамер

На правах рукописи

Толкачев Данил Сергеевич

Алгоритмы формирования кругового панорамного изображения в системе разнесенных в пространстве

видеокамер

\

{

Специальность 05.12.04 — Радиотехника, в том числе системы и устройства телевидения

Автореферат диссертации на соискание ученой степени кандидата технических наук

Таганрог — 2013

005549860

005549860

Работа выполнена на кафедре теоретических основ радиотехники радиотехнического факультета Инженерно-технологической академии Южного федерального университета, г. Таганрог.

Научный руководитель:

Официальные оппоненты:

Ведущая организация:

Рыжов Владимир Петрович, доктор физико-математических наук, профессор, Инженерно-технологическая академия Южного федерального университета, г. Таганрог

Безуглов Дмитрий Анатольевич, доктор технических наук, профессор, зав. кафедрой «Информационные технологии в сервисе», Донской государственный технический университет, г. Ростов-на-Дону

Дулин Михаил Игоревич, кандидат технических наук, начальник отдела, ОАО «Таганрогский научно-исследовательский институт связи»

ОАО «Конструкторское бюро точного машиностроения им. А. Э. Нудельмана», г. Москва

Защита состоится «17» апреля 2014 г. в 1610 в ауд. Д-406 на заседании диссертационного совета Д 212.208.20 при Федеральном государственном автономном образовательном учреждении высшего профессионального образования «Южный федеральный университет» по адресу: пер. Некрасовский, 44, корп. Д, г. Таганрог, Ростовская обл., 347928.

С диссертацией можно ознакомиться в Зональной научной библиотеке Южного федерального универар^^Щ^Эд^есу: ул. Зорге, 21 Ж, 2 эт., г. Ростов-на-Дону, 344103.

Автореферат разо

Ученый секретарь диссертационного к. т. н., доцент

В. В. Савельев

Общая характеристика работы

Актуальность работы

Развитие и распространение средств регистрации, обработки и хранения изображений формирует широкий интерес к системам автоматического построения панорамных изображений. Благодаря возможности полностью отобразить пространство вокруг наблюдателя, панорамное изображение позволяет обеспечить убедительный эффект присутствия.

В связи с тем, что техника представления окружающего мира в виде панорамы имеет широкое применение и долгую историю, множество научных и технических направлений пересекается в этой области: фотография, оптика и фотограмметрия изначально, обработка изображений и техническое зрение позднее. Среди ученых, оказавших заметное влияние на развитие алгоритмов формирования панорамных изображений, можно назвать Лукаса и Канаде (B.D. Lucas, T. Kanade), сформировавших идеи оптического потока; Д. Лоуи (D. Lowe), развившего их идеи и разработавшего алгоритм поиска и описания локальных особенностей изображения SIFT; Р. Зелински (R. Szelinski), систематизировавшего и дополнившего имеющиеся знания по формированию панорамных изображений; Р. Хартли и А. Зиссермана (R. Hartley, A. Zisserman), описавших геометрические зависимости между сценой и ее изображением.

Благодаря преимуществам панорамного представления целесообразной является установка систем кругового панорамного обзора на мобильные платформы (автомобили, роботизированные платформы) для облегчения задач вождения или осуществления удаленного управления транспортным средством. Вместе с тем, имеются определенные технические трудности, ограничивающие применение подобных систем.

Во-первых, существующие алгоритмы формирования панорамных изображений в основном рассчитаны на работу со статическими изображениями, а не видеопоследовательностями. Следовательно, без доработки имеющиеся алгоритмы не позволяют формировать панорамное изображение в режиме реального времени. Во-вторых, существующие алгоритмы показывают хорошие результаты при заметном пересечении полей зрения смежных камер, что означает нежелательное увеличения числа камер в видеосистеме. В-третьих, существующие алгоритмы не учитывают влияние параллакса (различие углового положения объекта для различных дальностей) , что вынуждает размещать систему кругового обзора сверху, где обзор не закрывается элементами конструкции. Такое расположение может быть нежелательным, т. к. нарушает другие требования к конструкции системы.

Таким образом, представляются необходимыми и актуальными дальнейшие исследования в данной области и разработка алгоритмов формирования панорамного изображения, отвечающих дополнительным требованиям.

Объектом исследования являются видеоизображения, полученные

от видеосистемы кругового обзора.

Целью диссертационной работы является повышение качества формирования панорамного изображения за счет учета структуры сцены и пространственного расположения камер, а также обеспечение возможности работы в реальном времени и решение сопутствующих прикладных задач.

Основными задачами, которые необходимо решить для достижения поставленной цели, являются:

1. Разработка алгоритма формирования панорамного изображения с учетом разнесенного расположения камер в системе и с возможностью работы в реальном масштабе времени;

2. Разработка метода и алгоритмов определения параметров расположения камер в системе;

3. Формирование методики повышения точности определяемых параметров системы в рамках разработанного метода;

4. Разработка алгоритма формирования и отображения траектории движения транспортного средства;

5. Разработка метода аппроксимации характеристик геометрического преобразования изображения.

В работе получены следующие новые научные результаты:

1. Разработан алгоритм формирования панорамного изображения в реальном масштабе времени на основе предложенной математической модели системы кругового обзора, учитывающей взаимное расположение камер, их внутренние параметры и геометрические характеристики внешней среды;

2. Разработаны метод и алгоритмы определения параметров расположения камер в системе с помощью двух плоских калибровочных щитов с нанесенными тестовыми изображениями;

3. Предложена методика повышения точности определяемых параметров системы, задающая конфигурацию щитов, вид тестовых изображений и порядок действий при калибровке;

4. Разработан алгоритм формирования и отображения траектории движения транспортного средства на панорамном изображении;

5. Предложен метод аппроксимации таблиц геометрического преобразования изображений, снижающий требования по объему к долговременной и кратковременной памяти системы.

Практическая значимость работы состоит в следующем:

1. Предложенная модель системы кругового обзора позволяет учесть влияние взаимного расположения камер и геометрические особенностей внешней среды, а также формировать на панорамном изображении прогнозируемую траекторию движения транспортного средства;

2. Разработанный на основе предложенной модели алгоритм позволяет формировать панорамное изображение в реальном масштабе времени;

3. Разработанная методика нахождения параметров расположения камер позволяет с помощью доступного оборудования определить с необ-

ходимой точностью углы ориентации и координаты расположения камеры (со среднеквадратической погрешность 0,3° и с относительной среднеквад-ратической погрешностью 7% соответственно);

4. Разработанный алгоритм аппроксимации функций геометрического преобразования изображений позволяет значительно снизить требования к долговременной памяти системы (на четыре порядка для изображения 720 х 576), эффективно распаковать данные, используя только операции сложения, и имеет достаточную точность (максимальная ошибка менее 0,1 пикселя, что превышает погрешность калибровки).

Методы исследования основаны на математическом моделировании эффектов геометрической оптики, численных методах минимизации многопараметрических функций, статистической обработке результатов эксперимента, методах цифровой обработки изображений и методах технического зрения. Моделирование производилось как с помощью готовых математических программных библиотек и пакетов создания трехмерной компьютерной графики, так и с помощью разработанных алгоритмов.

Апробация работы

Основные результаты работы докладывались и обсуждались на:

— Всероссийской научной конференции «Инновационные процессы в гуманитарных, естественных и технических системах», Таганрог, 2012;

— Выступлениях и научных семинарах кафедры теоретических основ радиотехники, Таганрог, 2012-2013;

— Всероссийской научной конференции «Основные тенденции развития в гуманитарных, естественных и технических системах», Таганрог, 2013.

Внедрение результатов работы

Результаты диссертационной работы внедрены на предприятии ОАО «Научно-конструкторскою бюро вычислительных систем» г. Таганрога, а также в учебном процессе кафедры теоретических основ радиотехники.

Публикации

Основные результаты по теме диссертации изложены в 5 печатных изданиях, в том числе: 2 статьи изданы в журналах, рекомендованных ВАК РФ для публикации материалов кандидатских диссертаций, 1 статья в ежемесячном научном журнале, 2 статьи в материалах Всероссийских конференций.

Основные положения, выносимые на защиту:

1. Формирование панорамы возможно на основе модели, включающей внутренние характеристики камер и их расположение, а также особенности внешней среды;

2. Для калибровки системы камер целесообразно использовать калибровочный объект в виде двух плоских щитов;

3. Повышение точности калибровки системы достигается расположением калибровочного объекта на различных расстояниях и под различными углами относительно калибруемых камер;

4. Функции геометрического преобразования изображений возможно эффективно аппроксимировать с помощью степенных многочленов.

5. Решение задачи построения и отображения траектории движения транспортного средства целесообразно выполнять на основе разработанной модели видеосистемы кругового обзора.

Объем и структура работы

Диссертация состоит из введения, четырех глав, заключения, списка условных обозначений, списка использованных источников. Полный объем диссертации составляет 136 страниц текста, включая 33 иллюстрации и 9 таблиц. Список литературы содержит 96 наименований.

Основное содержание работы

Во введении обосновывается актуальность исследований, формулируется цель, ставятся задачи, отражаются научная новизна и практическая значимость представляемой работы, формулируются основные положения, выносимые на защиту.

В первой главе производится обзор существующих систем и алгоритмов формирования панорамных изображений, которые можно условно классифицировать следующим образом:

— системы построения панорамных изображений с помощью специальных сверхширокоугольных оптических устройств (широкоугольных объективов типа «рыбий глаз» или катадиоптрических систем с использованием зеркала сложной формы);

— панорамные системы сканирующего типа (механические или оптико-механические);

— панорамные системы, состоящие из нескольких широкоугольных камер; полученные от камер изображения совмещаются в единое изображение при помощи специальных алгоритмов формирования панорамного изображения.

Основные недостатки систем, использующих сверхширокоугольную оптику, заключаются в невысоком и неравномерном разрешение итогового панорамного изображения, а также в неэффективном использовании площади светочувствительной матрицы.

Сканирующие панорамные системы имеют такие недостатки, как наличие в конструкции движущихся частей и невозможность одновременного обзора всего окружающего пространства.

Панорамные системы, состоящие из нескольких широкоугольных камер, лишены подобных недостатков, что объясняет их широкое распространение. Алгоритмы формирования панорамного изображения в таких системах состоят из двух основных этапов: оценка параметров совмещения изображений и непосредственно совмещение изображений.

На первом этапе алгоритмов формирования панорамного изображения в системе из нескольких широкоугольных камер для смежных входных изображений оцениваются параметры совмещения согласно определен-

ной модели, затем найденные параметры могут уточняться с помощью процедуры глобальной оптимизации.

На втором этапе алгоритмов формирования панорамного изображения производится совмещение исходных изображений с целью получения итогового панорамного изображения. Согласно оцененным параметрам осуществляются геометрические преобразования входных изображений: устранение дисторсии (геометрических искажений объектива камеры), применение выбранного совмещающего преобразования, переход к выбранной панорамной проекции. Производится устранение видимых переходов от одного изображения к другому. Производится совмещение обработанных изображений в итоговое панорамное изображение.

Первый этап — оценка параметров совмещения — выполняется различными способами и может быть классифицирован на группы:

— «плотные» методы, основанные на анализе значений всех пикселей в области перекрытия изображений;

— «разреженные» методы, основанные на поиске и сопоставлении особых точек на изображениях.

Первая группа несмотря на теоретически более высокую точность и стабильность работы практически вытеснена второй, в основном из-за высокой вычислительной сложности «плотных» методов. По этой причине подробно рассмотрены алгоритмы формирования панорамного изображения, основанные на поиске и сопоставлении особых точек на изображениях. Основные шаги этапа оценки параметров совмещения для «разреженных методов» представлены ниже.

На входных изображениях производится поиск особых точек. Каждая особая точка описывается положением на изображении (координаты, масштабный коэффициент, угол ориентации и т. п.) и так называемым дескриптором, который представляет собой вектор в TV-мерном пространстве и характеризует окрестность вокруг особой точки. Разработаны различные алгоритмы формирования особых точек: FAST, SIFT, SURF и др. Например, в алгоритме SIFT поиск особых точек производится с помощью детектора каплеобразных (англ. blob) областей, а дескрипторы формируются на основе гистограммных характеристик направления и величины градиента в области найденной точки.

Производится сопоставление особых точек смежных изображений, во время которого для каждой особой точки одного изображения находится одна или несколько наиболее подходящих точек другого изображения с наименьшим расстоянием между их дескрипторами. Эта задача может решаться как простым перебором, так и с привлечением различных методов поиска ближайшего соседа в многомерном метрическом пространстве.

Далее производится предварительная оценка параметров совмещения. В зависимости от выбранной модели совмещения изображений могут оцениваться различные параметры: плоское вращение и смещение, параметры проективного преобразования, параметры вращения камеры. Найденные

на предыдущем шаге соответствия могут содержать как истинные значения, так и выбросы, поэтому алгоритм оценки параметров должен быть робастным, т.е. устойчивым к выбросам. Популярными алгоритмами устойчивой оценки параметров являются КАМБАС, М-оценочная функция, метод наименьших усеченных квадратов и др.

В завершении может производится глобальная оптимизация параметров, например, в том случае, когда формируемая панорама имеет 360-градусное поле обзора. Полученные на предыдущем шаге параметры совмещения связывают между собой два смежных снимка, поэтому при последовательном применении параметров совмещения к каждому изображению возникает ситуация, когда из-за накопившихся ошибок последнее и первое изображения не совмещаются на формируемой панораме. Целью глобальной оптимизации является устранение этого явления. Кроме того, может потребоваться операция выпрямления линии горизонта.

Рассмотренные алгоритмы формирования панорамного изображения имеют следующие ограничения:

— высокая вычислительная сложность;

— необходимость значительной области перекрытия;

— нестабильная работа в случае плохой освещенности, тумана и равномерного или содержащего самоподобные элементы фона;

— не учитываются эффекты, возникающие из-за разнесенного расположения камер.

Таким образом, из существующих систем построения панорамного изображения наиболее подходящими для установки на мобильные платформы и обеспечивающими высокое разрешение формируемой панорамы являются системы на основе нескольких широкоугольных камер. Однако, их применение имеет ряд практических трудностей, связанных с применяемыми алгоритмами формирования панорамного изображения. По этой причине ставится задача сформировать алгоритм формирования кругового панорамного изображения в системе разнесенных в пространстве видеокамер, свободный от указанных ограничений.

Во второй главе предлагается модель видеосистемы кругового обзора, позволяющая формировать панорамное изображение с учетом требований, сформулированных в первой главе. На рисунке 1 представлены несколько трехмерных систем координат, используемых при построении панорамного изображения: глобальная система координат в которой располагается основная система координат О, к которой в свою очередь привязаны несколько систем координат камеры кС и наблюдательная система координат Б. Кроме того на рисунке не обозначены, но подразумеваются следующие двумерные системы координат: системы координат изображений к1, полученных от камер, и система координат панорамного изображения Р. Трехмерные координаты образованы тремя взаимно перпендикулярными осями X, У, Z и являются правыми. Двумерные координаты образованы двумя перпендикулярными осями и и V,

Рисунок 1. Используемые системы координат: глобальная система координат основная система координат О; четыре камероцентрические системы координат 1С, 2С, 3С и 4С; наблюдательная система координат 3.

при этом ось и направлена вправо, ось V направлена вниз, а точке (0, 0) соответствует левый верхний угол изображения.

Модель описывается следующими параметрами:

— набором внутренних параметров каждой камеры, описывающих проекционные свойства камеры: фокусные расстояния камеры по обеим осям (/„, /„); координаты точки пересечения оптической оси камеры и плоскости изображения (щ, г'о); коэффициенты радиальной (к^, к2, к3) и тангенциальной (рьрг) дисторсии;

— набором внешних параметры для каждой камеры, которые описывают ориентацию камеры с помощью вектора вращения кг = кг,пкГг), и положение центра камеры кс = (ксх, ксу, кс2), позволяющие осуществлять переход от основной системы координат О к системе координат камеры кС.

— положением и ориентацией системы координат наблюдателя Б, в которой производится построение панорамы: ориентация задается вектором вращения ®г = (Згх, 5гу, положение точки наблюдения относительно основной системы координат записывается как 5 с = (всх, ясу,

— кроме того, вводится модель окружающего мира в виде функции от угловых координат г = р(\,<р), где г £ (0, оо)—расстояние от точки наблюдения до точки сцены; Л £ (—7г,7г]—угол азимута (угол между направлением оси ВЪ и осью 3Х); £ (—7г/2,тг/2)—угол высоты (угол между плоскостью и вектором Б ях).

Поворот в пространстве может быть представлен многими способами: в виде матрицы И е М3х3, в виде вектора вращения г £ К3, с помощью

единичного кватерниона q £ R4, или с помощью углов Эйлера (в работе предложена последовательность поворотов на углы азимута, высоты и крена). Каждый из способов имеет свои достоинства и недостатки.

Вместо положения центра с какой-либо системы координат может использоваться вектор переноса t = —Re.

Для того, чтобы сформировать панорамное изображение исходные изображения подвергаются геометрическим преобразованиям. Геометрические преобразования могут быть описаны в виде функции обратного отображения

kM = hA-l{sv), (1)

связывающей координаты точки на панораме su = (su, sv) с координатами точки на А;-ом входном изображении ku = (ки, kv). Вычисление функции fcM"1 производится согласно описанной модели с помощью следующей последовательности преобразования координат:

1. Производится переход от координат панорамного изображения su к координатам наблюдательной системы координат sx = (sx, sy, sz). Для этого необходимо сначала перейти к сферической системе координат:

А = (*и - п0)//, <p=('v- v0)//,

где / — масштабирующий множитель, (щ, v0) - координаты точки на панорамном изображении, для которой угловые координаты А и <р равны 0. Третья координата — расстояние р — задается в модели окружающего мира. Декартовы координаты точки в наблюдательной системе координат определяются согласно известным выражениям:

sx = pcosysin A, sy = р sin ip, sz = pcosipcosX.

2. Переход от наблюдательной системы координат к основной системе координат в матричном представлении может быть записан в виде выражения:

°х= [ SRT | sc] sx,

3. Переход от основной системы координат к системе координат А;-ой камеры:

fcx= [*R|fet] °х, (2)

4. Проективное преобразование, осуществляющее переход от трехмерных координат кх = (кх, ку, kz) к двумерным нормированным координатам

"и = ("и,

nu = kx/kz, nv = ky/kz. (3)

5. Внесение геометрических искажений (дисторсии), характерных для широкоугольной оптики:

du = "w(l + кгг2 + к2г4 + к3г6) + 2 Р1 nunv+p2(r2 + 2 V),

dv = *V(1 + кхт2 + k2r4 + k3r6) + Pl (г2 + 2 V) + 2p2 nu nv. (4)

ООО

ООО ООО

ООО ООО

а) б)

в)

Рисунок 2. Различные варианты плоского калибровочного объекта: шахматное поле (а); регулярная структура из кругов (б) и колец (в).

6. Переход к координатам входного изображения:

Рассмотренные преобразования требуют информации о проекционных свойствах камер и их расположении в системе, поэтому в третьей главе приводится описание методики и алгоритмов калибровки видеосистемы кругового обзора. При условии неизменности конфигурации камер калибровку достаточно произвести один раз, разбив на следующие этапы:

—: нахождение внутренних параметров каждой камеры;

— нахождение относительного расположения для системы из двух соседних камер;

— нахождение относительного расположения камер для всей системы в целом;

— привязка найденных относительных внешних параметров камеры к абсолютным значениям.

В качестве методики калибровки внутренних параметров камеры была выбрана популярная и не требующая специального оборудования методика калибровки при помощи плоского калибровочного объекта (рисунок 2), содержащего регулярную структуру точек тх = (тх, ту, 0), где т = 1,2,..., М; М —количество точек калибровочного объекта.

В процессе калибровки производится съемка нескольких изображений калибровочного объекта в различной ориентации относительно камеры. Каждое положение калибровочного объекта характеризуется векторами поворота и переноса в пространстве, которые обозначим как "г = = ("ГхЛуЛг) и Ч = (%,,%,,%), где п = 1,2, N — количество

снимков калибровочного объекта.

Производится поиск точек калибровочного объекта на полученных изображениях. Таким образом, для каждой т-ной точки калибровочного объекта на п-ном изображении ставится в соответствие точка птй = = ("тм ,птй).

В результате калибровки по имеющимся соответствиям птц и тх оцениваются как внутренние параметры камеры (фокусные расстояния камеры по обеим осям (/„, координаты точки пересечения оптической оси камеры и плоскости изображения (ио,ио); коэффициенты радиальной (к\,к2,кз) и тангенциальной (рърг) дисторсии), так и положение ГЧ и

Ат к* Н.. , кя. к„, _ кг Л, | к„,

и— }и и+ и0, у= }у Уо-

(5)

ориентация пг калибровочного объекта относительно камеры.

Алгоритм калибровки состоит из двух этапов: нахождение приближенных значений параметров и итеративное уточнение найденных параметров с целью минимизации значения целевой функции

N М N М

Е{р) = ||е(р)||2 = Е Е 1Гте1|2 = Е Е 1Гтц - птаи2 >

71=1 771 = 1 71=1 771=1

где р е К-'3 — все параметры, оцениваемые на этапе калибровки внутренних параметров, Р = 9 4- 6М — количество калибруемых параметров; е(р) € € — вектор невязки, С} = 2МЛ/"; пти — проекции точек тх на п-ном изображении, найденные с помощью преобразования

пти = /(К,с1,"г,Хтх),

где К — матрица внутренних параметров, объединяющая в себе параметры (/и, Л,, Щ, Уо); (1 — (к^, кз,р1,р2) —коэффициенты радиальной и тангенциальной дисторсии.

Задача минимизации целевой функции решается с помощью алгоритма Левенберга-Марквардта, для которого необходимо рассчитать приближенное значение матрицы Гессе

н(Р) =

где матрица ЛХр), называемая матрицей Якоби, составлена из частных производных первого порядка вектора невязки в точке р:

Л(р) = де(Р)/дР € К°хР.

Для калибровки внешних параметров системы из двух камер была разработана методика, подобная методике калибровке внутренних параметров одной камеры, описанной выше. Чтобы калибровочный объект был виден обеими калибруемыми камерами предлагается сформировать его из двух плоских щитов с координатами точек Ьтх и йтх с взаимными положением и ориентацией, обеспечивающими их возможную видимость для любой из пар камер.

Методика проведения калибровки пары камер подобна калибровке параметров одной камеры. Калибровочный объект предъявляется тестируемой паре камер в различных положениях. Каждая из камер наблюдает свою часть калибровочного объекта: одна из камер видит точки объекта Ьтх, которые проецируются в координаты изображения Ьптй; для другой камеры точки Ятх переходят в координаты Дпти на изображении; индексами тип, как и ранее, пронумерованы точки и положения калибровочного объекта.

Взаимные ориентацию и положение системы из двух камер выразим через 5г и Ориентацию и положение калибровочного объекта для п-го эксперимента обозначим соответственно как пг и nt.

На первом шаге алгоритма калибровки системы из двух камер производится формирование приближенных значений параметров sr и st, а также пг и nt по следующему алгоритму:

1. Для п = 1,2,..., N найти положения относительно калибровочного объекта левой Lnr, Lnt и правой й"г, Rnt камер.

2. По найденным Лпг, ЛтЧ оценить взаимную ориентацию S:>r и расположение Sjt камер для n-того эксперимента.

3. В качестве искомых sr и st принять медианные значения от найденных 5jr, SH:

sr = median (5jr), 5t = median (Sj't).

4. В качестве начальных значений положения и ориентации калибровочного объекта nr, nt принять найденные на первом шаге параметры

Tlj, ___ Lrij. П^. _ £/71^.

Следующим после инициализации шагом идет итеративная процедура уточнения найденных параметров, записанных в виде вектора р = = (sr, st, {nr, nt}) e Rp, P — 3 + 3M, в ходе которой минимизируется значение целевой функции Е(р) = ||е(р)|| для вектора невязки

е(р) = {Lnme, Rnme} = {bnmu - Lnrnu, Rnmu - л«та} e

где Lnmu и finmu — проекции точек Lmx и Лтх согласно текущим параметрам; Q = AMN.

Калибровку системы из произвольного числа камер предлагается производить по следующем алгоритму:

1. По описанной методике калибровки внутренних параметров камеры находятся параметры 1Ки коэффициенты геометрических искажений k d для каждой из камер; к — 1,2,..., К\ К — количество камер в системе;

2. По методике калибровки пары камер оцениваются взаимные ориентация sklr и расположение sklt каждой из смежных пар камер, где kl — индексы текущей пары камер, I = (fc + 1) mod К = 2,3,..., К — 1,1.

3. Осуществляется переход от относительных параметров расположения пар камер sklr, sklt к общей системе координат. Переход к общей системе координат осуществляется по двухпроходной схеме: параметры камер определяются сначала при прямом обходе системы, затем при обратном, и затем определяется среднее из двух значений. Такой подход позволяет улучшить начальное приближение параметров за счет устранения накапливания ошибки.

4. Производится пересчет положений калибровочного объекта с целью приведения их к общей системе координат.

5. Инициализация закончена. Наступает фаза уточнения найденных параметров с помощью методов нелинейной оптимизации, в ходе которой минимизируется длина вектора невязки е(р) G R^, где р G Rp — вектор

оптимизируемых параметров; <2 = 4КМЫ\ Р = 6(К — 1 + КМ) (положение одной камеры принимается фиксированным).

На заключительном этапе калибровки производится привязка полученных параметров камер к координатам носителя. Эта задача также решается разделением на два этапа: получение приближенного решения и уточнение его с помощью нелинейной оптимизации.

В четвертой главе рассматриваются вопросы экспериментального и практического характера: описываются алгоритмы формирования и отображения траектории движения транспортного средства и метод аппроксимации параметров геометрического преобразования изображений; приводятся экспериментальные данные, позволяющие убедиться в правильности разработанной модели и достаточной точности алгоритмов калибровки.

Разработанная модель видеосистемы кругового обзора позволяет учитывать внешнюю среду при формировании панорамного изображения: задавать вид поверхности, на которой осуществляется «сшивка» панорамы и дальность до нее (рисунок 3).

Построение прогнозируемой траектории движения производится в основной системе координат по следующим данным: угол поворота управляемых колес, длина колесной базы, габаритная ширина автомобиля, положение и ориентация центра поворота относительно основной системы координат. Переход от основной системы координат к системе координат изображения осуществляется с помощью выражений (2)-(5). Такой подход достаточно универсален и позволяет отображать траекторию не только на исходном изображении, но и на преобразованном геометрически (рисунок 4).

Вычисление значений функции обратного отображения (1) для каждой камеры требует значительных вычислительных ресурсов, в то же время предварительный расчет значений функции обратного отображения трс-

Рисунок 3. Центральная часть панорамы при «сшивке» на бесконечном расстоянии для сферической поверхности (сверху) и для «полусферы» (снизу).

а) б) в)

Рисунок 4. Пример отображения траектории на исходном изображении (а), изображении с исправленными геометрическими искажениями (б) и изображении

«вида сверху» (в).

бует памяти для хранения двух таблиц II (у, и) и V (у, и) размера го х Л для каждого выходного изображения, где и — 0,1,..., т — 1; у = 0,1,..., Н — 1. Разработанный метод аппроксимации функций обратного преобразования с помощью степенных многочленов позволяет эффективно уменьшить объем долговременной памяти, необходимой для хранения значений II(у, и) и У(у,и): таблица и (у, и) размера ги х К упаковывается в таблицу коэффициентов размера (то + 1) х (п + 1), г = 0,1,... ,п;] = 0,1,... ,тп; то = 5, п = 5 — порядок полиномов. Распаковка таблицы благодаря использованию метода конечных разностей может быть выполнена за /I х (ад х п + то) операций сложения. Среднеквадратичное отклонение аппроксимированных значений от исходных составило около 0,014 пикселя, а максимальное абсолютное — около 0,08 пикселя, что значительно меньше погрешности калибровки камеры.

Эксперименты, проведенные при калибровке системы камер показали, что среднеквадратическая погрешность определения ориентации камеры составляет 0,3°, а относительная среднеквадратичная погрешность определения положения камеры составляет 7%.

В заключении приводятся основные результаты работы:

1. Предложенная модель системы кругового обзора, описывающая геометрические преобразования при формировании панорамного изображения, позволяет учесть взаимное расположение камер и геометрические особенности внешней среды;

2. Разработанный на основе предложенной модели алгоритм позволяет формировать панорамное изображение в реальном масштабе времени;

3. Разработанная методика нахождения параметров расположения камер в системе обеспечивает достаточную для построения панорамного изображения точность (среднеквадратическая погрешность определения ориентации камеры составляет 0,3°, а относительная среднеквадратичная погрешность определения положения камеры составляет 7%);

4. Предложенная модель системы кругового обзора позволяет формировать на панорамном изображении прогнозируемую траекторию движения транспортного средства;

5. Разработанный алгоритм аппроксимации функций геометрическо-

л

го преобразования изображений снижает требования к долговременной памяти системы (на четыре порядка для изображения 720 х 576), позволяет эффективно распаковать данные, используя только операции сложения, и имеет достаточную точность (максимальная ошибка менее 0,1 пикселя, что превышает погрешность калибровки).

Публикации автора по теме диссертации

Публикации в центральных изданиях, рекомендованных ВАК РФ

1. Толкачев Д.С. Повышение точности калибровки внешних параметров видеокамеры // Электронный научный журнал «Инженерный вестник Дона». — 2013. — № 3. — URL: http://www. ivdon.ru/magazine/circhive/ n3y2013/1840 (дата обращения: 27.10.2013).

2. Толкачев Д.С. Формирование панорамного изображения с учетом параллакса при известной модели окружающего мира // Электронный научный журнал «Инженерный вестник Дона». — 2013. — № 4. — URL: http://ivdon.ru/magazine/archive/n4y2013/1872 (дата обращения: 03.11.2013).

Публикации в других изданиях

3. Толкачев Д.С. Преобразования координат, связанные с вращением камеры, при формировании панорамы // Материалы Всероссийской научной конференции «Инновационные процессы в гуманитарных, естественных и технических системах». — Т. 3. — Таганрог: Изд-во ТТИ ЮФУ, 2012. — С. 68-72.

4. Толкачев Д.С. Аппроксимация геометрических преобразований изображений с помощью многочленов // Альманах современной науки и образования. — № 10. — Тамбов: Грамота, 2013. — С. 170-173.

5. Толкачев Д.С. Калибровка системы разнесенных в пространстве видеокамер // Материалы Всероссийской научной конференции «Основные тенденции развития в гуманитарных, естественных и технических системах». — Т. 2. — Таганрог: Изд-во ТТИ ЮФУ, 2013. — С. 64-68.

Типография Южного федерального университета в г. Таганроге пер. Некрасовский, 44, г. Таганрог, Ростовская обл., ГСП-17А, 347928 Заказ №299, тираж 100 экз.

Федеральное государственное автономное образовательное учреждение высшего

профессионального образования «Южный федеральный университет»

04201457029

На правах рукописи -А

1 Толкачев Данил Сергеевич

Алгоритмы формирования кругового панорамного изображения в системе разнесенных в пространстве

видеокамер

Специальность 05.12.04 — «Радиотехника, в том числе системы и устройства телевидения»

Диссертация

на соискание учёной степени кандидата технических наук

Научный руководитель: д. ф.-м.н., профессор В. П. Рыжов

Таганрог — 2013

Содержание

Введение 4

1 Системы и алгоритмы формирования панорамного видеоизображения 16

1.1 Системы формирования панорамного видеоизображения . . 18

1.2 Алгоритмы формирования панорамного изображения в системе из нескольких камер ......................................22

1.3 Прямые методы оценки параметров совмещения..............26

1.3.1 Выбор метрики............................................26

1.3.2 Использование гауссовой пирамиды....................28

1.4 Методы оценки параметров совмещения на основе точечных особенностей ......................................................30

1.4.1 Поиск и сопоставление особых точек на изображении 30

1.4.2 Модели совмещения изображений ......................33

1.4.3 Оценка параметров модели..............................37

1.5 Совмещение изображений с использованием многомастптаб-ного представления................................................41

Выводы..................................................................43

2 Модель формирования панорамного изображения с учетом параллакса 45

2.1 Модель камеры....................................................45

2.1.1 Проективная модель камеры............................45

2.1.2 Внешние и внутренние параметры камеры ............46

2.1.3 Геометрические искажения камеры......................50

2.2 Модель системы кругового обзора..............................53

2.3 Панорамные проекции............................................57

2.3.1 Азимутальные проекции..................................58

2.3.2 Цилиндрические проекции ..............................61

2.4 Представление ориентации камеры..............................63

2.5 Геометрическое преобразование изображений..................68

2.5/1 Функция прямого обратного отображения..............69

2.5.2 Функция прямого отображения..........................70

Выводы..................................................................72

3 Калибровка системы кругового обзора 74

3.1 Калибровка внутренних параметров камеры..................74

3.2 Калибровка системы из двух камер ............................83

3.3 Калибровка системы из п камер................................87

3.4 Привязка к абсолютным значениям............................89

Выводы..................................................................91

4 Экспериментальное определение параметров системы кругового обзора 93

4.1 Повышение точности калибровки внешних параметров камеры 93

4.2 Экспериментальная проверка алгоритма калибровки системы камер ..............................................................97

4.3 Формирование панорамного изображения......................102

4.4 Построение и отображение траектории движения ............106

4.5 Аппроксимация таблиц геометрических преобразований с помощью полиномов................................................113

Выводы..................................................................119

Заключение 120

Условные обозначения и определения 121

Библиографический список 123

Введение

Актуальность работы

Развитие и распространение средств регистрации, обработки и хранения изображений формирует широкий интерес к системам автоматического построения панорамных изображений. Благодаря возможности полностью отобразить пространство вокруг наблюдателя, панорамное изображение позволяет обеспечить убедительный эффект присутствия. По этой причине многие компании предоставляют виртуальные туры музеев, выставок, улиц, основанные на панорамном представлении сцен окружающего мира.

В связи с тем, что техника представления окружающего мира в виде панорамы имеет широкое применение и долгую историю, множество научных и технических направлений пересекается в этой области: фотография, оптика и фотограмметрия изначально, обработка изображений и техническое зрение в последствии. Среди ученых, оказавших заметное влияние на развитие алгоритмов формирования панорамных изображений, можно назвать Лукаса и Канаде (B.D. Lucas, T. Kanade), сформировавших идеи оптического потока; Д. Лоуи (D. Lowe), развившего их идеи и разработавшего алгоритм поиска и описания локальных особенностей изображения SIFT; Р. Зелински (R. Szelinski), систематизировавшего и дополнившего имеющиеся знания по формированию панорамных изображений; Р. Хартли и А. Зиссермана (R. Hartley, A. Zisserman), описавших геометрические зависимости между сценой и ее изображением.

Преимущества панорамного представления предполагают естественной установку систем кругового панорамного обзора на мобильные платформы (автомобили, роботизированные платформы) для облегчения задач вождения или осуществления удаленного управления транспортным средством. Вместе с тем, имеются определенные технические трудности, ограничивающие применение подобных систем.

Во-первых, существующие алгоритмы формирования панорамных изображений в основном рассчитаны на работу со статическими изображениями, а не видеопоследовательностями. Следовательно, без доработки имеющиеся алгоритмы не позволяют формировать панорамное изображение в режиме

реального времени.

Во-вторых, существующие алгоритмы формирования панорамного изображения показывают хорошие результаты нри заметном пересечении полей зрения смежных камер, что означает нежелательное увеличение числа камер в видеосистеме.

В-третьих, алгоритмы формирования панорамного изображения рассчитаны на изображения, полученные из одной точки либо с помощью широкоугольной оптической системы, либо вращением одной камеры, или благодаря компактному расположению камер. Благодаря таким подходам, влияние параллакса (различие углового положения объекта для различных дальностей) может быть полностью устранено, либо значительно уменьшено. Подобное расположение камер вынуждает размещать видеосистему кругового обзора сверху, где обзор не закрывается элементами конструкции. В определенных случаях такой подход может вступить в конфликт с конструкторскими или дизайнерскими решениями по установке камер, повысить заметность и т. п. В таких случаях камеры приходится располагать далеко друг от друга (например, по бортам транспортного средства, где их обзор не ограничивают элементы конструкции), следовательно, влиянием параллакса нельзя пренебречь.

Таким образом, представляются необходимыми и актуальными дальнейшие исследования в данной области и разработка алгоритмов формирования панорамного изображения.

Объектом исследования являются видеоизображения, полученные от видеосистемы кругового обзора.

Целью диссертационной работы является повышение качества формирования панорамного изображения за счет учета структуры сцены и пространственного расположения камер, а также обеспечение возможности работы в реальном времени и решение сопутствующих прикладных задач.

Основными задачами, которые необходимо решить для достижения поставленной цели, являются:

1. Разработка алгоритма формирования панорамного изображения с учетом разнесенного расположения камер в системе и с возможностью работы в реальном масштабе времени;

2. Разработка метода и алгоритмов определения параметров располо-

жения камер в системе;

3. Формирование методики повышения точности определяемых параметров системы в рамках разработанного метода;

4. Разработка алгоритма формирования и отображения траектории движения транспортного средства;

5. Разработка метода аппроксимации характеристик геометрического преобразования изображения.

В рамках диссертационной работы получены следующие новые научные результаты:

1. Разработан алгоритм формирования панорамного изображения в реальном масштабе времени на основе предложенной математической модели системы кругового обзора, учитывающей взаимное расположение камер, их внутренние параметры и геометрические характеристики внешней среды;

2. Разработаны метод и алгоритмы определения параметров расположения камер в системе с помощью двух плоских калибровочных щитов с нанесенными тестовыми изображениями;

3. Предложена методика повышения точности определяемых параметров системы, задающая конфигурацию щитов, вид тестовых изображений и порядок действий при калибровке;

4. Разработан алгоритм формирования и отображения траектории движения транспортного средства на панорамном изображении;

5. Предложен метод аппроксимации таблиц геометрического преобразования изображений, снижающий требования по объему к долговременной и кратковременной памяти системы.

Практическая значимость работы состоит в следующем:

1. Предложенная модель системы кругового обзора позволяет учесть влияние взаимного расположения камер и геометрические особенностей внешней среды, а также формировать на панорамном изображении прогнозируемую траекторию движения транспортного средства;

2. Разработанный на основе предложенной модели алгоритм позволяет формировать панорамное изображение в реальном масштабе времени;

3. Разработанная методика нахождения параметров расположения камер позволяет с помощью доступного оборудования определить с необходимой точностью углы ориентации и координаты расположения камеры (со

среднеквадратической погрешность 0,3° и с относительной среднеквадрати-ческой погрешностью 7% соответственно);

4. Разработанный алгоритм аппроксимации функций геометрического преобразования изображений позволяет значительно снизить требования к долговременной памяти системы (на четыре порядка для изображения 720 х 576), эффективно распаковать данные, используя только операции сложения, и имеет достаточную точность (максимальная ошибка менее 0,1 пикселя, что превышает погрешность калибровки).

Методы исследования основаны на математическом моделировании эффектов геометрической оптики, численных методах решения задач минимизации многопараметрических функций, статистической обработке результатов эксперимента. Также использовались методы цифровой обработки изображений и технического зрения. Моделирование производилось как с помощью готовых математических программных библиотек, так и с помощью разработанных алгоритмов, а также при помощи пакетов создания трехмерной компьютерной графики.

Апробация работы

Основные результаты работы докладывались и обсуждались на:

— Всероссийской научной конференции «Инновационные процессы в гуманитарных, естественных и технических системах», Таганрог, 2012;

— Выступлениях и научных семинарах кафедры теоретических основ радиотехники, Таганрог, 2012-2013;

— Всероссийской научной конференции «Основные тенденции развития в гуманитарных, естественных и технических системах», Таганрог, 2013.

Внедрение результатов работы

Результаты диссертационной работы внедрены на предприятии ОАО «Научно-конструкторскою бюро вычислительных систем» г. Таганрога, а также в учебном процессе кафедры теоретических основ радиотехники. Внедрение и использование результатов работы подтверждено соответствующими актами.

Публикации

Основные результаты по теме диссертации изложены в 5 печатных изданиях, в том числе: 2 статьи изданы в журналах, рекомендованных ВАК РФ для публикации материалов кандидатских диссертаций, 1 статья

в ежемесячном научном журнале, 2 статьи в материалах Всероссийских конференций.

Основные положения, выносимые на защиту:

1. Формирование панорамы возможно на основе модели, включающей внутренние характеристики камер и их расположение, а также особенности внешней среды;

2. Для калибровки системы камер целесообразно использовать калибровочный объект в виде двух плоских щитов;

3. Повышение точности калибровки системы достигается расположением калибровочного объекта на различных расстояниях и под различными углами относительно калибруемых камер;

4. Функции геометрического преобразования изображений возможно эффективно аппроксимировать с помощью степенных многочленов.

5. Решение задачи построения и отображения траектории движения транспортного средства целесообразно выполнять на основе разработанной модели видеосистемы кругового обзора.

Объем и структура работы

Диссертация состоит из введения, четырех глав, заключения, списка условных обозначений, списка использованных источников. Полный объем диссертации составляет 136 страниц текста, включая 33 иллюстрации и 9 таблиц. Список литературы содержит 96 наименований.

Во введении обосновывается актуальность исследований, формулируется цель, ставятся задачи, отражаются научная новизна и практическая значимость представляемой работы, формулируются основные положения, выносимые на защиту.

В первой главе производится обзор существующих систем и алгоритмов формирования панорамных изображений, которые можно условно классифицировать следующим образом:

— системы построения панорамных изображений с помощью специальных сверхширокоугольных оптических устройств (широкоугольных объективов типа «рыбий глаз» или катадиоптрических систем с использованием зеркала сложной формы);

— панорамные системы сканирующего типа (механические или оптико-механические) ;

— панорамные системы, состоящие из нескольких широкоугольных камер; полученные от камер изображения совмещаются в единое изображение при помощи специальных алгоритмов формирования панорамного изображения.

Основные недостатки систем, использующих сверхширокоугольную оптику, заключаются в невысоком и неравномерном разрешение итогового панорамного изображения, а также в наличии на панорамном изображении «слепых» зон в случае использования катадиоптрических систем, связанных с конструктивными особенностями крепления зеркала.

Сканирующие панорамные системы имеют такие недостатки, как наличие в конструкции движущихся частей и невозможность одновременного обзора всего окружающего пространства.

Панорамные системы, состоящие из нескольких широкоугольных камер, лишены подобных недостатков, что объясняет их широкое распространение. Алгоритмы формирования панорамного изображения в таких состоят из двух основных этапов: оценка параметров совмещения изображений и непосредственно совмещение изображений.

На первом этапе алгоритмов формирования панорамного изображения в системе из нескольких широкоугольных камер для смежных входных изображений оцениваются параметры совмещения согласно определенной модели, затем найденные параметры могут уточняться с помощью процедуры глобальной оптимизации.

На втором этапе алгоритмов формирования панорамного изображения производится совмещение исходных изображений с целью получения итогового панорамного изображения. Согласно оцененным параметрам осуществляются геометрические преобразования входных изображений: устранение дисторсии (геометрических искажений объектива камеры), применение выбранного совмещающего преобразования, переход к выбранной панорамной проекции. Далее производится устранение видимых переходов от одного изображения к другому: формируются маски наложения этих изображений на формируемую панораму, производится выравнивание экспозиций преобразованных изображений. Наконец, полученные изображения совмещаются в итоговое панорамное изображение.

Первый этап — оценка параметров совмещения — выполняется различ-

ными способами и может быть классифицирован на группы:

— «плотные» методы, основанные на анализе значений всех пикселей в области перекрытия изображений, например, корреляционные или частотные методы;

— «разреженные» методы, основанные на поиске и сопоставлении особых точек на изображениях.

Первая группа несмотря на теоретически более высокую точность и стабильность работы практически вытеснена второй, в основном из-за высокой вычислительной сложности «плотных» методов. По этой причине далее подробно рассмотрены алгоритмы формирования панорамного изображения, основанные на поиске и сопоставлении особых точек на изображениях. Основные шаги этапа оценки параметров совмещения для «разреженных методов» представлены ниже.

На входных изображениях производится поиск особых точек. Каждая особая точка описывается положением на изображении (координаты, масштабный коэффициент, угол ориентации и т. п.) и так называемым дескриптором, представляющим собой вектор в TV-мерном пространстве и характеризующим окрестность вокруг особой точки. Разработаны различные алгоритмы формирования особых точек: FAST, SIFT, SURF и др. Например, в алгоритме SIFT поиск особых точек производится с помощью детектора каплеобразных (англ. blob) областей, а дескрипторы формируются на основе гистограммных характеристик направления и величины градиента в области найденной точки.

Производится сопоставление особых точек смежных изображений, во время которого для каждой особой точки одного изображения находи�