автореферат диссертации по радиотехнике и связи, 05.12.04, диссертация на тему:Разработка и исследование методов цифровой обработки сигналов для повышения точности реконструкции трехмерных сцен

На правах рукописи

Фисунов Александр Владимирович .

РАЗРАБОТКА И ИССЛЕДОВАНИЕ МЕТОДОВ ЦИФРОВОЙ ОБРАБОТКИ СИГНАЛОВ ДЛЯ ПОВЫШЕНИЯ ТОЧНОСТИ РЕКОНСТРУКЦИИ ТРЕХМЕРНЫХ СЦЕН

Специальность 05.12.04 Радиотехника, в том числе системы и устройства телевидения

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

1 з МАЙ 2015

Ростов-на-Дону - 2015

005569048

005569048

Работа выполнена на кафедре «Радиоэлектронные и электротехнические системы и комплексы» Института сферы обслуживания и предпринимательства (филиала) Донского государственного технического университета

Научный руководитель:

Официальные оппоненты:

Ведущая организация:

Марчук Владимир Иванович

доктор технических наук, профессор (ИСОиП (филиал) ДГТУ, г. Шахты)

Самойлин Евгений Александрович

доктор технических наук, профессор (ВУНЦ ВВС «Военно-воздушная академия им. проф. Н.Е. Жуковского и Ю.А. Гагарина», г. Воронеж)

Кульбикаян Баграт Хачересович

кандидат технических наук, доцент (Ростовский государственный университет путей сообщения, г. Ростов-на-Дону)

«Конструкторское бюро по радиоконтролю систем управления, навигации и связи» (АО «КБ «Связь»), г. Ростов-на-Дону

Защита состоится 25 июня 2015 г., в 14.00, Д-406 на заседании диссертационного совета Д 212.208.20 при федеральном государственном автономном образовательном учреждении высшего образования «Южный федеральный университет» по адресу: 347928, Ростовская область, г. Таганрог, ГСП-17А, пер. Некрасовский, д. 44, факс: +7-863-263-87-23, e-mail: info@sfedu.ru.

С диссертацией можно ознакомиться в Зональной научной библиотеке «Южного федерального университета» по адресу: ул. Зорге 21 ж, г. Ростов-на-Дону, Ростовская область, 344000 и на сайте: http://hub.sfedu.ru/diss/announcement/e6b22305-lc80-43bf-a3dd-0392a955f8ca/ федерального государственного образовательного автономного учреждения высшего образования «Южный федеральный университет»

Автореферат разослан « j[!2L» апреля 2015 г.

Ученый секретарь диссертационного совета кандидат технических наук, доце.

В.В. Савельев

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы диссертации. Новое поколение цифрового телевидения предоставляет возможность передачи не только двумерного, но трехмерного изображения, в связи с чем возникает необходимость в разработке новых методов и алгоритмов сканирования реально существующих объектов и сцен для получения их виртуальных трехмерных моделей. Одним из перспективных методов сканирования, основанном на использовании структурированного света, является метод инфракрасной локации, принцип работы которого заключается в проецировании на сцену светового шаблона в инфракрасном диапазоне и регистрации отраженного излучения с помощью ПЗС-матрицы или иного регистрирующего оборудования. Основываясь на информации о положении в пространстве, ориентации, и параметрах проектора и камеры, вычисляются реальные координаты точек сканируемой сцены и производится построение ее трехмерной модели.

Информация о структуре сцены, передаваемая по каналам связи, хранится в картах глубины — двумерных дискретных последовательностях, каждый элемент которых показывает расстояние до соответственной точки сцены. В процессе их получения возникают различные дефекты(области с неизвестными значениями) и искажения(неверная информация о глубине), которые при передаче по каналам связи только усугубляются, что приводит к резкому снижению точности реконструкции трехмерных сцен на приемной стороне. Для удаления этих дефектов и искажений могут применяться методы интерполяции, однако большинство из них приводят к «размытию» и появлению артефактов на границах объектов на карте глубины. В связи с чем актуальной задачей является разработка перспективных информационных технологий получения, обработки и передачи трехмерных моделей реально существующих объектов посредством каналов связи. Полученные результаты могут применяться во многих областях науки и техники: метрологии, медицине, компьютерном зрении, промышленности, робототехнике и т. д.

Целью диссертационного исследования является повышение точности оценки геометрических параметров трёхмерных сцен, полученных с помощью инфракрасной локации.

В диссертации для реализации цели исследования поставлены и решены следующие задачи:

- Выполнить анализ существующих методов цифровой обработки сигналов, применяемых для удаления дефектов и искажений на картах глубины;

- Разработать метод восстановления карт глубины, основанный на использовании модифицированного метода интерполяции использующего данные о цвете и карте глубины трёхмерной сцены с последующей фильтрацией границ объектов по анализу их градиентов на цветном изображении;

- Провести сравнительный анализ точности восстановления карт глубины разработанным и существующими методами интерполяции;

- Разработать алгоритм реконструкции трехмерных сцен с использованием инфракрасной локации и предложенного метода восстановления карт глубины;

- Провести исследование точности реконструкции трехмерных сцен при использовании разработанного метода восстановления карт глубины.

Объектом исследования являются прикладные задачи оценки геометрических параметров трехмерных сцен в области цифрового телевидения и компьютерного зрения.

Предметом исследования являются методы, модели и алгоритмы цифровой обработки сигналов, направленные на повышение точности оценки геометрических параметров трехмерных сцен.

Методы исследований. При решении поставленных задач использовались современные методы цифровой обработки двумерных сигналов и изображений, теории фильтрации, статистической радиотехники и математического моделирования.

Достоверность и обоснованность результатов обеспечивается результатами имитационного моделирования на различных наборах тестовых изображений и карт глубины, а также их теоретическим обоснованием. Новизна технических предложений подтверждается свидетельствами на программное обеспечение алгоритмов, реализующих предлагаемые методы реконструкции карт глубины.

К числу основных результатов, определяющих научную новизну диссертационного исследования, относятся следующие:

- Разработка нового алгоритма восстановления карт глубины, основанного на одновременном использовании данных о цвете и глубине трехмерной сцены;

- Модификация метода интерполяции на основе поиска похожих блоков, путем использования значений градиента на цветном изображении сцены для восстановления карты глубины, что позволяет повысить точность восстановления резких перепадов яркости;

- Метод адаптивной медианной фильтрации карт глубины, при котором адаптивные маски фильтра формируются по соответственному RGB изображению;

- Алгоритм оценки размерных признаков реально существующих объектов по их трехмерным моделям, полученным с помощью инфракрасной локации.

Практическая значимость.

1. Предложен метод восстановления карт глубины в задачах трехмерной реконструкции и оценки геометрических параметров трехмерных сцен, основанный на модификации методов интерполяции поиском похожих блоков, адаптивного медианного фильтра и совмещении информации о цвете и глубине сцены. Показано, что предложенный метод позволяет снизить значение среднеквадратической ошибки в среднем в 1.5-2 раза по сравнению с существующими;

2. Точность оценки геометрических параметров трехмерных сцен при использовании разработанного метода повышается в среднем на 30-50%.

4

3. Разработано программное обеспечение, реализующее методы восстановления карт глубины, построения трехмерных моделей реально существующих сцен и получения их геометрических параметров.

Основные положения, выносимые на защиту:

1. Метод восстановления карт глубины на основе поиска похожих блоков, использующий значения градиента на цветном изображении сцены для повышения точности определения наиболее похожих блоков;

2. Метод адаптивной медианной фильтрации карт глубины, при котором формирование адаптивных масок фильтра производится по соответственному цветному изображению сцены;

3. Алгоритм трехмерной реконструкции сцен и получения их геометрических параметров с применением предложенного метода восстановления карт глубины;

4. Результаты исследования точности восстановления карт глубины и оценки геометрических параметров трехмерных сцен при использовании разработанного метода.

Результаты диссертационной работы использовались в рамках госбюджетных и научно-исследовательских тем ЮРГУЭС и ДГТУ, в том числе: ЮРГУЭС-5.12.ГЗ «Разработка научных основ, математических моделей и методов проектирования адаптационной эстетически гармонизированной одежды для людей с ограниченными двигательными возможностями (ЛОДВ) с использованием цифровых технологий трехмерного проектирования». «Разработка методов и алгоритмов адаптивной обработки двумерных сигналов при реконструкции статических и динамических изображений в условиях неполной априорной информации и их программная реализация в информационно-телекоммуникационных системах» (ФЦП «Научные и научно-педагогические кадры инновационной России», госконтракт №16.740.11.0306 от 05 октября 2010г.), «Автоматизированная система трехмерного компьютерного зрения для решения задач анализа внешних повреждений автомобиля» (ФЦП «Научные и научно-педагогические кадры инновационной России», госконтракт № 14.В37.21.0877 от 10 сентября 2012г.), «Методы и алгоритмы фильтрации и восстановления четкости цифровых видеосигналов на основе разреженного ЗЦ преобразования в частотной области» (ФЦП «Научные и научно-педагогические кадры инновационной России», госконтракт № 14.В37.21.0865 от 10 сентября 2012г.), «Теоретические основы синтеза методов обработки цифровых сигналов в условиях априорной неопределенности и их практическая реализация в информационно-телекоммуникационных и вычислительных системах» (ФЦП «Научные и научно-педагогические кадры инновационной России» на 2009-2013 годы, госконтракт №02.740.11.5130 от 09 марта 2010г.) и др.

Результаты диссертационной работы внедрены на предприятиях, занимающихся построением систем компьютерного зрения, обработки изображений и видеоанализа, что подтверждается соответствующими актами о внедрении: в ООО «Телекомсоц» г. Шахты, предложенный метод трехмерной реконструкции, применяется для построения системы проектирования одежды

5

для людей с ограниченными двигательными возможностями. На предприятиях ООО "Нордавинд-Дубна" г. Дубна, по материалам исследования была опробована и внедрена методика восстановления данных о глубине трехмерных изображений, при сканировании сцен с использованием структурированного света. Полученные результаты применяются при разработке программного обеспечения для систем контроля качества продукции и идентификации объектов в видеопотоке. Результаты диссертационной работы также применяются при разработке программного обеспечения в ЗАО «Нордавинд» г. Москва. Методика восстановления карт глубины внедрена в исследовательский процесс ООО НП «Цезис» г. Дубна, результатом чего является повышение эффективности и точности работы систем, построенных на основе инфракрасных сканеров глубины трехмерных сцен. Практические результаты диссертационной работы активно используются в деятельности ООО НПФ "Сельсофт" при решении задач автоматизации процесса анализа и получения трехмерных изображений из видеопоследовательности, а также при разработке соответствующего программного обеспечения.

Апробация работы. Основные положения диссертационной работы изложены, докладывались и одобрены на научно-технических конференциях: IV международная научная конференция «Современные проблемы радиоэлектроники», г. Ростов-на-Дону, 2012 г.; II международная научно-техническая конференция «Информационные технологии. Радиоэлектроника. Телекоммуникации (ITRT-20I2)», г. Тольятти, 2012 г.; Международная научно-практическая конференция «Theoretical & Applied Science», №7, 2013 г.; XII международная научно-практическая конференция «Современное состояние естественных и технических наук», г. Москва, 2013 г.; IX международная научно-практическая конференция «Perspektywi czne opracowania s;) nauk^ i technikami - 2013», 2013 г.; Международная научно-практическая конференция «Актуальные проблемы техники и технологии», г. Шахты, 2013 г.; XI Международный научно-технический форум «Инновации, экология и ресурсосберегающие технологии», 2014; Proceedings of 2014 IEEE 41th International Conference on signal processing, Hang Zhou. PP. 1175-1179, 2014;

Публикации. Основное содержание диссертации и результаты проведённых исследований изложены в 21 публикации, из которых 3 входят в перечень ВАК РФ, 1 в изданиях, входящих в реферативную базу Scopus, получены 7 свидетельств о регистрации программ для ЭВМ.

Структура диссертации. Диссертация состоит из 4 глав, введения, заключения и двух приложений. Основной текст работы изложен на 106 страницах, включая 51 рисунок и 13 таблиц. Список литературы состоит из 108 наименований на 11 страница^, включающий в том числе 21 работу автора, отражающие материалы диссертации.

СОДЕРЖАНИЕ РАБОТЫ

Во введении сформулирована направленность исследований, изложены предмет, цель исследований и научная проблема. Обоснованы актуальность и практическая значимость темы. Определены основные задачи исследования, новые научные результаты и основные положения, выносимые на защиту.

В первой главе рассмотрены известные методы получения карт глубины, причины возникновения дефектов и искажений на них и существующие методы удаления этих дефектов. Карта глубины представляет собой двухмерную дискретную последовательность /, .,/ = 1,...,N,j = 1,...,М,каждый элемент которой

соответствует расстоянию от сканера до точки сцены, и может быть представлена в виде двумерного изображения с градациями серого (рис. 16). Упрощенная математическая модель имеет следующий вид

/,,/ = F;j ■Su +rUj,i = \,...,NJ = \,...M, (1)

где Sj : — полезная составляющая; 77, / - аддитивная шумовая составляющая,

которой в данной работе следует пренебречь; F)j - принимает значения из

набора {0,1}, 0 в случае дефектного пикселя. 1 в случае достоверного значения; N, М - высота и ширина цветного изображения и карты глубины. Информация о цвете сцены представлена трехканальным двумерным сигналом Kq , j,i = 1 ,...,N,j = 1.....M,q = 0,...,2, где q-канал RGB изображения.

Рисунок 1 - Цветное изображение и соответственная карта глубины

Из рисунка 16 видно, что исходная карта глубины содержит множество дефектов и искажений, удаление которых позволит повысить точность оценки геометрических параметров трехмерных сцен. Проведенный анализ существующих методов восстановления изображений показал, что большинство из них неприменимо для восстановления карт глубины, поскольку эти методы приводят к «размытию» и искажениям резких перепадов яркости в области удаления дефектов, как показано на рисунке 2.

Рисунок 2 - Результат применения методов интерполяции (а - цветное изображение, б - исходная карта глубины, в - эффект «размытия» границ, г -появление артефактов на границах объекта) Во второй главе предложен метод восстановления карт глубины, полученных с помощью инфракрасной локации, основанный на одновременном использовании информации о цвете и глубине сцены. Основная идея заключается в использовании значений градиента яркости на цветном изображении, для поиска похожих блоков на восстанавливаемой карте глубины, и для формирования масок адаптивного медианного фильтра. На рисунке 3 представлена блок-схема алгоритма разработанного метода.

На этапе предобработки дефекты площадью до 3 пикселей удаляются медианной фильтрацией с маской фильтра 3x3 пикселя.

Карта глубины прошедшая этап предобработки поступает на вход блока интерполяции. Для рассмотрения принципа работы разрабатываемого метода введем основные обозначения. Области дефектов образуют множество с границей <Ш; Ф -известное изображение; р - элемент (точка) карты глубины /у в окрестности Ч^ которой, производится восстановление; 1РС( - блок области Ф, служащий источником информации для Ч"р.

На рисунке 4 показан принцип работьг предложенного метода: для каждой Рисунок 3-Блок-схема алгоритма области % , с помощью двумерного разработанного метода метода наименьших квадратов,

производится поиск наиболее похожего блока Ч^ с последующим попиксельным копированием значений интенсивности из Ч,ч в Ч,р (рис. 4 в-г). Порядок восстановления Ч'р определяется интенсивностью перепадов яркости и достоверностью известных данных в окрестности точки р.

Начало

Получение цветного изображения и карты глубины__

Параметры метода

(а) (б)

(в) (г)

Рисунок 4 - Принцип работы метода интерполяции поиском похожих блоков

Формирование области Р. , производится на основе априорной информации о том, что значения интенсивности пикселей в области дефектов равны нулю. Порядок удаления дефектов имеет очень важное значение при использовании интерполяции на основе поиска похожих блоков и определяется следующим образом - для каждого пикселя принадлежащего <5Л , по выражению(З) рассчитывается величина приоритета Р(р), затем полученные значения ранжируются и выбирается элемент с наибольшим приоритетом.

P(p) = C(p)D(p). (2)

Приоритет зависит от показателей достоверности С(р) и градиента D(p). Показатель достоверности в окне t//p вычисляется как

С(р) = j^jZqe^pno СО?), (3)

где || — площадь известных пикселей в окне

Достоверность убывает пропорционально расстоянию от исходной границы восстанавливаемой области к ее центру. Начальные значения устанавливаются в соответствии с выражением

ГО I V/7 е Q;

С(р) = \ (4)

у 1 11 Vp £ Ф.

Величина D(p) определяется наличием перепадов яркости в окрестности точки р

(5)

а

где а - коэффициент нормировки, пр - нормаль к границе 5il, Dp -направление и интенсивность изменения яркости в точке р.

Орх = VKp • lk + VIp; (6)

Пр = Vnp. (7)

Из выражения 7 видно, что при расчете приоритета учитываются линейные структуры и резкие перепады яркости не только на карте глубины, но и на цветном изображении. Весовой коэффициент 1к позволяет регулировать влияние сигнала kq i j на алгоритм восстановления. Для 24-битного цветного изображения рассчитывается следующим образом

Для области с наибольшим приоритетом Ч^ , двумерным методом наименьших квадратов, производится поиск наиболее похожего блока

4', = argmindCVp, 4J4); (9)

d = - (Ю)

Затем глубина попиксельно копируется из Ч^ в , с обновлением достоверности в соответствии со следующим выражением

C(q) — C(p)Vq £ Vp- П Q. (11)

Процедура выбора области с наибольшим приоритетом и последующее восстановление повторяется до тех пор, пока не будут удалены все дефекты на карте глубины. В результате работы метода интерполяции на границах объектов могут оставаться искажения, для удаления которых применяется адаптивная медианная фильтрация. При этом фильтрация карт глубины производится по маскам фильтра, сформированным по цветному изображению. Преимущество такого подхода заключается в том, что границы объектов на цветном изображении подвержены искажениям в гораздо меньшей степени.

Принцип формирования масок заключается в следующем, по каждому пикселю изображения Kij формируются области Уд с монотонным изменением значений яркости (области квазистационарности), для этого задаются восемь направлений И = 1,...,8, в которых определяются интервалы квазистационарности. Условие квазистационарности проверяется с помощью вычисления случайной величины т, равной сумме числа инверсий значений пикселей по каждому направлению.

Число инверсий по каждому направлению равно:

Td=Y. i u(YtJJkj),d = I,...,г; (12)

1=1 ы+i

где j = const ; y, = 1,2,...,d- \ - текущее значение пикселя изображения; Yjjtt k = i+\,...,d - последующее значение; г - максимальная длина интервала.

Количество сочетаний, для которых вычисляется сумма инверсий, составляет X — d ^ 1") . Случайная переменная имеет биноминальное распределение, которое описывается вероятностями

' ' 04,

где р, q - параметры биноминального распределения.

Для биноминального распределения среднее значение равно M(tj) = X ■ р, дисперсия ¡Х.т^) = X■ p-q. Гипотезе о стационарности процесса соответствует значение параметра распределения р = 0,5 . Используя разложение Муавра-Лапласа выражение для вычисления вероятности ошибки первого рода при р = 0,5, q = o,s запишется в виде

где /•-(.) - функция гауссовского распределения с параметрами (0,1).

Из выражения (15) получается уравнение для определения порогового значения С , разделяющего допустимую и критическую облаети принятия основной гипотезы:

06)

с = Ц--4х+х! 2-0,5. (17)

Альтернативы для убывающего и возрастающего сигнала соответственно принимаются, если:

Td = + 2-0,5; (18)

rd + X/2-Q,5- (19)

Гипотеза о стационарности сигнала принимается, при условии c~i ¿tj В результате чего, для каждого направления /г = 1,...$ на

изображении определяются интервалы квазистационарности, позволяющие получать адаптивные границы интервалов для яркостных изменений сигнала, по которым в результате формируются адаптивные маски фильтра а,, , ¡=\,...Д—1 . Для удаления артефактов с границ объектов, после получения масок фильтра по каждому пикселю цветного изображения, производится медианная фильтрация карты глубины.

В третьей главе приведены результаты исследования точности восстановления карт глубины предложенным, и известными группами методов интерполяции: на основе поиска похожих блоков (Разработанный метод, Criminisi), на основе решения дифференциальных уравнений в частных

производных (Bertalmio, Telea, Navier Stokes), на основе синтеза текст)ф (Oliviera).

Для оценки точности восстановления требуются эталонные карты глубины, которые крайне затруднительно получить для сцен со сложной структурой. Поэтому с использованием программного обеспечения Blender 2.69 был сформирован тестовый набор трехмерных сцен, по которым получены пары цветное изображение/карта глубины, после чего на картах глубины смоделированы дефектные области с заданными параметрами распределения, которые были получены из результатов обработки базы данных «Berkley 3-D Object dataset». База данных в свою очередь состоит из 849 пар изображений, полученных при сканировании реальных сцен с помощью инфракрасной локации. Несколько примеров из тестового набора показано на рисунке 5.

г-., ( » у >4,

(б)

>: -vV? Г;

(В)

-г.

. >

(ж) (з) (и)

—

'II

i J ■

г х v ... ,. -,- _ - ■ . _ ■ ■ ■ - ■ ■ ■

(Н) (О)

Рисунок 5 - Тестовый набор изображений

(п)

В качестве оценок точности использовались: среднеквадратическая

ошибка МБЕ=-~—^11=— ^у] среднеквадратическое отклонение _

кМБЕ = ^ШБЕ-, пиковое отношение сигнал/шум Рб'Л'/? = Ю1од10

уМ-1 ^N-1 .0 2 \ ¿.¡=0 1=0 ¿./ \ -—--—72 ; критерии

.ЕГо^^оН'и-'й] /

отношение сигнал/шум SNR = 101од10

глубины; /¡у - восстановленная карта глубины; 1,] - координаты пикселя; М, N - высота и ширина карты глубины.

Для каждой группы методов были установлены следующие параметры. Методы на основе решения дифференциальных уравнений в частных производных: максимальное количество итераций установлено равным 100, как правило, решение сходится раньше. Методы на основе поиска похожих блоков: по результатам обработки тестового набора карт глубины, размер блока установлен равным 7x7 пикселей, при этом достигается наилучший результат реконструкции. Разработанный метод: размер блока 5x5 пикселей, весовой коэффициент равен 3. Для адаптивного медианного фильтра, были выбраны параметры Я=9 и а = 0.01.

В таблице 1 приведены значения оценок для одной из тестовых сцен. В таблицах 2-3 и на рисунках 6-7 представлено сравнение методов восстановления по пиковому отношению сигнал/шум и среднеквадратической ошибке.

Таблица 1 - Результаты реконструкции сцены №1

Метод восстановления

Оценка Разработанный метод Criminisi Bertalmio Navier Stokes Telea Oliviera

SNR 40,96 36,27 37,48 38,11 37,81 38,10

PSNR 43,88 39,18 40,39 41,03 40,72 41,02

MSE 2,66 7,85 5,94 5,13 5,50 5,14

RMSE 1,63 2,80 2,44 2,26 2,35 2,27

МАХ 103 152 133 131 128 101

Таблица 2 - Среднеквадратическая ошибка по тестовому набору

№ Разработанный метод Criminisi Bertalmio Navier Stokes Telea Oliviera

1 1,04 2,50 2.70 1,60 1,60 1.95

2 1,33 3,05 1,76 1.77 1.79 2,11

3 4,56 13,49 8, IS 6,52 6,35 7,69

4 5,97 11,45 6,62 6,57 6,55 7,67

5 2,66 7,85 5,94 5,13 5,50 5,14

14,00 12,00 10,00 8,00 6,00 4,00 2,00 0,00

1 2 3 4 S

№ тестовой карты глубины -Разработанный метод -»-Criminisi —*—Bertalmio —W—Navier Stokes —*—Telea -e—Oliviera

Рисунок 6 - График сравнения методов восстановления по MSE

№ Разработанный метод, дБ Criminisi, дБ Bertalmiо, дБ Navier Stokes, дБ Telea, дБ Oliviera, дБ

1 47,97 44,15 43,82 46,10 46,08 45,23

2 46,88 43,29 45,67 45,66 45,60 44,90

3 44,54 36,83 39,00 39,99 40,10 39,27

4 40,37 37,54 39,93 39,95 39,97 39,28

5 43,88 39,18 40,39 41,03 40,72 41,02

LQ 49,00 ш се

5 —; 47,00 <и ос

3 ¡Z 45 00

О £

н V 43,00

° Е

5; з 4i,oo о ' m ¡>

О й 39,00 f I

с S 37,00 о

35,00

12 3 4

№ тестовой карты глубины -«—Разработанный метод -®-Criminisi -sfe-Bertalmio -r^-Navier Stokes

-Telea —#-Oliviera

Рисунок 7 — График сравнения методов восстановления по PSNR

Исходя из приведенных выше результатов исследования можно сделать вывод, что разработанный метод позволяет снизить значения среднеквадратической ошибки в среднем в 1.5-2 раза по сравнению с известными методами.

В четвертой главе рассмотрены основные этапы сканирования трехмерных сцен и предложен алгоритм получения трехмерных моделей с использованием инфракрасного сканера Microsoft Kinect.

Для оценки точности реконструкции трехмерных сцен, с помощью инфракрасной локации и применением методов интерполяции была получена модель человека с известными размерными признаками. При сканировании, в качестве блока фильтрации и удаления дефектов использовались разработанный метод восстановления карт глубины и один из известных, который показал наилучший результат (наименьшую относительную погрешность измерения). Полученные результаты приведены в таблице 4.

Таблица 4 - Полученные размерные признаки человека по его

трехмерной модели

Размерные Размерные

Размерные признаки признаки Относительная Относительная

N8 признаки трехмерной трехмерной погрешность, погрешность

реального модели, модели, известные разработанный

объекта, см известные разработанный методы, % метод, %

методы, см метод, см

1 85,5 93,9 89,9 9,8 5,1

2 89 92,8 91,8 4,3 3,1

3 88 91,2 90,2 3,6 2,5

4 33,5 37,7 35,2 12,5 5,1

5 36,5 36,4 36,2 0,3 0,8

6 26,5 30,4 28,6 14,7 7,9

7 15 17,5 16 16,7 6,7

8 52,5 55,6 53,8 5,9 2,5

9 43,5 41 43 5,7 1,1

10 42,5 47,6 44 12,0 3,5

11 43 47,5 44,2 10,5 2,8

12 20 23,6 21,3 18,0 6,5

13 24 23,7 23 1,3 4,2

14 60 62 61 3,3 1,7

15 ПО 105,4 107 4,2 2,7

16 94,5 90,7 92,2 4,0 2,4

17 77 70 74 9,1 3,9

18 30,5 28,8 28,9 5,6 5,2

19 28,5 30,5 30 7,0 5,3

20 12 14 13,1 16,7 9,2

Среднее значение относительной погрешности 8,3 4,1

■ : : 1 БИВВ 4—;' : ' ГТГ"*~ 1 Гг; П»п»*»г*г ¡еыгрш • ' М Р '». «да лдорнг» о 11 •

."■■—У: Ч>9" ' Яетеп» ж т счМН* м»» > ' С « Киаимвм!<в"< ГМ*« авижгик/-уге«"«««;*««»' Клгяч илик - Т.а •домр •

■ ЛЙК т- ; ^ «к Д. К.! » «.«.Я С. ОС л.-»***««» '

• 31 4 Г***» , • О- .

Рисунок 8 - Примеры полученных моделей человека

Из таблицы 4 видно, что применение разработанного метода в качестве блока фильтрации и удаления дефектов и искажений, позволяет снизить относительную погрешность измерения геометрических параметров сцены в среднем на 30-50%.

В заключении приводятся основные выводы по диссертационной работе. В приложении приведены листинги программ, реализующие предложенный метод восстановления карт глубины.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

При решении поставленных задач получены результаты, на основании которых можно сделать следующие выводы:

1. Проведенный анализ показал, что использование известных методов восстановления изображений приводит к размытию и появлению артефактов на границах объектов;

2. Разработан метод восстановления карт глубины, который основан на модификации существующих методов интерполяции поиском похожих блоков, адаптивного медианного фильтра и совмещении информации о цвете и глубине сцены;

3. Исследование эффективности разработанного метода показали, что при обработке тестовых карт глубины разработанным методом значение среднеквадратической ошибки снижается в среднем в 1.5-2 раза, чем при обработке известными методами;

4. Предложен алгоритм сканирования и оценки геометрических параметров трехмерных сцен с использованием инфракрасной локации и разработанного метода восстановления карт глубины;

5. Исследования показали, что применение разработанного метода позволяет снизить относительную погрешность измерения геометрических параметров трехмерных сцен в среднем на 30-50%.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

В изданиях из реферативной базы Scopus

1. Фисунов A.B., Марчук В.И., Воронин В.В., Токарева C.B., Левина О.М. Kinect depth map restoration using modified exemplar-based inpainting // Proceedings of 2014 IEEE 41th International Conference on signal processing, Hang Zhou. ISBN: 978-146732194-5. PP. 1175-1179, 2014

В изданиях из перечня ВАК

2. Фисунов A.B., Воронин B.ß., Франц В.В. Использование карты глубины в задаче слежения за подвижными объектами // Успехи современной радиоэлектроники, №6, 2012 - С. 57-61

3. Фисунов A.B., Марчук В.И., Воронин В.В., Франц В.В., Письменскова М.М. Алгоритм построения траектории движения объектов в видеопотоке на основе оптического потока // Электронный научный журнал «Инженерный вестник

Дона»,№4, 2013; URL: http://ivdon.ru/ru/magazine/archive/n3v2013/1856 (дата обращения: 18.12.2014)

4. Фисунов А.В., Воронин В.В., Марчук В.И., Свирин И.С., Петров С.П. Восстановление карты глубины на основе комбинированной обработки многоканального изображения // Современные проблемы науки и образования. - 2014. - № 6; URL: http://www.science-education.rU/l 20-16360 (дата обращения: 18.12.2014)

Публикации в других изданиях

5. Фисунов А.В., Воронин В.В. Алгоритм трехмерной реконструкции моделей объектов // Перспективы развития гуманитарных и технических систем, Материалы Всероссийской научной конференции часть 2, Таганрог: 2011-С. 74-77

6. .Фисунов А.В., Воронин В.В., Сизякин Р.А., Гапон Н.В. Обнаружение пикселей с искаженными значениями на основе контурного анализа // Материалы четвертой международной научной конференции «Современные проблемы радиоэлектроники» - г. Ростов-на-Дону, 2012. - С.154 - 159

7. Фисунов А.В., Воронин В.В., Морозова Т.А., Письменскова М.М. Алгоритм поиска соответствия между особыми точками на отражающих поверхностях изображений // Материалы IV международной научной конференции «Современные проблемы радиоэлектроники»- г. Ростов-на-Дону, 2012.-С.159- 162

8. Фисунов А.В., Воронин В.В., Морозова Т.А., Письменскова М.М. Алгоритм детектирования локальных особенностей на изображении // Материалы IV международной научной конференции «Современные проблемы радиоэлектроники» - г. Ростов-на-Дону, 2012. — С. 151 - 154

9. Фисунов А.В., Воронин В.В., Кашинцев К.С., Сизякин Р.А. Алгоритм поиска особых точек на видеопоследовательности в задачах трехмерной реконструкции // Материалы IV международной научной конференции «Современные проблемы радиоэлектроники» - г. Ростов-на-Дону, 2012. -С. 162 — 166

10. Фисунов А.В., Воронин В.В., Морозова Т.А., Письменскова М.М. Модифицированный метод asift для поиска соответствия между особыми точками на отражающих поверхностях изображений // II Международная научно-техническая конференция: «Информационные технологии. Радиоэлектроника. Телекоммуникации (ITRT-2012)»: Материалы конференции, г. Тольятти, 2012. - С. 68-75

11. Фисунов А.В., Воронин В.В., Морозова Т.А., Письменскова М.М. Исследование метода детектирования локальных особенностей на изображении // II Международная научно-техническая конференция: «Информационные технологии. Радиоэлектроника. Телекоммуникации (ITRT-2012)»: Материалы конференции, г. Тольятти, 2012. - С. 62-68

12. Фисунов А.В., Марчук В.И., Воронин В.В., Сизякин Р.А. Обнаружение царапин на изображении на основе анализа локальных бинарных окрестностей // Материалы международной научно-практической конференции «Theoretical & Applied Science», №7(3), 2013, С. 54-59

13. Фисунов А. В., Франц В. А., Марчук В. И., Воронин В. ВПисьменскова М. М. Алгоритм восстановления изображений на основе хеш-функций //

17

Материалы XII Международной научно-практической конференции «Современное состояние естественных и технических наук», - М.: Издательство «Спутник+», 2013. С. 19-23

14. Фисунов A.B., Воронин В.В., Франц В.А., Гапон Н.В. Алгоритм реконструкции фона видеосигналов II Материалы XII Международной научно-практической конференции «Современное состояние естественных и технических наук». - М.: Издательство «Спутник+», 2013.-104 с. С.63-67

15. Фисунов А. В., Воронин В. В., Сизякин P.A., Гапон Н.В. Исследование алгоритма сжатия двумерных сигналов на основе методов реконструкции изображений // Materiaty IX Mi?dzynarodowejnaukowi-praktycznej konferencji «Perspektywi czneopracowanias^ паиЦ itechnikami - 2013» Volume 34. Nowoczesneinformacyjnetechnologie: Przemysl. Nauka i studia -104 str. 43-45

16. Марчук В.И., Воронин В.В., Фисунов A.B., Сизякин P.A., Гапон Н.В. Метод сжатия двумерных сигналов на основе текстурного анализа изображений // Современная наука: актуальные проблемы и перспективы развития: монография. Книга 3 / под. общ. ред. И.Б. Красиной - Ставрополь: Логос, 2013. - 178 с.

17. Фисунов A.B., Франц В.А., Воронин В.В., Письменскова М.М. Алгоритм определения координат объекта на видеопоследовательности И Международная научно-практическая конференция «Актуальные проблемы техники и технологии», ИСО и П (филиал) ФГБОУ ВПО «Донской гос. техн. ун-т». -Шахты: ИСО и П (филиал) ФГБОУ ВПО «ДГТУ», 2013. - 266с. ISBN 978-593834-681-9

18. Фисунов A.B., Франц В.А., Воронин В.В., Левина О.М. Адаптивный алгоритм обработки карты глубины трехмерной сцены изображения // Международная научно-практическая конференция «Актуальные проблемы техники и технологии», ИСОиП (филиал) ФГБОУ ВПО «Донской гос. техн. унт». - Шахты: ИСОиП (филиал) ФГБОУ ВПО «ДГТУ», 2013. - 266с. ISBN 978-593834-681-9

19. Фисунов A.B., Левина О.М., Франц В.В., Воронин В.В., Кожин P.A. Метод обработки изображений карт глубин, полученных с помощью активных 3D сканеров // Материалы XI Международный научно-технический форум «Инновации, экология и ресурсосберегающие технологии», Ростов н/Д: ДГТУ, 2014.-С. 1341-1346

20. Фисунов A.B., Кожин P.A., Воронин В.В., Левина О.М. Исследование метода повышения разрешения цифровых изображений на основе поиска самоподобных областей // Материалы XI Международный научно-технический форум «Инновации, экология и ресурсосберегающие технологии», Ростов н/Д: ДГТУ, 2014. - С. 1347-1353

21. Фисунов A.B., Воронин В.В. Разработка и исследование алгоритмов трехмерной реконструкции моделей объектов сложной формы // Материалы XI Международный научно-технический форум «Инновации, экология и ресурсосберегающие технологии» , Ростов н/Д: ДГТУ, 2014. - С. 1302-1310

Свидетельства о регистрации программ для ЭВМ 1. Фисунов A.B., Марчук В. И., Воронин В.В., Шерстобитов А.И, Семенищев Е.А. Двумерный двукритериальный метод обработки изображений //

Свидетельство о государственной регистрации программы для ЭВМ: РОСПАТЕНТ, 2012, №2012611921

2. Фисунов A.B., Марчук В.И., Воронин В.В., Кашинцев К.С., Суворов В.В. Модуль ускоренного расчета контуров и узловых точек для больших изображений // Свидетельство о государственной регистрации программы для ЭВМ: РОСПАТЕНТ, 2013, №2013615102

3. Фисунов A.B., Марчук В.И., Воронин В.В., Кашинцев КС., Суворов В.В. Модуль быстрой раскадровки видео с двойным масштабированием // Свидетельство о государственной регистрации программы для ЭВМ: РОСПАТЕНТ, 2013, №2013615101

4. Фисунов A.B., Марчук В.И., Воронин В В., Кашинцев КС., Суворов В.В. Программа для трехмерной реконструкции по набору кадров видеопоследовательности // Свидетельство о государственной регистрации программы для ЭВМ: РОСПАТЕНТ, 2013, №2013615101

5. Фисунов A.B., Марчук В.И., Воронин В.В., Кашинцев КС., Суворов В.В. Программа слежения за движением центра объекта с помощью Kinect // Свидетельство о государственной регистрации программы для ЭВМ: РОСПАТЕНТ, 2013, №2013615101

6. Фисунов A.B., Марчук В.И., Воронин В.В., Кашинцев КС., Суворов В.В. Модуль слежения за точечными особенностями на видеопоследовательности // Свидетельство о государственной регистрации программы для ЭВМ: РОСПАТЕНТ, 2013, №2013615101

7. Фисунов A.B., Марчук В.И., Воронин В.В., Кашинцев КС., Суворов В.В. Программа поиска узловых точек по однопикселыюму контуру // Свидетельство о государственной регистрации программы для ЭВМ: РОСПАТЕНТ, 2013, №2013615101

В работах, написанных в соавторстве, личный вклад автора состоит в следующем: в [1, 4, 5, 13, 18, 19, 21] проведен анализ существующих методов восстановления изображений и карт глубины и представлен новый метод реконструкции карт глубины, использующий значения градиента на цветном изображении и адаптивный медианный фильтр, [2, 3, 17] предложены методы получения информации о трехмерных объектах из карг глубины, [6, 12, 14] описаны методы обнаружения дефектов на изображениях, [7-11] описаны методы обнаружения особых точек на изображениях и картах глубины, [15, 16, 20] проведен анализ методов цифровой обработки изображений и карт глубины.

Заказ №121 от 20.04.2015г. Тираж 120 экз. Бумага офсетная. Печать оперативная. Усл.и.л. 1,0

Отпечатано в типографии ИП Бурыхин Б.М. 346500, Ростовская обл., г. Шахты, ул. Шевченко 143