автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Метод пространственно-временной обработки несинхронизированных видеопоследовательностей в системах стереовидения

На правах рукописи

Пьянков Дмитрий Игоревич

МЕТОД ПРОСТРАНСТВЕННО-ВРЕМЕННОЙ ОБРАБОТКИ НЕСИНХРОНИЗИРОВАННЫХ ВИДЕОПОСЛЕДОВАТЕЛЬНОСТЕЙ В СИСТЕМАХ СТЕРЕОВИДЕНИЯ

05.13.01 - Системный анализ, управление и обработка информации (космические и информационные технологии)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

2013

005058498

Красноярск

-2013

005058498

Работа выполнена в ФГБОУ ВПО «Сибирский государственный аэрокосмический университет имени академика М.Ф. Решетнева» (СибГАУ), г. Красноярск

Научный руководитель: доктор технических наук, доцент

Фаворская Маргарита Николаевна

Официальные оппоненты: Сафонов Константин Владимирович,

доктор физико-математических наук, профессор, федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнёва», зав. кафедрой прикладной математики

Выголов Олег Вячеславович,

кандидат технических наук, начальник лаборатории ФГУП «Государственный научно-исследовательский институт авиационных систем (ФГУП «ГосНИИАС»)

Ведущая организация: Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Сибирский государственный технологический университет»

Защита состоится 14 июня 2013 г. в 14 часов на заседании диссертационного совета Д 212.249.02 при ФГБОУ ВПО «Сибирский государственный аэрокосмический университет имени академика М.Ф. Решетнева» по адресу: 660014, г. Красноярск, проспект имени газеты «Красноярский рабочий», 31

С диссертацией можно ознакомиться в научной библиотеке Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева

Автореферат разослан 2. $ 2013 г.

Ученый секретарь диссертационного совета

А.А. Кузнецов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. В настоящее время стереовидеопоследова-тельности используются в киноиндустрии, в технических, геоинформационных системах, системах контроля и навигации. Стереовидеопоследова-тельность можно преобразовать под метод просмотра при помощи ана-глифных очков, линейной поляризации или затворных ЖК-панелей; с другой стороны, на основе стереовидеопоследовательности можно извлечь глубину сцены и вычислить расстояние до объектов относительно центра камер. Методы оценки движения и интерполяции кадров могут применяться при сжатии изображений, преобразовании форматов видео, повышении качества видеоматериалов. Методы интерполяции видеопоследовательностей позволяют восстанавливать поврежденные кадры, делают движение объектов плавным при просмотре.

Наиболее активные разработки в сфере пространственной и временной коррекции видеопоследовательностей проводятся такими российскими университетами, как: Институт систем обработки изображений РАН (г. Самара), Московский государственный университет, Санкт-Петербургский государственный университет информационных технологий, механики и оптики, Ярославский государственный университет и ряд других организаций. Следует отметить вклад российских ученых, таких как чл.-корр. РАН, д.ф.-м.н. К.В. Рудаков, чл.-корр. РАН, д.т.н. В.А. Сой-фер, д.т.н. В.П. Пяткин, д.т.н. ДМ. Местецкий, д.т.н. В.В. Сергеев, к.т.н. A.A. Лукьяница, д.ф.-м.н. Ю.В. Визильтер. Большой вклад в развитие теории обработки изображений внесли A.C. Алексеев, Т.Б. Борукаев, P.E. Быков, Г.И. Василенко, Ю.Г. Васин, К.К. Васильев, Г.Л. Гимельфарб, Ю.И. Журавлев, B.C. Киричук, Г.П. Катыс, В.Р. Крашенинников, А.П. Немирко, А.И. Перов, Ю.П. Пытьев, Ю.Г. Сосулин, A.A. Спектор, Я.А. Фурман, Н.Г. Федотов и другие. Среди зарубежных учреждений, занимающихся данной тематикой, можно отметить University of California, Massachusetts Institute of Technology, (США), The University of Queensland (Австралия), University of Manchester, Cambridge (Англия), Soongsil University (Южная Корея), University of Muenster (ФРГ).

Однако до сих пор существуют проблемы при построении стереови-деопоследовательностей на основе несинхронизированных видеопоследовательностей. Стереокадры должны быть максимально синхронизированы между собой. С одной стороны проблема решается при помощи аппаратной синхронизации и калибровки камер до стереосъемки. С другой стороны, не всегда имеется возможность калибровки камер до начала стереосъемки, к тому же сцена может быть снята одной и той же камерой с разных ракурсов. Бюджетный вариант видеокамер не позволяет достичь синхронной записи при частоте 24-30 кадров в секунду ввиду различных факторов: различного времени доступа к устройству хранения, несинхронного

старта и т. д. Это обуславливает необходимость длительной обработки и коррекции двух видеопоследовательностей в видеоредакторах, что возможно лишь с участием оператора. Таким образом, данное направление нуждается в совершенствовании методов и алгоритмов пространственно-временной коррекции видеопоследовательностей в задачах стереовидения.

Целью диссертационной работы является повышение качества обработки несинхронизированных видеопоследовательностей в системах стереозрения, видеоредактирования, геоинформационных системах.

Поставленная цель определила необходимость решения следующих

задач:

1. Провести анализ методов, алгоритмов и систем оценки движения и интерполяции, совмещения видеопоследовательностей.

2. Разработать метод временной обработки несинхронизированных видеопоследовательностей на основе оценки движения для построения интерполированных кадров видеопоследовательностей.

3. Усовершенствовать метод пространственной обработки видеопоследовательностей на основе ректификации некалиброванных видеокадров для совмещения видеопоследовательностей.

4. Создать алгоритм пространственно-временной коррекции несинхронизированных видеопоследовательностей в задачах стереовидения.

5. Создать экспериментальный программный комплекс по оценке движения, интерполяции и ректификации некалиброванных видеопоследовательностей.

6. Провести экспериментальные исследования эффективности разработанных алгоритмов на тестовых выборках.

Область исследования. Работа выполнена в соответствии с пунктом 12 «Визуализация, трансформация и анализ информации на основе компьютерных методов обработки информации» паспорта специальностей ВАК (технические науки, специальность 05.13.01 — системный анализ, управление и обработка информации).

Методы исследования. При выполнении диссертационной работы использовались методы теории обработки информации, методы аналитической геометрии, теория распознавания образов, теория математической морфологии, методы объектно-ориентированного программирования.

Паучная новизна диссертационной работы состоит в следующем:

1. Разработан метод временной обработки видеопоследовательностей, основанный на двухэтапной оценке движения видеопоследовательностей с быстрой скоростью передвижения объектов, поступательным и вращательным движением при помощи моментов Зернике и Ху, позволяющий скомпенсировать шумы, дрожание камеры, повысить устойчивость к аффинным преобразованиям объектов в задаче построения интерполированных кадров стереовидеопоследовательностей.

2. Разработан метод временной обработки видеопоследовательностей на основе применения статистик высших порядков, позволяющий производить оценку движения для видеопоследовательностей с медленной скоростью передвижения объектов в задаче построения интерполированных кадров стереовидеопоследовательностей.

3. Усовершенствован метод пространственной обработки видеопоследовательностей, повышающий количество и качество точных соответствий между некалиброванными кадрами видеопоследовательностей на основе процедуры исключения ложных точек, отличающийся устойчивостью фундаментальной матрицы и точностью карт диспаритета при ректификации.

4. Создан алгоритм пространственно-временной коррекции видеопоследовательностей, позволяющий повысить качество анализа данных в задачах стереовидения при обработке несинхронизированных видеопоследовательностей.

Практическая значимость. Предложенные в диссертационной работе методы и алгоритмы предназначены для практического применения в программно-аппаратных комплексах видеоредактирования, для анализа данных, полученных аэрофотосъемкой и спутниковой фотографией, в системах стереозрения. На основе диссертационных исследований разработана библиотека программных модулей для создания систем оценки движения и интерполяции кадров видеопоследовательностей, для построения стереовидеопоследовательности из несинхронизированных видеопоследовательностей.

Реализация результатов работы. Разработанная программа «Анализ методов оценки движения на основе инвариантных моментов в задаче интерполяции видеопоследовательностей (МоНопМотеМй у.1)» зарегистрирована в Российском реестре программ для ЭВМ г. Москва, 16 ноября 2012 г. (свидетельство № 2012660384).

Получен акт о передаче алгоритмического и программного обеспечения для редактирования видеопоследовательностей и дальнейшего использования в ООО «ДИИП» (г. Санкт-Петербург) от 18 марта 2013 года. Получен акт об использовании материалов диссертационного исследования в учебном процессе Сибирского государственного аэрокосмического университета. Разработанные алгоритмы и программное обеспечение используются в учебном процессе при проведении лекций, лабораторных и практических занятий по дисциплинам «Теоретические основы цифровой обработки изображений», «Алгоритмы обработки изображений и видеопоследовательностей», «Анализ сцен и машинное зрение» в Сибирском государственном аэрокосмическом университете им. академика М. Ф. Решет-нева.

Основные положения, выносимые на защиту:

1. Разработанный метод временной обработки видеопоследовательностей с применением моментов Зернике для видеопоследовательностей с быстрой скоростью передвижения объектов, поступательным и вращательным движением, зашумленными областями движения.

2. Разработанный метод временной обработки видеопоследовательностей с применением статистик высших порядков для видеопоследовательностей с медленной скоростью передвижения объектов.

3. Усовершенствованный метод пространственной обработки видеопоследовательностей для повышения качества ректификации некалиб-рованных кадров видеопоследовательностей.

4. Алгоритм пространственно-временной обработки несинхронизи-рованных видеопоследовательностей в задачах стереовидения.

Апробация работы. Основные положения и результаты диссертации докладывались и обсуждались на XII, XIII и XVI международных научных конференциях «Решетневские чтения» (Красноярск, 2008, 2009, 2012 гг.), XI всероссийской научно-технической конференции «Теоретические и прикладные вопросы современных информационных технологий» (Улан-Удэ, 2012), всероссийских конференциях «Техническое зрение в системах управления» (Москва, 2012, 2013), всероссийских научных конференциях студентов, аспирантов и молодых ученых «Наука. Технологии. Инновации» (Новосибирск, 2008, 2009, 2010, 2012), 13-й и 15-й международной конференции и выставке «Цифровая обработка сигналов и ее применение» (Москва, 2011, 2013), 16-й международной научно-технической конференции «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций» (Рязань, 2010), I всероссийской научной конференции молодых ученых «Теория и практика системного анализа» (Рыбинск, 2010), всероссийских конференциях «Актуальные проблемы авиации и космонавтики» (Красноярск, 2008, 2009), VII всероссийской научно-практической конференции с международным участием «Информационные технологии и математическое моделирование» (Анжеро-Судженск, 2008), а также на научных семинарах лаборатории систем цифровой обработки изображений СибГАУ.

Публикации. По результатам диссертационного исследования опубликовано: 21 печатная работа, из них 3 статьи в научных изданиях из перечня ВАК, 17 тезисов докладов, 1 свидетельство, зарегистрированное в Российском реестре программ для ЭВМ.

Структура работы. Работа состоит из введения, трех глав, заключения, списка литературы и приложения. Основной текст диссертации содержит 129 страниц, изложение иллюстрируется 39 рисунками и 13 таблицами. Библиографический список включает 172 наименования.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность работы, сформулирована цель и поставлены задачи исследования, показана научная новизна и практическая ценность выполненных исследований, представлены основные положения, выносимые на защиту.

В первой главе рассмотрены существующие методы пространственно-временной коррекции видеопоследовательностей, предназначенные для решения проблемы построения стереовидеопоследовательностей на основе несинхронизированной пары видеопоследовательностей, приведена классификация известных методов, а также проанализированы характеристики существующих систем пространственно-временной коррекции видеопоследовательностей.

Методы временной коррекции видеопоследовательностей предназначены для преобразования частоты кадров видеопоследовательностей на основе интерполяции (табл. 1).

Таблица 1

Классификация методов преобразования частоты кадров _видеопоследовательностей

Категории Методы

Методы без оценки движения Повторение кадров (Frame Repetition) Линейная интерполяция (Linear Interpolation)

Методы на основе оценки движения Слежение за особенными точками (Feature Tracking) Методы оптического потока (Optical Flow) Методы фазовой корреляции (Phase Correlation) Методы глобальной компенсации движения (Global Motion Estimation) Сопоставительные методы (Block-Matching Algorithm)

Методы пространственной коррекции видеопоследовательностей предназначены для выделения и сопоставления особенностей изображений, выравнивания изображений, вычисления карты диспаритета (табл. 2). Группа методов выделения особенностей изображений осуществляет поиск особых точек-детекторов на каждом изображении, инвариантных к масштабированию и вращению. Группа методов сопоставления особенностей изображений предназначена для нахождения дескрипторов - векторов, которые описывают локальную окрестность вокруг особой точки. Методы ректификации применяются для выравнивания и переноса изображений в одну плоскость.

Существующие программные средства, решающие задачу преобразования частоты кадров для получения интерполированных кадров и совмещения кадров, ориентированы на работу в интерактивном режиме, их возможности по автоматической обработке ограничены, коррекция видеопоследовательностей требует активного участия оператора (табл. 3).

Таким образом, проведенный анализ существующих методов и алгоритмов показал, что требуется развитие методов пространственно-временной коррекции несинхронизированных видеопоследовательностей в задачах стереовидения.

Таблица 2

Классификация методов пространственной коррекции _видеопоследовательностей_

Категории Подгруппы Методы

Методы выделения особенностей Определение особенностей - Особенности регионов - Особенности линий - Особенности точек

Методы сопоставления особенностей Методы, основанные на интенсивности - Корреляционные методы - Методы Фурье - Методы взаимной информации

Методы, основанные на характеристических признаках изображений - Методы, использующие пространственные отношения - Методы, использующие инвариантные дескрипторы (моменты Ху, Зернике, Лежандра, полигоны, цепные коды) - Релаксационные методы - Пирамиды и вейвлеты

Методы выравнивания изображений Методы определения фундаментальной матрицы - М-точечные алгоритмы - ИАШАС - Алгоритмы вычисления наименьшей медианы квадратов

Методы ректификации - Планарная ректификация - Полярная ректификация - Цилиндрическая ректификация

Методы вычисления диспаритета - Корреляционные методы - Методы вырезки графа - Методы полуглобального сопоставления

Во второй главе диссертации представлены методы и алгоритмы временной обработки несинхронизированных видеопоследовательностей на основе оценки движения для построения интерполированных кадров видеопоследовательностей с различной скоростью передвижения объектов. Представлен усовершенствованный метод пространственной обработки видеопоследовательностей, позволяющий повысить количество и качество точных соответствий между некалиброванными кадрами видеопоследовательностей, устойчивость фундаментальной матрицы при ректификации некалиброванных кадров видеопоследовательностей. Предложен алгоритм пространственно-временной коррекции видеопоследовательностей для повышения качества обработки несинхронизированных видеопоследовательностей в задачах стереовидения.

Таблица 3

Сравнительная характеристика систем пространственно-временной _коррекции видеопоследовательностей_

Система Описание

VirtualDub (США) Программный исследовательский комплекс обработки видеопоследовательностей (в комплекте плагин «MSU FRC» (РФ) для преобразования частоты кадров видеопоследовательностей)

AviSynth (США) Программная исследовательская система-фреймсервер обработки видеопоследовательностей на основе скриптов (в комплекте библиотека «MVTools» с модулем «MFlowFps» (РФ) для построения интерполированных кадров)

RealViz Retimer (США) Программный коммерческий комплекс обработки видеопоследовательностей для автоматической генерации высокоточных промежуточных кадров

Adobe AfterEffects (США) Программный коммерческий комплекс автоматизированной обработки видеопоследовательностей с поддержкой плагинов (в комплекте плагин «Twixtor», предназначенный для синхронизации и изменения частоты видеокадров с минимальными потерями)

Adobe Premiere Pro (США) Программная коммерческая система нелинейной обработки видеопоследовательностей с поддержкой плагинов (в комплекте плагин «Time Warp», позволяющий замедлять или ускорять частоту кадров видеопоследовательностей с минимальными артефактами, выбирать метод интерполяции)

Mayachitra VideoReg (США) Программная коммерческая система, предназначенная для совмещения и стабилизации видеопоследовательностей

Automated Image Registration (США) Программная коммерческая система, предназначенная для сопоставления кадров видеопоследовательностей и ректификации искаженных кадров

Сложность задачи состоит в том, что алгоритм должен обладать устойчивостью к повороту и сдвигу объектов, также может возникать рас-синхронизация кадров видеопоследовательностей, а камеры могут быть не откалиброваны. Ограничения и условия, предъявляемые к входным видеопоследовательностям, представлены в табл. 4.

Процесс пространственно-временной коррекции видеопоследовательностей представим в виде следующих этапов:

I этап. Предварительная обработка сцены видеопоследовательностей:

- устранение шумов;

- выделение переднего плана и области фона;

- морфологическая обработка полученных областей.

- поиск связанных областей с их последующим анализом.

II этап. Временная обработка сцены видеопоследовательностей:

- предварительная оценка движения на основе сопоставительных методов;

- уточненная оценка быстрого движения на основе инвариантных моментов Ху и Зернике, медленного движения на основе статистик высших порядков;

- интерполяция кадров.

III этап. Пространственная обработка сцены:

- поиск точечных особенностей изображений;

- ректификация изображений;

- совмещение видеопоследовательностей.

Таблица 4

Ограничения и условия, предъявляемые к входным _видеопоследовательностям

Ограннченне Критерий

Вид объектов Изображение объектов небольшого размера на переднем плане

Размер объектов Не менее 1% площади кадра Не более 20% площади кадра

Длительность видеопоследовательностей Без ограничений (в зависимости от аппаратных возможностей)

Длительность сцены Более 10 кадров

Тип движения в сцене Быстрое, медленное, со смещением, допускается вращательное движение, без изменения масштаба

Яркостные изменения между камерами Допускаются незначительные

Смещение между центрами камер по оси у Допускается до 15°

На этапе предварительной обработки сцены происходит вычисление статистической модели фона и разделение сцены на фон и передний план с дальнейшим преобразованием к бинарному виду методом пороговой бинаризации. Далее применяется морфологическая обработка, операции сжатия и расширения для более эффективного соединения слабосвязанных областей. После этого проводится классификация групп связанных объектов, исключая группы, не удовлетворяющие условиям геометрических признаков, либо условию накладываемой маски заданной формы. Результатом данного этапа будут области интереса переднего плана, представленные в виде графических примитивов, удобных для последующей обработки.

На этапе временной обработки сцены рассматривается видеопоследовательность У8и(ь)|г_(, где Ь - кадр, ?е{0,1,2,3,...} - номер кадра, г -общее количество кадров. Между каждыми соседними кадрами необходимо вставить определенное число кадров, заданное параметром ие{2,3,...}, показывающим, во сколько раз требуется увеличить частоту кадров исходной видеопоследовательности. После преобразования частоты кадров выходная видеопоследовательность У8„,„(Ь]|_ имеет вид:

где Ас - выбор текущего Ь, и последующего Ъ1+1 кадров; А;- алгоритм интерполяции кадров; Ар- вставка интерполированных кадров Ь/, /=2(и-1); / - количество интерполированных кадров; г - общее число кадров.

На предварительном этапе оценки движения применяется блочно-сопоставительный метод, позволяющий не только найти области движения, но и установить тип движения на протяжении нескольких кадров исходной видеопоследовательности. Вычисление вектора движения происходит при помощи блочно-сопоставительного метода с фиксированным размером блока: рассматривается текущий кадр Ь, и последующий кадр Ьц.ь кадры Ь, и Ь,н разбиваются на равные блоки В, размер которых кратен 2 и определяется параметром смещения. На кадре Ь(+1 находится сумма ^ значений яркостей пикселов данного блока В и определяется наличие движения между кадрами Ь, и Ь,+1 для заданного блока В по пороговому значению. Задается параметр смещения ,у/г//?(р), где р - число пикселей, определяющих смещение, па кадре Ь,, ] находятся соседние блоки по диагоналям, вертикали и горизонтали относительно рассматриваемого блока В с кадра Ь„ смещенные от этого блока на величину нкЩр). На кадре Ь, аналогично находятся суммы значений пикселей соседних блоков по диагоналям, вертикали и горизонтали яв-. Для принятия решения о направлении вектора движения минимизируется функция ошибки при помощи метрики

Находится блок, содержащий минимальное значение ошибки. Он указывает направление вектора движения для блока В на кадре Ь^. Анализируются следующие блоки на кадрах Ь, и Ь^; процедура повторяется до тех пор, пока все блоки не будут просмотрены. В результате работы данного алгоритма будет построено поле векторов движения. Из всех аффинных преобразований актуальными (в контексте задачи интерполяции) являются сдвига и повороты; резкое изменение масштаба практически не встречается на двух соседних кадрах. Поэтому классификация движения сводится к поступательному и/или вращательному движениям. Строятся локальные векторы движений от кадра к кадру, анализируются углы векторов, и методом голосования определяется тип движения, что позволяет отслеживать траектории объектов на этапе уточненной оценки движения.

Уточненная оценка движения для видеопоследовательностей с быстрой скоростью передвижения объектов является этапом, включающим оценку движения при помощи моментов Ху (а при наличии некомпенсированных шумов и вращения объектов - при помощи моментов Зернике). Отслеживание траекторий движения найденных объектов отчасти позволяет сократить вычисления. В качестве уточненной оценки движения для ви-

ББО:

(2)

деопоследовательностей с быстрой скоростью передвижения объектов предлагается вычислять семь инвариантных моментов Ху для блока В текущего кадра L(, а также аналогичного блока R и соседних смещенных на величину shift блоков по диагонали, вертикали и горизонтали на последующем кадре L/+i:

<Pi = Л20-Л02; Ф2 =ОЪО-ЛО2)2+4ЛП;

Фз = (Лзо-ЗЛ12)2 +(3л21 -л03)2;

ч>4 =01зо+Лп)2+СПл+'Поз)2;

Ф5 = (Лз0 -ЗТ1П)(Л30 + Л,2)[(ЛзО +ПпУ -3(Л21 +Лоз)2]+ (3)

(ЗЛ21 _ Лоз)(Л21 +ЛоЗ )[з(л зо +Лп)2 — (Л21 +Лоз)2];

Фб = (Л20 -Ло2)[(ЛзО +Лп)2 -(Л21 +Лоз)2]+4Лп(ЛзО +Л12)(Л2, +Лоз);

Ф7 =(3л21 -ЛозХЛзо +Л12)[(Лзо +Л12)2 -3(л21 +Лоз)2]-

(Лзо -Зл,2)(л21 +Лоз)[3(Лзо +Л]2)2 -(л21 +Лоз)2]' где фп - моменты Ху, r|Pq — нормализированные центральные моменты.

Каждый блок характеризуется семью значениями моментов Ху. Метрика похожести блоков вычисляется при помощи Евклидова расстояния:

M(b,R)=¿¡(sign(cpf )in(9:))- ;(Sign(9: )1п(Ф:)|, ^

И—1

где В - блок В(х, у) текущего кадра L,; R - блок на последующем кадре L,+i (центральный и 8 смежных блоков).

Чем меньше значение метрики (4), тем более блоки похожи друг на друга; направление вектора движения определяется по минимуму из 9 соответствий, вычисленных на основе метрики:

moveHu = min (M(B,R)). (5)

Набор полиномов Зернике {Vm„(x, у)}, определенных на внутренней области единичной окружности х2 + у2 = 1, в общем виде может быть записан как:

К„ (*, у) = Ут (р, q) = Rnm (р) ехро;0),

(6)

(и-!т|)/2

RJp)- £ (-1)

9 =

(n-s)!

. п + т .. — I т

-р

n-2J

где п — порядок полинома (положительное число или 0), т — частота полинома (должна удовлетворять условиям п — \т\ четное и \т\ < п), р — расстояние от центра единичной окружности до пиксела (х, у), 9 - угол между век-

тором и осью ОХ в направлении против часовой стрелки, Япт(р) - радиальные полиномы.

В качестве уточненной оценки движения для видеопоследовательностей с быстрой скоростью передвижения объектов предлагается вычислять девять моментов Зернике с различным порядком и частотой радиального полинома для каждого сравниваемого блока: ^оо(р), Лп(р), Л2о(р), /?2г(р), Дз1(р), Л33(р), &ш(р), -^«(р), -^44(р) (рис. 1). Сравнение и выбор наиболее похожего блока и направления вектора движения осуществляется с использованием метрики (4).

а б

Рисунок 1. Уточненная оценка быстрого движения методом моментов Зернике: а) исходный кадр; б) следующий кадр

В качестве уточненной оценки движения для видеопоследовательностей с медленной скоростью передвижения: объектов применяется метод оценки движения с использованием статистик высших порядков, в частности, эксцесса распределения случайной величины. Эксцесс выступает в качестве меры активности каждого пиксела и используется для локализации активных и статичных пикселов в видеопоследовательностях. Разность значений яркости между кадрами к и к+\ для каждого пиксела р(х,у) обозначим в виде последовательности wk(p), 1 < к < N, для видеопоследовательности с общим числом кадров N. Введем две гипотезы: Но - отсутствие движения и наличие движения в сцене:

Ht:wl(p) = zt(p) и Я,: wlk{p) = vk{p)+zk{p), (7)

где vk(p) - изменение яркости пикселов, связанное с движением в сцене, zk(p) - шум, р - пиксел кадра с координатами (х, у).

Накопление N— 1 таких разностей для всей видеопоследовательности формирует временные ряды W'(p)= [w¡(р),.,.,w'N(p)],i е {0,1}. Гипотеза Я0 содержит временной ряд W°(p), включающий в себя шум zk(p), который часто моделируется гауссовским распределением. Гипотеза Н\ содержит временной ряд W'(p), моделируемый неизвестным распределением из-за неизвестной скорости vk{p), 1 <к< N, содержащий также шум zk(p). Определим эксцесс а4, являющийся классической мерой гауссовости случайной

величины, для каждого пиксела р{х,у) на протяжении всей видеопоследовательности:

i(wk(p)-M(w(p))Y а.(р) = —-т--3, (8)

где wk(p) - разность значений яркости между кадрами к и к+\ для каждого пиксела р в виде последовательности, W(p) - последовательность разностей значений яркости пиксела р(ху) между всеми кадрами текущей видеопоследовательности, M(W(p)) - арифметическое среднее значение последовательности W(p) для пиксела р(х,у), N- общее число кадров видеопоследовательности, c(W(p))4 - квадрат среднеквадратичного отклонения последовательности Щр) для пиксела р(х,у), вычисляемый выражением:

a(W(p)Y =

(9)

В результате для каждого пиксела р{х,у) текущего кадра к вычисляется значение эксцесса. Чем больше значение эксцесса, тем более вероятно, что в данной области происходит движение. Если значение эксцесса стремится к нулевому значению, более вероятно, что в данной области шум. Поэтому, чтобы исключить ложные соответствия, введем значение порога, по которому можно будет построить маску активности кадра:

threshold = \М(а4 0))| + 4 ■ о(а4 (р)\ (10)

где М(й4(р)) - арифметическое среднее значение эксцесса, вычисленного для каждого пиксела р(х,у) по всем кадрам сцены, ст(а4(р)) - среднеквадра-тическое отклонение эксцесса, вычисленного для каждого пиксела р(х,у) по всем кадрам сцены.

Таким образом, считаем, что значение эксцесса для рассматриваемого пиксела, превышающее среднее значение эксцесса (больше, чем на 10%), указывает на то, что в данном пикселе происходит движение. Построим бинарную маску активности Р{х,у) для заданного кадра к:

\1, если а,(р)> threshold Р{х,у) = \ (11)

[0, если <з4 (р) < thresold.

Таким образом, для каждого кадра к заданной сцены будет построена бинарная маска активности пикселов, значение 0 означает шум, движения нет, значение 1 - движение в пикселе присутствует (рис. 2).

Данные, полученные на этапе уточненной оценки движения, представляются в виде ансамбля векторов, вычисленных на основе моментов Ху или Зернике, либо эксцесса. Далее происходит поблочная интерполяция кадров, где рассматривается текущий кадр L, и последующий кадр с найденным вектором движения (2) для блока В. Пусть d - количество интерполированных кадров, которые необходимо добавить между кадрами L,

и L,+,. Рассматривается каждый пиксел Св блока В(х, у) на текущем кадре L,{х,у) и каждый пиксел CR блока R{x,y) на следующем кадре L 1+](х,у). В соответствии с направлением вектора движения на каждом интерполированном кадре пиксел плавно изменяет значение каждой цветовой компоненты (Y, U, V) С,„.

а) б)

Рисунок 2. Уточненная оценка медленного движения на основе эксцесса для видеопоследовательности «Person23_walking_dl_uncompyy. а) Кадр 387, б) Кадр 404, в) маска активности между кадрами, вычисленная на основе эксцесса

Для получения плавных интерполированных кадров используется выражение, представляющее собой линейную интерполяцию значений пикселов (отдельно для каждой цветовой компоненты):

C'U'V) = C7'U'V) + (C<YU'V) - C<Y'U'V))-1 ,t e [0,1] , (12)

где Q(Y,u,V) - значение цветовой компоненты (У, U, V) пиксела (х, у) блока В(х, у) на текущем кадре L,(x, у); CÄ(Y U'V) - значение цветовой компоненты (У, U, V) пиксела {х,у) блока R{x,y) на последующем кадре L,+ ](x,jy); C,„(Y'U'V) - значение цветовой компоненты (У, U, V) пиксела {х, у) на интерполированном кадре L„(x, у); t - параметр, задающий линейное смещение пикселов на каждом интерполированном кадре:

i = (13)

Параметр t изменяется в интервале Ге[0...1], что дает плавное смещение цветовых компонент для каждого интерполированного кадра. Процедура повторяется до тех пор, пока все блоки не будут интерполированы. Таким образом, будет получено d интерполированных кадров между исходными кадрами L, и L,+i видеопоследовательностей.

На этапе пространственной обработки сцены применяется усовершенствованный метод коррекции несинхронизированных видеопоследовательностей (рис. 3). Первоначально определяются особые точки, вычисляются их дескрипторы для каждого изображения при помощи алгоритма SIFT, дескрипторы сравниваются между собой. Результатом данного сравнения будет два множества дескрипторов с сопоставленными кандидатами для каждого дескриптора, содержащих как подходящие, так и ложные соответствия. После того, как для каждого особого дескриптора будут полу-

чены два соответствующих дескриптора-кандидата, производится проверка отношения расстояний между кандидатами и дескриптором. Для этого сравнивается мера расстояния относительно выбранного дескриптора и его дескрипторов-кандидатов сИиНк^) и согласно выражению:

к,)

Если отношение расстояния первого кандидата ) и второго

кандидата относительно выбранного дескриптора не превышает за-

данный порог г, обозначающий максимальное расстояние между кандидатами, то оба кандидата принимаются. Данная процедура предназначена для уменьшения количества ложных соответствий в исходных множествах дескрипторов. Полученная пара относительно хороших множеств сопоставленных дескрипторов из первого изображения ко второму и из второго к первому проходит процедуру симметричного сравнения, согласно которой из этих множеств извлекаются пары соответственные точек, которые принадлежат обоим множествам.

г)

Рисунок 3. Этапы пространственной обработки некалиброванных видеопоследовательностей: а) исходная некалиброванная пара, б) поиск особых точек, в) ректификация, г) вычисленный диспаритет

На основе соответственных пар лучших точек вычисляется фундаментальная матрица. Для более точной оценки фундаментальной матрицы пары соответственные точек должны состоять только из хороших точек, исключая ложные. Применяется процедура формирования набора наилуч-

ших сопоставленных пар точек с исключенными ложными точками методом ЯАЖАС для формирования точной фундаментальной матрицы. На основании набора наилучших сопоставленных пар точек с исключенными ложными точками вычисляется фундаментальная матрица при помощи восьмиточечного алгоритма. Происходит ректификация изображений на основании точной вычисленной фундаментальной матрицы, вычисляется карта диспаритета для ректифицированных изображений при помощи метода полуглобалыюго сопоставления, устойчивого к шуму.

Следующим этапом пространственной обработки сцены является совмещение откалиброванных видеопоследовательностей, позволяющее выбирать наилучшие кадры из всех интерполированных кадров для получения синхронизированной стереопары и построения стереовидеопоследо-вательности. Алгоритм заключается в сравнении откалиброванных интерполированных кадров левой видеопоследовательности Ь, с кадром Я, правой видеопоследовательности и выборе наиболее подходящего интерполированного кадра. Осуществляется выборка интерполированных кадров левой видеопоследовательности и соответствующего кадра правой видеопоследовательности.

Находится попиксельная межкадровая разность с помощью функции, определяющей пиковое отношение сигнала/шум:

р™г{1)=20[оё>°1Ж > ^

где /Л5«г(/) - значение схожести между интерполированным кадром Ь, левой видеопоследовательности и кадром Я, правой видеопоследовательности; МАХе [0...255] - максимальное значение, принимаемое пикселем изображения; МБЕ - среднеквадратичное отклонение для каждой цветовой компоненты пикселя, вычисляемое по формуле:

1.Т(гЛх.у)-г^,у)У Т1{иХх,у)-иЛх,у)У

ШкМ-кМ)2

(16)

ЗИнг

где А - высота кадра; IV - ширина кадра; У/;, ия, Ук - значения цветовых компонент пикселя (х,у) на кадре Я, правой видеопоследовательности; У/,, Уи VI - значения цветовых компонент пикселя (х,у) на интерполированном кадре Ь/ левой видеопоследовательности.

Третья глава посвящена вопросам разработки приложений пространственно-временной коррекции видеопоследовательностей в задачах стереовидения на основе разработанных методов и алгоритмов. Приведена структурная схема экспериментального программного комплекса, пред-

ставлены методика и результаты тестирования разработанных методов и алгоритмов.

В результате практической апробации методов был разработан экспериментальный программный комплекс, позволяющий осуществлять оценку движения и интерполяцию кадров, ректификацию и совмещение видеопоследовательностей. Наименования разработанных модулей и их функциональные характеристики приведены в табл. 5, а структурная схема изображена на рис. 4.

Таблица 5

Разработанные программные модули и их назначение

Название модуля Функциональная характеристика

1. Модуль предварительной обработки Осуществляет разделение сцены на передний план и фон, классификацию групп связанных объектов

2. Модуль временной коррекции Осуществляет оценку движения и интерполяцию кадров

3. Модуль пространственной коррекции Осуществляет поиск особенных точек на видеопоследовательностях, ректификацию кадров, совмещение видеопоследовательностей

Рисунок 4. Структурная схема экспериментального программного комплекса

Было произведено тестирование разработанного метода временной коррекции видеопоследовательностей при помощи тестовой базы видеопоследовательностей «Xiph.org Video Test Media» (США), содержащей объекты с поступательным и вращательным движением. Результаты приведены в табл. 6 и 7.

Практически на всех тестовых видеопоследовательностях метод моментов Зернике дает самую высокую точность найденных векторов (до 86%), особенно при вращении объектов. Метод Ху наиболее устойчив к вращению и повороту объекта, однако дает меньшую точность найденных векторов движения, чем метод моментов Зернике. Дольше всего вычисляется метод моментов Зернике.

Для оценки эффективности метода обнаружения движения на основе эксцесса использовался тестовый набор из базы видеопоследовательностей

«Action Database» (Великобритания), содержащий объекты, движущиеся с разными скоростями.

Таблица 6

Точность векторов движения для видеопоследовательности «Coastguard», _отображающей объект с поступательным движением_

Размер блока, пике. Смещение Точность, %

между блоками, пике. SSD Моменты Ху Моменты Зернике

4 70,88 70,59 71,15

4x4 2 72,58 72,37 72,70

1 73,33 72,48 73,38

8 70,67 72,93 73,60

8x8 4 72,50 75,03 76,95

1 74,88 75,61 75,02

16 77,54 76,50 79,71

16x16 8 75,04 74,46 75,71

1 73,79 72,96 80,27

Таблица 7

Точность векторов движения для видеопоследовательности «Horse», отображающей объект с поступательным и вращательным движением

Размер блока, пике. Смещение между блоками, пике. Точность, %

SSD Моменты Ху Моменты Зернике

4x4 4 72,94 73,51 79,03

2 72,96 74,26 81,25

1 74,46 79,47 82,60

8x8 8 75,70 77,83 83,78

4 70,08 78,26 84,12

1 72,56 79,09 85,55

16x16 16 79,95 73,23 83,28

8 77,28 76,93 84,04

1 76,20 78,33 86,94

Для каждой видеопоследовательности был вычислен эксцесс, а также была произведена оценка движения на основе моментов Зернике. При помощи экспериментального программного обеспечения были вычислены эталонные векторы движения каждого блока объекта. Были произведены расчеты векторов движения объектов для видеопоследовательностей, которые сравнивались с эталонными векторами движешы. В табл. 8 представлены обобщенные результаты оценки движения различным методами для двух наборов тестовых видеопоследовательностей (200 видеопоследовательностей, от 400 до 1200 кадров в каждой).

Таблица 8

Экспериментальные оценки методов обнаружения движения

Сцены Метод оценки движения на основе эксцесса Метод оценки движения на основе моментов Зернике

Правильные соответствия, % Ложные соответствия, % Условные операции, тыс. опер. Правильные соответствия, % Ложные соответствия, % Условные операции, тыс. опер.

С медленной скоростью движения 87,88 13,81 242-276 79,45 22,68 453-514

С быстрой скоростью движения 77,59 24,06 242-276 86,34 16,32 453-514

Анализ полученных данных позволяет говорить о том, что метод оценки движения на основе эксцесса для видеопоследовательностей с медленной скоростью передвижения объектов дает более точный результат (88% правильных соответствий). Метод оценки движения на основе моментов Зернике для видеопоследовательностей с быстрой скоростью передвижения объектов более точен (86% правильных соответствий), но время выполнения такого метода значительно превышает время выполнения метода на основе эксцесса.

Для оценки точности фундаментальной матрицы и карт диспаритета была использована база изображений Миддлберийского колледжа (США), которая представляет множество пар ректифицированных изображений и точные карты диспаритета. Для оценки предлагаемого алгоритма были выбраны четыре пары изображений «Tsukuba», «Venus», «Teddy», «Cônes» и их точные карты диспаритета. Результаты тестирования представлены в табл. 9, содержащей усредненные точные значения карт диспаритета для всех тестовых пар изображений.

Таблица 9

Сравнение точности карт диспаритета алгоритмов поиска особенностей и оценки фундаментальной матрицы_

Поиск особенностей Оценка фундаментальной матрицы Точность карт диспаритета. %

RANSAC LMedS 7-точечный алгоритм 8-точечный алгоритм Модифицированный алгоритм

SIFT 76,3 67,7 65,7 75,2 79,8

SURF 74,2 66,5 64,2 72,9 76.4

ORB 69,3 62,7 62,4 68,1 72,3

Анализ полученных данных позволяет говорить о том, что предлагаемый алгоритм совмещения некалиброванных пар видеокадров с использованием SIFT в качестве поиска особенностей превосходит другие алгоритмы на 3-4%.

В заключении сформулированы основные результаты и выводы, полученные в диссертационной работе.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

1. Предложен метод временной обработки видеопоследовательностей с применением моментов Зернике, позволяющий эффективно (до 86%) производить оценку движения для видеопоследовательностей с быстрой скоростью передвижения объектов, поступательным и вращательным движением, зашумленными областями движения.

2. Разработан метод временной обработки видеопоследовательностей с применением статистик высших порядков, позволяющий производить оценку движения для видеопоследовательностей с медленной скоростью передвижения объектов с точностью до 88%.

3. Усовершенствован метод пространственной обработки несин-хронизированных видеопоследовательностей, позволяющий повысить количество и качество точных соответствий между некалиброванпыми кадрами видеопоследовательностей, устойчивость фундаментальной матрицы при ректификации некалиброванных кадров видеопоследовательностей, превосходящий существующие алгоритмы на 3-4%.

4. Разработан алгоритм пространственно-временной коррекции видеопоследовательностей для повышения качества обработки несинхрони-зированных видеопоследовательностей в задачах стереовидения.

5. Создан экспериментальный программный комплекс, позволяющий осуществлять оценку движения и интерполяцию кадров, ректификацию и совмещение видеопоследовательностей.

Таким образом, разработанные методы и алгоритмы позволяют повысить качество обработки несинхронизированных видеопоследовательностей в системах стереозрения, видеоредактирования, геоинформационных системах.

Основные положения н результаты диссертационной работы представлены в следующих работах автора. Список статей и материалы конференций приведены в хронологическом порядке.

Статьи в рецензируемых научных изданиях и журналах, входящих в перечень ВАК:

1. Пьянков, Д.И. Оценка движения на основе инвариантных моментов в задаче интерполяции стереовидеопоследовательностей / М.Н. Фавор-

екая, Д.И. Пьянков // Вестник компьютерных и информационных технологий. - М., 2013. - № 3. - С. 14-20.

2. Пьянков, Д.И. Пространственная обработка несинхронизирован-ных видеопоследовательностей на основе ректификации кадров // Программные продукты и системы. — Тверь, 2013. - № 1. — С. 61-66.

3. Пьянков, Д.И. Алгоритмы пространственно-временной коррекции видеопоследовательностей в задачах стереовидения // Вестник Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева. - Вып. 4 (37). - Красноярск, 2011. - С. 69-74.

Материалы конференций, статьи в сборниках:

1. Пьянков, Д.И. Коррекция некалиброванных видеопоследовательностей на основе интерполяции и совмещения кадров // В материалах 15-й международной конференции «Цифровая обработка сигналов и ее применение», в 2 т. - Т. 2, - М., 2013. - С. 26-28.

2. Пьянков, Д.И. Анализ методов и систем оценки движения, сегментации и сопоставления видеопоследовательностей // В материалах всероссийской научной конференции молодых ученых «Наука. Технологии. Инновации», в 7 ч. - Ч. 2. - Новосибирск, 2012. - С. 120-122.

3. Пьянков, Д.И. Практическая реализация методов оценки движения в задаче интерполяции видеопоследовательностей // В материалах XVI международной научной конференции «Решетневские чтения», в 2 ч. — Ч. 2. - Красноярск, 2012. - С. 636-637.

4. Пьянков, Д.И. Формирование инвариантного ансамбля векторов для оценки движения в видеопоследовательностях / Д.И. Пьянков, А.Н. Горошкин // Теоретические и прикладные вопросы современных информационных технологий. — Улан-Удэ, 2012. — С. 402-405.

5. Пьянков, Д.И. Пространственно-временная коррекция видеопоследовательностей в задачах стереовидения / М.Н. Фаворская, Д.И. Пьянков, А.Н. Горошкин // Механика, управление и информатика. - Вып. 8. -М., 2012.-С. 122-126.

6. Пьянков, Д.И. Классификация методов сегментации видеопоследовательностей // В материалах всероссийской научной конференции молодых ученых «Наука. Технологии. Инновации», в 6 ч. - Ч. 3. - Новосибирск, 2011. - С. 70-72.

7. Пьянков, Д.И. Интерполяция кадров в задачах пространственно-временной коррекции стереовидеопоследовательностей // В материалах 13-й международной конференции «Цифровая обработка сигналов и ее применение», в 2 т. - Т.2. — М., 2011. — С. 173—176.

8. Пьянков, Д.И. Оценка движения для интерполяции кадров в задачах стереовидения / Д.И. Пьянков, А.Н. Горошкин // В материалах 16-й международной научно-технической конференции «Проблемы передачи и

обработки информации в сетях и системах телекоммуникаций». - Рязань, 2010.-С. 151-152.

9. Пьянков, Д.И. Обзор методов пространственно-временной коррекции видеопоследовательностей в задачах стереовидения / Д.И. Пьянков, А.Н. Горошкин // В трудах I всероссийской научной конференции молодых ученых «Теория и практика системного анализа», в 2 т. - Т.1. - Рыбинск, 2010.-С. 105-111.

10. Пьянков, Д.И. Практическая реализация фрактального алгоритма сжатия изображений // В сборнике трудов VII Всероссийской научно-практической конференции с международным участием «Информационные технологии и математическое моделирование». — Анжеро-Судженск, 2008. - С. 56-57.

Свидетельства о регистрации программных продуктов:

1. Пьянков, Д.И. Анализ методов оценки движения на основе инвариантных моментов в задаче интерполяции видеопоследовательностей (MotionMoments v.l) / Д.И. Пьянков, М.Н. Фаворская // Свидетельство № 2012660384. Зарегистрировано в Реестре программ для ЭВМ г. Москва, 16 ноября 2012 г.

Пьянков Дмитрий Игоревич

Метод пространственно-временной обработки несинхронизированных видеопоследовательностей в системах стереовидения

Автореферат

Подписано к печати Формат 60x84/16. Бумага писчая. Печ. л. 1.0 Тираж 100 экз. Заказ № '/. 36

Отпечатано в отделе копировальной и множительной техники СибГАУ 660014 г. Красноярск, пр. им. газеты «Красноярский рабочий», 31

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева»

На правах рукописи

\ryj-

Пьянков Дмитрий Игоревич

МЕТОД ПРОСТРАНСТВЕННО-ВРЕМЕННОЙ ОБРАБОТКИ НЕСИНХРОНИЗИРОВАННЫХ ВИДЕОПОСЛЕДОВАТЕЛЬНОСТЕЙ В СИСТЕМАХ СТЕРЕОВИДЕНИЯ

Специальность 05.13.01 - системный анализ, управление и обработка информации (космические и информационные технологии)

Диссертация на соискание ученой степени кандидата технических наук

Научный руководитель -доктор технических наук Фаворская М. Н.

Красноярск - 2013

Содержание

ВВЕДЕНИЕ...............................................................................................................4

Глава 1. Анализ методов и систем временной и пространственной обработки видеопоследовательностей....................................................................................10

1.1 Анализ методов временной коррекции видеопоследовательностей..........10

1.1.1 Методы преобразования частоты кадров без оценки движения...........11

1.1.2 Методы преобразования частоты кадров на основе оценки движения 13

1.2 Анализ методов пространственной коррекции

видеопоследовательностей.................................................................................27

1.2.1 Методы выделения особенностей изображений....................................29

1.2.2 Методы сопоставления особенностей изображений.............................30

1.2.3 Методы выравнивания изображений......................................................36

1.3 Анализ существующих систем пространственно-временной коррекции видеопоследовательностей.................................................................................39

1.4 Выводы по главе............................................................................................45

Глава 2. Пространственно-временная коррекция видеопоследовательностей ...47

2.1 Предварительная обработка сцены видеопоследовательностей.................48

2.2 Временная обработка сцены видеопоследовательностей...........................50

2.2.1 Предварительная оценка движения........................................................51

2.2.2 Уточненная оценка движения для видеопоследовательностей с быстрой скоростью передвижения объектов.....................................................57

2.2.3 Уточненная оценка движения для видеопоследовательностей с медленной скоростью передвижения объектов.................................................61

2.2.4 Интерполяция кадров..............................................................................64

2.3 Пространственная обработка сцены видеопоследовательностей...............67

2.3.1 Выравнивание некалиброванных видеопоследовательностей..............67

2.3.2 Совмещение видеопоследовательностей................................................72

2.4 Алгоритм пространственно-временной коррекции

видеопоследовательностей.................................................................................74

2.5 Выводы по главе............................................................................................76

Глава 3. Построение экспериментальной комплексной системы пространственно-временной коррекции видеопоследовательностей и экспериментальные результаты.............................................................................78

3.1 Структурная схема комплекса пространственно-временной коррекции

видеопоследовательностей.................................................................................78

3.2 Описание модулей экспериментальной системы........................................79

3.3 Результаты экспериментальных исследований модуля временной

коррекции видеопоследовательностей...............................................................82

3.4 Результаты экспериментальных исследований модуля

пространственной коррекции видеопоследовательностей...............................88

3.5 Разработанное программное обеспечение для фреймсервера «Ау18упШ»

и результаты экспериментальных исследований..............................................90

3.6 Выводы по главе............................................................................................96

ЗАКЛЮЧЕНИЕ......................................................................................................98

Библиографический список.................................................................................101

ПРИЛОЖЕНИЕ 1 - Описание файловых структур разработанных плагинов для фреймсервера «Ау18упШ»..............................................................................122

ВВЕДЕНИЕ

Актуальность работы. В настоящее время

стереовидеопоследовательности используются в киноиндустрии, в технических, геоинформационных системах, системах контроля и навигации. Стереовидеопоследовательность можно преобразовать под метод просмотра при помощи анаглифных очков, линейной поляризации или затворных ЖК-панелей; с другой стороны, на основе стереовидеопоследовательности можно извлечь глубину сцены и вычислить расстояние до объектов относительно центра камер. Методы оценки движения и интерполяции кадров могут применяться при сжатии изображений, преобразовании форматов видео, повышении качества видеоматериалов. Методы интерполяции видеопоследовательностей позволяют восстанавливать поврежденные кадры, делают движение объектов плавным и более приятным при просмотре.

Наиболее активные разработки в сфере пространственной и временной коррекции видеопоследовательностей проводятся такими российскими университетами, как: Институт систем обработки изображений РАН (г. Самара), Московский государственный университет, Санкт-Петербургский государственный университет информационных технологий, механики и оптики, Ярославский государственный университет и ряд других организаций. Следует отметить вклад российских ученых, таких как чл.-корр. РАН, д.ф.-м.н. К.В. Рудаков, чл.-корр. РАН, д.т.н. В.А. Сойфер, д.т.н. В.П. Пяткин, д.т.н. J1.M. Местецкий, д.т.н. В.В. Сергеев, к.т.н. A.A. Лукьяница, д.ф.-м.н. Ю.В. Визильтер. Большой вклад в развитие теории обработки изображений внесли A.C. Алексеев, Т.Б. Борукаев, P.E. Быков, Г.И. Василенко, Ю.Г. Васин, К.К. Васильев, Г.Л. Гимельфарб, Ю.И. Журавлев, B.C. Киричук, Г.П. Катыс, В.Р. Крашенинников, А.П. Немирко, А.И. Перов, Ю.П. Пытьев, Ю.Г. Сосулин, A.A. Спектор, Я.А. Фурман, Н.Г. Федотов и другие.

Среди зарубежных учреждений, занимающихся данной тематикой, можно отметить University of California, Massachusetts Institute of Technology, (США), The University of Queensland (Австралия), University of Manchester, Cambridge (Англия), Soongsil University (Южная Корея), University of Muenster (Германия).

Однако до сих пор существуют проблемы при построении стереовидеопоследовательностей на основе несинхронизированных видеопоследовательностей. Стереокадры должны быть максимально синхронизированы между собой. С одной стороны проблема решается при помощи аппаратной синхронизации и калибровки камер до стереосъемки. С другой стороны, не всегда имеется возможность калибровки камер до начала стереосъемки, к тому же сцена может быть снята одной и той же камерой с разных ракурсов. Бюджетный вариант видеокамер не позволяет достичь синхронной записи при частоте 24-30 кадров в секунду ввиду различных факторов: различного времени доступа к устройству хранения, несинхронного старта и т. д. Это обуславливает необходимость длительной обработки и коррекции двух видеопоследовательностей в видеоредакторах, что довольно затруднительно. Таким образом, данное направление нуждается в совершенствовании методов и алгоритмов пространственно-временной коррекции видеопоследовательностей в задачах стереовидения.

Целью диссертационной работы является повышение качества обработки несинхронизированных видеопоследовательностей в системах стереозрения, видеоредактирования, геоинформационных системах.

Поставленная цель определила необходимость решения следующих

задач:

1. Провести анализ методов, алгоритмов и систем оценки движения и интерполяции, совмещения видеопоследовательностей.

2. Разработать метод временной обработки несинхронизированных видеопоследовательностей на основе оценки движения для построения интерполированных кадров видеопоследовательностей.

3. Усовершенствовать метод пространственной обработки видеопоследовательностей на основе ректификации некалиброванных видеокадров для совмещения видеопоследовательностей.

4. Создать алгоритм пространственно-временной коррекции несинхронизированных видеопоследовательностей в задачах стереовидения.

5. Создать экспериментальный программный комплекс по оценке движения, интерполяции и ректификации некалиброванных видеопоследовательностей.

6. Провести экспериментальные исследования эффективности разработанных алгоритмов на тестовых выборках.

Область исследования. Работа выполнена в соответствии с пунктом 12 «Визуализация, трансформация и анализ информации на основе компьютерных методов обработки информации» паспорта специальностей ВАК (технические науки, специальность 05.13.01 - системный анализ, управление и обработка информации).

Методы исследования. При выполнении диссертационной работы использовались методы теории обработки информации, методы аналитической геометрии, теория распознавания образов, теория математической морфологии, методы объектно-ориентированного программирования.

Научная новизна диссертационной работы состоит в следующем:

1. Разработан метод временной обработки видеопоследовательностей, основанный на двухэтапной оценке движения видеопоследовательностей с быстрой скоростью передвижения объектов, поступательным и вращательным движением при помощи моментов Зернике и Ху, позволяющий скомпенсировать шумы, дрожание камеры, повысить устойчивость к аффинным преобразованиям объектов в задаче построения интерполированных кадров стереовидеопоследовательностей.

2. Разработан метод временной обработки видеопоследовательностей на основе применения статистик высших порядков, позволяющий производить

оценку движения для видеопоследовательностей с медленной скоростью передвижения объектов в задаче построения интерполированных кадров стереовидеопоследовательностей.

3. Усовершенствован метод пространственной обработки видеопоследовательностей, повышающий количество и качество точных соответствий между некапиброванными кадрами видеопоследовательностей на основе процедуры исключения ложных точек, отличающийся устойчивостью фундаментальной матрицы и точностью карт диспаритета при ректификации.

4. Создан алгоритм пространственно-временной коррекции видеопоследовательностей, позволяющий повысить качество анализа данных в задачах стереовидения при обработке несинхронизированных видеопоследовательностей.

Практическая значимость. Предложенные в диссертационной работе методы и алгоритмы предназначены для практического применения в программно-аппаратных комплексах видеоредактирования, для анализа данных, полученных аэрофотосъемкой и спутниковой фотографией, в системах стереозрения. На основе диссертационных исследований разработана библиотека программных модулей для создания систем оценки движения и интерполяции кадров видеопоследовательностей, для построения стереовидеопоследовательности из несинхронизированных

видеопоследовательностей.

Реализация результатов работы. Разработанная программа «Анализ методов оценки движения на основе инвариантных моментов в задаче интерполяции видеопоследовательностей (МойопМотегйз у.1)» зарегистрирована в Российском реестре программ для ЭВМ г. Москва, 16 ноября 2012 г. (свидетельство № 2012660384).

Получен акт о передаче алгоритмического и программного обеспечения для редактирования видеопоследовательностей и дальнейшего использования в ООО «ДИИП» (г. Санкт-Петербург) от 18 марта 2013 года.

Получен акт об использовании материалов диссертационного исследования в учебном процессе Сибирского государственного аэрокосмического университета. Разработанные алгоритмы и программное обеспечение используются в учебном процессе при проведении лекций, лабораторных и практических занятий по дисциплинам «Теоретические основы цифровой обработки изображений», «Алгоритмы обработки изображений и видеопоследовательностей», «Анализ сцен и машинное зрение» в Сибирском государственном аэрокосмическом университете им. академика М. Ф. Решетнева.

Основные положения, выносимые на защиту:

1. Разработанный метод временной обработки видеопоследовательностей с применением моментов Зернике для видеопоследовательностей с быстрой скоростью передвижения объектов, поступательным и вращательным движением, зашумленными областями движения.

2. Разработанный метод временной обработки видеопоследовательностей с применением статистик высших порядков для видеопоследовательностей с медленной скоростью передвижения объектов.

3. Усовершенствованный метод пространственной обработки видеопоследовательностей для повышения качества ректификации некалиброванных кадров видеопоследовательностей.

4. Алгоритм пространственно-временной обработки несинхронизированных видеопоследовательностей в задачах стереовидения.

Апробация работы. Основные положения и результаты диссертации докладывались и обсуждались на XII, XIII и XVI международных научных конференциях «Решетневские чтения» (Красноярск, 2008, 2009, 2012 гг.), XI всероссийской научно-технической конференции «Теоретические и прикладные вопросы современных информационных технологий» (Улан-Удэ, 2012), всероссийской конференции «Техническое зрение в системах управления» (Москва, 2012, 2013), всероссийских научных конференциях студентов, аспирантов и молодых ученых «Наука. Технологии. Инновации»

(Новосибирск, 2008, 2009, 2010, 2012), 13-й и 15-й международной конференции и выставке «Цифровая обработка сигналов и ее применение» (Москва, 2011, 2013), 16-й международной научно-технической конференции «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций» (Рязань, 2010), I всероссийской научной конференции молодых ученых «Теория и практика системного анализа» (Рыбинск, 2010), всероссийских конференциях «Актуальные проблемы авиации и космонавтики» (Красноярск, 2008, 2009), VII всероссийской научно-практической конференции с международным участием «Информационные технологии и математическое моделирование» (Анжеро-Судженск, 2008), а также на научных семинарах лаборатории систем цифровой обработки изображений СибГАУ.

Публикации. По результатам диссертационного исследования опубликовано: 21 печатная работа, из них 3 статьи в изданиях, рекомендованных ВАК для публикации результатов диссертационных исследований, 17 тезисов докладов, 1 свидетельство, зарегистрированное в Российском реестре программ для ЭВМ.

Структура работы. Работа состоит из введения, трех глав, заключения, списка литературы и приложения. Основной текст диссертации содержит 129 страниц, изложение иллюстрируется 39 рисунками и 13 таблицами. Библиографический список включает 172 наименования.

Глава 1. Анализ методов и систем временной и пространственной обработки видеопоследовательностей

В данной главе представлен обзор существующих методов, применяемых при оценке движения, интерполяции и совмещении видеопоследовательностей. Приведена их классификация и сравнительные характеристики. Рассмотрены основные функциональные возможности наиболее известных систем пространственно-временной коррекции видеопоследовательностей.

1.1 Анализ методов временной коррекции видеопоследовательностей

Основой стереосъемки является подготовка двух подобных, но не идентичных видеопоследовательностей, полученных с двух точек съемки относительно объекта. В идеальном случае оси видеокамеры и объективов в этих двух положениях должны быть параллельны. При совмещении двух видеопоследовательностей, полученных от левой и правой видеокамер, получается стереовидеопоследовательность, которую можно преобразовать под требуемый метод просмотра. В настоящее время стереосъемка бытовыми видеокамерами возможна в полуавтоматическом режиме; при этом необходимо синхронизировать стереопары вручную. Разработка методов пространственно-временной коррекции стереовидеопоследовательностей позволят решить эти проблемы. Одной из групп методов является коррекция видеопоследовательностей на основе преобразования частоты кадров с помощью интерполяции.

Преобразование частоты кадров видеопоследовательностей (FRC, Frame Rate Conversion) используется при сжатии изображений [25, 32, 34, 40] преобразовании форматов видео, в алгоритмах повышения качества видеоматериалов. Использование FRC делает движение объектов плавным и более приятным для зрения [16]. Также алгоритм FRC делает возможным снижение скорости воспроизведения видео, при котором движение объектов

становится замедленным. С помощью данного алгоритма возможно восстанавливать поврежденные кадры в видеопоследовательности.

Методы преобразования частоты кадров делятся на две группы: методы, не учитывающие информацию о движении, и методы, адаптированные к вычислениям и обработке информации о движении (табл. 1.1).

Таблица 1.1

Классификация методов преобразования частоты кадров видеопоследовательностей

Категории Методы

Методы без оценки движения Повторение кадров (Frame Repetition) Линейная интерполяция (Linear Interpolation)

Методы на ос�