автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Методы стабилизации видеопоследовательностей сложных статических и динамических сцен в системах видеонаблюдения

На правах рукописи

Буряченко Владимир Викторович

МЕТОДЫ СТАБИЛИЗАЦИИ ВИДЕОПОСЛЕДОВАТЕЛЬНОСТЕЙ СЛОЖНЫХ СТАТИЧЕСКИХ И ДИНАМИЧЕСКИХ СЦЕН В СИСТЕМАХ ВИДЕОНАБЛЮДЕНИЯ

05.13.01 - Системный анализ, управление и обработка информации (космические и информационные технологии)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

2 г ПАЙ 2014

Красноярск - 2014

005548810

Работа выполнена в ФГБОУ ВПО «Сибирский государственный аэрокосмический университет имени академика М.Ф. Решетнева» (СибГАУ), г. Красноярск

Научный руководитель: доктор технических наук, профессор

Фаворская Маргарита Николаевна

Официальные оппоненты: доктор технических наук,

профессор кафедры радиотехники Сибирского федерального университета Кашкин Валентин Борисович

доктор технических наук, профессор, заведующий кафедрой вычислительных систем и сетей Санкт-Петербургского государственного университета аэрокосмического приборостроения Сергеев Михаил Борисович

Ведущая организация: Тамбовский государственный

технический университет

Защита состоится 24 июня 2014 года в 14.00 часов на заседании диссертационного совета Д 212.249.02, созданного на базе ФГБОУ ВПО «Сибирский государственный аэрокосмический университет имени академика М.Ф. Решетнева» по адресу: 660014, г. Красноярск, проспект имени газеты «Красноярский рабочий», 31.

С диссертацией можно ознакомиться в научной библиотеке Сибирского государственного аэрокосмического университета им. академика М.Ф. Решетнева и на сайте СибГАУ:

http://www.sibsau.ru/index.php/nauka-i-innovatsii/dissertatsionnve-sovetv/ оЬ уау! епгуа-о-га511сЬке^1 вэе^Ы 1

Автореферат разослан « 1 Ч »

Ученый секретарь диссертационного совета

(МЦШД- 2014 г.

Александр Алексеевич Кузнецов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. В настоящее время быстро развиваются системы видеонаблюдения, видеоредактирования, геоинформационные и другие системы, в которых качество съемки оказывает значительное влияние на результат анализа видеоматериалов. Одним из существенных факторов, оказывающих влияние на качество видеопоследовательностей, является непреднамеренное движение камеры во время съемки. Применяемые системы стабилизации видеопоследовательностей разделяются на аппаратные, оптические и программные. Аппаратные средства выполняют стабилизацию непосредственно при съемке с помощью гироскопов, или используются закрепляющие камеру устройства (штативы). Оптические методы стабилизации улучшают качество видеопоследовательности во время съемки, однако приводят к удорожанию видеокамер. Программная стабилизация позволяет повысить качество видеопоследовательности непосредственно во время съемки, а также отснятой видеопоследовательности при отсутствии информации о видеокамере и даже при удаленной обработке.

Наиболее активные разработки в области стабилизации видеопоследовательностей проводятся такими российскими университетами, как: Московский государственный университет (Москва), ФГУП «ГосНИИАС» (Москва), Институт автоматики и электрометрии (Новосибирск), Рязанский государственный радиотехнический университет (Рязань), Ярославский государственный университет (Ярославль), Институт систем обработки изображений РАН (г. Самара) и ряд других организаций. Следует отметить вклад выдающихся российских ученых, таких как д.ф.-м.н. Ю. В. Визильтер, д.т.н. Б. А. Алпатов, д.т.н. В. С. Киричук, д.т.н. А. Л. Приоров, зарубежных исследователей Y. Matsushita, M. Grundmann и др. Среди зарубежных учреждений, занимающихся данной тематикой, можно отметить University of Alabama, University of Massachusetts (США), University of Technology, Sidney (Австралия).

Однако существует ряд проблем, связанных со стабилизацией видеопоследовательностей. При наличии движущихся объектов в сцене ухудшается качество оценки движения, что снижает качество стабилизации. В настоящее время не решена задача разделения движения в статических сценах на непреднамеренное движение камеры и движение объектов в сцене. Для динамических сцен необходимо дополнительно отделять движение камеры от ее непреднамеренного движения (дрожания). Существующие системы цифровой стабилизации, в основном, используют методы увеличения масштаба изображения, что приводит к потере полезной информации в кадре и ухудшает качество изображения. При стабилизации часто становятся заметны такие эффекты на изображении, как размытие движущихся объектов в кадре. Основные программные системы, применяемые в настоящее время, предполагают сложную подстройку параметров, что затрудняет их использование. Большинство современных систем не позво-

ляют проводить стабилизацию видеопоследовательностей в реальном времени.

Целью диссертационной работы является повышение качества стабилизации сложных статических и динамических сцен видеопоследовательностей в системах видеонаблюдения и видеоредактирования.

Поставленная цель определила необходимость решения следующих

задач:

1. Провести анализ методов, алгоритмов и систем оценки движения, стабилизации и восстановления изображений.

2. Усовершенствовать метод устранения размытия движущихся объектов на основе нахождения четких кадров видеопоследовательности.

3. Разработать метод оценки движения в сложных сценах, позволяющий отделить движение объектов в сцене от непреднамеренного движения, вызванного дрожанием камеры.

4. Разработать метод восстановления границ кадра без увеличения масштаба изображения.

5. Создать алгоритм стабилизации видеопоследовательностей сложных статических и динамических сцен для систем видеонаблюдения.

6. Создать программный комплекс, реализующий алгоритмы устранения размытия, оценки движения и восстановления изображения.

7. Провести экспериментальные исследования эффективности разработанных алгоритмов на тестовых и собственных видеоматериалах.

Область исследования. Работа выполнена в соответствии с пунктом 12 «Визуализация, трансформация и анализ информации на основе компьютерных методов обработки информации» паспорта специальностей ВАК (технические науки, специальность 05.13.01 - системный анализ, управление и обработка информации).

Методы исследования. При выполнении диссертационной работы использовались методы теории обработки информации, методы аналитической геометрии, теория распознавания образов, теория обработки сигналов, методы объектно-ориентированного программирования.

Научная новизна диссертационной работы состоит в следующем:

1. Усовершенствован метод устранения размытия движущихся объектов при стабилизации динамических сцен видеопоследовательностей, основанный на нахождении четких кадров и восстановлении изображений размытых объектов, позволяющий повысить точность оценки движения и визуальное качество изображения.

2. Разработан новый метод оценки движения на основе нечеткой модели Такаги-Сугено-Канга, позволяющий эффективно отделять движение объектов от непреднамеренного движения, вызванного вибрациями видеокамеры, и тем самым повышать качество оценки глобального движения видеокамеры в статических и динамических сценах.

3. Разработан новый метод восстановления границ кадра при стабилизации статических сцен видеопоследовательностей, основанный на интерполяции опорных кадров сцены, позволяющий уменьшить потерю информации о граничных пикселах и избежать погрешностей масштабирования.

4. Разработаны алгоритмы стабилизации для сложных статических и динамических сцен видеопоследовательностей, повышающие визуальное качество изображения, в системах видеонаблюдения и видеоредактирования.

Практическая значимость. Предложенные в диссертационной работе методы и алгоритмы предназначены для практического применения в программно-аппаратных комплексах видеообработки и видеоредактирования, при построении панорамных снимков, для повышения качества данных, полученных при съемке с подвижных устройств в сложных условиях видеонаблюдения. На основе диссертационных исследований разработано программное обеспечение, предназначенное для повышения четкости изображений движущихся объектов, оценки и компенсации движения, восстановления изображения и стабилизации видеопоследовательностей статических и динамических сцен.

Реализация результатов работы. Разработанная программа «Программа стабилизации видеопоследовательностей для статической сцены (Video Stabilizer) Версия 1.0227» зарегистрирована в Российском реестре программ для ЭВМ г. Москва, 25 апреля 2011 г. (свидетельство № 2011612893). Программный продукт «Система видеонаблюдения с возможностью визуального улучшения качества видеопотока (Video Stream Enhancer). Версия 0.51» зарегистрирован в Российском реестре программ для ЭВМ г. Москва, 10 сентября 2013 г. (свидетельство № 2013618514).

Для реализации методов и алгоритмов диссертационного исследования получены гранты в рамках программы УМНИК 2012-2013 «Разработка системы видеонаблюдения с возможностью улучшения визуального качества видеопотока», а также «Ползуновские гранты», 2012. Получены акты о передаче разработанного программного обеспечения, а также схем и алгоритмов в «Управление образования Ачинского района», а также в ОАО «Ачинский нефтеперерабатывающий завод».

Апробация работы. Основные положения и результаты диссертации докладывались и обсуждались на XIII, XTV, XVI, XVII международных научных конференциях «Решетневские чтения» (Красноярск, 2008, 2009, 2011, 2012 гг.), VI, VII Всероссийской научно-практической конференции студентов, аспирантов и молодых специалистов «Актуальные проблемы авиации и космонавтики» (Красноярск, 2010, 2011), межрегиональной научно-практической конференции «Молодежь Сибири - науке России» (Красноярск, 2010), 16-й международной научно-технической конференции «Проблемы передачи и обработки информации в сетях и системах те-

лекоммуникаций» (Рязань, 2010), IX Всероссийской научно-практической конференции студентов, аспирантов и молодых ученых с международным участием «Молодежь и современные информационные технологии» (Томск, 2011), XII конференции всероссийской студенческой олимпиады «Конкурс компьютерных программ» (Вологда, 2011), всероссийских конференциях «Техническое зрение в системах управления» (Москва, 2012, 2013), всероссийских научных конференциях студентов, аспирантов и молодых ученых «Наука. Технологии. Инновации» (Новосибирск, 2011, 2012,

2013), 14-й, 15-й и 16-ой международных конференциях и выставках «Цифровая обработка сигналов и ее применение» (Москва, 2012, 2013,

2014), зарубежной конференции «KES-IIMSS-2013» (Portugal, Sesimbra, 2013).

Публикации. По результатам диссертационного исследования опубликовано: 19 печатных работ, из них 3 статьи в научных изданиях из перечня ВАК, 14 докладов, 2 свидетельства, зарегистрированных в Российском реестре программ для ЭВМ.

Структура работы. Работа состоит из введения, трех глав, заключения, списка литературы и приложения. Основной текст диссертации содержит 123 страницы, изложение иллюстрируется 44 рисунками и 15 таблицами. Библиографический список включает 141 наименование.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность работы, сформулирована цель и поставлены задачи исследования, показана научная новизна и практическая ценность выполненных исследований, представлены основные положения, выносимые на защиту.

В первой главе рассмотрены существующие методы оценки движения, стабилизации видеопоследовательностей и восстановления изображений, приведена классификация известных методов, а также проанализированы характеристики существующих систем стабилизации видеопоследовательностей. Классификация подходов к стабилизации видеопоследовательностей приведена в таблице 1. Применение программных методов стабилизации является наименее затратным подходом, позволяющим выполнять стабилизацию как непосредственно во время съемки, так и повышать качество уже отснятого видеоматериала.

Программные методы стабилизации видеопоследовательностей включают три этапа, на основе которых разрабатываются алгоритмы, предназначенные для решения конкретных задач. Основными этапами для стабилизации видеопоследовательностей являются оценка движения, компенсация (сглаживание) движения и приведение (восстановление) изображения к стабилизированному положению (таблица 2).

Таблица 1

Классификация подходов стабилизации видеопоследовательностей

Категории Методы

Механические методы Гироскопы (Gyroscopes) Акселерометры (Accelerometers)

Оптические методы Призма с переменным углом (Van-Angle Prism) Стабилизатор изображения (Image Stabilizer) Цифровой стабилизатор изображения (Electronic Image Stabilizer)

Программные методы Оценка глобального движения кадра (Global motion estimation) Преобразование полного кадра (Full-frame stabilization) Подходы на основе особенностей (Feature based approaches) Сглаживание траектории движения камеры (Optimal camera paths)

Таблица 2

Этапы алгоритма программной стабилизации видеопоследовательностей

Категории Методы

Оценка движения Блочно-сопоставительные методы (Block-Matching Algorithm) Методы слежения за точечными особенностями (Feature Tracking) Методы оптического потока (Optical Flow Matching)

Компенсация движения Восстановление двухмерной сцены (2D scene reconstruction) Восстановление трехмерной сцены (3D scene reconstruction) Подходы на основе особенностей (Feature based approaches) Фильтр Калмана (Kalman Filtering) Низкочастотная фильтрация (Low-pass filtering) Поиск идеальной траектории камеры (Optimal camera paths)

Восстановление изображения Масштабирование изображения (Zoom Image) Перерисовка границ кадра (Motion Inpainting) Преобразование изображения (Image Warping) Текстурные методы (Texture Reconstruction) Интерполяция кадров (Frame Interpolation) Переориентация кадра (Video retargeting)

На этапе оценки движения находится соответствие между положением предыдущего и текущего кадров на основе векторов движения или смещения точечных особенностей. Для стабилизации кадра применяются различные низкочастотные фильтры, которые определяют траекторию камеры при отсутствии эффектов дрожания. Альтернативным методом является построение двумерной или трехмерной сцены и сохранение положения найденных точек в независимости от траектории движения камеры. При стабилизации изображения возникают нежелательные эффекты такие, как отсутствующие участки кадра, резкое движение, при плавном движении становится более заметно размытие движущихся объектов. Для их устранения на этапе преобразования изображения используются методы масштабирования кадра и обрезки изображения, восстановления границ кадра при помощи размытия текстур и интерполяции кадров.

Существующие программные средства, решающие задачу стабилизации видеопоследовательностей, как правило, требуют сложной подстройки алгоритмов для конкретных видов движения на видеопоследовательности, не дают хороших результатов по восстановлению границ кадра, а также не обеспечивают приемлемых результатов при некоторых типах съемки, например при движении камеры с постоянным увеличением кадра.

Таким образом, проведенный анализ существующих методов и алгоритмов показал, что требуется развитие методов стабилизации видеопоследовательностей в сложных статических и динамических сценах.

Во второй главе диссертации представлены методы стабилизации видеопоследовательностей для статических и динамических сцен, а именно усовершенствованный метод устранения размытия движущихся объектов, разработанные методы оценки движения на основе нечеткой модели Такаги-Сугено-Канга (ТСК) и восстановления границ кадра на основе интерполяции ключевых кадров сцены. Также предложен алгоритм стабилизации видеопоследовательностей сложных статических и динамических сцен в задачах видеонаблюдения и видеоредактирования.

Алгоритм стабилизации должен обладать устойчивостью к сдвигам и поворотам изображений объектов, к изменениям освещенности, сохранять преднамеренное движение камеры при съемке и генерировать межкадровое движение при стабилизации. Ограничения и условия, предъявляемые к входным видеопоследовательностям, представлены в таблице 3.

Таблица 3

Ограничения и условия на входные видеопоследовательности

Ограничение Критерий

Вид объектов Изображение объектов небольшого размера на переднем плане

Размер объектов Не более 30% площади кадра

Длительность видеопоследовательностей Без ограничений (в зависимости от аппаратных возможностей)

Тип движения в сцене Быстрое, медленное, со смещением, вращательное движение

Движение камеры Отсутствует, поступательное, вращательное, незначительное масштабирование

Изменения освещенности Не более 10% за 25 кадров видеопоследовательности

Решение задачи цифровой стабилизации видеопоследовательностей можно разделить на следующие этапы:

I этап: Предварительная обработка сцены:

- Разделение видеопоследовательности на сцены.

— Оценка размытости и повышение четкости размытых кадров.

- Пространственно-временная коррекция.

II этап: Оценка движения:

— Оценка локального движения методами соответствия блоков.

- Построение нечеткой модели ТСК для уточнения оценки локального движения.

- Оценка глобального движения кадра на основе аффинной модели движения.

III этап: Компенсация движения:

- Расчет коэффициента сглаживания в зависимости от оригинального движения камеры.

- Применение низкочастотного фильтра первого порядка для сглаживания движения.

IV этап: Восстановление изображения:

- Восстановление границ для статических сцен на основании интерполяции ключевых кадров сцены.

- Переориентация изображения для динамических сцен, содержащих объекты интереса в кадре.

Пусть имеется исходная видеопоследовательность VSin(n), где п е {0, 1, 2, 3,...} - номер кадра. При преднамеренном движении камеры VSlrt,{n) сцена считается динамической. Непреднамеренное движение -дрожание кадра VSJit (и) имеет место в статических и динамических сценах. Задача стабилизация видеопоследовательности, полученной при съемке статической сцены, сводится к нахождению компоненты дрожания кадра VSjU(п), компенсации дрожания VScomp(n) и масштабированию кадра:

VS,n (n)-^VSJIt (n)-°^-*VScomp VSMh (4 (1)

где Ojit - оператор оценки непреднамеренного движения в сцене; Осотр -оператор компенсации движения; Осот - оператор преобразования кадра к положению стабилизированной видеопоследовательности VSslab(n).

Задача стабилизации видеопоследовательности, содержащей динамические сцены, состоит в нахождении идеальной траектории движения камеры. При этом для каждого кадра требуется рассчитать его стабилизированное положение, поскольку необходимо сохранить преднамеренное движение камеры:

где Оы - оператор оценки движения, которое требуется сохранить при стабилизации сцены; VSinl(n)~ преднамеренное движение камеры.

На этапе предварительной обработки видеопоследовательности выполняется разделение на сцены, для каждой из которых последующие алгоритмы выполняются отдельно. В каждой сцене выполняется оценка размытости кадров на основе градиентной информации. Следует учесть, что размытие изображения происходит только при определенных условиях, таких как сильное дрожание, быстрое движение объектов или длительная

экспозиция камеры. Следовательно, не все кадры подвержены данному эффекту, и требуется выполнить идентификацию размытых кадров.

Оценка резкости изображения выполняется на основе градиентной информации по всему текущему кадру и заданному порогу размытия Т. Тогда степень размытости текущего кадра g„ оценивается по формуле:

М N , V (М N / \ М N , . и N /ч]

x=ly=l 1*-1у=1 x=ly=\ J

где T - порог размытия, 0 < Т < 1, gn - значение градиента функции, описывающей изображение 1ху, — значение функции интенсивности в точке с координатами (х,у); К- номер предыдущего опорного кадра.

Значение g„ дает оценку резкости относительно соседних кадров, однако данный подход является устойчивым, если сцена не изменяется слишком быстро и некоторые из предыдущих К кадров являются четкими.

На втором шаге осуществляется разделение изображения на детализированные и гладкие регионы. Оно выполняется за счет оценки суммы квадратов разностей интенсивности в области обработки размером 5x5 пикселов по формуле (4).

PiM^Zifoy-W*))1- (4)

i=l j=\

После чего изображение делится на детализированные и гладкие регионы в зависимости от значения Строится бинарная карта F(x,y), описывающая положение детализированных регионов на изображении. Карта F(x,y) рассчитывается как:

[О, еслир L(x,y)<T/1 Нх,У)=\л , (5)

[1, в других случаях

где Tji - порог, автоматически выбираемый в зависимости от суммарного значения градиента g„, рассчитываемого в формуле (3).

Для детализированных регионов необходимо применить анизотропный фильтр Гаусса для сглаживания негативных эффектов размытия изображения. В зависимости от удаленности пиксела от границы, рассчитанной оператором Собела, выбираются различные области обработки фильтра (рисунок 1). Необходимо также сохранить чёткую граничную информацию, поэтому пикселы, найденные как границы исключаются из обработки.

Анизотропный фильтр Гаусса применяется к пикселам детализированных регионов изображения с учетом текущего значения яркости пиксела оригинального изображения, поскольку необходимо только устранить размытие изображения, сохранив при этом достаточную четкость.

1 1 }

И ш. Щг

- шг в» ----- ■

V Я р. 1

■ -

— ад Г:- • 1-Й щ

V.: - % Я

. м -в

■ а ГП

а о в

а) пиксел, наиболее близкий к границе; б) пиксел рядом с границей; в) пиксел, находящийся далеко от границы Рисунок 1 - Пример адаптивного подбора формы для анизотропного фильтра Гаусса

Параметры анизотропного фильтра рассчитываются путем масштабирования по направлениям (х, у) с учетом ориентации относительно границы и энергии (31 (*,>') области обработки. Тогда эллиптический Гауеси-ан с осями, ориентированными вдоль системы координат описывается по формуле (6).

-ехр-

с ->

X'

о" \

(6)

где ох,а.. - разрешение, фильтра Гаусса по осям координат, выбираемое в

зависимости от удаленности обрабатываемого пиксела с координатами (х, у) от границы в соответствии с рисунком 1.

Для областей пикселов, в которых р; (х,у)>= Тп, и при этом они не

являются граничными пикселами, применяется нерезкое маскирование для повышения резкости: фильтр, основанный на вычитании нерезкого (размытого) изображения из оригинального кадра (рисунок 2).

0 0 0

0 4 0

0 0 0

01 0 1 0

и.7 .1 г0-3

0 о [иг,

а б в г

а) - оригинальное изображение; б) нечеткое изображение; в) - отфильтрованное изображение; г) - ядро размытия

Рисунок 2 - Нерезкое маскирование дтя фильтра размерностью 9 пикселов

Последним шагом метода устранения размытия является синтез изображения, полученного путем применения фильтра Гаусса для детализированных регионов, нерезкого маскирования для гладких регионов и сохранения граничной информации, выделенной фильтром Собела.

Оценка локального движения для видеопоследовательностей статических сцен выполняется по методу блочного соответствия, поскольку требуется рассчитать только глобальный вектор движения. Схема блочной оценки движения содержит следующую последовательность действий. Изображение делится на неперекрывающиеся блоки пикселей, значение

интенсивности которых определяется как ¡„(х.у), где х,у - координаты пиксела, п — номер кадра. Для каждого блока в небольшой окрестности -Sx<dx<+Sx и -Sy<dy<+Sv ищутся наиболее похожие блоки на следующем кадре In+\{x+dx,y+d,). Сходство блоков определяется минимизацией функции ошибки е, в соответствии с используемой метрикой. Обычно применяется три метрики: сумма абсолютных разностей {SAD), сумма квадратичных отклонений (SSD) и среднее значение квадратов разностей (MSD).

После нахождения локальных векторов движения требуется определить, описывают ли они движение камеры, или некоторых объектов в кадре. Для этого строится нечеткая модель ТСК, на выходе которой определяется мера достоверности векторов движения. Для каждого локального вектора движения рассчитывается мера ошибки двумя способами: евклидово расстояние (величина вектора) Е'=(е\,ег ei), где 1 -/ - номер вектора; угол наклона вектора относительно горизонтали С-(С\Сг. с,). Производится расчет средней ошибки М;. - median error. Для элементов Е и С выполняется расчет ошибки отклонения:

d" = ejMЕ , d' ~cjMc , (7)

где Me и Мс - медианные значения Е' и С' соответственно.

Для улучшения оценки движения использованы сигмоидальные функции принадлежности, что позволяет более точно отделить движение объектов в кадре от смещения камеры. При непрофессиональной съемке на видеопоследовательностях часто возникают шумы различного вида, которые ухудшают возможность оценки движения и последующей стабилизации. Были проведены исследования и рассчитаны параметры нечеткой модели для незашумленных и зашумленных видеопоследовательностей.

Ошибка отклонения d, подается на вход функции принадлежности, ее значение отображается на различных классах точности: высокий, средний, низкий. Меньшие значения погрешности отображаются на лучшем классе, большие значения погрешности - на худшем классе. Строятся сигмоидальные функции принадлежности, которые описываются выражением:

f(x:a.b)~

0. х < а

( 'x-aV а

21 а <х< -

1 Ъ-а) '

J х-Ь~Х а + Ь

1- - 2]---! . --< X

1Ь-а 2

(8)

Рекомендуется использовать значения а=0,5 и 6=1,5 для незашумленных видеопоследовательностей и а=0,75 и 6=1,25 для зашумленных видеопоследовательностей (рисунок 3).

а о

а - незашумленные; б - зашумленные видеопоследовательности Рисунок 3 - Сигмоидальные нечеткие функции принадлежности

На выходе модели ТСК формируются четыре нечетких набора: отличный, хороший, средний, плохой (рисунок 4).

ШШЙ»

ш ¡¡Iii

а - незашумленные: о - зашумленные видеопоследовательности Рисунок 4 - Нечеткая модель, отображающая две входных функции и одну выходную

Каждому из четырех классов соответствует множество констант (1,0; 0,75; 0,5; 0) для незашумленных и (1,0; 0,85; 0,65; 0) для зашумленных видеопоследовательностей. Результат нечеткой модели - это мера правдоподобия вектора движения, которая находится в диапазоне [0; 1]. После вычисления мер правдоподобия векторов отбираются лучшие 60% значений, которые передаются на вход алгоритма расчета параметров стабилизации.

Результатом данного этапа являются рассчитанные для каждого блока изображения локальные векторы движения {LMV). При оценке достоверных векторов движения запоминается количество векторов в блоке изображения, которые удовлетворяют критерию (9) для дальнейшего расчета параметров глобального движения:

ш, и, Г1, если LMVyy etrueV

[О, если LMVx v <£trueV

где В - число достоверных векторов движения в блоке; л; у - координаты вектора движения на изображении; mj, т: - размеры блока; trueV - выбранные моделью ТСК векторы движения.

Предложена оригинальная процедура дополнительного отбора достоверных блоков кадра. Для первых пяти кадров сцены производится оценка движения для всех блоков изображения и накапливается информация о числе достоверных векторов движения для каждого блока в отдельности. При расчете параметров глобального движения участвуют только те

блоки кадра, в которых найдено больше половины достоверных векторов, описывающих движение камеры, что позволяет избежать влияния негативных факторов, связанных с наличием движущихся объектов на переднем плане изображения и изменением освещенности.

На рисунке 5 представлены примеры кадров, иллюстрирующие последовательность расчета векторов движения с применением метода оценки достоверности локальных векторов на основе нечеткой модели ТСК и инициализации параметров видеопоследовательности.

а б в

а - все рассчитанные векторы; б - достоверные векторы движения; в - векторы

движения в отобранных для обработки блоках Рисунок 5 - Пример последовательности расчета локальных векторов движения

Глобальное движение между кадрами оценивается на основе аффинной модели, которая характеризует межкадровое движение с помощью четырех параметров; сдвиги Тх, Ту вдоль осей ОХ и OY, угол поворота 9 и коэффициент масштаба А. Координаты точки (avi,.V;-i) в (*'—1) кадре связаны с точкой (х.,у,) в последующем /-ом кадре преобразованием;

х =х ,Xcos0+у, ,Xsin9+7\ ' ' ' 1 . (10) уi = >V-| Xcose— Asin0+ Г,

Векторы движения фона характеризуются близкими значениями величины и направления, поэтому возможно разбиение поля движения кадра на два кластера, которые бы соответствовали фону и объектам переднего плана. Глобальное движение, вызванное движением камеры, оценивается в процессе кластеризации, включающем два этапа:

1) Построение гистограммы Я, содержащей достоверные локальные векторы движения (Valid LMI/Г). Значение гистограммы увеличивается на единицу каждый раз, когда встречается локальный вектор с соответствующими координатами LMV(x.y).

2) Выбор значения глобального вектора движения. За исключением случая, когда в сцене преобладает крупный движущийся объект, кластер, соответствующий фону изображения, имеет максимальное количество голосов. Максимальное значение этого кластера выбирается в качестве глобального вектора движения (GMV).

На этапе компенсации непреднамеренного движения необходимо найти стабилизированное положение кадра на основе известных глобальных векторов движения. Для этого в случае статической сцены требуется

выбрать опорные кадры видеопоследовательности и относительно них провести компенсацию непреднамеренного движения в текущем кадре. Дня динамических сцен рассчитанный вектор глобального движения кадра, как правило, состоит из двух основных компонент: намеренное движение и непреднамеренное движение. Алгоритм коррекции должен компенсировать только непреднамеренное движение, не затрагивая при этом преднамеренное движение камеры.

Эксперименты показали, что непреднамеренное движение соответствует высокочастотной компоненте. Поэтому предлагаемый алгоритм использует фильтр низких частот для удаления компоненты непреднамеренного движения. Сглаживающий вектор движения (SMV) получен путем низкочастотной фильтрации, которая сохраняет преднамеренное движение камеры. Предлагаемый метод вычисляет SMV в виде регрессии первого порядка по формуле:

SMV„ = а х 5Шя.г + (1 - а)х GMVn, (11)

где п - номер кадра, 0<а<\~ варьируемый параметр.

Фильтр первого порядка может быть использован в системах реального времени. Сглаживание движения, выполненное фильтром, будет являться удовлетворительным для глаз человека при выборе подходящего значения параметра а. Параметр а можно рассматривать как фактор сглаживания: большое значение коэффициента сглаживания приводит к плавному движению, но при преднамеренном движении камеры становится заметной искусственная стабилизация. Разработана адаптивная подстройка параметра а, основанная на величине глобального смещения камеры на предыдущих тридцати кадрах, рассчитанного по формуле:

Gdiff„= tpLVi-GLVj, (12)

/=д- 30

где п - номер кадра, GLVn- вектор глобального движения кадра п.

В качестве входных параметров для нечеткой модели, выполняющей подбор коэффициента сглаживания, служат:

а) Сумма модулей глобальных векторов движения за предыдущие 30 кадров видеопоследовательности Gdiffn.

б) Число экстремумов в функции глобального движения кадра, которое показывает интенсивность дрожания камеры за последние 30 кадров видеопоследовательности Nexl.

Чем большие значения принимают входные параметры, тем больше должна быть величина сглаживающего коэффициента (таблица 4). Минимальное и максимальное значения параметра (0,5; 0,97) подобраны эмпирически на основании визуальной оценки результатов стабилизации тестовых видеопоследовательностей.

Таблица 4

Выбор значений для сглаживающего параметра

Сий^, пиксел Число экстремумов Nм

0 4 8 12 16 >16

0 0,5 0,7 0,8 0,85 0,93 0,97

30 0,7 0,7 0,8 0,85 0,93 0,97

60 0,8 0,8 0,8 0,85 0,93 0,97

90 0,85 0,85 0,85 0,85 0,93 0,97

120 0,93 0,93 0,93 0,93 0,93 0,97

>120 0,97 0,97 0,97 0,97 0,97 0,97

После расчета коэффициента сглаживания а вычисляется сглаживающий вектор БМУп по формуле (11). Вычисление значения вектора непреднамеренного движения (иМУп) производится по формуле:

иМУ„ = вШп - 5ШЛ. (13)

Для восстановления текущего кадра к его стабилизированному положению требуется изменить его позицию на вектор накопленного непреднамеренного движения (АМ¥п), рассчитываемому по формуле (14), поскольку стабилизированное положение кадра определяется из предыдущих кадров по формуле:

АМУП= (14)

1

где 1фг-1 - номер первого кадра с момента последнего изменения сцены.

На этапе восстановления изображения применяются различные методы в зависимости от статической или динамической сцены. Наиболее распространенным методом преобразования изображения при стабилизации видеопоследовательностей является масштабирование размера кадра. Основной причиной, по которой требуется уменьшать размер кадра, является наличие областей на стабилизированном кадре, которых нет на соответствующем кадре оригинального изображения при одинаковом масштабе. При статической сцене такой метод часто приводит к потере важной информации. Для решения этой проблемы следует брать информацию из предыдущих кадров:

'Гп'а\х,у)=Гпг'%х+АЩ,у+АМ^), если 0<х+АЩ<Мк 0<у+АЩ<=Ы -иначе , (15)

с\х,у)=сы

где п - номер текущего кадра, АМУХ, АМ¥У - составляющие вектора накопленного движения, М,Ы- ширина и высота изображения.

При дрожании камеры без сильного смещения кадра целесообразно использовать алгоритмы интерполяции изображений для восстановления граничных пикселов кадров. Пусть опорными кадрами, которые соответст-

вуют стабилизированному изображению, будут кадры где 1уг.] -

предыдущий опорный кадр, 1уг - последующий опорный кадр. Поскольку для алгоритма стабилизации видеопоследовательности рассчитываются векторы движения для каждого блока пикселей, то имеется информация о смещении блоков между кадрами КкГг_1 и Кф. Тогда значение интенсивности пиксела для кадра К„, где <Кп< Кк/г можно рассчитать по формуле:

Расчет значений пикселов стабилизированного изображения выполняется аналогично формуле (15), но для отсутствующих пикселов используется интерполированное значение:

Г1*п,аЬ(х,у)=Гп"!!(х+ЛЩ,у+АЩ), еспиО<х+ЛЩ<Ми {)<у+АЩ<Ы

Для динамических сцен применение интерполяции кадров для восстановления границ изображения часто бывает невозможно, поскольку необходимые для восстановления участки кадра могут не повторяться на нескольких кадрах видеопоследовательности в связи с быстрой сменой сцены. Поэтому разработан альтернативный вариант восстановления изображения, основанный на отслеживании объектов в области интереса. При этом предлагается стабилизировать кадр путем «размещения» движущегося объекта в центре кадра.

Целью переориентации видеопоследовательности является масштабирование кадра с учетом сохранения стабильности и регионов, содержащих характерные и значимые объекты. Алгоритм переориентации включает следующие этапы:

1. Оценка наличия объекта интереса в кадре.

2. Выделение точечных особенностей для отслеживания объекта.

3. Расчет параметров масштабирования на основании векторов глобального движения последних 30 кадров.

4. Применение масштабирования изображения.

5. Перемещение положения объекта интереса к центру изображения.

Применение переориентации кадра позволяет избежать артефактов,

возникающих на границах кадра при стабилизации видеопоследовательностей динамических сцен, связанных с размытием границ, или использовании информации из предыдущих кадров (рисунок 6).

Г ¡пЬ

п

\Kkfr - {

иначе

• (17)

Сь(х,у)=С\х,у)

\шяяишш

Где а, б, в - оригинальные кадры 230, 245, 260 видеопоследовательности («ат! .ауЬ>; г, д, е - соответствующие кадры стабилизированной видеопоследовательности при

использовании алгоритма переориентации изображения Рисунок 6 - Пример стабилизации видеопоследовательности динамической сцены

Третья глаза посвящена вопросам разработки приложений для стабилизации видеопоследовательностей статических и динамических сцен на основе разработанных методов и алгоритмов. Разработана структурная схема экспериментального программного комплекса, представлены методика и результаты тестирования разработанных методов и алгоритмов.

В результате практической апробации методов разработан экспериментальный программный комплекс, позволяющий осуществлять оценку четкости кадров, устранение размытия на изображении, оценку и компенсацию движения, масштабирование и переориентацию кадра, а также проводить оценку качества реализованных методов по принятым метрикам. Структурная схема программного комплекса изображена на рисунке 7.

Получение видеопоследовательности

Модуль предварительной обработки

"Т"

Модуль детектора движения

Ядро системы

-

/ Модуль компенсации \

1 движения )

г N

Пользовательский

интерфейс

V

1

/ N

Модуль оценки

результатов

V >

т _

( Модуль

преобразования 1

кадра

У

Рисунок 7 - Структурная схема экспериментального программного комплекса

Было произведено тестирование разработанного алгоритма оценки движения с применением нечеткой модели ТСК для уточнения оценки

движения в сложных сценах, содержащих несколько движущихся объектов (рисунок 8).

Слева - графики оценки движения:.......оценка движения по всему кадру, -

оценка движения с применением модели 'ГСК для выбранных блоков,-сглаживающий вектор; справа - качество стабилизации:....... оригинальная видеопоследовательность, _стабилизация с простой оценкой движения,-Стабилизация

с оценкой движения моделью ТСК Рисунок 8 - Оценка движения и качества стабилизации видеопоследовательностей статических и динамических сцен

Объективная оценка качества стабилизации видеопоследовательности выполняется с использованием метрики пиковое отношение сигнала к

шуму (РБЫК) как меры ошибки. РБМК между кадрами п и (и+1) определяется по формуле:

1 и N

МБЕ = —• (18)

Ш

PSNR(n) = 101ogIO

г т 2 ^

I max

(19)

^MSE{n))

где MSE - это среднеквадратичная межкадровая ошибка; Imax - максимальное значение интенсивности пикселя; М, N- размеры кадра.

Значение PSNR показывает, насколько одно изображение похоже на другое, что полезно для оценки качества стабилизации простым сравнением соседних кадров. Качество межкадрового преобразования Inteframe Transformation Fidelity (IFF) используется для объективной оценки эффективности алгоритма стабилизации: стабилизированная видеопоследовательность должна иметь более высокое значение ITF, чем оригинальная:

i Np

ITF = -- ZPSNR(n), (20)

Л Frame 4=0

где NFmme - количество кадров видеопоследовательности.

В таблицах 5 и б приведены результаты оценки качества стабилизации ITF, рассчитанной с применением метрики PSNR для представленных на сайтах «http://www.cpl.cc.gatech.edu LI Robust Optical Camera Paths» и «http://www.see.xidian.edu.cn/vipsl/database_Video.html Video & Image Processing System Lab» видеопоследовательностей, содержащих статические и динамические сцены с движущимися объектами различного размера при наличии дрожания камеры. Было проанализировано 6 видеопоследовательностей, содержащих статические сцены и 8 видеопоследовательностей динамических сцен общей длительностью более 8000 кадров. Значение ITF статических сцен повышается в среднем на 3 децибела, динамических сцен на 4 децибела, что составляет 15 и 20% соответственно.

Таблица 5

Оценка качества стабилизации в статических сцепах

Название Оригинальное значение ITF, дБ Стабилизированное значение ITF без применения модели ТСК, дБ Стабилизированное значение ITF с применением нечеткой модели ТСК, дБ

road cars_krasnoyarsk.avi 22,70482 22,80707 25,91258

SANY0025 xvid.avi 20,5389 21,09076 23,79189

lfjuggle.avi 24,30286 24,37177 28,06012

akiyo.avi 35,92952 39,14661 39,53257

Butovo synthetic.avi 22,26415 27,19789 27,20789

EllenPage_Juggling.avi 24,65855 25,23049 28,58255

Таблица б

Оценка качества стабилизации в динамических сценах

Название Оригинальное значение ITF, дБ Стабилизированное значение ITF без применения модели ТСК, дБ Стабилизированное значение. ITF с применением нечеткой модели ТСК, дБ

Gleicher4.avi 19,29703 19,50634 23,18371

Sam_l .avi 19,09737 19,28141 22,20112

cat_orig.avi 25,07131 26,47094 28,14086

Gleicherl.avi 18,86996 19,48223 22,78846

Gleicher2.avi 19,91954 20,36718 24,56673

gleicher3.avi 16,55214 16,71899 20,12285

new_gleicher.avi 17,28921 17,81638 21,70575

yuna_long_original.avi 17,84131 18,94389 21,46971

Для видеопоследовательностей статических сцен оценка движения с применением нечеткой модели ТСК более точно отражает глобальное движение кадра, поскольку не учитывается движение объектов переднего плана. Для видеопоследовательностей, содержащих большое количество мелких объектов («butovo_synthetic.avi», «EllenPage_Juggling.avi») алгоритм оценки движения с применением модели ТСК показывает наилучшие результаты: увеличение значения ITF в среднем на 3 децибела. При стабилизации динамических сцен алгоритм оценки движения позволяет избежать влияния крупных движущихся объектов переднего плана, присутствующих на видеопоследовательностях «Sam_l.avi», «gleicher3.avi».

Оценка среднего времени выполнения алгоритма стабилизации для видеопоследовательностей разного разрешения, содержащих статические и динамические сцены, представлена в таблице 7. Алгоритм производит обработку видеопоследовательностей статических сцен в реальном времени (до 10 FPS при высоком разрешении). Стабилизация видеопоследовательностей динамических сцен выполняется медленней за счет применения алгоритмов оценки точечных соответствий и устранения размытия.

Таблица 7

Оценка времени выполнения алгоритмов стабилизации для видеопоследовательностей статических и динамических сцен

Размер кадра, пиксел Статические сцены, мс Динамические сцены, мс

160x120 0,001393 0,015258

320x240 0,009574 0,042103

640x480 0,084597 0,468259

1280x1024 0,183893 1,347304

1920x1080 1,235573 5,389214

Результаты оценки качества стабилизации видеопоследовательностей, содержащих статические и динамические сцены, по параметрам ка-

чества межкадрового преобразования ПТ и времени Т в сравнении с известными алгоритмами стабилизации приведены в таблице 8. Программные продукты, реализующие данные алгоритмы, доступны для использования и тестирования в демонстрационном режиме или с ограничениями по настройке параметров алгоритма и сохранению результатов работы.

Таблица 8

Сравнение эффективности алгоритмов стабилизации видеопоследовательностей статических и динамических сцен

Видеопоследовательность Алгоритм

Deshaker Warp-Stabilizer Video Stabilization with Robust LI Optimal Camera Paths Предлагаемая реализация

ITF, дБ T, с ITF, дБ T, с ITF, дБ T, о ITF, дБ T, с

EllenPage Juggling.avi 25,61 3,53 26,68 4,53 27,33 3,17 28,58 3,54

Gleicher4.avi 20,33 1,89 19,15 2,78 20,45 1,44 23,18 1,66

Sam l.avi 20,09 1,22 20,27 2,65 20,58 1,01 22,20 1,23

road cars krasnoyarsk 22,31 1,45 21,48 2,15 25,2 1,29 25,91 0,24

S ANY0025xvid.avi 23,53 1,33 22,7 1,87 22,74 1,34 23,79 0,17

lfjuggle.avi 26,65 1,22 24,41 1,64 26,15 1,18 28,06 0,15

В заключении сформулированы основные результаты и выводы, полученные в диссертационной работе.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

1. Усовершенствован метод устранения размытия движущихся объектов, позволяющий повысить визуальное качество изображения, а также повышающий качество оценки движения видеопоследовательностей динамических сцен на 2-3%.

2. Разработан метод оценки движения в сложных сценах, позволяющий отделить непреднамеренное движение видеокамеры от движения объектов в кадре, что позволяет повысить качество стабилизации видеопоследовательностей на 5—1%.

3. Разработан метод восстановления границ кадра при стабилизации статических и динамических сцен, позволяющий уменьшить потери качества и информации при восстановлении изображения.

4. Разработаны алгоритмы стабилизации видеопоследовательностей сложных статических и динамических сцен в системах видеонабгаодения.

5. Создан экспериментальный программный комплекс, позволяющий осуществлять оценку и компенсацию движения, интерполяцию границ кадра при стабилизации, а также устранение размытия движущихся объектов на видеопоследовательности.

6. Проведены экспериментальные исследования с использованием 20 видеопоследовательностей, содержащих статические и динамические сцены, которые показывают эффективность разработанных алгоритмов по сравнению с другими программными средствами для стабилизации видеопоследовательностей.

Таким образом, разработанные методы и алгоритмы позволяют повысить качество стабилизации видеопоследовательностей в системах видеонаблюдения и видеоредактирования.

Основные положения и результаты диссертационной работы представлены в следующих работах автора. Статьи в рецензируемых научных изданиях и журналах, входящих в перечень ВАК:

1. Буряченко В.В. Алгоритм стабилизации видеопоследовательностей, основанный на построении нечеткой модели движения // Вестник СибГАУ. - Вып. 4 (50), Красноярск, 2013. С. 4 - 9.

2. Буряченко В.В. Система видеонаблгодения с возможностью улучшения визуального качества видеопотока / Буряченко В.В., Зо-тинА.Г., Пахирка А.И. // Программные продукты и системы. 2013 № 2, Тверь: ЗАО НИИ ЦПС, 2013. С. 191 - 197.

3. Буряченко В.В. Стабилизация видео для статичной сцены на базе модифицированного метода соответствия блоков // Вестник СибГАУ -Вып. 3 (43), Красноярск, 2012. С. 10-15.

Основные опубликованные материалы конференций, статьи в сборниках по тематике работы:

4. V.V. Buryachenko Video Stabilization of Static Scenes Based on Robust Detectors and Fuzzy Logic / M.N. Favorskaya, V.V. Buryachenko // Frontiers in Artificial Intelligence and Applications, Volume 254: Intelligent Interactive Multimedia Systems and Services, 2013, pp.11 - 20.

5. Буряченко В.В. Повышение качества стабилизации за счет исключения недостоверных векторов движения // Материалы 15-й международной конференции и выставке «Цифровая обработка сигналов и ее применение», М. В 2 т. Т. 2,2013. С. 18 - 22.

6. Буряченко В.В. Стабилизация динамических сцен с применением нечеткой логики / Буряченко В.В., Фаворская М.Н. // Материалы научно-технической конференции «Техническое зрение в системах управления 2013». Механика, управление и информатика, М. 2012, С. 187 - 193.

7. Буряченко В.В. Улучшение панорамных снимков на основе стабилизации видеопоследовательностей / Буряченко В.В., Фаворская М.Н., Зотин А.Г. // Материалы научно-технической конференции «Техническое зрение в системах управления 2012». Механика, управление и информатика, М. 2012, С. 145- 150.

8. Буряченко В.В. Стабилизация видеопоследовательности для статических сцен // Материалы 14-й международной конференции «Цифровая обработка сигналов и ее применение». В 2 Т., Т. 2. М., 2012. С. 264-267.

9. Буряченко В.В. Методы детектирования кадров плохого качества при стабилизации видеопоследовательности // Материалы XVII международной научной конференции «Решетневские чтения» В 2 ч., 4.2, Красноярск, 2012. - С. 598-599.

Ю.Буряченко В.В. Алгоритм стабилизации видео, основанный на методе соответствия блоков // Материалы IX Всероссийской научно-практической конференции студентов, аспирантов и молодых ученых с международным участием: Молодежь и современные информационные технологии 2011. В 2 ч., Ч. 1, Томск, 2011. С. 224 - 225.

Свидетельства о регистрации программных продуктов:

11.Буряченко В.В. Система видеонаблюдения с возможностью визуального улучшения качества видеопотока (Video Stream Enhancer). Версия 0.51 / В.В. Буряченко, А.Г. Зотин, А.И. Пахирка // Свидетельство №2013618514. Зарегистрирован в Реестре программ для ЭВМ г. Москва, 10 сентября 2013 г.

12.Буряченко В.В. Программа стабилизации видеопоследовательностей для статической сцены (Video Stabilizer) Версия 1.0227 /В.В. Буряченко, А.Г. Зотин // Свидетельство №2011612893. Зарегистрировано в Реестре программ для ЭВМ г. Москва, 25 апреля 2011 г.

Отпечатано в отделе копировальной и множительной техники СибГАУ 660014 г. Красноярск, пр. им. газеты «Красноярский рабочий», 31

Буряченко Владимир Викторович

Стабилизация видеопоследовательностей сложных статических и динамических сцен в системах видеонаблюдения

Автореферат

Подписано к печати Формат 60x84/16. Бумага писчая. Печ. л. 1.0 Тираж 100 экз. Заказ №