автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Метод многокадрового сверхразрешения для систем охранного телевидения

На правах рукописи

003447831

Феофанов Кирилл Валерьевич

МЕТОД МНОГОКАДРОВОГО СВЕРХРАЗРЕШЕНИЯ ДЛЯ СИСТЕМ ОХРАННОГО ТЕЛЕВИДЕНИЯ

Специальность 05 13 18 - Математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Санкт-Петербург - 2008г

003447831

Работа выполнена в государственном образовательном учреждении высшего профессионального образования «Санкт-Петербургский государственный политехнический университет»

Научный руководитель

доктор технических наук, профессор Малыхина Галина Федоровна

Официальные оппоненты доктор технических наук, профессор кандидат технических наук

Гагарин Юрий Иванович Алексеев Петр Сергеевич

Ведущая организация

Федеральное государственное унитарное предприятие «Научно-исследовательский институт телевидения»

Защита состоится « 23 » октября 2008 года в 14 часов на заседании диссертационного совета Д 212 229 10 в ГОУВПО «Санкт-Петербургский государственный политехнический университет» по адресу 195251, Санкт-Петербург, Политехническая ул , д 29, 9 корпус, ауд 535

С диссертацией можно ознакомиться в Фундаментальной библиотеке ГОУВПО «Санкт-Петербургский государственный политехнический университет»

Автореферат разослан << » сентября 2008 г

Ученый секретарь диссертационного

совета, к т н , доцент

Кудряшов Э А

/

1. ОБЩАЯ ХАРАКТЕРИСТИКА ДИССЕРТАЦИИ Актуальность темы. Основной задачей систем охранного телевидения (СОТ) является формирование качественного видеоизображения, обеспечивающего возможность анализа наблюдаемой сцепы с целью распознавания ситуаций и отдельных объектов Основным показателем, определяющим качество видеоизображений в СОТ, является разрешение, характеризуемое воспроизведением мелких деталей наблюдаемой сцены

Основным фактором, ограничивающим разрешение изображений, формируемых видеокамерами СОТ, является количество элементов фотоприемников (ПЗС или КМОП-матриц) Использование в видеокамерах фотоприемников с большим количеством элементов имеет ряд ограничений, таких, как ограничения используемых стандартов видеосигнала, ухудшение соотношения сигнал/шум, ограничения каналов передачи данных, ограничения объемов устройств хранения видеоданных

Одним из перспективных подходов для решения задачи повышения разрешения формируемых изображений является использование методов восстановления изображений высокого разрешения по видеопоследовательностям низкого разрешения Восстановление осуществляется путем использования нескольких соседних кадров исходной видеопоследовательности для построения приближения идеального изображения наблюдаемой сцены В литературе эти методы получили название методов многокадрового сверхразрешения

В настоящее время методы многокадрового сверхразрешения в СОТ не применяются Видеопоследовательности, формируемые в СОТ, имеют ряд особенностей, таких, как большие межкадровые движения, высокий уровень аддитивного шума, малое количество кадров, содержащих объект наблюдения Существующие методы многокадрового сверхразрешения не учитывают этих особенностей и, поэтому, непосредственное их применение к этим видеопоследовательностям не позволяет производить эффективное

восстановление изображений высокого разрешения В связи с этим развитие методов многокадрового сверхразрешения для использования их в СОТ представляется актуальной задачей

Цель работы. Целью диссертационной работы является разработка методов, алгоритмов и программных средств, предназначенных для обработки видеопоследовательностей, формируемых СОТ, и восстановления изображения наблюдаемой сцены с разрешением, превышающим разрешение изображений исходной видеопоследовательности

Решение этой задачи связано с выполнением следующих этапов исследования

1 Анализ и систематизация существующих методов оценки межкадровых движений и методов формирования изображений высокого разрешения по видеопоследовательностям низкого разрешения

2 Разработка метода оценки межкадровых движений, имеющего высокую точность в широком диапазоне межкадровых движений

3 Разработка метода формирования изображений высокого разрешения по видеопоследовательностям низкого разрешения, позволяющего учитывать уровень аддитивного шума и ошибку оценки межкадровых движений

4 Применение разработанных методов для обработки видеопоследовательностей в СОТ

Предметом исследования является разработка метода многокадрового сверхразрешения, учитывающего особенности видеопоследовательностей, формируемых в СОТ

Методы исследований. Теоретические исследования выполнены с использованием аппарата цифровой обработки сигналов, теории численных методов, теории вероятностей, математической статистики, программирования

Научная новизна. В диссертационной работе получены следующие новые научные результаты

1 Систематизация методов оценки межкадровых движений и методов формирования изображений высокого разрешения по видеопоследовательностям низкого разрешения

2 Комбинированный метод оценки межкадровых движений, имеющий высокую точность в широком диапазоне межкадровых движений

3 Критерий сравнения блоков в блочном методе оценки межкадровых движений на основе взаимной информации

4 Математическая модель ошибки формируемого изображения высокого разрешения для метода деформации и слияния

5 Способ объединения оценок изображения высокого разрешения для метода деформации и слияния, минимизирующий ошибку формируемого изображения высокого разрешения

Положения, выносимые на защиту:

1 Комбинированный метод оценки межкадровых движений, имеющий высокую точность в широком диапазоне межкадровых движений

2 Метод формирования изображения высокого разрешения, минимизирующий ошибку восстанавливаемого изображения

Практическая значимость полученных в диссертационной работе

результатов

1 Разработанный комбинированный метод оценки межкадровых движений позволяет производить вычисления для видеопоследовательностей с низкой частотой кадров, характерных для СОТ

2 Разработанный способ объединения оценок изображения высокого разрешения для метода деформации и слияния позволяет получить разрешение восстановленного изображения в полтора раза выше, чем при объединении по среднему или медианному значению

3 Разработано прикладное программное обеспечение для анализа видеопоследовательностей в СОТ

Апробация результатов. Основные положения и результаты

диссертации докладывались на 33-й и 34-й научно-технических

конференциях (НТК) «Неделя науки СПбГПУ» (СПбГПУ, 2004, 2005), 16-ой, 17-ой, 18-й и 19-й НТК "Экстремальная робототехника" (ЦНИИ РТК, 2005, 2006, 2007, 2008).

Публикации. По теме диссертации опубликовано 3 статьи, 4 текста докладов и 2 тезиса докладов.

Структура диссертации. Диссертационная работа состоит из введения, четырёх глав, заключения, списка литературы (104 наименования). Основная часть работы изложена на 140 страницах машинописного текста, содержит 39 рисунков и 13 таблиц.

2. СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении обоснована актуальность задачи диссертационной работы, определена цель исследований.

В первой главе приведена общая постановка задачи многокадрового сверхразрешения. Описана общая схема восстановления изображений методами многокадрового сверхразрешения. Проведён анализ и систематизация методов оценки межкадровых движений и методов формирования изображений высокого разрешения по видеопоследовательностям низкого разрешения.

• ж "а

Кадры исходной Оценка межкадровых Воссганмшеннс

видеопоследовательности движений и наложение изображение

низкого разрешения

Рисунок 1 - Схема восстановления одиночного изображения высокого разрешения методами мпогокадрового сверхразрешения

Схема восстановления одиночного изображения методами многокадрового сверхразрешения представлена на рисунке 1 Восстановление производится в два этапа На первом этапе осуществляется оценка межкадровых движений между выбранным опорным кадром и остальными кадрами исходной видеопоследовательности На втором этапе кадры исходной видеопоследовательности объединяются на общей пространственной решетке с учетом межкадровых движений Результирующее изображение высокого разрешения формируется вычислением значений интенсивностей в узлах новой пространственной решетки Таким образом, восстановление изображения методом многокадрового сверхразрешения осуществляется в два этапа - оценка межкадровых движений и формирование изображения высокого разрешения объединением кадров на общей пространственной решетке

В результате анализа и систематизации методов оценки межкадровых движений все методы были разделены по ряду признаков по количеству используемых кадров, по используемой модели межкадровых движений, по области реализации и по критерию оценки

В результате анализа и систематизации методов формирования изображений высокого разрешения все методы были разделены две группы по области реализации методы, реализуемые в частотной области и методы, реализуемые в пространственной области

Произведен анализ особенностей видеопоследовательностей, формируемых СОТ На его основе сформулированы требования, которым должны удовлетворять методы оценки межкадровых движений и методы формирования изображения высокого разрешения для их эффективного применения в СОТ

• оценка межкадровых движений по двум соседним кадрам,

• субпиксельная точность оценки межкадровых движений,

• устойчивость метода оценки межкадровых движений к большим значениям межкадровых движений,

• использование непараметрической модели межкадровых движений,

• устойчивость к аддитивному шуму,

• невысокая вычислительная сложность алгоритмов

Показано, что для оценки межкадровых движений в СОТ могут применяться блочные и дифференциальные методы Для формирования изображений высокого разрешения могут применяться методы интерполяции неравномерно расположенных отсчетов и метод деформации и слияния Однако эти методы соответствуют не всем перечисленным требованиям, поэтому необходима разработка новых методов

На основе проведенного анализа дана постановка задачи диссертационной работы

Вторая глава посвящена разработке метода оценки межкадровых движений, учитывающего особенности видеопоследовательностей, формируемых в СОТ Оценка межкадровых движений является первым этапом восстановления изображения высокого разрешения методами многокадрового сверхразрешения Точность вычисления векторов межкадровых движений оказывает большое влияние на результат восстановления

Как отмечалось выше, в СОТ могут применяться дифференциальные и блочные методы оценки межкадровых движений Были проведены исследования характеристик этих методов В результате исследований были сделаны следующие выводы

• Блочные методы обеспечивают оценку в широком диапазоне межкадровых движений

• Дифференциальные методы имеют лучшую точность при небольших значениях межкадровых движений

• Точность дифференциальных методов сильно снижается при больших значениях межкадровых движений

• Необходима разработка нового метода оценки межкадровых движений для применения в СОТ Исходя из характеристик блочного и дифференциального методов оценки межкадровых движений, полученных в результате проведенных исследований, был разработан комбинированный метод, позволяющий использовать преимущества обоих методов для достижения высокой точности оценки в широком диапазоне межкадровых движений

Схема разработанного метода оценки межкадровых движений представлена на рисунке 2

Рисунок 2 — Схема комбинированного метода оценки межкадровых

движений

Оценка межкадровых движений осуществляется в два этапа На первом этапе выполняется оценка межкадровых движений блочным методом Для сокращения вычислительных затрат используется кратномасштабный подход на основе пирамиды изображений На втором этапе производится оценка межкадровых движений дифференциальным методом Лукаса-Канаде Векторы межкадровых движений, вычисленные на первом этапе блочным методом, используются в качестве начальных приближений для метода

Лукаса-Канаде. За счёт этого обеспечивается работа этого метода в области малых межкадровых движений и достигается высокая точность оценки межкадровых движений. Использование блочного метода на первом этапе обеспечивает устойчивость метода к большим межкадровым движениям.

Проведённые исследования разработанного метода показали его превосходство над блочными и дифференциальными методами. На рисунке 3 приведены экспериментальные зависимости математического ожидания Ь2-нормы ошибки оцеики межкадровых движений от величины межкадровых смещений.

- Блочный метод р Метод ——„ Лукаса-Канаде А Комбинированный метод

$

а / з/а /

......"/ / / о / о

а, о '"о5-1 1

1° , 0

рхвоп

О _Т ~_I — I _I ... -I •••_|_^__и

О 0.5 1 1.5 2 2.5 3 3.5 4

с1

Рисунок 3 - Зависимость математического ожидания ¿2-нормы ошибки оценки межкадровых движений от величины межкадровых смещений

Для повышения точности оценки межкадровых движений блочным методом предложен новый критерий сравнения блоков па основе максимума взаимной информации. Рассмотрим точку х0 = [х0|,х02]' первого кадра, смещение которой относительно второго кадра необходимо определить. Окрестность данной точки рассматривается как реализация некоторой случайной величины У[, а окрестность точки х„ + с! = [х0| + с/пх02 + с/,]'

второго кадра рассматривается как реализация случайной величины У2Л Тогда смещение рассматриваемой точки х(| первого кадра относительно второго кадра определяется выражением

РЬ\,Уи)

с1„ =а^тах £ Ц РкУ^Уг,)^

(1)

кр(у,)р(уц)_

где р(ух) и р{у2,,) - плотности распределения вероятностей случайных величин У^ и У2Л, р{}\,}\_л) - совместная плотность распределения вероятностей случайных величин и У,( Проведенные экспериментальные исследования показали эффективность предложенного критерия

Все методы оценки межкадровых движений используют предположение о постоянстве межкадровых движений в некоторой окрестности рассматриваемой точки Обычно в качестве такой окрестности используют окно прямоугольной формы Для адаптивного формирования формы окрестности в диссертационной работе используется метод локальной полиномиальной аппроксимации и правило пересечения доверительных интервалов

Третья глава посвящена разработке метода формирования изображения высокого разрешения из видеопоследовательности низкого разрешения

Как отмечалось выше, в СОТ могут использоваться методы интерполяции неравномерно расположенных отсчетов и метод деформации и слияния Метод деформации и слияния является почти не изученным, однако обладает определенными преимуществами по сравнению с методами интерполяции неравномерно расположенных отсчетов Метод деформации и слияния использует интерполяцию равномерно расположенных отсчетов исходных кадров, которая может быть реализована на основе свертки, за счет чего сокращаются вычислительные затраты

Обозначим через ,§»[от|>"^] ~~ А'-й кадр исходной видеопоследовательности, ш, = 1,2, ,М,, тг = 1,2, ,Мг,к = 1,2, ,К,гаеК~ количество кадров исходной видеопоследовательности Известны векторы

межкадровых движений между выбранным опорным кадром gl[mí,m2\ и остальными кадрами исходной видеопоследовательности Необходимо сформировать оценку ^[",,«,] изображения высокого разрешения, где и, = 1,2, , Л^,, пг~ 1,2, ,Ы2, Л^ > А/,, АТ2> М2 При этом считается, что известны с субпикселыюй точностью векторы межкадровых движений и,Л"р"2] = [у/Л"р"2]>",1["|>"2]Г' гДе "/*["■>«2] и - горизонтальная

и вертикальная составляющие межкадровых движений между 1-м и к-м кадрами исходной видеопоследовательности

Оценка изображения высокого разрешения /,[«,,«,] в методе деформации и слияния формируется объединением оценок /Ди,,«,], полученных деформацией кадров исходной видеопоследовательности к выбранному опорному кадру, по следующей формуле

К

= 2~\ /«[",.И2], (2)

где и,,и2] - весовые функции, определяющие способ объединения оценок

К

= (3)

/Ы /я, т2

/у ч N

«,-1

х/Г

х/Г

«2-1

(М2-\)/(М2-1)

+ ип[ И,,«,]

-К-1)

(4)

ск(тпт2) - сплайн-коэффициенты к-го кадра исходной видеопоследовательности, Р"{х) -В-сплайн порядка«

Для объединения оценок /¡Ди,,и2] и формирования восстановленного изображения используется среднее либо медианное значение оценок А [и,, п2 ] В случае среднего значения

\^[п„п2] = МК В случае использования медианных значений

[1, Л ='И«/(Л>р"2])

и; [н„«2] =

О.Л >"2])

(6)

В диссертационной работе предложена модель ошибки формируемого изображения высокого разрешения в виде суммы ошибок, обусловленных аддитивным гауссовым шумом, ошибкой оценки межкадровых движений и ошибкой интерполяции, и предложен новый способ объединения оценок Л ["¡'"г!' минимизирующий дисперсию ошибки восстанавливаемого изображения

Дисперсия ошибки восстанавливаемого изображения определяется следующим выражением

£>мди,, п2 ]})= £ и'/ [и,, п2 ] £>нл [и,, п2 ]}},

где

(7)

(8)

<у\ + ( Г б/, [/2,, И,]" + 2\

ч 1 д"< 1 8>ь J У

0{е{/1к [/«„ и2]}} =

= {/"* [«,, «2 ]}} + 0{еы {Г, [я, ]}} + {/д [и, , л2]}} =

о\ - дисперсия аддитивного гауссова шума, гг^г[п1,п2,к] - дисперсия ошибки оценки горизонтальной и вертикальной составляющих межкадровых движений, а^[п^п2,к] - дисперсия ошибки интерполяции

Весовые функции, минимизирующие ошибку восстанавливаемого изображения методом деформации и слияния, определяются выражением

1

ДМ/Л«,,«;]}} X"

1

(9)

Были проведены экспериментальные исследования метода деформации и слияния и разработанного способа объединения оценок Проводились

исследования дисперсии ошибки восстанавливаемого изображения, разрешения восстанавливаемого изображения, а также экспертная оценка восстановленных изображений.

На рисунке 4 приведена зависимость дисперсии ошибки восстановленного изображения от дисперсии аддитивного шума видеопоследовательности низкого разрешения для различных алгоритмов восстановления изображения высокого разрешения.

х ю"3

ю э 8

б >.

5

4,

0 0.001 0.002 0.003 0.004 0.005 0.006 0.007 0.008 0.009 0.01

Рисунок 4 - Зависимость дисперсии ошибки восстановленного изображения высокого разрешения от дисперсии аддитивного шума: 1 - алгоритм минимизации ошибки, 2 - метод деформации и слияния с объединением оценок по среднему значению, 3 - метод деформации и слияния с объединением оценок по медианному значению, 4 - триангуляция Делоне, 5 — интерполяция опорного кадра исходной видеопоследовательности В-сплайнами третьего порядка

На рисунке 5 приведена зависимость дисперсии ошибки восстановленного изображения от дисперсии ошибки оценки межкадровых движений для различных алгоритмов восстановления изображения высокого разрешения.

Рисунок 5 - Зависимость дисперсии ошибки восстановленного изображения высокого разрешения от дисперсии ошибки оценки межкадровых движений: 1 - алгоритм минимизации ошибки, 2 - метод деформации и слияния с объединением оценок по среднему значению, 3 - метод деформации и слияния с объединением оценок по медианному значению, 4 - триангуляция Делоне, 5 - интерполяция опорного кадра исходной видеопоследовательности В-сплайнами третьего порядка

Экспертная оценка также показала превосходство разработанного метода над остальными методами формирования изображения высокого разрешения. Для определения степени согласованности оценки на основе вычисления дисперсии ошибки восстановленного изображения и экспертной оценки качества восстановленного изображения, использовался коэффициент ранговой корреляции Спирмена. В результате был сделан вывод о соответствии между оценкой на основе дисперсии ошибки восстановленного изображения и экспертной оценкой качества восстановленных изображений.

Восстановление изображений тестовой телевизионной таблицы показало, что изображения, восстановленные методом деформации и слияния с разработанным способом объединения оценок, имеют разрешение в полтора раза выше, чем изображения, восстановленные методом деформации и слияния с объединением оценок по среднему или медианному значению.

13

Четвертая глава посвящена практическому применению разработанных методов оценки межкадровых движений и формирования изображения высокого разрешения для анализа видеопоследовательностей СОТ Демонстрируются практические результаты применения разработанных методов

Основными направлениями практического применения методов многокадрового сверхразрешения для СОТ можно считать детальный анализ видеозаписи с целью распознавания определенных объектов, как правило, лиц людей или номерных знаков автотранспорта, и увеличение отдельных фрагментов кадра при видеонаблюдении в реальном времени Аппаратная база современных СОТ не позволяет реализовать методы многокадрового сверхразрешения в реальном времени Поэтому в качестве практической реализации разработанных методов в диссертационной работе произведена разработка программного обеспечения анализа видеозаписей СОТ

Разработка программного обеспечения производилась в средах Microsoft Visual Studio 2005 и MATLAB R2006a Для оптимизации времени обработки использовалась библиотека функций Intel IPP

Практические исследования разработанного программного обеспечения показали его эффективность при работе с реальными видеопоследовательностями СОТ

3. ЗАКЛЮЧЕНИЕ

В ходе выполнения диссертационной работы получены следующие основные научные и практические результаты

1 Выполнена систематизация методов многокадрового сверхразрешения

2 Разработан комбинированный метод оценки межкадровых движений, имеющий высокую точность в широком диапазоне межкадровых движений

3 Предложен критерий сравнения блоков в блочном методе оценки межкадровых движений на основе взаимной информации

4 Предложена математическая модель ошибки восстанавливаемого изображения высокого разрешения для метода деформации и слияния

5 Предложен способ объединения оценок для метода деформации и слияния, минимизирующий ошибку восстанавливаемого изображения высокого разрешения

6 Разработано прикладное программное обеспечение для анализа видеопоследовательностей в СОТ

4. СПИСОК ОПУБЛИКОВАННЫХ РАБОТ

1 Феофанов, К. В. Обработка изображений в цифровых системах видеонаблюдения методами сверхразрешения / К В Феофанов, Г Ф Малыхина // Технологии Microsoft в теории и практике программирования Материалы межвузовского конкурса-конференции студентов, аспирантов и молодых ученых Северо-запада - СПб Изд-во Политехи ун-та, 2005 - С 131-133

2 Феофанов, К. В. Обработка последовательности изображений методами многокадрового сверхразрешения / К В Феофанов // Актуальные проблемы защиты и безопасности Труды Восьмой Всероссийской научно-практической конференции - СПб, 2005 - Т 5 Экстремальная робототехника - С 306-309

3 Феофанов, К. В. Применение блочного метода оценки межкадровых движений в задаче сверхразрешения / К В Феофанов, Г Ф Малыхина // Актуальные проблемы защиты и безопасности Труды Восьмой Всероссийской научно-практической конференции - СПб, 2005 - Т 5 Экстремальная робототехника - С 310-314

4 Феофанов, К. В. Обработка изображений автомобильных регистрационных знаков / К В Феофанов // Измерительные информационные технологии Сборник статей - СПб факультет технической кибернетики СПбГПУ, 2005 - С 82-90

5 Феофанов, К. В. Комбинированный алгоритм сверхразрешения в системах видеонаблюдения / К В Феофанов // Вычислительные, измерительные управляющие системы Сборник научных трудов / Под ред Ю Б Сениченкова - СПб Изд-во Политехи ун-та, 2005 - С 77-80

6 Феофанов, К. В. Алгоритм многокадрового сверхразрешения для обработки изображений автомобильных регистрационных знаков / К В Феофанов // Актуальные проблемы защиты и безопасности Труды Девятой Всероссийской научно-практической конференции - СПб, 2006 - Т 5 Экстремальная робототехника - С 518-524

7 Феофанов, К. В. Иерархическая схема сверхразрешения в системах видеонаблюдения / К В Феофанов, Г Ф Малыхина // Технологии Microsoft в теории и практике программирования Материалы межвузовского конкурса-конференции студентов, аспирантов и молодых ученых Северо-запада - СПб Изд-во Политехи ун-та, 2006 - С 203-204

8 Феофанов, К. В. Блочный алгоритм оценки оптического потока на основе максимума взаимной информации / К. В. Феофанов // Научно-технические ведомости СПбГТУ. - СПб., 2006. - №5. Т.1. Естественные и технические науки. - С. 138-142.

9 Феофанов, К. В. Алгоритм многокадрового восстановления изображения высокого разрешения, минимизирующий ошибку восстановленного изображения / К В Феофанов // Актуальные проблемы защиты и безопасности Труды Десятой Всероссийской научно-практической конференции - СПб , 2007 -Т5 Экстремальная робототехника - С 361367

Лицензия ЛР № 020593 от 07 08 97

Подписано в печать 17 09 2008 Формат 60x84/16 Печать цифровая Уел печ л 1,0 Уч-изд л 1,0 Тираж 100 Заказ 3397Ь

Отпечатано с готового оригинал-макета, предоставленного автором, в Цифровом типографском центре Издательства Политехнического университета 195251, Санкт-Петербург, Политехническая ул , 29 Тел (812)550-40-14 Тел/факс (812)297-57-76