автореферат диссертации по приборостроению, метрологии и информационно-измерительным приборам и системам, 05.11.16, диссертация на тему:Многокадровая система повышения разрешения для видеоконтроля движущихся объектов

На правах рукописи

ои

Феофанов Кирилл Валерьевич

МНОГОКАДРОВАЯ СИСТЕМА ПОВЫШЕНИЯ РАЗРЕШЕНИЯ ДЛЯ ВИДЕОКОНТРОЛЯ ДВИЖУЩИХСЯ ОБЪЕКТОВ

Специальность: 05.11.16 - Информационно-измерительные и управляющие системы (машиностроение)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

2 2 ОКТ

Санкт-Петербург - 2009г.

003480736

Работа выполнена в государственном образовательном учреждении высшего профессионального образования «Санкт-Петербургский государственный политехнический университет»

Научный руководитель: доктор технических наук, профессор

Малыхина Галина Фёдоровна

Официальные оппоненты: доктор технических наук, профессор

Кондрашкова Галина Анатольевна

кандидат технических наук Газин Дмитрий Игоревич

Ведущая организация: Государственный Научный Центр России

Центральный Научно-Исследовательский Институт Робототехники и Технической Кибернетики

Защита состоится «12» ноября 2009 года в 14 часов на заседании диссертационного совета Д 212.229.10 в ГОУВПО «Санкт-Петербургский государственный политехнический университет» по адресу: 195251, Санкт-Петербург, Политехническая ул., д.29, 9 корпус, ауд. 535.

С диссертацией можно ознакомиться в Фундаментальной библиотеке ГОУВПО «Санкт-Петербургский государственный политехнический университет»

Автореферат разослан «7» октября 2009 г.

Ученый секретарь диссертационного совета, к.т.н., доцент

Кудряшов Э.А.

1. ОБЩАЯ ХАРАКТЕРИСТИКА ДИССЕРТАЦИИ Актуальность темы. Основной задачей систем видеоконтроля (СВК) является формирование качественного видеоизображения, обеспечивающего возможность анализа наблюдаемых объектов. Основной характеристикой СВК, определяющей качество формируемых видеоизображений, является разрешение, характеризуемое воспроизведением мелких деталей наблюдаемой сцены.

Основным фактором, ограничивающим разрешение СВК, является количество элементов фотоприёмников (ПЗС или КМОП-матриц) видеокамер. Использование в многоканальных СВК, таких, например, как системы видеонаблюдения (СВН), видеокамер с большим количеством элементов фотоприёмника имеет ряд существенных ограничений, таких, как ограничения используемых стандартов видеосигнала, ухудшение соотношения сигнал/шум, ограничения каналов передачи данных, ограничения объёмов устройств храпения видеоданных.

Одним из перспективных подходов для решения задачи повышения разрешения является использование методов восстановления изображений высокого разрешения по видеопоследовательностям, формируемым в СВК низкого разрешения. Восстановление осуществляется путём использования нескольких соседних кадров исходной видеопоследовательности для построения приближения изображения более высокого разрешения. Для возможности осуществления такого восстановления необходимо наличие относительного движения камеры и наблюдаемой сцены. То есть применение таких методов возможно для видеоконтроля движущихся объектов. В литературе такие методы получили название многокадровых.

В настоящее время многокадровые методы повышения разрешения в СВН не применяются. Видеопоследовательности, формируемые в СВН, имеют ряд особенностей, таких, как большие межкадровые движения, высокий уровень аддитивного шума, малое количество кадров, содержащих объект наблюдения. Существующие методы многокадрового восстановления не учитывают этих особенностей, и поэтому непосредственное их

применение в СВН не позволяет произвести эффективное повышение разрешения. В связи с этим разработка и исследование многокадровой системы повышения разрешения для видеоконтроля движущихся объектов представляется актуальной задачей.

Цель работы. Целью диссертационной работы является разработка методов, алгоритмов и программных средств, предназначенных для многокадровой системы повышения разрешения СВН.

Решение этой задачи связано с выполнением следующих этапов исследования:

1. Анализ и систематизация существующих методов оценивания межкадровых движений и методов формирования изображений высокого разрешения по видеопоследовательностям низкого разрешения.

2. Разработка метода оценивания межкадровых движений, позволяющего получать оценку с субпикселыюй точностью в широком диапазоне межкадровых движений.

3. Разработка метода формирования изображения высокого разрешения по видеопоследовательности низкого разрешения, минимизирующего погрешность восстанавливаемого изображения.

4. Разработка программного обеспечения многокадровой системы повышения разрешения, реализующего разработанные методы.

Предметом исследования является проблема повышения разрешения СВН сверх пределов, накладываемых ограниченным количеством элементов (пикселей) фотоприемников видеокамер.

Методы исследований. Теоретические исследования выполнены с использованием аппарата цифровой обработки сигналов, теории численных методов, теории вероятностей, математической статистики, программирования.

Научная новизна. В диссертационной работе получены следующие новые научные результаты:

1. Показано, что в задаче повышения разрешения СВН с помощью многокадровых методов, применение существующих методов оценивания межкадровых движений не эффективно;

2. Разработан новый, комбинированный метод оценивания межкадровых движений. Метод использует блочный подход для получения грубой оценки межкадровых движений и дифференциальный подход Лукаса-Канаде для получения точной оценки;

3. Предложен новый критерий сравнения блоков для блочного метода, основанный на взаимной информации между сравниваемыми блоками;

4. Разработан метод адаптивного формирования окрестности точки при оценивании межкадровых движений, использующий правило пересечения доверительных интервалов и локальную полиномиальную аппроксимацию нулевого порядка;

5. Предложена математическая модель погрешности формируемого изображения высокого разрешения для восстановления на основе деформации и слияния;

6. Предложен способ объединения оценок изображения высокого разрешения для восстановления на основе деформации и слияния, минимизирующий среднеквадратическую погрешность формируемого изображения высокого разрешения.

Практическая значимость полученных в диссертационной работе

результатов:

1. Комбинированный метод обеспечивает более низкое среднее значение и дисперсию погрешности определения смещения. В частности, средняя величина модуля погрешности определения смещения на 10-30% меньше, чем в блочном методе, и в 1.5-3 раза меньше, чем в дифференциальном методе; дисперсия модуля погрешности определения смещения 1.5-8 раз меньше чем в блочном методе и в 10-95 раз меньше, чем в дифференциальном методе.

2. Предложенный информационный критерий сравнения блоков в блочном методе позволяет на 10% - 20% уменьшить среднее значение и на 17% -40% дисперсию погрешности определения межкадровых движений.

3. Использование адаптивного выбора размеров окрестности рассматриваемой точки опорного кадра видеопоследовательности при оценивании межкадровых движений позволяет повысить точность

оценивания на 13-20% по математическому ожиданию погрешности и на 18-30% по дисперсии погрешности определения межкадровых движений.

4. Разработанный способ объединения оценок для восстановления на основе деформации и слияния, минимизирующий среднеквадратичную погрешность восстанавливаемого изображения высокого разрешения, позволяет уменьшить дисперсию погрешности восстановленного изображения на 10-20%.

5. Разрешение изображения, восстановленного разработанным алгоритмом, в 1,5 раза превышает разрешение изображений, восстановленных методом деформации и слияния с объединением оценок по среднему или медианному значению.

6. Разработано прикладное программное обеспечение для анализа видеопоследовательностей в СВН.

Апробация результатов. Основные положения и результаты диссертации докладывались на 33-й и 34-й научно-технических конференциях (НТК) «Неделя науки СПбГПУ» (СПбГПУ, 2004, 2005), 16-ой, 17-ой, 18-й и 19-й НТК "Экстремальная робототехника" (ЦНИИ РТК, 2005, 2006,2007, 2008).

Реализация на практике. Разработанное программное обеспечение анализа видеопоследовательностей использовано при построении СВН ряда объектов ООО «ИТС Центр», что отражено в акте внедрения результатов кандидатской диссертационной работы.

Публикации. По теме диссертации опубликовано 3 статьи, 5 текстов докладов и 2 тезиса докладов.

Структура диссертации. Диссертационная работа состоит из введения, четырёх глав, заключения, списка литературы (104 наименования), одного приложения. Основная часть работы изложена на 151 странице машинописного текста, содержит 41 рисунков и 17 таблиц.

2. СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении обоснована актуальность задачи диссертационной работы, определена цель исследований.

В первой главе проведён анализ и систематизация существующих методов оценивания межкадровых движений и методов формирования изображений высокого разрешения по видеопоследовательностям низкого разрешения. Показана их низкая эффективность в СВН.

ГгМ

-РП

'б ! «

[ • • • •

Ш, у А ■ / ш> « А

• 9 •

-► * а .....А. Щ: ......А ш & »

• V. \ • ... • •

¥ ) 1 А а А « А И А »

• • • •

Г I

— 1 м Г. 1/1!

- — 1 1 тгг

. I 1 1

Л- ли

Кадры исходной видеопоследовательности низкого разрешения

Оценка межкадровых движении и наложение

Восстановленное изображение

Рисунок 1 - Схема восстановления одиночного изображения высокого разрешения многокадровыми методами

Схема восстановления одиночного изображения многокадровыми методами представлена на рисунке 1. Восстановление производится в два этапа. На первом этапе осуществляется оценивание межкадровых движений между выбранным опорным кадром и остальными кадрами исходной видеопоследовательности. На втором этапе кадры исходной видеопоследовательности объединяются на общей пространственной решетке с учётом межкадровых движений. Результирующее изображение высокого разрешения формируется вычислением значений интенсивностей в узлах новой пространственной решетки.

В результате анализа и систематизации методов оценивания межкадровых движений все методы были разделены по ряду признаков: по количеству используемых кадров, по используемой модели межкадровых движений, по области реализации и по критерию оценки.

Выполнен анализ и систематизация методов формирования изображений высокого разрешения. Эти методы были разделены на две группы: методы, реализуемые в частотной области и методы, реализуемые в пространственной области.

Произведён анализ особенностей видеопоследовательностей, формируемых в СВН. На его основе сформулированы требования, которым должны удовлетворять методы оценки межкадровых движений и методы формирования изображения высокого разрешения для их эффективного применения в СВН:

- использование только двух кадров при оценивании межкадровых движений между ними,

- субпиксельная точность оценивания межкадровых движений,

- устойчивость метода оценивания межкадровых движений к большим значениям межкадровых движений,

- независимое оценивание межкадровых движений для каждой точки,

- устойчивость к аддитивному шуму,

- невысокая вычислительная сложность алгоритмов.

Проведены экспериментальные исследования блочного и дифференциального методов оценивания межкадровых движений. Показано, что непосредственное применение этих методов для субпикселыюй оценки по видеопоследовательностям, обладающим значительными межкадровыми движениями, не эффективно.

На основе проведённого анализа сделаны выводы о необходимости разработки новых методов для их применения в СВК.

Вторая глава посвящена разработке метода оценивания межкадровых движений, учитывающего особенности видеопоследовательностей, формируемых в СВН. Оценивание межкадровых движений является первым этапом повышения разрешения многокадровыми методами. Точность определения векторов межкадровых движений оказывает большое влияние на эффективность повышения разрешения.

Исходя из характеристик блочного и дифференциального методов оценивания межкадровых движений, полученных в результате проведённых экспериментальных исследований, а также особенностей видеопоследовательностей, формируемых в СВК, был разработан комбинированный метод, позволяющий использовать преимущества обоих

методов для достижения высокой точности оценивания в широком диапазоне межкадровых движений.

Схема разработанного метода оценивания межкадровых движений представлена на рисунке 2.

Рисунок 2 - Схема комбинированного метода оценивания межкадровых

движений

Оценивание межкадровых движений осуществляется в два этапа. На первом этапе выполняется грубое оценивание межкадровых движений с помощью блочного подхода. Для сокращения вычислительных затрат предложено использовать кратномасштабный подход на основе пирамиды изображений:

^-,(т) = А(т)*гу(ш), г'ч(т) = ^-,(2т)> (1)

где т = [и?,, т2 ]7, /и, = 0,1

А/,

,т2 = 0,1,..

М,

, ) = 0,1,...,./ - номер уровня

пирамиды изображений, Л(т) - импульсная характеристика сглаживающего фильтра. Величина межкадровых движений с! = [«/,,¿/2]г рассматриваемой точки с координатами т = [/и,, /м2]т на данном этапе определяется следующим выражением:

й' =агетщ Е{&/(т)~~#2(т + + (П}\ у = 0,1,...,У; с! 1 =0, (2)

(1' теХ

где §|(т), §2(т) - текущий и опорный кадры исходной видеопоследовательности соответственно.

На втором этапе производится оценивание межкадровых движений на основе дифференциального подхода Лукаса-Канаде. Векторы межкадровых движений (1' (т), вычисленные на первом этапе, используются в качестве начальных приближений для метода Лукаса-Канаде. При этом обеспечивается работа метода в области малых межкадровых движений и достигается высокая точность оценивания. Использование блочного метода на первом этапе обеспечивает устойчивость метода к большим межкадровым движениям. Таким образом, определение вектора межкадровых движений сводится к выполнению следующих рекуррентных соотношений:

с10 =(1^,

2! Мщ) ■

те А'

<7111

(3)

X н<ш)

от

5т

где X - окрестность рассматриваемой точки, в пределах которой

межкадровые движения предполагаются постоянными, -=

5т

8 8 8т, 8т,

оператор градиента, к = 0,1,..., Ишт,р

■ количество итерации, 1

от 5т

(4)

- весовая функция, используемая для повышения точности оценивания.

Проведённые исследования разработанного метода показали его превосходство над блочными и дифференциальными методами. На рисунке 3 приведены экспериментальные зависимости математического ожидания модуля погрешности оценивания межкадровых движений от величины межкадровых смещений.

1 О Блочный метод

О Метод

Лукас а-Канаде

0.8 Л Комбаниров энный

метод

Рисунок 3 - Зависимость математического ожидания модуля погрешности оценивания межкадровых движений от их величины

Для повышения точности оценивания межкадровых движений блочным методом предложен новый критерий сравнения блоков на основе максимума взаимной информации. Рассмотрим точку ш, =[т(1|,т02]г первого кадра, смещение которой относительно второго кадра необходимо определить. Окрестность данной точки рассматривается как реализация некоторой случайной величины а окрестность точки т0 + с1 = [х0, + сУ,,Л'(12 + ]г второго кадра рассматривается как реализация случайной величины К, (|. Тогда смещение рассматриваемой точки х(1 первого кадра относительно второго кадра определяется выражением:

с!„ =

v v , ч1 г р(.у\'уы)

а^тах ^ У р(}\,у1Л)\ощ —-

(5)

где и р{}'1л) - плотности распределения вероятностей случайных

величин У, и У1(|, р{у{,у,л) - совместная плотность распределения вероятностей случайных величин \\ и К, л. Проведённые экспериментальные исследования показали эффективность предложенного критерия.

Все методы оценивания межкадровых движений используют предположение о постоянстве межкадровых движений в некоторой

окрестности рассматриваемой точки. Обычно в качестве такой окрестности используют окно прямоугольной формы. Для адаптивного формирования формы окрестности в диссертационной работе предложено использовать метод локальной полиномиальной аппроксимации и правило пересечения доверительных интервалов.

Третья глава посвящена разработке метода формирования изображения высокого разрешения из видеопоследовательности низкого разрешения.

В диссертационной работе использован подход на основе деформации и слияния. Для деформации использована интерполяция В-сплайнами, за счёт чего достигнуто сокращение вычислительных затрат.

Обозначим через ш,] - к- й кадр исходной

видеопоследовательности, = 1,2,..., М,, т2 =1,2,...,М2, к = 1,2,..., К, где К — количество кадров исходной видеопоследовательности, ,ш2 ] -

выбранный опорный кадр, 1 < / < К. Необходимо сформировать оценку /¡[и,,и2] изображения высокого разрешения, где л, = 1,2,...,ТУ,, и, =1,2,...,М,, Ы, > М1, /V, > М2. При этом считается, что получены с субпиксельной точностью векторы межкадровых движений

горизонтальная и вертикальная составляющие межкадровых движений между /-м и к-м кадрами исходной видеопоследовательности.

Оценка изображения высокого разрешения /[иР"2] в методе деформации и слияния формируется объединением оценок Ул[и,,«,], полученных деформацией кадров исходной видеопоследовательности к выбранному опорному кадру, по следующей формуле:

где и', [»,,»,] - весовые функции, определяющие способ объединения оценок

А Л ~

у; к. ■"2 ]=I ^ [«, > ■'ь ] • А к, »2 ].

К

(6)

£и'Ди„и2] = 1,

(7)

х р'

Я,- 1

Я2-1 - 1)/(Л/2 -1)

+ с/„ Д»,,//2] + с/2а [«,,«,]

- ('«1 -1) -0"2-1)

с, (/и,, /и,) - сплайн-коэффициенты ¿-го кадра исходной видеопоследовательности, Р''(х) -В-сплайн порядка р.

Для объединения оценок /¡А[и,,и2] и формирования восстановленного изображения обычно используется среднее либо медианное значение оценок [«,, «2 ]. В случае среднего значения

чфь,п2] = 1/К. (9)

В случае использования медианных значений

[1, Л =/ие4/,>,,л,])

(10)

В диссертационной работе предложена модель погрешности формируемого изображения высокого разрешения в виде суммы погрешностей, обусловленных аддитивным шумом, погрешностью оценки межкадровых движений и погрешностью интерполяции, и предложен новый способ объединения оценок /д[и|,«2] изображения высокого разрешения, минимизирующий среднеквадратичную погрешность восстанавливаемого изображения. Дисперсия погрешности восстанавливаемого изображения определяется следующим выражением:

о(е{/, [и,, и2 ]))= I и-, 2 [и,, п2} ■ о(е{/1к [и,, п2 ])), (11)

где

V дп\

дп-,

сг2х - дисперсия аддитивного гауссова шума, о"(2)Г[»|,и2Д] - дисперсия погрешности оценки горизонтальной и вертикальной составляющих межкадровых движений, а][п^п-,,к] - дисперсия погрешности интерполяции.

Весовые функции, минимизирующие погрешность восстанавливаемого изображения методом деформации и слияния, определяются выражением:

1

(13)

Были проведены экспериментальные исследования разработанного метода. На рисунке 4 приведена зависимость дисперсии погрешности восстановленного изображения от дисперсии аддитивного шума видеопоследовательности низкого разрешения для различных алгоритмов восстановления изображения высокого разрешения.

О 0.001 0.002 0.003 0.004 0.005 0.006 0.007 0.01

«I

Рисунок 4 - Зависимость дисперсии погрешности восстановленного изображения высокого разрешения от дисперсии аддитивного шума: 1 -разработанный метод, 2 - метод деформации и слияния с объединением оценок по среднему значению, 3 - метод деформации и слияния с объединением оценок по медианному значению, 4 - триангуляция Делоне, 5 - интерполяция опорного кадра сплайнами третьего порядка

На рисунке 5 приведена зависимость дисперсии погрешности восстановленного изображения от дисперсии погрешности оценивания

межкадровых движений для различных алгоритмов восстановления изображения высокого разрешения.

Рисунок 5 - Зависимость дисперсии погрешности восстановленного изображения высокого разрешения от дисперсии погрешности оценивания межкадровых движений: 1 - разработанный метод, 2 — метод деформации и

слияния с объединением оценок по среднему значению, 3 - метод деформации и слияния с объединением оценок по медианному значению, 4 -триангуляция Делоне, 5 - интерполяция опорного кадра сплайнами третьего

порядка

Экспертная оценка также показала превосходство разработанного метода над остальными методами формирования изображения высокого разрешения. Согласованность оценки на основе вычисления дисперсии погрешности восстановленного изображения и экспертной оценки качества восстановленного изображения была показана с использованием коэффициента ранговой корреляции Спирмена.

Восстановление изображений тестовой телевизионной таблицы показало, что изображения, восстановленные методом деформации и слияния с разработанным способом объединения оценок, имеют разрешение в полтора раза выше, чем изображения, восстановленные методом деформации и слияния с объединением оценок по среднему или медианному значению.

Четвёртая глава посвящена практическому применению разработанных методов оценки межкадровых движений и формирования изображения высокого разрешения для анализа видеопоследовательностей в СВН. В главе продемонстрированы практические результаты применения разработанных методов.

Основными направлениями практического применения многокадровых методов повышения разрешения СВН можно считать детальный анализ видеозаписей с целью распознавания определённых объектов, как правило, лиц людей или номерных знаков автотранспорта, и увеличение отдельных фрагментов кадра при видеонаблюдении в реальном времени. Аппаратная база современных систем видеонаблюдения не позволяет реализовать многокадровые методы повышения разрешения в реальном времени. Поэтому в качестве практической реализации разработанных методов в рамках диссертационной работы произведена разработка программного обеспечения подсистемы повышения разрешения, предназначенной для анализа видеозаписей.

Разработка программного обеспечения производилась в средах Microsoft Visual Studio 2005 и MATLAB R2006a. Для оптимизации времени обработки использовалась библиотека функций Intel IPP.

Практические исследования разработанного программного обеспечения показали его эффективность при работе с реальными видеопоследовательностями систем видеонаблюдения.

3. ЗАКЛЮЧЕНИЕ

В ходе выполнения диссертационной работы получены следующие основные научные и практические результаты:

1. Выполнена систематизация и анализ существующих многокадровых методов повышения разрешения. Показано, что их непосредственное применение для повышения разрешения СВН не эффективно.

2. Разработан комбинированный метод оценивания межкадровых движений, использующий преимущества блочного и дифференциального подходов.

В результате достигнута высокая точность оценивания для широкого диапазона межкадровых движений.

3. Для дальнейшего повышения точности разработанного комбинированного метода предложен критерий сравнения блоков на основе взаимной информации и метод адаптивного формирования окрестности рассматриваемой точки.

4. Предложена математическая модель погрешности восстанавливаемого изображения высокого разрешения при формировании изображения с использованием подхода деформации и слияния.

5. Разработан метод формирования изображения высокого разрешения на основе деформации и слияния и способа объединения оценок, минимизирующего среднеквадратическую погрешность восстанавливаемого изображения высокого разрешения.

6. Разработано прикладное программное обеспечение многокадровой системы повышения разрешения, реализующее разработанные методы и алгоритмы.

4. СПИСОК ОПУБЛИКОВАННЫХ РАБОТ

1. Феофанов, К. В. Обработка изображений в цифровых системах видеонаблюдения методами сверхразрешения / К. В. Феофанов, Г. Ф. Малыхина // Технологии Microsoft в теории и практике программирования: Материалы межвузовского конкурса-конференции студентов, аспирантов и молодых учёных Северо-запада. - СПб.: Изд-во Политехи, ун-та, 2005. - С. 131-133.

2. Феофанов, К. В. Обработка последовательности изображений методами многокадрового сверхразрешения / К. В. Феофанов // Актуальные проблемы защиты и безопасности: Труды Восьмой Всероссийской научно-практической конференции. - СПб., 2005. - Т.5. Экстремальная робототехника. - С. 306-309.

3. Феофанов, К. В. Применение блочного метода оценки межкадровых движений в задаче сверхразрешения / К. В. Феофанов, Г. Ф. Малыхина // Актуальные проблемы защиты и безопасности: Труды Восьмой

Всероссийской научно-практической конференции. - СПб., 2005. - Т.5. Экстремальная робототехника. - С. 310-314.

4. Феофанов, К. В. Обработка изображений автомобильных регистрационных знаков / К. В. Феофанов // Измерительные информационные технологии: Сборник статей. - СПб.: факультет технической кибернетики СПбГПУ, 2005. - С. 82-90.

5. Феофанов, К. В. Комбинированный алгоритм сверхразрешения в системах видеонаблюдения / К. В. Феофанов // Вычислительные, измерительные управляющие системы: Сборник научных трудов / Под. ред. Ю.Б. Сениченкова. - СПб.: Изд-во Политехи, ун-та, 2005. - С. 77-80.

6. Феофанов, К. В. Алгоритм многокадрового сверхразрешения для обработки изображений автомобильных регистрационных знаков / К. В. Феофанов // Актуальные проблемы защиты и безопасности: Труды Девятой Всероссийской научно-практической конференции. - СПб., 2006. - Т.5. Экстремальная робототехника. - С. 518-524.

7. Феофанов, К. В. Иерархическая схема сверхразрешения в системах видеонаблюдения / К. В. Феофанов, Г. Ф. Малыхина // Технологии Microsoft в теории и практике программирования: Материалы межвузовского конкурса-конференции студентов, аспирантов и молодых учёных Северо-запада. - СПб.: Изд-во Политехи, ун-та, 2006. - С. 203-204.

8. Феофанов, К. В. Блочный алгоритм оценки оптического потока на основе максимума взаимной информации / К. В. Феофанов // Научно-технические ведомости СПбГТУ. - СПб., 2006. - №5. Т.1. Естественные и технические науки. - С. 138-142.

9. Феофанов, К. В. Алгоритм многокадрового восстановления изображения высокого разрешения, минимизирующий ошибку восстановленного изображения / К. В. Феофанов // Актуальные проблемы защиты и безопасности: Труды Десятой Всероссийской научно-практической конференции. - СПб., 2007. - Т.5. Экстремальная робототехника. - С. 361367.

10. Феофанов, К. В. Метод многокадрового сверхразрешения для систем охранного телевидения / К. В. Феофанов // Актуальные проблемы защиты и безопасности: Труды Одиннадцатой Всероссийской научно-практической конференции. - СПб., 2008. - Т.5. Экстремальная робототехника. - С. 369374.

Лицензия ЛР № 020593 от 07.08.97

Подписано в печать 05.10.2009. Формат 60x84/16. Печать цифровая. Усл. печ. л. 1,0. Уч.-изд. л. 1,0. Тираж 100. Заказ 4955Ь.

Отпечатано с готового оригинал-макета, предоставленного автором, в Цифровом типографском центре Издательства Политехнического университета. 195251, Санкт-Петербург, Политехническая ул., 29. Тел.:(812)550-40-14 Тел./факс: (812) 297-57-76

Введение.

1. Аналитический обзор и систематизация методов повышения разрешения изображений.

1.1. Однокадровое восстановление изображений.

1.1.1. Однокадровая модель формирования изображения.

1.1.2. Однокадровое восстановление.

1.2. Многокадровое восстановление.

2.2.1. Многокадровое повышение разрешения.

2.2.2. Многокадровая модель формирования изображения.

2.2.3. Восстановление многокадровыми методами повышения разрешения.

1.3. Анализ методов оценивания межкадровых движений.

1.3.1. Соотношение трёхмерного движения и его двухмерной проекции. Оптический поток.!.

1.3.2. Классификация методов оценивания межкадровых движений.

1.3.3. Дифференциальные методы оценивания межкадровых движений.

1.3.4. Блочные методы оценивания межкадровых движений.

1.3.5. Методы, основанные на анализе Фурье-спектров.

1.3.6 Исследование характеристик блочного и дифференциального методов оценивания межкадровых движений.

1.4. Анализ методов формирования изображений высокого разрешения по видеопоследовательностям низкого разрешения.

1.4.1. Классификация методов формирования изображений высокого разрешения по видеопоследовательностям низкого разрешения.

1.4.2. Методы, основанные на преобразовании Фурье.

1.4.3. Интерполяция неравномерно расположенных отсчётов.

1.4.4. Метод деформации и слияния.

1.4.5. Метод максимума апостериорной вероятности.

1.5. Анализ особенностей применения многокадровых методов повышения разрешения к видеопоследовательностям, формируемым в СВН.

1.6. Выводы и постановка задачи диссертационной работы.

2. Комбинированный метод оценивания межкадровых движений.

2.1. Разработка комбинированного метода оценивания межкадровых движений.

2.2. Исследование характеристик комбинированного метода оценивания межкадровых движений.

2.2.1. Исследование с использованием видеопоследовательностей, синтезированных путем параллельного сдвига.

2.2.2. Исследование с использованием реалистичных тестовых видеопоследовательностей.

2.3. Критерий сравнения блоков для блочного метода оценивания межкадровых движений.

2.3.1. Критерий максимума взаимной информации для блочного метода.

2.3.2. Экспериментальное исследование критерия максимума взаимной информации в блочном методе.

2.4. Адаптивный выбор размеров окрестности.

2.4.1. Адаптивный выбор размеров окрестности на основе правила пересечения доверительных интервалов.

2.4.2. Экспериментальное исследование метода оценивания межкадровых движений при адаптивном выборе размеров окрестностей.

2.5. Практические пределы оценивания межкадровых движений с субпиксельной точностью.

2.6. Результаты и выводы.

3. Формирование изображения высокого разрешения из видеопоследовательности низкого разрешения.

3.1. Разработка метода формирования изображения высокого разрешения на основе деформации и слияния.

3.1.1. Этап деформации исходных кадров.

3.1.2. Этап слияния деформированных изображений.

3.1.3. Этап устранения размытости.

3.2. Анализ погрешностей восстанавливаемого изображения высокого разрешения.

3.3. Разработка способа объединения оценок для метода деформации и слияния, минимизирующего среднеквадратичную погрешность восстанавливаемого изображения

3.4. Описание алгоритма формирования изображения высокого разрешения.

3.5. Исследование характеристик разработанного метода формирования изображения высокого разрешения.

3.5.1. Исследование погрешности восстановленного изображения.

3.5.2. Экспертная оценка восстановленного изображения.

3.5.3. Оценка согласованности метрики погрешности восстановленного изображения и экспертной оценки.

3.5.4. Исследование разрешения восстановленных изображений.

3.6. Результаты и выводы.

4. Практическая реализация алгоритма многокадрового сверхразрешения для систем видеонаблюдения.

4.1. Требования к разрабатываемому программному обеспечению.

4.2. Средства разработки.:.

4.3. Алгоритм работы разрабатываемого программного обеспечения.

4.4. Описание разработанного программного обеспечения.

4.5. Практическое исследование возможностей программного обеспечения.

4.6. Результаты и выводы.:.

Актуальность темы. Основной задачей систем видеоконтроля (СВК) является формирование качественного видеоизображения, обеспечивающего возможность анализа наблюдаемых объектов. Основным показателем, определяющим качество видеоизображений в СВК, является разрешение, характеризуемое воспроизведением мелких деталей наблюдаемой сцены.

Основным фактором, ограничивающим разрешение изображений, формируемых видеокамерами СВК, является количество элементов твердотельных матричных фотоприёмников (ПЗС или КМОП-матриц), используемых в видеокамерах в качестве фоточувствительных элементов. Использование в многоканальных СВК, таких, например, как системы г видеонаблюдения (СВН), видеокамер с большим количеством элементов фотоприёмника имеет ряд существенных ограничений, таких, как ограничения используемых стандартов видеосигнала, ухудшение соотношения сигнал/шум, ограничения каналов передачи данных, ограничения объёмов устройств хранения видеоданных.

Одним из перспективных подходов для решения задачи повышения разрешения формируемых изображений является использование методов восстановления изображений высокого разрешения по видеопоследовательностям низкого разрешения. Восстановление осуществляется путём использования нескольких соседних кадров исходной видеопоследовательности для построения приближения идеального изображения наблюдаемой сцены. Для возможности осуществления такого восстановления необходимо наличие относительного движения камеры и наблюдаемой сцены. С 1980-х годов такие методы являются объектом исследований многих учёных, и исследования по их применению активно проводятся в таких областях, как медицина и аэрокосмические фотосъёмки.

В настоящее время многокадровые методы повышения разрешения в СВН не применяются [10,11]. Существующие многокадровые методы не учитывают особенности видеопоследовательностей, формируемых в СВН и, поэтому, непосредственное их применение к этим видеопоследовательностям не позволяет производить эффективное восстановление изображений высокого разрешения. В связи с этим развитие методов многокадрового сверхразрешения для использования их в СВН представляется актуальной задачей.

Цель работы. Целью диссертационной работы является разработка методов, алгоритмов и программных средств, предназначенных для многокадровой системы повышения разрешения СВН.

Решение этой задачи связано с выполнением следующих этапов исследования:

1. Анализ и систематизация существующих методов оценивания межкадровых движений и методов формирования изображений высокого разрешения по видеопоследовательностям низкого разрешения.

2. Разработка метода оценивания межкадровых движений, позволяющего получать оценку с • субпиксельной точностью в широком диапазоне межкадровых движений.

3. Разработка метода формирования изображения высокого разрешения по видеопоследовательности низкого разрешения, минимизирующего погрешность восстанавливаемого изображения.

4. Разработка программного обеспечения многокадровой системы повышения разрешения, реализующего разработанные методы.

Предметом исследования является проблема повышения разрешения изображений, формируемых СВН, сверх пределов, накладываемых ограниченным количеством элементов (пикселей) фотоприемников видеокамер.

Методы исследований. Теоретические исследования выполнены с использованием аппарата цифровой обработки сигналов, теории численных методов, теории вероятностей, математической статистики, программирования.

Научная новизна. В диссертационной работе получены следующие новые научные результаты:

1. Показано, что в задаче повышения разрешения СВН с помощью многокадровых методов, применение существующих методов оценивания межкадровых движений не эффективно;

2. Разработан новый, комбинированный метод оценивания межкадровых движений. Метод использует блочный подход для грубой оценки межкадровых движений и дифференциальный подход Лукаса-Канаде для получения точной оценки;

3. Предложен новый критерий сравнения блоков для блочного метода, основанный на взаимной информации между сравниваемыми блоками;

4. Разработан метод адаптивного формирования окрестности точки при оценивании межкадровых движений, использующий правило пересечения доверительных интервалов и локальную полиномиальную аппроксимацию нулевого порядка;

5. Предложена математическая модель погрешности формируемого изображения высокого разрешения для метода деформации и слияния;

6. Предложен способ объединения оценок изображения высокого разрешения для метода деформации и слияния, минимизирующий среднеквадратическую погрешность формируемого изображения высокого разрешения.

Практическая значимость полученных в диссертационной работе результатов:

1. Комбинированный метод обеспечивает более низкое среднее значение и дисперсию погрешности определения смещения. В частности, средняя величина модуля погрешности определения смещения на 10-30% меньше, чем в блочном методе, и в 1.5-3 раза меньше, чем в дифференциальном методе; дисперсия модуля погрешности определения смещения 1.5-8 раз меньше чем в блочном методе и в 10-95 раз меньше, чем в дифференциальном методе.

2. Предложенный информационный критерий сравнения блоков в блочном методе позволяет на 10% - 20% уменьшить среднее значение и на 17% -40% дисперсию погрешности определения межкадровых движений.

3. Использование адаптивного выбора размеров окрестности. рассматриваемой точки опорного кадра видеопоследовательности при оценивании межкадровых движений позволяет повысить точность оценивания на 13-20% по математическому ожиданию погрешности и на

18-30% по дисперсии погрешности определения межкадровых движений.

4. Разработанный способ объединения оценок для восстановления на основе деформации и слияния, минимизирующий среднеквадратичную погрешность восстанавливаемого изображения высокого разрешения, позволяет уменьшить дисперсию погрешности восстановленного изображения на 10-20%.

5. Разрешение изображения, восстановленного разработанным алгоритмом, в 1,5 раза превышает разрешение изображений, восстановленных методом деформации и слияния с объединением оценок по среднему или медианному значению.

6. Разработано прикладное программное обеспечение для анализа видеопоследовательностей в СВН.

Апробация результатов. Основные положения и результаты диссертации докладывались на 33-й и 34-й научно-технических конференциях (НТК) «Неделя науки СПбГПУ» (СПбГПУ, 2004, 2005),- 16-ой, 17-ой, 18-й и 19-й НТК "Экстремальная робототехника" (ЦНИИ РТК, 2005, 2006, 2007, 2008).

Публикации. По теме диссертации опубликовано 3 статьи, 5 текстов докладов и 2 тезисов докладов.

Структура диссертации. Диссертационная работа состоит из введения, четырёх глав, заключения, списка литературы (104 наименования), одного приложения. Основная часть работы изложена на 151 странице машинописного текста, содержит 41 рисунков и 17 таблиц.

Основные результаты диссертационной работы подытожим в виде следующих выводов:

• Разработанный комбинированный метод оценивания межкадровых движений позволяет производить субпиксельное оценивание в широком диапазоне межкадровых движений. в Математическое ожидание абсолютной величины погрешности оценки межкадровых движений разработанным комбинированным методом на 23% меньше, чем для блочного метода. Дисперсия абсолютной величины погрешности на 39% меньше, чем для блочного метода.

• Разработанный способ объединения оценок для метода деформации и слияния, минимизирующий среднеквадратичную погрешность восстанавливаемого изображения высокого разрешения, позволяет уменьшить дисперсию погрешности восстановленного изображения на 10-20%.

• Восстановление изображений разработанным методом, минимизирующим погрешность восстанавливаемого изображения высокого разрешения, позволяет повысить возможности по анализу изображений, что было подтверждено экспертными оценками.

• Разрешение изображений, восстановленных разработанным методом, на 50% выше разрешения изображений, восстановленных методом деформации и слияния с объединением оценок по среднему или медианному значению.

Заключение

В разделе 1.5 были сформулированы требования, которым должны удовлетворять многокадровые методы повышения разрешения для их эффективного применения в СВН. Рассмотрим, на сколько эти требования выполнены для разработанных методов.

Оценка межкадровых движений по двум соседним кадрам. Разработанный комбинированный метод оценивания межкадровых движений основан на блочном и дифференциальном методе и производит оценивание межкадровых движений по двум соседним кадрам.

Субпиксельная точность оценивания межкадровых движений в разработанном комбинированном методе достигается использованием на заключительном этапе метода Лукаса-Канаде к интерполированным исходным данным.

Устойчивость к большим значениям межкадровых движений в разработанном комбинированном методе достигается применением на начальном этапе блочного метода и кратномасштабного подхода на основе пирамиды изображений.

Использование непараметрической модели межкадровых движений. Разработанный комбинированный метод оценивания межкадровых движений основан на блочном и дифференциальном методе и производит оценивание межкадровых движений независимо для каждого пикселя опорного кадра.

Устойчивость к аддитивному шуму. Для разработки комбинированного метода оценивания межкадровых движений использовались блочный и дифференциальный методы, обладающие хорошей устойчивостью к аддитивному шуму. При разработке способа объединения оценок для метода деформации и слияния также учитывался аддитивный шум исходных кадров.

Невысокая вычислительная сложность. Разработанный комбинированный метод оценивания межкадровых "движений основан на методах, имеющих наименьшую вычислительную сложность из всех существующих методов, удовлетворяющих предъявляемым требованиям. Разработанный метод формирования изображения высокого разрешения на основе деформации и слияния также имеет небольшую вычислительную сложность по сравнению с другими методами формирования изображений высокого разрешения.

Таким образом, разработанные методы удовлетворяет сформулированным требованиям. Результаты применения разработанных методов и алгоритмов на практике показывают их более высокую эффективность по сравнению с увеличением кадров с помощью интерполяции и другими многокадровыми методами, не учитывающими особенности видеопоследовательностей, формируемых в СВН.

1. Бахвалов, Н. С. Численные методы / Н. С. Бахвалов, Н. П. Жидков, Г. М. Кобельков. 3-е изд., доп. и перераб. - М.: БИНОМ. Лаборатория знаний, 2004. - 636 е., илл.

2. Бейтс, Р. Восстановление и реконструкция изображений / Р. Бейтс, М. Мак-Доннелл. Пер. с англ. - М.: Мир, 1989. - 336 с.

3. Гонсалес, Р. Цифровая обработка изображений / Р. Гонсалес, Р. Вудс.- М.: Техносфера, 2005. 1072 с. - ISBN 5-94836-028-8.

4. Грузман, И. С. Цифровая обработка изображений в информационных системах: Учебн. Пособие / И.С. Грузман и др. Новосибирск: Изд-во НГТУ, 2002. - 352 с. - ISBN 5-7782-0330-6.

5. Дамьяновски, В. CCTV. Библия охранного телевидения / Владо Дамьяновски. Пер. с англ. - М.: ООО «Ай-Эс-Эс Пресс», 2003. - 344 с. : ил.- ISBN 5-87049-260-2.

6. Ильман, В. М. Алгоритмы триангуляции плоских областей по нерегулярным сетям точек / В. М. Ильман // Алгоритмы и программы. — 1985. -Вып. 10 (88).-С. 3-35.

7. Никитин, В. В. Телевидение в системах физической защиты: Учеб. Пособие / В. В. Никитин, А. К. Цыцулин. СПб. гос. электротехнич. университет. - СПб., «ЛЭТИ», 2001. - 132 с.

8. Ташлинский, А. Г. Оценивание параметров пространственных деформаций последовательностей изображений / А. Г. Ташлинский. -Ульяновский государственный технический университет. Ульяновск, УлГТУ, 2000.- 132 с.

9. Феофанов, К. В. Обработка изображений автомобильных регистрационных знаков / К. В. Феофанов // Измерительные информационные технологии: Сборник статей. СПб.: факультет технической кибернетики СПбГПУ, 2005. - С. 82-90.

10. Феофанов, К. В. Блочный алгоритм оценки оптического потока на основе максимума взаимной информации / К. В. Феофанов // Научно-технические ведомости СПбГТУ. СПб., 2006. — №5. Т.1. Естественные и технические науки. — С. 138-142.

11. Форсайт, Д. Компьютерное зрение. Современный подход / Д. Форсайт, Ж. Понс. Пер. с англ. - М. : Издательский дом "Вильяме", 2004. -928 с.

12. Хромов, Л. И. Видеоинформатика. Передача и компьютерная обработка видеоинформации / Л.И. Хромов, А.К. Цицулин, А.Н. Куликов. -М.: Радио и связь, 1991. 192 с. - ISBN 5-256-00892-7

13. Baker, S. Super-resolution optical flow / S. Baker, T. Kanade // Technical Report CMU-RI-TR-99-36, The Robotics Institute, Carnegie Mellon University. -1999.

14. Barber, С. B. The Quickhull Algorithm for Convex Hulls / С. B. Barber, D. P. Dobkin, H. T. Huhdanpaa // ACM Transactions on Mathematical Software. — 1996. T. 22, № 4. - C. 469-483.

15. Barron, J. L. Performance of Optical Flow Techniques / J. L. Barron, D. J. Fleet, S. S. Beauchemin // International Journal of Computer Vision. 1994. -T. 12, № 1, C. 43-77.

16. Borman, S. Block-matching sub-pixel motion estimation from noisy, under-sampled frames an empirical performance evaluation / S. Borman, M. Robertson, R. Stevenson // Proceedings of the SPIE. - 1999. - T. 3653, № 1. - C. 1442-1451.

17. Borman, S. Image resampling and constraint formulation for multi-frame super-resolution restoration / S. Borman, R. Stevenson//Proceedings of the SPIE. San Jose, CA, USA, 2003. - T. 5016, №1.

18. Bovik, A. Handbook of image and video processing / A. Bovik, J. Gibson. — Academic Press, 2000.

19. Burt, P. Smart sensing within a pyramid vision machine / P. Burt: // Proc. IEEE. 1988. - T. 76. - С 1006-1015.

20. Chan, M. Variable: size: block matching motion compensation with applications to video coding / M. Chan , Y. Yu , A. Constantinides // IEE Proc. I, Gommun. Speech Vis. 1990. - T. 137. - C. 205-212.

21. Chiang, M. Efficient image warping and.superrresolution / M. Chiang, T. Boult // In Proceedings of the Third Workshop on Applications of Computer Vision. 1996. - Декабрь. - С. 56-61.

22. Chiang, M. Efficient super-resolution via image warping / M. Chiang, T. Boult // Image and Vision Computing. 2000. - T. 18, Вып. 12. - С. 761-771.

23. Clark, J. A transformation method for the reconstruction of functions from non-uniformly spaced samples / J. Clark, M. Palmer, P. Laurence // IEEE

24. Transactions on Acoustics Speech and Signal Processing. 1985. - № 33(4). - C. 1151-1165.

25. Coban, M. Z. A fast exhaustive search algorithm for rate-constrained motion estimation / M. Z. Coban , R. M. Mersereau // IEEE Trans, on Image Processing. 1998. - T. 7 , № 5. - C. 769-773.

26. Crochiere, R. E. Interpolation and decimation of digital signals A turorial review / R. E. Crochiere , L. R. Rabiner // Proc. IEEE. - 1981. - T. 69, № 3, C. 300-331.

27. Denney, T. S. Optimal brightness functions for optical flow estimation of deformable motion / T. S. Denney, J. L. Prince // IEEE Trans, on Image Processing. 1994. — T. 3 , № 2. — C. 178-191.

28. Dufaux, F. Motion estimation techniques for digital TV: A review and a new contribution / F. Dufaux, F. Moscheni // Proc. IEEE. 1995. - T. 83, Июнь. — С. 858-876.

29. Elad, M. Restoration of a single superresolution image from several blurred, noisy, and undersampled measured images / M. Elad, A. Feuer // IEEE Trans, on Image Processing. 1997. - T. 6, № 12. - С. 1646-1658.

30. Enkelmann, W. Investigations of multigrid algorithms for the estimation of optical flow fields in image sequences / W. Enkelmann // Comput. Vis. Graph. Image Process. 1988. -T. 43. -C. 150-177.

31. Fleet, D. J. Computation of component image velocity from local phase information / D. J. Fleet, A. D. Jepson // International Journal of Computer Vision. 1990.-№ 5(1).-C. 77-104.

32. Fleet, D. J. Measurement of image velocity / D. J. Fleet. Kluwer Academic Publishers Norwell, MA, USA, 1992.

33. Fleet, D. J. Optical flow estimation / D. J. Fleet, Y. Weiss // Mathematical models for Computer Vision: The Handbook. Springer, 2005.

34. Foi, A. Pointwise Shape-Adaptive DCT for High-Quality Denoising and Deblocking of Grayscale and Color Images / A. Foi, V. Katkovnik, K.

35. Egiazarian // IEEE Transactions on Image Processing. — 2007. T. 16, Вып. 5, С. 1395- 1411.

36. Gao, X. Q. A multilevel successive elimination algorithm for block matching motion estimation / X. Q. Gao, C. J. Duanmu , C. R. Zou // IEEE Trans. Image Processing. 2000. - T. 9, № 3. - C. 501-504.

37. Hardie, R. Joint MAP registration and high-resolution image estimation using a sequence of undersampled images / R. Hardie, K. Barnard, E. Armstrong // IEEE Trans. Image Processing. 1997. -T. 6., Дек. - С. 1621-1633.

38. Horn, В. Determining optical flow / B. Horn, B. Schunk // Artificial Intelligence. 1981.-T. 17,№8.-C. 185-203.

39. Jain, J. R. Displacement measurement and its application in interframe image coding / J. R. Jain, A. K. Jain // IEEE Trans. Commun. 1981. - COM-29, Дек. - С. 1799-1808.

40. Kanade, Т. A stereo matching algorithm with an adaptive window: theory and experiment / T. Kanade, M. Okutomi // IEEE Transaction on Pattern Analysis and Artificial Machine Intelligent. 1994. - № 9. - C. 920-932.

41. Katkovnik, V. A new method for varying adaptive bandwidth selection / V. Katkovnik // IEEE Trans. Signal Process. 1999. - T. 47, № 9. - C. 25672571.

42. Katkovnik, V. Adaptive varying window size selection based on intersection of confidence intervals rule / V. Katkovnik, K. Egiazarian, I. Schmulevic // NSIP 2001 Nonlinear Signal and Image Processing Conference. — 2001.

43. Kim, S. Reconstruction of 2-D bandlimited discrete signals from nonuniform samples / S. Kim, N. Bose // Proceeding of the IEE. — 1990. — Вып. 137. -С. 197-204.

44. Kim, S. Recursive reconstruction of high resolution image from noisy undersampled multiframes / S. Kim, N. Bose, H. Valenzuela // IEEE Trans. Acoust., Speech, Signal Processing. 1990. -T. 38, Июнь. - С. 1013-1027.

45. Kim, S. Recursive high-resolution reconstruction of blurred multiframe images / S. Kim, W. Su // IEEE Trans. Image Processing. — 1993. T. 2, Октябрь.- С. 534-539.

46. Koga, Т. Motion-compensated interframe coding for video conferencing / T. Koga // In Proc. Nat. Telecommun. Conf. New Orleans, LA, 1981. - Ноябрь. -С. G5.3.1-G5.3.5.

47. Konrad, J. Bayesian estimation of motion vector fields / J. Konrad, E. Dubois // IEEE Trans. Pattern Anal. Machine Intell. 1992. - T. 14, Сентябрь. -С. 910-927.

48. Kuglin, С. The phase correlation image alignment method / C. Kuglin, D. Hines // In Proc. IEEE Int. Conf. Cybern. Soc. 1975. - C. 163-165.

49. Kuo-Liang, C. A new predictive search area approach for fast block motion estimation / Kuo-Liang Chung, Lung-Chun Chang. // IEEE Trans. Image Processing. 2003. - T. 12, № 6, C. 648-652.

50. Li, W. Successive elimination algorithm for motion estimation / W. Li, E. Salari // IEEE Trans. Image Processing. 1995. - vol. 4, № 1. - C. 105-107.

51. Liu, H. A general motion model and spatio-templral filters for computing optical flow / H. Liu, Т. H. Hong, M. Herman, R. Chellappa // Int. J. Сотр. Vis. -1997.-Вып. 22.-С. 141-172.

52. Liu, H. Accuracy vs. Efficiency Trade-offs in Optical Flow Algorithms / H. Liu, Т. H. Hong, M. Herman, R. Chellappa // Computer Vision and Image Understanding. 1998. - T.72, Вып. 3. - С. 271 - 286.

53. Liu, H. Fast two-frame multiscale dense optical flow estimation using discrete wavelet filters / H. Liu, R. Chellappa, A. Rosenfeld // J. Opt. Soc. Am. A.2003. — T. 20, № 8. — C. 1505-1515.

54. Lucas, В. An iterative image registration technique with an application to stereo vision / B. Lucas, T. Kanade // Proc. DARPA Image Understanding Workshop. 1984. - C. 121-130.

55. McCane, B. On Benchmarking Optical Flow / В. McCane, K. Novins, D. Crannitch, B. Galvin // Computer Vision and Image Understanding. — 2001. -Вып. 84.-С. 126-143.

56. Milanfar, P. Two-dimensional matched filtering for motion estimation / P. Milanfar// IEEE Trans, on Image Processing. 1999. - T. 8, № 3. - C. 438444.

57. Nagel, H. An investigation of smoothness constraints for the estimation of displacement vector fields from images sequences / H. Nagel, W. Enkelmann // IEEE Transactions on Pattern Analysis and Machine Intelligence. — 1986. Вып. 8, № 5. - С. 565-593.

58. Namazi, N. M. Nonuniform image motion estimation using the maximum a posteriori principle / N. M. Namazi, J. I. Lipp // IEEE Trans, on Image Processing. 1992. - Т. 1, № 4. - C. 520-525.

59. Namazi N.M., Lipp J.I. Nonuniform image motion estimation in reduced coefficient transformed domains / N. M. Namazi, J. I. Lipp // IEEE Trans, on Image Processing. 1993. - T. 2, № 2. - C. 236-246.

60. Nesi, P. Analysis of optical flow constraints / P. Nesi, A. Del Bimbo , J. L. C. Sanz // IEEE Trans, on Image Processing. 1995. - T. 4, № 4. - C. 460469.

61. Nguyen, N. Efficient generalized cross-validation with applications to parametric image restoration and resolution enhancement / N. Nguyen, P. Milanfar, G. Golub // IEEE Trans, on Image Processing. 2001. - T. 10. - C. 1299-1308.

62. Nicolas, H. Region-based motion estimation using deterministic relaxation schemes for image sequence coding / H. Nicolas, C. Labit // in Proc. IEEE Int. Conf. Acoustics, Speech and Signal Processing. 1992. - T. 1605, Апрель. - С. 265-268.

63. Okutomi, M. A locally adaptive window for signal matching / M. Okutomi, T. Kanade // Proc. Int. Conf. Comput. Vision. 1990. - Декабрь.

64. Otte, M. Estimation of optical flow based on higher-order spatiotemporal derivatives in interlaced and non-interlaced image sequences / M. Otte, H.-H. Nagel // Artif. Intell. 1995. - Вып. 78. - С. 5-43.

65. Ozkan, M. K. POCS-based restoration of space-varying blurred images / M. K. Ozkan , A. M. Tekalp , M. I. Sezan // IEEE Trans. Image Processing. -1994. T. 3, № 4. - C. 450-454.

66. Park, C. Super-resolution image reconstruction: a technical overview / C. Park, M. K. Park, M. G. Kang // IEEE Signal Processing Magazine. 2003. -Вып. 3.-C. 21-36.

67. Patti, A. Superresolution video reconstruction with arbitrary sampling lattices and nonzero aperture time / A. Patti, M. Sezan, A. Tekalp // IEEE Trans. Image Processing. 1997. -T. 6, № 8. -C. 1064-1076.

68. Pratt, W. K. Digital Image Processing / W. K. Pratt. John Wiley & Sons, Inc Third Edition, 2001. - ISBN: 0-471-37407-5.

69. Rajagopalan, R. Motion field modeling for video sequences / R. Rajagopalan , M. T. Orchard , R. D. Brandt // IEEE Trans. Image Processing. -1997.-Т. 6,№ Ц.-С. 1503-1516.

70. Sayrol, E. Motion estimation using higher order statistics / E. Sayrol, A. Gasull, J. R. Fonollosa // IEEE Trans. Image Processing. — 1996. T. 5, № 6. — C. 1077-1084.

71. Schultz, R. Extraction of high-resolution frames from video sequences / R. Schultz , R. Stevenson // IEEE Trans. Image Processing. 1996. - T. 5., Июнь -С. 996-1011.

72. Simchony, Т. Pyramid implementation of optimal-step conjugate-search algorithms for some low-level vision problems / T. Simchony, R. Chellappa, Z. Lichtenstein // IEEE Trans. Pattern Anal. Machine Intell. 1989. - T. 19., Ноябрь -С. 1408-1425.

73. Simoncelli, E. P. Probability distribution of optical flow / E. P. Simoncelli, E. H. Adelson , D. J. Heeger // Proc. Conf. Comput. Vis. Patt. Recog. 1991.-C. 310-315.

74. Shan, Z. A new diamond search algorithm for fast block-matching motion estimation / Shan Zhu, Kai-Kuang Ma. // IEEE Trans. Image Processing. — 2000. -T. 9, № 2. C. 287-290.

75. Stark, H. High resolution image recovery from image-plane arrays, using convex projections / H. Stark , P. Oskoui // J. Opt. Soc. Am. A. 1989. - T. 6. -C. 1715-1726.

76. Stiller, C. Object-based estimation of dense motion fields / C. Stiller // IEEE Trans. Image Processing. 1997. - vol. 6, № 2. - C. 234-250.

77. Stiller, C. Estimating motion in image sequences / C. Stiller, J. Konrad // IEEE Signal Processing Magazine. 1999. - T.16. - C. 70-91.

78. SukHwan, L. Optical flow estimation using high frame rate sequences / L. SukHwan, A. El Gamal // International Conference on Image Processing. -2001.-T. 2. C. 925-928.

79. Tekalp, A. Digital Video Processing / A. Tekalp. Prentice Hall, Upper Saddle River, NJ, 1995. - ISBN: 0-13-190075-7.

80. Thevenaz, P. A pyramid approach to subpixel registration based on intensity / P. Thevenaz, U. E. Ruttimann, M. Unser // IEEE Transaction on Image Processing. 1998. - T. 7, № 1. - C. 27-41.

81. Tsai, R. Multiframe image restoration and registration / R. Tsai, T. Huang // Advances in Computer Vision and Image Processing. — JAI Press Inc., 1984. — Т. l.-C. 317-339.

82. Unser, M. Fast B-spline transform for continuous image representation and interpolation / M. Unser, A. Aldroubi, M. Eden // IEEE Transaction on pattern analysis and machine intelligence. 1991. - T. 13, Вып. 3. - С. 277-285.

83. Unser, M. A multiresolution image registration procedure using spline pyramids / M. Unser, A. Aldroubi // Proc. of SP1E, Wavelet Applications in Signal and Image Processing. 1993. — Vol. 2034.

84. Unser, M. B-spline signal processing: Part I — Theory / M. Unser, A. Aldroubi, M. Eden // IEEE Trans. Signal Processing. 1993. - Вып. 2. - С. 821833.

85. Unser, M. B-spline signal processing: Part II — Efficient design and application / M. Unser, A. Aldroubi, M. Eden // IEEE Trans. Signal Processing. -1993. Вып. 2. - С. 834-848.

86. Unser, M. Enlargement or reduction of digital images with minimum loss of information / M. Unser, A. Aldroubi, M. Eden // IEEE Trans. Image Processing. 1995. - T. 4, № 3. - C. 247-258.

87. Unser, M. Mathematical Properties of the JPEG2000 Wavelet Filters / M. Unser, T. Blu // IEEE Transactions on Image Processing. 2003. - T. 12, № 9. -C. 1080-1090.

88. Vandewalle, P. Superresolution images reconstructed from aliased images / P. Vandewalle, S. Susstrunk, M. Vetterli // In SPIE/IS&T Visual Communication and Image Processing Conference. 2003. - T. 5150, Июль. - С. 1398-1405.

89. Viola, P. Alignment by maximization of mutual information / P. Viola, W.M. Wells // International Journal of Computer Vision. 1997. - №24. - C. 137-154.

90. Wang, Y. Video Processing and Communications / Y. Wang, J. Ostermann, Y. Zhang. Prentice Hall, 2002. - ISBN 0-13-017547-1.

91. Weber, J. Robust computation of optical flow in multi-scale differential framework / J. Weber, J. Malik // Int. J. Comput. Vision. 1995. - № 14. - C. 6781.

92. Yong-Sheng, С. Fast block matching algorithm based on the winner-update strategy / Yong-Sheng Chen, Yi-Ping Hung, Chiou-Shann Fuh // IEEE Transactions on Image Processing. 2001. - T. 10, № 8. - C. 1212-1222.

93. Yui-Lam, C. An efficient search strategy for block motion estimation using image features / Yui-Lam Chan, Wan-Chi Siu // IEEE Transactions on Image Processing. 2001. - T. 10, № 8. -C. 1223-1238.