автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Регуляризирующие методы повышения разрешения изображений

МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ имени М.В. Ломоносова

Факультет вычислительной математики и кибернетики

Насонов Андрей Владимирович

РЕГУЛЯРИЗИРУЮЩИЕ МЕТОДЫ ПОВЫШЕНИЯ РАЗРЕШЕНИЯ ИЗОБРАЖЕНИЙ

Специальность 05.13.18 — математическое моделирование, численные методы и комплексы программ

2 С Он, 2271

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук

Москва 2011

4857734

Диссертационная работа выполнена на кафедре математической физики факультета вычислительной математики и кибернетики Московского государственного университета имени М.В. Ломоносова.

Научный руководитель: доктор физико-математических наук

Крылов Андрей Серджевич Официальные оппоненты: доктор физико-математических наук

Защита состоится 2 ноября 2011 г. в 1530 на заседании диссертационного совета Д 501.001.43 прп Московском государственном университете имени М.В. Ломоносова по адресу: 119991, Москва, Ленинские горы, МГУ имени М.В. Ломоносова, факультет ВМК, ауд. 685.

С диссертацией можно ознакомиться в научной библиотеке факультета ВМК Московского государственного университета имени М.В. Ломоносова.

Автореферат разослан " 3$ " сентября 2011 г.

Ученый секретарь диссертационного совета доктор физико-математических наук,

Кочиков Игорь Викторович кандидат физико-математических наук Степанов Владимир Вадимович

Ведущая организация: Институт прикладной математики им.

М.В. Келдыша РАН

профессор

Захаров Евгений Владимирович

Общая характеристика работы

Актуальность темы

Быстрый прогресс в области компьютерной техники позволяет применять для решения задач обработки и анализа изображений всё более современные математические методы. Более того, многие достижения в области обработки и анализа изображений во многом связаны именно с применением математических методов. Математические методы, ранее возникшие и развившиеся при решении задач в различных прикладных областях, являются ценным источником для создания новых мультимедийных алгоритмов. Таковыми являются п регулярпзирующие методы решения некорректных задач, которые в данной работе составляют базу построения эффективных алгоритмов компьютерного повышения разрешения изображений.

Задача повышения разрешения изображений является важной для широкого класса практических приложений, таких как обработка и анализ медицинских изображений, обработка аэрокосмических снимков, обработка данных видеонаблюдения, трансляция видеопотока низкого разрешения на современных широкоформатных дисплеях и большого ряда других задач.

Высокая производительность компьютеров в настоящее время даёт возможность в реальном времени использовать сложные итерационные методы повышения разрешения изображений, а также решать задачу суперразрешения. Суперразрешение позволяет сразу по нескольким различным изображениям низкого разрешения одного и того же объекта построить одно изображение высокого разрешения. Это позволяет достичь лучшего качества по сравнению с применением повышения разрешения каждого из изображений низкого разрешения по отдельности.

Цель работы

Целью диссертационной работы является построение и программная реализация регуляризирующих методов повышения разрешения изображений и суперразрешения, а также методов их анализа и постобработки, включающих в себя разработку метрик оценки качества обработки контуров и методов подавления артефактов, внесённых алгоритмами повышения разрешения изображения.

Научная новизна работы

• Разработаны регуляризирующие алгоритмы повышения разрешения изображений и суперразрешения.

• Созданы метрики оценки качества алгоритмов повышения разрешения.

• Предложены и алгоритмически реализованы регуляризирующие методы подавления эффекта Гиббса на изображениях и повышения резкости изображений.

Теоретическая и практическая значимость работы

• Создан программный комплекс для анализа и повышения качества изображений, повышения разрешения и суперразрешения.

• Разработанные в работе методы повышения разрешения изображений могут быть применены как составная часть комплексных алгоритмов обработки и анализа изображений.

Апробация работы

Основные результаты работы докладывались и обсуждались на:

1. конференции «Тихоновские чтения 2011», ВМК МГУ имени М. В. Ломоносова (Москва, 2011);

2. 12-й международной конференции и выставке «Цифровая обработка сигналов и её применение» ББРА (Москва, 2010) [6];

3. 8-й и 10-й международных конференциях «Распознавание образов и анализ изображений: новые информационные технологии» (Нижний Новгород, 2008, Санкт-Петербург, 2010) [7,8];

4. 20-й международной конференции по распознаванию образов 1СР11 (Стамбул, Турция, 2010) [9];

5. 15-й и 16-й международных конференциях по обработке изображений 1С1Р (Сан Диего, США, 2008, Каир, Египет, 2009) [10-12];

6. 5-й международной конференции по обработке изображений п графике 1СЮ (Сиань, Китай, 2009) [13];

7. 16-19-й международных конференциях по компьютерной графике и зрению Графикон (Новосибирск, 2006, Москва, 2007, 2008, 2009) [1418];

8. 9-й международной конференции по обработке сигналов 1СБР (Пекин, Китай, 2008) [19];

9. 6-й Курчатовской молодёжной научной школе (Москва, 2008) [20];

10. Заседании кафедры математической физики факультета ВМК МГУ имени М. В. Ломоносова, г. Москва, 11 мая 2011 г.

Публикации

По теме диссертации опубликовано 20 научных работ, в том числе 5 — в статьях журналов списка ВАК [1-5]. Список публикаций по теме диссертации приведён в конце автореферата.

Структура и объем работы

Диссертация состоит из введения, 3 глав и списка литературы. Объём работы — 110 страниц. Список литературы включает 73 наименования.

Содержание работы

Во введении обосновывается актуальность темы диссертации, ставятся цели диссертационного исследования.

В первой главе рассматриваются задачи повышения разрешения изображений и суперразрешения.

В первом разделе приводится краткий обзор существующих методов повышения разрешения изображений, включающих классы линейных и нелинейных методов. В общем случае линейные методы основаны на использовании свёртки изображения и некоторого ядра К(х,у):

где }{х,у) — интерполированное изображение, «у = u(ihx,jhy) — изображение низкого разрешения, представляющее собой сеточную функцию, заданную на прямоугольной равномерной сетке

Преимуществом линейных методов является их простота и вычислительная эффективность, но, в отличие от нелинейных методов, любой линейный метод имеет хотя бы один из следующих артефактов: алиасинг (ступенчатость контуров), размытие и эффект Гиббса, проявляющийся в виде ложного оконтуривания (см. рис. 1).

Среди класса нелинейных алгоритмов в диссертационной работе основную роль играют алгоритмы, представляющие задачу повышения разрешения изображений как обратную задачу для операторного урав-

(1)

= Si = ih*> Уз = 3hV> i>3 e

Размытие Алиасинг Ложное оконтуривание

(ступенчатость контуров) (эффект Гиббса)

Рис. 1: Примеры артефактов, возникающих при повышении разрешения изображений.

нения

Аг = и, хеДие и, (2)

где и — известное изображение низкого разрешения, г — искомое изображение высокого разрешения, А — оператор понижения разрешения, 2 и и — пространства изображений, заданных на сетках с малым и большим шагами соответственно. Данная постановка лежит в основе созданных в работе методов повышения разрешения и суперразрешения.

Во втором разделе рассматривается математическая модель получения цифровых изображений с помощью оптических камер, на основе которой строится оператор А, ставятся задачи повышения разрешения изображений и суперразрешения как обратные некорректные задачи для задач понижения разрешения изображений (2).

Оператор понижения разрешения А для коэффициента масштабирования в > 1 представляется в виде:

где Н

а 0^-1

оператор свёртки с фильтром Гаусса (функцией нормального распределения) с радиусом (квадратным корнем из дисперсии) "ч/в2 — 1, — оператор перехода на сетку с 5 раз большим шагом, сто — параметр, зависящий от конструкции камеры. В работе используется значение сто = 0,4.

Задача суперразрешения изображений ставится как обратная задача

для системы операторных уравнений относительно г

= ОаНао^Ткх = и\ к = 1,2,..., К, (3)

где ик — изображения низкого разрешений, Т^ — оператор движения, преобразующий г в к-ое изображение.

В третьем разделе производится построение регуляризирующих методов решения задач повышения разрешения изображений и суперразрешения (2), (3), проводится анализ выбора норм пространств и, Z и стабилизатора.

Для нахождения решения поставленных обратных задач применяется метод регуляризации А.Н.Тихонова. Особенностью задач повышения разрешения изображений и суперразрешения является допущение неединственности решения, которое не приводит к снижению субъективного качества изображений высокого разрешения. Это позволяет расширить класс используемых стабилизаторов. При этом вместо обычной сходимости используется понятие бета-сходимости. Задача регуляризации рассматривается в следующих постановках:

I. Нахождение Ы {\\Аг - иЦу + ЛФ[г]), Л > 0.

1а. Нахождение т£ (\\Аг - и\\у + ЛФ[г]) , А > 0.

II. Нахождение Ы Ф[г] для \\Az - и||и < <5, 5 > 0.

III. Нахождение М \\Аг - и\\и для Ф[г] < С, С > 0.

В диссертационной работе регуляризирующий метод строится в постановке II. Далее определяются условия, при которых постановки I, 1а, II и III являются эквивалентными. Это позволяет выбирать наиболее удобную с вычислительной точки зрения постановку для решаемых практических задач.

Рассматриваются следующие нормы пространств:

М1 = ЕЕм.

¡=0 ;=0 Лх Л»

1ии = ЕЕм2

¡=0 ¿=0

ФМ = 1И1гг = ^Е - + - '

Ф[г] = \\Z\Ibtv = Л Е 75.( Е _

где — 0,р — параметр.

Квадратичные стабилизаторы, такие как ЦДгЩ, являются наиболее часто используемыми в методах регуляризации. Однако, при выборе квадратичного стабилизатора и квадратичной нормы невязки метод становится линейным. Это означает, что результату повышения разрешения изображений присущи артефакты линейных методов, а именно: при больших значениях параметра регуляризации А возникает эффект размытия, а при малых А появляется эффект Гиббса, проявляющийся в виде ореолов возле контуров объектов.

Функционал ЦгЦгг является аппроксимацией функционала полной вариации в дискретном случае. В двухмерном случае значение полной вариации равно суммарной длине линий уровня на изображении. При повышении разрешения изображений предполагается, что не появляются и не исчезают контуры, а, значит, и не меняется суммарная длина линий уровня. Эта взаимосвязь позволяет использовать функционал полной вариации в качестве стабилизатора для сохранения структуры изображения.

В дискретном случае использование \\г\\ту Даёт лишь приближённую информацию о полной вариации изображения. Для повышения точности

используется функционал билатеральной полной вариации ||.г||вгу- Параметр р ограничивает количество направлений. Чем больше значение р, тем выше точность метода, но и выше его вычислительная сложность.

Экспериментальный анализ показал, что при коэффициентах масштабирования « = 2,3,4 эффективно использование стабилизатора ЦгЦвгг при р = 1 в комбинации с нормой \\г\\1-

В этом разделе также предложены регуляризирующий метод нахождения соответствий между изображениями в задаче суперразрешения и неитерационный метод решения задачи суперразрешения.

Вторая глава посвящена разработке методов анализа и постобработки для задачи повышения разрешения изображений.

В первом разделе второй главы описывается алгоритм оценкн качества изображений, основанный на анализе характерных артефактов алгоритмов повышения разрешения изображений — размытия и эффекта Гиббса. Предлагается алгоритм нахождения областей, соответствующих этим артефактам, основанный на использовании методов математической морфологии. Алгоритм находит базовые контуры на изображении — контуры, которые сохраняются до определённого уровня деградации качества изображении, а затем выделяет окрестности, прилегающие к базовым контурам. Предлагаемые метрики оценки качества изображений в областях базовых границ проиллюстрированы на примере алгоритма комбинирования результатов двух различных алгоритмов повышения разрешения изображений.

Во втором разделе приводится алгоритм оценки наличия эффекта Гиббса на изображениях. Алгоритм основан на анализе значения функционала полной вариации для профилей базовых контуров изображений на разных масштабах в пространстве переменных разрешений. Для подавления эффекта Гиббса предложен регуляризирующий метод в поста-

новке III со стабилизатором в виде функционала полной вариации: zc — arg min \\z - г0||2,

Z-MTV<C

где zo — изображение с эффектом Гиббса, С — требуемое значение функционала полной вариации. В случае подавления эффекта Гиббса после повышения разрешения изображений, значение параметра С берётся равным значению полной вариации изображения низкого разрешения.

В третьем разделе рассматривается задача повышения резкости изображений. Для моделирования размытия изображений используется фильтр Гаусса. Используется регуляризирующий метод

zc = arg min УHaz - u\\l (4)

z:||z||rv<C'

Предложена модификация метода для случая зашумлённых изображений, заключающаяся в разделении изображений на структурную и шумовую компоненты и последующем повышении резкости с помощью (4) только структурной компоненты.

На рис. 2 приведены результаты работы разработанных алгоритма повышения разрешения изображений и алгоритма подавления эффекта Гиббса после повышения разрешения.

Третья глава посвящена описанию разработанного программного комплекса и реализации используемых в работе методов минимизации регуляризирующих функционалов. Для минимизации используемых в работе недифференцируемых выпуклых функционалов используется субградиентный метод:

2(Ш) = г(к) _ акд(к)!

где — один из субградиентов функционала J(z) = || Az — иЩ + АФ[г] в точке z =-- z(k\

Проведённый анализ показал, что для повышения разрешения изображения достаточно эффективно использовать следующий выбор шага:

к к °к = и mit ' Tfc = 709 , (5)

а) Изображение низкого разрешения 6) Увеличение изображения в 2 раза

с большим параметром регуляризации, не приводящим к появлению эффекта Гиббеа

в) Увеличение изображения в 2 раза г) Результат применения

с малым параметром регуляризации, алгоритма подавления эффекта Гиббеа

приводящим к появлению эффекта Гиббеа. к изображению в)

Рис. 2: Пример работы разработанных алгоритма повышения разрешения изображений и алгоритма подавления эффекта Гиббеа после повышения разрешения.

где N — число пикселей изображения. Основным параметром здесь является д, отвечающий за скорость уменьшения длины шага. Параметр 7о задаёт величину шага для первой итерации.

В данной главе также проведён анализ метода практического выбора

значения параметра регуляризации для задачи повышения разрешения изображений.

В заключении сформулированы основные результаты, полученные в диссертационной работе.

Основные результаты

1. Разработаны и обоснованы регуляризирующие алгоритмы повышения разрешения изображений и суперразрешения. Созданы метрики оценки качества алгоритмов повышения разрешения.

2. Предложены и алгоритмически реализованы регуляризирующие методы подавления эффекта Гиббса на изображениях и повышения резкости изображений.

3. Создан программный комплекс для анализа и повышения качества изображений, повышения разрешения и суперразрешения.

Список литературы

[1] Насонов А. В., Крылов А. С., Ушмаев О. С. Применение метода суперразрешения для биометрических задач распознавания лиц в видеопотоке // Системы высокой доступности, — 2009.— Т. 1,— С. 26-34.

[2] Krylov A. S., Nasonov А. V., Ushmaev О. S. Video super-resolution with fast deconvolution // Pattern Recognition and Image Analysis. — 2009. - Vol. 19, no. 3.- Pp. 497-500.

[3] Насонов А. В., Крылов А. С., Ушмаев О. С. Развитие методов повышения качества изображений лиц в видеопотоке //' Информатика и её применения. - 2009. - Т. 3, № 1. — С. 19-28.

[4] Nasonov A. V., Krylov A. S. Finding areas of typical artifacts of image enhancement methods // Pattern Recognition and Image Analysis.— 2011. - Vol. 21, no. 2. - Pp. 316-318.

[5] Krylov A. S., Nasonov A. V. Edge-directed image interpolation using color gradient information // Lecture Notes in Computer Science.— 2011. - Vol. 6979. - Pp. 40-49.

[6] Насонов А. В., Крылов А. С. Быстрое суперразрешение изображений с использованием взвешенной медианной фильтрации // Труды 12-й международной конференции и выставки «Цифровая обработка сигналов и её применение» (DSPA '2010). - 2010. - Т. 2. - С. 101104.

[7] Krylov A. S., Nasonov A. V-, Ushmaev О. S. Image super-resolution using fast deconvolution // Proceedings of 9th Conference on Pattern Recognition and Image Analysis: New Information Technologies, Nizhni Novgorod. - 2008. - Vol. 1, no. 2. - Pp. 362-364.

[8] Nasonov A. V.. Krylov A. S. Basic edges metrics for image deblurring // Proceedings of 10th Conference on Pattern Recognition and Image Analysis: New Information Technologies (PRIA2010).— 2010. — Vol. l.-Pp. 243-246.

[9] Nasonov A. V.. Krylov A. S. Fast super-resolution using weighted median filtering // Proceedings of International Conference on Pattern Recognition (ICPR '2010). - 2010. - Pp. 2230-2233.

[10] Krylov A. S., Lukin A. S.. Nasonov A. V. Edge-preserving nonlinear iterative image resampling method // Proceedings of International Conference on Image Processing (ICIP'09). - 2009. - Pp. 385-388.

[11] Nasonov A. V., Krylov A. S. Scale-space method of image ringing estimation // Proceedings of International Conference on Image Processing (ICIP'09). - 2009. - Pp. 2794-2797.

[12] Krylov A. S., Nasonov A. V. Adaptive total variation deringing method for image interpolation // Proceedings of International Conference on Image Processing (ICIP'08). - 2008. - Pp. 2608-2611.

[13] Krylov A. S., Nasonov A. V. Adaptive image deblurring with ringing control // Fifth International Conference on Image and Graphics (ICIG '09).- 2009. -Pp. 72-75.

[14] Lukin A. S., Krylov A. S., Nasonov A. V. Image interpolation by superresolution // Proceedings of GraphiCon'2006. - 2006. - Pp. 239-242.

[15] Nasonov A. V., Krylov A. S., Lukin A. S. Post-processing by total variation quasi-solution method for image interpolation // Proceedings of GraphiCon'2007. - 2007. - Pp. 178-181.

[16] Krylov A. S., Nasonov A. V., Sorokin D. V. Face image superresolution from video data with non-uniform illumination // Proceedings of GraphiCon'2008. - 2008. - Pp. 150-155.

[17] Nasonov A. V., Krylov A. S. Adaptive image deringing // Proceedings of GraphiCon'2009. - 2009. - Pp. 151-154.

[18] Krylov A. S., Nasonov A. V., Chernomorets A. A. Combined linear resampling method with ringing control // Proceedings of GraphiCon'2009. - 2009. - Pp. 163-165.

[19] Krylov A. S., Nasonov A. V. Fast super-resolution from video data using optical flow estimat ion // Proceedings of IEEE International Conference on Singal Processing (ICSP'08), Beijing.-Pp. 853-856.

[20] Насонов А. В. Программное повышение разрешения и подавление эффекта Гиббса на изображениях // Сборник аннотаций работ 6-й Курчатовской молодёжной научной школы. — 2008.— С. 153.

Напечатано с готового оригинал-макета

Подписано в печать 21.09.2011 г. Формат 60x90 1/16. Усл.печл. 1,0. Тираж 70 экз. Заказ 390.

Издательство ООО "МАКС Пресс" Лицензия 00510 от 01.12.99 г. Тел. 939-3890. Тел./факс 939-3891. 119992, ГСП-2, Москва, Ленинские горы, МГУ им. М.В. Ломоносова, , 2-й учебный корпус, 527 к.

Введение

1 Регуляризирующие методы повышения разрешения изображений и суперразрешения

1.1 Обзор методов повышения разрешения изображений

1.1.1 Линейные методы повышения разрешения изображений

1.1.2 Нелинейные методы повышения разрешения изображений

1.2 Постановки задач повышения разрешения изображений

1.2.1 Модель получения цифровых изображений.

1.2.2 Постановка задачи ресамплинга изображений

1.2.3 Постановка задачи суперразрешения.

1.3 Построение и анализ регуляризирующих методов решения задачи повышения разрешения изображений и суперразрешения

1.3.1 Построение регуляризирующих методов решения задачи повышения разрешения изображений и суперразрешения

1.3.2 Оптимизация параметров регуляризирующих методов

1.3.3 Регуляризирующий метод нахождения соответствий между изображениями в задаче суперразрешсния

1.3.4 Неитерационный метод решения задачи суперразрешения

2 Методы анализа и постобработки для задачи повышения разрешения изображений

2.1 Метрики для базовых контуров на изображениях.

2.1.1 Метод нахождения базовых контуров на изображении и их окрестностей.

2.1.2 Метрики точек базовых контуров и окрестностей базовых контуров.

2.1.3 Применение метрик базовых контуров для задачи комбинирования результатов нескольких методов повышения разрешения изображений.

2.2 Задача подавления эффекта Гиббса на изображениях

2.2.1 Алгоритм обнаружения и оценки эффекта Гиббса

2.2.2 Регуляризирующий метод подавления эффекта Гиббса

2.3 Задача повышения резкости изображений.

2.3.1 Постановка задачи повышения резкости изображений

2.3.2 Регуляризирующий метод адаптивного повышения резкости низкочастотной части изображения

3 Программный комплекс

3.1 Используемые численные методы и их программная реализация

3.1.1 Субградиентный метод минимизации регуляризиру-ющих функционалов.

3.1.2 Метод минимизации квадратичных функционалов на множестве функций с ограниченной полной вариацией

3.1.3 Практический выбор параметра регуляризации для задачи повышения разрешения изображений

3.1.4 Алгоритм определения уровня эффекта Гиббса на изображениях.

3.2 Структура программного комплекса.

Задача повышения разрешения изображений является важной для широкого класса практических приложений, таких как обработка и анализ медицинских изображений, обработка аэрокосмических снимков, обработка данных видеонаблюдения, трансляция видеопотока низкого разрешения на современных широкоформатных дисплеях и ряда других задач.

Высокая производительность компьютеров в настоящее время даёт возможность в реальном времени использовать сложные итерационные методы повышения разрешения изображений, а также решать задачу суперразрешения [1,2]. Суперразрешение позволяет сразу по нескольким различным изображениям низкого разрешения одного и того же объекта построить одно изображение высокого разрешения. Это позволяет достичь большего качества по сравнению с повышением разрешения каждого из изображений низкого разрешения по отдельности.

Цифровое изображение у = г = 0,1,., з = 0,1,., Ыу, представляет собой конечномерную двумерную таблицу размера (Л^ + 1) х (Л7у + 1), элементам которой, называемым пикселями, присвоено одно или несколько значений из некоторого конечного множества значений, в качестве которого обычно используется множество целых чисел на отрезке от 0 до 255. В случае изображения в градациях серого значением пикселя является одно число — интенсивность, в случае цветного изображения значением пикселя является вектор из трёх значений, соответствующих цветовым компонентам.

Задача повышения разрешения изображений обладает особенностями, не позволяющими эффективно применять общие методы интерполяции функций для её решения, поэтому для повышения разрешения изображений требуется разработка специальных методов. Среди таких особенностей можно выделить следующие:

1. Наличие специфичной априорной информации о содержании и структуре изображения. Примером такой информации является информация о спектре непрерывного изображения: если изображение удовлетворяет условиям теоремы Котельникова [3], то возможно его однозначное восстановление по дискретному изображению низкого разрешения. Другими примерами являются предположения о сохранении полной вариации изображения при повышении разрешения, предположения о структуре контуров объектов.

Для различных классов изображений эта априорная информация различается, поэтому невозможно разработать универсальный метод повышения разрешения изображений для произвольных изображений.

2. Значимость субъективной оценки результата повышения разрешения. Например, в случае отображения видеопотока низкого разрешения на экранах высокой чёткости, визуальное качество изображений имеет решающее значение. При этом имеет значение как отсутствие артефактов, так и правдоподобность получаемого результата: отсутствие искажений, таких как исчезновение мелких деталей или появление новых деталей.

Наиболее распространёнными артефактами, • возникающими при повышении разрешения изображений, являются артефакты, связанные с искажением высокочастотной информации: эффект размытия, алиасииг (ступенчатость контуров) и эффект Гиббса. В задачах обработки изображений эффект Гиббса проявляется как эффект ложного оконтури-вания, возникающий при недостатке информации о высоких частотах изображения и проявляющийся в виде ореолов возле резких контуров. В отличие от настоящего эффекта Гиббса, в случае ложного оконтурива-ния наблюдается обычно только одна или две осцилляции. На рис.1 приведены примеры этих артефактов.

Размытие Алиасинг Ложное оконтуривание ступенчатость контуров) (эффект Гиббса)

Рис. 1: Примеры артефактов, возникающих при повышении разрешения изображений.

Для подавления артефактов, внесённых методами повышения разрешения изображений, применяются методы постобработки.

3. В большинстве случаев требуется не построение непрерывного изображения, а переход с более грубой сетки на более мелкую. Такой процесс называют ресамплингом изображений, а коэффициент отношения шага крупной сетки к коэффициенту шага мелкой сетки — коэффициентом увеличения изображений.

4. Имеет значение вычислительная сложность алгоритмов повышения разрешения изображений при их применении в реальном времени.

Объективный анализ качества методов повышения разрешения изображений осуществляется с использованием специальных метрик, учитывающих как близость результата повышения разрешения к эталонному изображению, так и субъективную оценку качества изображения.

Большинство алгоритмов повышения разрешения изображения работают с изображениям, содержащими только одну компоненту. Применение таких алгоритмов к цветным изображениям заключается в представлении цветного изображения в виде трёх однокомпонентных изображений и повышении разрешения каждого из этих изображений по отдельности. При этом часто производится переход в другое цветовое пространство, например, УиУ, где первая компонента представляет из себя значение интенсивности — яркостная компонента У, а оставшиеся две компоненты определяют цвет. В связи с тем, что чувствительность человеческого восприятия к яркости выше, чем к цвету, такой подход позволяет понизить вычислительную сложность при повышении разрешения цветных изображений, применяя* для повышения разрешения цветовых компонент быстрые алгоритмы.

Существуют алгоритмы, которые работают с компонентами пикселя цветного изображения как с единым целым. Например, в задачах выделения контуров используется цветовой градиент [4], позволяющий находить контуры, которые нельзя найти, используя только яркостную компоненту изображения. Однако в задачах повышения разрешения изображения такие алгоритмы не получили широкого распространения из-за высокой сложности и практически полного отсутствия разницы в субъективном качестве изображений по сравнению с методами, не учитывающими цветовой градиент.

В настоящее время алгоритмы интерполяции цветных изображений применяются, в основном, для демозаикинга — интерполяции байеров-ских шаблонов [5]. В большинстве устройств получения цветных цифровых изображений используются матрицы, состоящие из различных фотоэлементов, чувствительных к свету с определенной длиной волны. Используется три типа элементов: чувствительных к красному, зеленому и синему цветам. Эти три типа элементов расположены в виде мозаики, называемой обычно байеровским шаблоном. Задача демозаикинга состоит в получении полноцветного изображения по его байеровскому шаблону.

Целью диссертационной работы является построение регуляризирую-щих методов повышения разрешения изображений и суперразрешения, а также методов их анализа и постобработки, включающих в себя разработку метрик оценки качества обработки контуров и методов подавления артефактов, внесённых алгоритмами повышения разрешения изображения.

В первой главе рассматриваются задачи повышения разрешения изображений и суперразрешения. Глава начинается с краткого обзора существующих методов повышения разрешения изображений, которые можно разделить на два класса: класс линейных методов и класс нелинейных методов. Преимуществом линейных методов является их простота и вычислительная эффективность, но, в отличие от нелинейных методов, невозможно построить линейный метод, в котором не было бы ни одного из артефактов, приведённых на рис.1.

В диссертационной работе задача повышения разрешения изображений поставлена как обратная некорректная задача для задачи понижения разрешения изображений:

Az = щ (1) где и — известное изображение низкого разрешения, z — искомое изображение высокого разрешения, А — оператор понижения разрешения. Оператор А строится на основе математической модели получения цифровых изображений с помощью камеры.

Для нахождения решения поставленной обратной задачи (1) применяется метод регуляризации А.Н.Тихонова [6]. Задача регуляризации рассматривается в трёх постановках:

I. Нахождение inf (\\Az - u\\ + АФ[;г]), Л > 0.

II. Нахождение inf для ||Az — u|| < 5, 5 > 0.

III. Нахождение inf ||Az — u|| для < С, С > 0.

Определяются условия, при которых постановки I, II и III являются эквивалентными. Это позволяет выбирать наиболее удобную с вычислительной точки зрения постановку в зависимости от ситуации.

Также производится анализ выбора норм пространств и стабилизатора среди наиболее часто используемых в задачах обработки изображений норм и стабилизаторов.

Вторая глава посвящена оценке качества изображений, обнаружению и подавлению артефактов на изображениях, возникающих после повышения разрешения. Оценка качества изображений основана на анализе характерных артефактов алгоритмов повышения разрешения изображений — размытия и эффекта Гиббса. Предлагается алгоритм нахождения областей, соответствующих этим артефактам, основанный на использовании математической морфологии. Алгоритм находит базовые контуры на изображении — контуры, которые сохраняются при определённом уровне деградации качества изображении, а затем выделяет окрестности, прилегающие к базовым контурам. Предлагаемые метрики оценки качества изображений в областях базовых границ проиллюстрированы на примере алгоритма комбинирования результатов двух алгоритмов повышения разрешения изображений.

Рассматриваются задачи подавления эффекта Гиббса и повышения резкости изображений. Для нахождения решений этих задач применяются регуляризирующие методы. Параметр регуляризации в данных задачах адаптивно определяется с использованием предложенного алгоритма оценки уровня эффекта Гиббса. Данная оценка основана на анализе зависимости значения полной вариации профилей базовых границ от масштаба.

Третья глава посвящена описанию разработанного программного комплекса и реализации используемых в работе методов минимизации регу-ляризирующих функционалов. Для минимизации используемых в работе недифференцируемых выпуклых функционалов используется субградиентный метод. В данной главе также рассматривается задача практического выбора значения параметра регуляризации для задачи повышения разрешения изображений.

Основные результаты опубликованы в статьях списка ВАК [14,32,34, 42,73].

Заключение

1. Fast and robust multi-frame super-resolution / S. Farsiu, D. Robinson, M. Elad, P. Milanfar // 1.EE Transactions on Image Processing. — 2004. — Vol. 13, no. 10.— Pp. 1327-1344.

2. Pham T. Q., van Vliet L. J., Schutte K. Robust super-resolution by minimizing a gaussian-weighted £2 error norm // Journal of Physics: Conference Series. — 2008. — Vol. 124, no. 1.- Pp. 12-37.

3. Zenzo S. D. A note on the gradient of a multi-image // Journal on Computer Vision, Graphics, and Image Processing.— 1986. — Vol. 33, no. 1.— Pp. 116-125.

4. Gunturk В. K., Altunbasak Y., Mersereau R. M. Color plane interpolation using alternating projections // IEEE Transactions on Image Processing. — 2002. — Vol. 11.-Pp. 997-1013.

5. Тихонов A. H., Арсенин В. Я. Методы решения некорректных задач. — М.: Наука, 1979. С. 288.

6. Thevenaz P., Blu Т., Unser М. Image interpolation and resampling // Handbook of medical imaging. — Academic Press, Inc., 2000. — Pp. 393-420.

7. Blu Т., Thevenaz P., Unser M. Linear interpolation revitalized // IEEE Transactions on Image Processing. — 2004. — Vol. 13, no. 5. — Pp. 710-719.

8. Thevenaz P., Blu Т., Unser M. Interpolation revisited // IEEE Transactions on Medical Imaging. — 2000. — Vol. 19, no. 7. — Pp. 739-758.

9. Turkowski K. Filters for common resampling tasks // Graphics gems. — Academic Press, Inc., 1990.-Pp. 147-165.

10. Young I. Т., van Vliet L. J. Recursive implementation of the gaussian filter // Signal Processing. — 1995. — no. 44. — Pp. 139—151.

11. Lee Y. J., Yoon J. Nonlinear image upsampling method based on radial basis function interpolation // IEEE Transactions on Image Processing. — 2010. — Vol. 19, no. 10. —■ Pp. 2682-2692.

12. Sun J., Xu Z., Shurn H.-Y. Image super-resolution using gradient profile prior // IEEE Conference on Computer Vision and Pattern Recognition (CVPR2008).— 2008.— Pp. 1-8.

13. Krylov A. S., Nasonov A. V. Edge-directed image interpolation using color gradient information // Lecture Notes in Computer Science. — 2011. — Vol. 6979. — Pp. 40-49.

14. High accuracy WADI image interpolation with local gradient features / S. Yuan, M. Abe, A. Taguchi, M. Kawamata // Proceedings of 2005 International Symposium on Intelligent Signal Processing and Communication Systems. — 2005. — Pp. 85-88.

15. Li X:, Orchard M. T. New edge-directed interpolation // IEEE Transactions on Image Processing. — 2001.—Vol. 10, no. 10. — Pp. 1521-1527.

16. Leitao J. A., Zhao M., de Haan G. Content-adaptive video up-scaling for highdefinition displays // Proceedings of Image and Video Communications and Processing '2003. — 2003. — Vol. 5022. — Pp. 612-622.

17. Price J. R., Hayes M. H. Resampling and reconstruction with fractal interpolation functions // IEEE signal processing letters. — 1998. — Vol. 5, no. 9. — Pp. 228-230.

18. Wohlberg В., de Jager G. A review of the fractal image coding literature // IEEE Transactions on Image Processing. — 1999. — Vol. 8, no. 12. — Pp. 1716-1729.

19. Polidori E., Jean-Luc D. Zooming using iterated function system // NATO ASI Conf. Fractal Image Encoding and Analysis. — 1995. — Vol. 5. — Pp. 111-123.

20. Resolution enhancement of images using fractal coding / M. Gharavi-Alkhansari, R. Denardo, Y. Tenda, T. S. Huang // Visual Communications and Image Processing. — 1997. — Vol. 3024. — Pp. 1089-1100.

21. Lukin A. S., Krylov A. S., Nasonov A. V. Image interpolation by super-resolution // Proceedings of GraphiCon'2006. — 2006. — Pp. 239-242.

22. Aly H. A., Dubois E. Image up-sampling using total-variation regularization with a new observation model // IEEE Transactions on Image Processing. — 2005. — Vol. 14, no. 10. Pp. 1647-1659.

23. Иванов В. К. О линейных некорректных задачах // ДАН СССР. — 1962.— Т. 145. С. 270-272.

24. Васин В. В. О связи некоторых вариационных методов приближенного решения некорректных задач // Математические заметки. — 1970. — Т. 7, № 3. — С. 265272.

25. Rudin L., Osher S. J., Fatemi E. Nonlinear total variation based noise removal algorithms // Physica D. — 1992. — no. 60. — Pp. 259-268.

26. Irani M., Peleg S. Super resolution from image sequences // Proceedings of International Conference on Pattern Recognition (ICPR'90).— 1990.— Vol. 2.— Pp. 115-120.

27. Irani M., Peleg S. Improving resolution by image registration // CVGIP: Graphical models and image processing. — 1991. — Vol. 53, no. 3. — Pp. 231-239.

28. Ratakonda K., Ahuja N. POCS based adaptive image magnification // International Conference on Image Processing. — 1998. — Vol. 3, no. 3. — Pp. 203-207.

29. Ozkan Ml N., Tekalp A. M., Sezan M. I. POCS-based restoration of space-varying blurred images // IEEE Transactions on Image Processing. — 1994. — Vol. 3, no. 4. — Pp. 450-454.

30. Танана В. П. Методы решения операторных уравнений.— М.: Наука, 1981.— С. 156.

31. Насонов А. В., Крылов А. С., Ушмаев О. С. Применение метода суперразрешения для биометрических задач распознавания лиц в видеопотоке // Системы высокойдоступности. — 2009. — Т. 1. — С. 26-34.

32. Krylov A. S., Nasonov А. V., Sorokin D. V. Face image super-resolution from video data with non-uniform illumination // Proceedings of GraphiCon'2008.— 2008.— Pp. 150-155.

33. Насонов А. В., Крылов А. С., Ушмаев О. С. Развитие методов повышения качества изображений лиц в видеопотоке // Информатика и её применения. — 2009. Т. 3, № 1. - С. 19-28.

34. Малла С. Вэйвлеты в обработке сигналов. — М.: Мир, 2005.— С. 672.

35. Колмогоров А. Н., Фомин С. В. Элементы теории функций и функционального анализа. — М.: Наука, 1972. — С. 496.

36. Ziemer W. P. Weakly Differentiable Functions. — New York: Springer-Verlag, 1989.

37. Image quality assessment: from error visibility to structural similarity / Z. Wang, A. Bovik, H. Sheikh, E. Simoncelli // IEEE Transactions on Image Processing.— 2004. Vol. 13, no. 4. — Pp. 600-612.

38. Krylov A. S., Lukin A. S., Nasonov A. V. Edge-preserving nonlinear iterative image resampling method // Proceedings of International Conference on Image Processing (ICIP'09). 2009. - Pp. 385-388.

39. Deriche R., Kornprobst P., Aubert G. Optical-flow estimation while preserving its discontinuities: A variational approach // Lecture Notes in Computer Science. — 1996. Vol. 1035. - Pp. 69-80.

40. Krylov A. S., Nasonov A. V. Fast super-resolution from video data using optical flow estimation // Proceedings of IEEE International Conference on Singal Processing (ICSP'08), Beijing. — Pp. 853-856.

41. Krylov A. S., Nasonov A. V., Ushmaev O. S. Video super-resolution with fast deconvolution // Pattern Recognition and Image Analysis. — 2009. — Vol. 19, no. 3. — Pp. 497-500.

42. Sonka M., Hlavac V., Boyle R. Image Processing, Analysis and Machine Vision.— Thomson Engineering, Toronto, Canada, 2007.

43. Zomet A., Rav-acha A., Peleg S. Robust super-resolution // Proceedings of the IEEE Workshop on Applications of Computer Vision. — 2001. — Pp. 645-650.

44. Sanchez-Beato A., Pajares Q. Robust super-resolution using a median filter for irregular samples // Lecture Notes in Computer Science.— 2009.— Vol. 5524,— Pp. 298-305.

45. Nasonov A. V., Krylov A. S. Past super-resolution using weighted median filtering // Proceedings of International Conference on Pattern Recognition (ICPR'2010).— 2010. Pp. 2230-2233.

46. Насонов А. В., Крылов А. С. Быстрое суперразрешение изображений с использованием взвешенной медианной фильтрации // Труды 12-й международной конференции и выставки «Цифровая обработка сигналов и её применение» (DSPA '2010). 2010. - Т. 2. - С. 101-104.

47. Brownrigg D. R. К. The weighted median filter // Communications of the ACM.— 1984. — Vol. 27, no. 8. — Pp. 807—818.

48. On the performance of human visual system based image quality assessment metric using wavelet domain / A. Ninassi, O. L. Meur, P. L. Callet, D. Barba // SPIE Human Vision and Electronic Imaging XIII (HVEI'08). — 2009. — P. 12.

49. Ginesu F. M. G., Giusto D. A multi-factors approach for image quality assessment based on a human visual system model // Elsevier Signal Processing: Image Communication. — 2006. — no. 21. — Pp. 316-333.

50. Perceptual blur and ringing metrics: Application to jpeg2000 / P. Marziliano, F. Dufaux, S. Winkler, T. Ebrahimi // Signal Processing : Image Communication. — 2004. Vol. 19, no. 2. - Pp. 163-172.

51. Nasonov A. V., Krylov A. S. Edge quality metrics for image enhancement // Pattern Recognition and Image Analysis. — 2011. — P. Готовится к публикации.

52. Nasonov A. V., Krylov A. S. Basic edges metrics for image deblurring // Proceedings of 10th Conference on Pattern Recognition and Image Analysis: New Information Technologies (PRIA2010). 2010. - Vol. 1. - Pp. 243-246.

53. Canny J. A computational approach to edge detection // IEEE Transactions on Pattern Analysis and Machine Intelligence. — 1986. — Vol. 8, no. 6. — Pp. 679-714.

54. Nasonov A. V., Krylov A. S. Adaptive image deringing // Proceedings of GrœphiCon'2009. 2009. - Pp. 151-154.

55. Nasonov A. V., Krylov A. S. Scale-space method of image ringing estimation // Proceedings of International Conference on Image Processing (ICIP'09).— 2009.— Pp. 2794-2797.

56. Krylov A. S., Nasonov A. V. Adaptive image deblurring with ringing control // Fifth International Conference on Image and Graphics (ICIG '09). — 2009. — Pp. 72-75.

57. Krylov A. S., Nasonov A. V., Chernomorets A. A. Combined linear resampling method with ringing control // Proceedings of GraphiCon'2009. — 2009. — Pp. 163165.

58. Viola P., Jones M, Robust real-time face detection // International Journal on Computer Vision. ~ 2004. — Vol. 57, no. 2. — Pp. 137-154.

59. Nasonov A. V., Krylov A. S., Lukin A. S. Post-processing by total variation quasi-solution method for image interpolation // Proceedings of GraphiCon'2007. — 2007. — Pp. 178-181.

60. Насонов А. В. Программное повышение разрешения и подавление эффекта Гибб-са на изображениях // Сборник аннотаций работ 6-й Курчатовской молодёжной научной школы. — 2008. — С. 153.

61. Krylov A. S., Nasonov А. V. Adaptive total variation deringing method for image interpolation // Proceedings of International Conference on Image Processing (ICIP'08). 2008. - Pp. 2608-2611.

62. Chan T. F., Wong C.-K. Total variation blind deconvolution // IEEE Transactions on Image Processing. — 1998. — Vol. 7, no. 3. — Pp. 370-375.

63. Oliveira J. a. P., Bioucas-Dias J. M., Figueiredo M. A. T. Review: Adaptive total variation image deblurring: A majorization-minimization approach // Signal Processing. — 2009. — Vol. 89. — Pp. 1683-1693.

64. Intel Advanced Vector Extensions Programming Reference. — Intel Ref. 319433-009, 2010.

65. Васильев Ф. П. Численные методы решения экстремальных задач. — М.: Наука, 1988. С. 552.

66. Boyd S., Xiao L., Mutapcic A. Subgradient methods. — Stanford University: Lecture notes of EE392o, 2003.

67. Регуляризирующие алгоритмы и априорная информация / А. Н. Тихонов, А. В. Гончарский, В. В. Степанов, А. Г. Ягола. — М.: Наука, 1983. — С. 200.

68. Nasonov А. V., Krylov A. S. Finding areas of typical artifacts of image enhancement methods // Pattern Recognition and Image Analysis.— 2011.— Vol. 21, no. 2.— Pp. 316-318.