автореферат диссертации по радиотехнике и связи, 05.12.04, диссертация на тему:Разработка и анализ алгоритмов фильтрации гауссовского шума в полутоновых и первичных байеровских изображениях

На правах рукописи

Сергеев Евгений Владимирович

РАЗРАБОТКА И АНАЛИЗ АЛГОРИТМОВ ФИЛЬТРАЦИИ ГАУССОВСКОГО ШУМА В ПОЛУТОНОВЫХ И ПЕРВИЧНЫХ БАЙЕРОВСКИХ ИЗОБРАЖЕНИЯХ

Специальность 05.12.04 Радиотехника, в том числе системы и устройства телевидения

(' !

Автореферат

диссертации на соискание ученой степени кандидата технических наук

005050261

Владимир - 2012

005050261

Работа выполнена на кафедре динамики электронных систем Ярославского государственного университета им. П.Г. Демидова (ЯрГУ)

Научный руководитель:

доктор технических наук, доцент ЯрГУ Приоров Андрей Леонидович

Официальные оппоненты:

доктор технических наук, профессор ВлГУ Полушин Петр Алексеевич

Ведущая организация:

кандидат технических наук, нач. отдела информационной безопасности ОАО АКБ «Югра» Балусов Игорь Леонидович

ОАО «Ярославский радиозавод»

Защита диссертации состоится 14 декабря 2012 г. в 16.00 часов на заседании диссертационного совета Д 212.025.04 при Владимирском государственном университете имени Александра Григорьевича и Николая Григорьевича Столетовых (ВлГУ) по адресу: 600000, г. Владимир, ул. Горького, д. 87, ВлГУ, ФРЭМТ, ауд. 301.

С диссертацией можно ознакомиться в библиотеке Владимирского государственного университета имени Александра Григорьевича и Николая Григорьевича Столетовых.

Автореферат разослан 12 ноября 2012 г.

Отзывы на автореферат, заверенные печатью, просим направлять по адресу: 600000, г. Владимир, ул. Горького, д. 87, ВлГУ, корп. 3, ФРЭМТ.

Ученый секретарь диссертационного совета доктор технических наук, профессор

А.Г. Самойлов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. В настоящее время цифровые изображения используются повсеместно. Это связано с простым для обычного пользователя способом их получения, хранения, обработки и передачи. С технической точки зрения процесс формирования цифрового изображения представляет собой последовательность сложных алгоритмов. Основой большинства существующих устройств формирования цифровых изображений (например, сканеры, цифровые фотоаппараты, видеокамеры) является ПЗС-матрица (от «прибор с зарядовой связью»). Основу такой матрицы составляют фотоэлементы, позволяющие преобразовывать излучение (поток фотонов) от захватываемой сцсиы в электрическую энергию тока электронов, которые собираются в «ячейках» матрицы. Накопленный электрический заряд преобразуется в напряжение, усиливается, измеряется и подается на вход аналогово-цифрового. преобразователя. В итоге получается дискретное число (или, в данном случае, пиксель), которое пропорционально интенсивности света, зарегистрированного данным участком матрицы. Совокупность таких чисел, снятых со всех элементов матрицы, будет называться «сырым» изображением (raw image) или первичным байеровским изображением.

Полученное изображение неизбежно содержит множество помех, шумов, оптических искажений, зависящих как от технических характеристик устройства, так и от внешних условий съемки. Все последующие операции направлены именно на их устранение: фильтрация, коррекция поврежденных пикселей, интерполяция, цветовая коррекция, баланс белого, окончательная постобработка. Разработка новых, более эффективных алгоритмов обработки цифровых изображений (ЦОИ), полученных с выхода ПЗС-матрицы, на сегодняшний день является актуальной задачей.

Состояние проблемы. Методы и алгоритмы фильтрации цифровых изображений основываются на большом количестве теоретических работ.

Значительный вклад в разработку теории ЦОИ внесли отечественные ученые: Зубарев Ю.Б., Кривошеее М.И., Дворкович В.П., Дворкович A.B., Ярославский Л.П., Сойфер В.А., Фурман Я.А., Лабунец В.Г., Чобану М.К., Алпатов Б.А., Бехтин Ю.С., Умняшкин C.B., Радченко Ю.С. и зарубежные: Гонсалес Р., Вудс Р., Митра С., Чан Т., Бовик А., Неуво Ю. и многие другие.

Развитию современных алгоритмов фильтрации аддитивного белого гауссовского шума (АБГШ) содействовали работы таких ученых, как Ярославский Л.П., Приоров А.Л., Донохо Д.Л., Джонстон И.М., Старк Дж.Л., Кандэ Э. Дж., Ду М.Н., Веггерли М., Мюрезан Д.Д., Парке Т.У., Буадес А., Колл Б., Морель Дж. М., Катковник В., Егиазарян К., Фои А., Астола Я., Дабов К., Даледалл К.А., Сэлмон Дж., Ахарон М., Элад М. и других.

Продолжение исследований в указанной области ЦОИ проведено в данной диссертационной работе, где сделана попытка создания нового алгоритма фильтрации АБГШ в изображениях, представленных в шаблонах Байера, эффективность которого сравнима, а во многих случаях и превосходит известные на сегодняшний день алгоритмы фильтрации.

Целью работы является разработка и исследование новых нелинейных алгоритмов фильтрации на основе анализа главных компонент, винеровской фильтрации с применением идей нелокальной обработки данных для решения ряда научно-практических задач цифровой обработки изображений в целях улучшения характеристик соответствующих радиотехнических устройств.

Для достижения поставленной цели в диссертационной работе решаются следующие задачи:

- анализ существующих лучших алгоритмов подавления АБГШ с целью выявления их достоинств и недостатков;

- разработка новых нелокальных алгоритмов подавления АБГШ в цифровых изображениях;

- разработка нелокального алгоритма подавления АБГШ в цифровых первичных байеровских изображениях;

- изучение влияния параметров предложенных нелокальных алгоритмов на качество восстановленных изображений;

- многокритериальный анализ разрабатываемых алгоритмов и их сравнение с существующими на данный момент времени эффективными алгоритмами шумоподавления;

Методы исследования. При решении поставленных задач использовались современные методы цифровой обработки изображений, математического анализа, теории вероятностей, математической статистики, линейной алгебры. Активно использовались методы компьютерного моделирования в пакете прикладных программ МаМаЬ, а также методы объектно-ориентированного программирования на языке С#.

Объектом исследования являются нелокальные, поточечные и блочные алгоритмы фильтрации, применяемые для подавления АБГШ в цифровых полутоновых и первичных байеровских изображениях.

Предметом исследований являются разработка, модификация и оптимизация нелокальных алгоритмов на основе адаптивного анализа главных компонент (АГК), эмпирической винеровской фильтрации и нелокальной обработки.

Научная новнзна. В рамках диссертационной работы получены следующие новые научные результаты:

1. Разработан и исследован нелокальный алгоритм подавления АБГШ в полутоновых изображениях на основе АГК, эмпирической винеровской фильтрации и идей нелокальной обработки данных, который получил название нелокальный анализ главных компонент (англ. МЬ-РСА).

2. Предложена модификация разработанного алгоритма для подавления АБГШ в изображениях, представленных в шаблонах Байера.

3. Разработан новый алгоритм постобработки на основе идеи нелокальной обработки данных.

Практическая значимость.

1. Проведено многокритериальное сравнение работы наиболее эффективных на сегодняшний день алгоритмов восстановления цифровых изображений.

2. Рассмотрены алгоритмы на основе декоррелирующих преобразований и выявлены их общие черты, а также особенности каждого из них.

3. Предложен новый нелокальный алгоритм фильтрации АБГШ для полутоновых цифровых изображений, который превосходит «классический» алгоритм на основе АГК в среднем на ~ 1,19 дБ по пиковому отношению сигнала к шуму (Пик ОСШ) и на ~ 0,0534 по коэффициенту структурного подобия (КСП).

4. Разработанный алгоритм не уступает одному из лучших на сегодняшний день алгоритмов фильтрации на основе блокосогласования и трехмерного преобразования (ВМЗО). В проведенной серии экспериментов предложенный алгоритм оказался лучше, чем ВМЗЭ в среднем на -0,25 дБ по Пик ОСШ и на ~ 0,0049 по КСП.

5. Предложен новый нелокальный алгоритм фильтрации АБГШ для первичных байеровских цифровых изображений, получаемых непосредственно с матрицы устройства захвата изображения. Подобные матрицы используются в большинстве современных цифровых фотоаппаратов, видеокамер, сканеров. В проведенной серии экспериментов предложенный алгоритм оказался лучше, чем алгоритм на основе АГК с локальной группировкой пикселей (ГРв-РСА) на ~ 1,40 дБ по Пик ОСШ и на ~ 0,0437 по КСП.

6. Разработанные алгоритмы могут быть использованы в системах передачи мультимедийной информации, цифрового телевидения, радиолокации, связи, распознавания образов и слежения за объектами, а также других прикладных задачах цифровой обработки изображений. Кроме того, их можно применять в бытовых устройствах: фотоаппаратах, видеокамерах, мобильных телефонах и просто в качестве программного обеспечения персонального компьютера.

Результаты работы внедрены в соответствующие разработки ООО «Ярославльтранссигнал» и ООО «А-ВИЖН» г. Ярославль. Отдельные результаты диссертационной работы внедрены в учебный процесс ЯрГУ в рамках дисциплин «Компьютерное зрение» и «Цифровая обработка изображений», а также в научно-исследовательские работы при выполнении исследований в рамках грантов «Развитие нелинейной теории обработки сигналов и изображений в радиотехнике и связи» (Программа «Развитие научного потенциала высшей школы (2009-2010 гг.)», №2.1.2/7067) и «Развитие нелинейной теории цифровой обработки сигналов и изображений в технических системах» (грант РФФИ №10-08-01186, 2010-2012 гг.). Результаты внедрения подтверждены соответствующими актами.

Достоверность материалов диссертационной работы подтверждена результатами компьютерного моделирования, демонстрирующими высокую эффективность предложенных алгоритмов в задачах обработки изображений, использованием адекватного математического аппарата и совпадением ряда результатов с результатами, известными из литературы.

Апробация работы. Результаты работы докладывались и обсуждались на следующих научно-технических конференциях и семинарах различного уровня:

1. Пятнадцатой международной научной конференции студентов, аспирантов и

молодых ученых «ЛОМОНОСОВ», Москва, 2008.

2. Пятнадцатой международной научно-технической конференции

«Радиоэлектроника, электротехника и энергетика», Москва, 2009.

3. Одиннадцатой-четырнадцатой международной конференции и выставке

«Цифровая обработка сигналов и ее применение», Москва, 2009-2012.

4. Шестьдесят пятой - шестьдесят седьмой научной сессии, посвященной Дню Радио, Москва, 2010-2012.

5. Семнадцатой международной научно-технической конференции «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций», Рязань, 2012.

6. Двадцатой и двадцать первой международной конференции по компьютерной графике и зрению «Графиком», Санкт-Петербург 2010; Москва, 2011.

7. Международной научно-практической конференции студентов и молодых ученых «Молодежь и наука: модернизация и инновационное развитие страны», Пенза, 2011.

8. Девятой международной научно-технической конференции «Перспективные технологии в средствах передачи информации», Суздаль, 2011.

9. Второй всероссийской конференции «Радиоэлектронные средства передачи и приема сигналов и визуализации информации», Таганрог, 2012.

10. Тринадцатой всероссийской научно-практической конференции «Проблемы развития средств ПВО в современных условиях», Ярославль, 2012.

11. Ярославских областных конференциях молодых ученых и аспирантов. Публикации. По теме диссертации опубликовано 18 научных работ, из них

две статьи в журналах, рекомендованных ВАК, и 16 докладов на научных конференциях всероссийского и международного уровней; имеется свидетельство о государственной регистрации программного обеспечения.

Структура и объем работы. Диссертация состоит из введения, трех глав, заключения, списка использованных источников, содержащего 108 наименований, и трех приложений. Содержание работы изложено на 155 страницах машинописного текста, содержит 58 рисунков и 9 таблиц.

Основные научные положения и результаты, выносимые на защиту:

1. Алгоритм подавления АБГШ в полутоновых изображениях на основе анализа главных компонент, эмпирической винеровской фильтрации и идей нелокальной обработки.

2. Модификация разработанного алгоритма подавления АБГШ для цифровых первичных байеровских изображений.

3. Результаты исследований разработанных алгоритмов шумоподавления.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована необходимость и актуальность выбранной темы, сформулированы цель и задачи исследования, изложены основные положения, выносимые на защиту, показаны научная новизна и практическая значимость работы.

В первой главе рассмотрен процесс формирования цифровых изображений и необходимая при этом последовательность выполняемых действий для того, чтобы поток фотонов от регистрируемой сцены стал пикселями изображения (числовой матрицей) (см. рис. 1). В большинстве устройств регистрации изображений и видео используются ПЗС-матрицы, поэтому на ее примере рассмотрен процесс преобразования кванта света в электрический заряд.

Указываются различные виды шумов и помех, дающие основной вклад в конечное цифровое изображение:

1. шум с фиксированным шаблоном (fixed pattern noise);

2. шум темнового тока (dark current noise);

3. шум, связанный с неравномерностью энергий фотонов (shot noise);

4. шум усилителя (amplifier noise);

5. шум квантования (quantization noise).

Рассматриваются общие модели данных шумов. На практике данные искажения описываются более простыми моделями, одна из которых выбрана для дальнейшего исследования.

Лини.!, 1атвпр. оптические фильтры

Ссисор (ПЗС-матрииа),

УСНЛИ ГСЛ1».

АНН

ш

фильтрации, коррекция «плохих, пикселей, компенсации силовою uivMa

Цифровое изображение ¿JPEG-формат

Сжатие, сохранение

Улучшение (рсэкост!.. коррекция и т.д.)

Цпетопая коррекция баланс белого

Демо1аиК||Н|'

Рис. I. Простая блок-схема типичных действий для формирования цифрового изображения

Далее вводится рассматриваемая в работе модель шума: квантованного АБГШ с насыщением, которая имеет следующий вид:

О

У.о = ЯоиП(1(Х|о +",.,)

255

,+пие[0 255],

(1)

х() +п, ] >255

где у - наблюдаемое зашумленное изображение, хч - исходное «чистое» изображение, п^ - АБГШ с нулевым математическим ожиданием и известным среднеквадратическим отклонением (СКО), под индексами (У) понимаются координаты пикселя изображения.

Рассмотрена общая схема алгоритмов фильтрации с декоррелирующим преобразованием, а также наиболее эффективные ортогональные декоррелирующие преобразования и несколько эффективных алгоритмов, построенных на их основе:

- блокосогласование и трехмерная фильтрация (англ. ВМЗО);

- адаптивный анализ главных компонент (англ. А-РСА);

- локальная группировка пикселей и анализ главных компонент (англ. ЬРй-РСА).

Указываются основные преимущества и недостатки данных алгоритмов. На основании рассмотренного материала ставятся основные задачи диссертационной работы:

- разработка эффективного многостадийного алгоритма фильтрации АБГШ для достижения высокого качества восстановления полутоновых изображений, совмещающего сильные стороны рассмотренных алгоритмов фильтрации;

- всесторонний анализ разрабатываемого алгоритма, его сравнение с современными методами шумоподавления;

- разработка (или модификация) эффективного многостадийного алгоритма фильтрации АБГШ для изображений, представленных в шаблонах Байера. Решение поставленных задач осуществляется в следующих главах

диссертационной работы.

Вторая глава посвящена следующей научно-технической задаче -разработать алгоритм удаления АБГШ на основе анализа главных компонент, эмпирической винеровской фильтрации и идей нелокальной обработки, который способен эффективно восстанавливать цифровые изображения.

Для этой цели сначала рассматриваются решения поставленной задачи фильтрации, которые представлены в известных алгоритмах шумоподавления (ВМЗЭ, ГРО-РСА). Составляется список требований на разрабатываемый алгоритм фильтрации, который кратко можно сформулировать следующим образом:

1) Блокосогласование, которое будет выполняться по предварительной оценке исходного незашумленного изображения.

2) Алгоритм должен содержать две различные стадии обработки. На каждом этапе обрабатывается исходное зашумленное изображение.

3) Блочная реализация для уменьшения числа операций, возможно с некоторым шагом.

В качестве алгоритма предобработки выбрано быстрое, эффективное и простое в реализации вейвлет-преобразование с динамической пороговой обработкой вейвлет-коэффициентов.

Предполагая, что анализируемое цифровое изображение х искажено в соответствии с (1) АБГШ п с нулевым математическим ожиданием и СКО а, перечислим основные шаги работы предлагаемого алгоритма фильтрации. Краткая блок-схема первого этапа разработанного алгоритма представлена на рис. 2.

I. Первый этап обработки

1. Для проведения объективного сравнения качества работы разрабатываемого алгоритма параметры шума считались известными (СКО сг задано).

2. Вейвлет-предобработка, дающая качественную оценку для необходимой дальнейшей процедуры набора статистики. Полученная на данном шаге вейвлет-оценка входного зашумленного изображения называется предварительная о11енка.

Зашумленное изображение

Первая «грубая» оценка исходного изображения

7

Рис. 2. Блок-схема первого этапа предлагаемого алгоритма

3. Предварительная оценка изображения разбивается на совокупность перекрывающихся ссылочных блоков, как представлено на рис. За. На каждой итерации алгоритма можно выделить: окно поиска, область наложения блоков, блоки-кандидаты, равные ссылочному блоку по размеру (рис. 36). Размеры рассматриваемых областей поиска и наложения могут варьироваться.

-+------

| область I наложения 1 _! центр—;

ссылочный блок

а)

б)

Рис. 3. а) Схема разбиения изображения, используемая в предлагаемом алгоритме. Все изображение разбивается на перекрывающиеся ссылочные блоки, вокруг которых отмечается окно поиска; б) на каждой итерации алгоритма в окне поиска происходит поиск подобных блоков к ссылочному блоку. Для полученного множества подобных блоков строится базис векторов АГК. Пример группировки пикселей для тестового изображения «Лодки»

, окно поиска

блоки-кандидаты

4. Для данного окна поиска с предварительной оценки выполняется процедура блокосогласования с целью определения координат подобных блоков, которые затем набираются с входного зашумленного изображения.

5. Каждый набранный блок хг вытягивается в вектор-столбец. Если размер

блока будет г х г, то размер вектора-столбца г2 х 1. Число таких векторов-столбцов равно п. Таким образом, формируется матрица выборок вектора-столбца Ъ размера г2 х п . Каждый элемент этой матрицы есть зашумленное значение яркости пикселя изображения.

6. Для данной центрированной матрицы Ъ находится ковариационная матрица , а для нее - базис векторов АПС. В работе предлагается на первом этапе использовать усеченный базис векторов. При вычислении базиса собственных векторов АГК каждому собственному вектору ф: соответствует его

собственное значение Я: Л, >...>Я, - дисперсия данных вдоль этого

направления. По свойству АГК они упорядочены от большего значения к меньшему, поэтому рассматривается некий порог для дисперсий направлений, меньше которого

данное направление считается шумовым. То есть:

• ¿гТ

[О , в других случаях Формула (2) нуждается в поправке. Возможен редкий вариант почти идеальных входных данных (например, участок однородного фона), в этом случае данные будут удалены из выборки при центрировании, тогда дополнительное условие на дисперсии примет вид:

Л = 0,если-¿а=->Т'. (3)

Л™

После произведенной пороговой обработки остаются собственные значения Л : /!, > А, >... > Яр, где р<Г, которым будут соответствовать базисные вектора ф:

7. Для всех ¡ = 1,2,...,р и ^ = 1,2,..п находятся проекции (коэффициенты преобразования) у- множества векторов, заключенных в матрице Ъ, на полученный усеченный базис:

"у,1 У? - у"

у = р1г = рг(х+ы) =

•—п

Уг Уг ■•■ У:

(4)

где у' .- (¡-ая проекция вектора ] из матрицы X на множество собственных векторов ковариационной матрицы ) представляет собой сумму ¡-ой проекции |-ого вектора неискаженных данных и ¡-ой проекции ]-ого вектора шума.

8. Осуществляется обработка полученного множества проекций с использованием линейной среднеквадратической оценки:

Здесь а1 - дисперсия шума, а а,2 - дисперсия ¡-ой проекции векторов ¡=1,2,...,р неискаженных данных. Ее можно найти с использованием оценки максимального правдоподобия:

Пн

9. На основе множества обработанных данных х' восстанавливаем оценку X матрицы незашумленных данных X, а на основе последней - отдельную обработанную область на изображении, используя следующую формулу для взвешивания множества блочных оценок:

^^■адфо^М, (7)

где под дополнительной суммой £ понимается тот факт, что учитываются не только ссылочные блоки, но и блоки, которые являются подобными данному, а (¡,^ - координаты восстанавливаемого пикселя. В итоге будет получена первая оценка входного незашумленного изображения.

II. Второй этап обработки.

10. Повторяются шаги 3-9. Поиск координат подобных блоков производится по первой оценке, а сами блоки набираются с входного зашумленного изображения. Входные параметры алгоритма при этом меняются (устанавливаются другие размеры областей поиска, перекрытия и ссылочного блока). Усечение базиса векторов АГК не производится.

11. Формулы для обработки коэффициентов (5)-(6) меняются на:

«■«-¡-Кг1-^*-

|(хп)|1

+ а

где под []" понимается вторая стадия.

Формула (8) представляет собой эмпирический фильтр Винера в области коэффициентов АГК. В итоге получаем вторую оценку исходного изображения. Блок-схема второго этапа обработки представлена на рис. 4.

12. На основе полученной второй оценки выполняется постобработка с использованием идей нелокального усреднения. Алгоритм постобработки заключается в том, чтобы для каждого блока на изображении-оценке найти набор блоков, усреднение по которому даст данный блок, и после этого заменить блок средним соответствующих блоков зашумленного изображения. Чем больше набрано блоков, тем меньше будет остаточный шум после усреднения, но тем меньше будет и точность усреднения.

Математически выражения для восстановленного к-го блока изображения записывается следующим образом:

К(к) = 5>(М)(г(ч))/2>(М), уу(М) = {0,1}, (9)

где означает, нужно ли включать я-й блок в набор блоков, по которым будет

проводиться усреднение для к-го блока, Дч) = Х(ч) + N(4) - д-й блок зашумленного изображения, который представляет собой сумму д-ого блока исходного изображения Х(ц) и д-ого блока шума 1М(я).

Второй этап обработки

Фильтр Винера

Обратный АГК

Блоко-согласование

Оценки блоков

Первая «грубая» оценка исходного изображения

Зашумленное изображение

Вторая «точная» оценка исходного изображения

Рис. 4. Блок-схема второго этапа предлагаемого алгоритма

Отличие принципов набора блоков предложенного алгоритма и алгоритма нелокального усреднения может быть проиллюстрировано на рис. 5.

Рис. 5. Блоки, по которым происходит усреднение

Алгоритм нелокального усреднения при оценке блока а присвоит малые веса всем блокам, т.к. ни один из блоков Ь, с, (1, е не похож на а. Наибольшие веса будут

присвоены блокам, расположенным точно вдоль границы. Предложенный алгоритм присвоит вес, равный 1, как блокам, расположенным вдоль границы, так и блокам, которые в среднем образуют блок, похожий на данный (например, а=(Ь+е)/2).

13. Для рассматриваемого случая квантованного АБГШ с насыщением (1) изображения представлены в виде целых чисел в ограниченном диапазоне [0..255]. В этом случае шум уже не будет обладать свойством нулевого среднего, и строго говоря, будет негауссовским. Несмотря на это можно минимизировать СКО восстановленного изображения, если учесть, что:

Х(Х(к)~Я(к))2=Х[^у(М)Ы(Ч)/2>(к,Ч)1 . (10)

к к V Ч Ч J

Это возможно сделать, если использовать гистограммную коррекцию выходного изображения. Оператор гистограммной коррекции Г переводит пиксели (а) из динамического диапазона [0..255] в пиксели (Ь) из динамического диапазона [0...255]: Ь = Р(а) или Ь = а-\\а), где Н(а) = а-Р(а). Тогда можно переписать (10) для случая гистограммной коррекции:

£(Х(к) - Я(к) - Н(Л(к)))2 = XI £№(ММЧ)/ 5>(М) -Н(Я(Ю)

■ (П)

Если бы шум обладал нулевым средним, оператор Н, минимизирующий (11), обязан быть нулевым, в силу корреляционных свойств АБГШ. Однако из-за ограниченного диапазона яркости это не так. Искомый оператор Н(г) должен быть равен среднему значению случайной величины п, распределенной по известному закону в диапазоне не{0-г,1,2..,255-г}.

Итогом данного шага будет финальная оценка входного незашумленного изображения.

Итоговая блок-схема алгоритма представлена на рис. 6.

Зашумленное изображение

Г— 1 -Г- — — -г- --- —■г- --- —V—

1 1 1 Веивлет-предобработка => АГК => ЛГК + фильтр Випера Постобработка

-чь-

Восстановленное изображение

Рис. 6. Блок-схема алгоритма

В табл. 1 представлены средние оценки Пик ОСШ и КСП соответственно для рассматриваемых алгоритмов фильтрации АБГШ.

Таблица 1

Средние оценки Пик ОСШ и КСП по 10 тестовым изображениям для __рассматриваемых алгоритмов__

а Зашумлемное изображение А-РСА ЬРв-РСЛ ВМЗО МЬ-РСА

5 34,17/0,8621 38,04/0,9525 38,35/0,9547 38,39/0,9556 38,47 / 0,9562

15 24,75/0,5067 31,99/0,8581 32,60/0,8816 32,87/0,8869 32,90/0,8874

20 22,31 /0,4033 30,46/0,8167 31,14/0,8532 31,51 /0,8606 31,50/0,8597

25 20,43 /0,3301 29,29/0,7789 29,97 / 0,8270 30,44 /0,8369 30,61 /0,8393

35 17,65 /0,2353 27,49/0,7161 28,09 / 0,7792 ' 28,76/0,7948 29,16 / 0,8026

50 14,85/0,1572 25,53/0,6544 25,90/0,7157 26,52/0,7328 27,32 / 0,7520

В третьей главе рассматривается возможность модификации разработанного алгоритма для фильтрации первичных байеровских изображений. Рассматриваемая модель шума подчиняется условию (1).

Большинство современных алгоритмов фильтрации, разработанных для полутоновых или цветных изображений, не могут быть применимы «в лоб» для мозаичной структуры первичного байеровского изображения, потому что они не учитывают корреляционные связи между различными компонентами цвета. В текущей главе ставится задача модификации разработанного алгоритма фильтрации, который будет адаптирован под специфическую структуру первичного байеровского изображения.

Возможны две стратегии:

1. Производить обработку отдельно по каждому каналу (их в данном случае будет 4). Но такое решение нерационально, по мнению автора, и не рассматривалось.

2. Производить обработку сразу для всех каналов, рассматривая все первичное байеровское изображение как целостную структуру. В этом случае, чтобы не было смешения цветов в обучающей выборке, необходимо произвести модификацию алгоритма блокосогласования (рис. 7а). Такой подход оказался наиболее эффективен.

Рассмотрим основные этапы предлагаемой модификации алгоритма.

1. СКО шума считается заданной.

2. Выполняется предобработка входного зашумленного изображения с использованием вейвлет-преобразования без децимации кратности разложения 2x2 с динамической пороговой обработкой. Данный алгоритм отличается полным разложением вейвлет-коэффициентов первого уровня. Результатом будет предварительная оценка.

3. Аналогично шагу 3 алгоритма для полутоновых изображений производится разбиение изображения. Выполняется поиск координат подобных блоков. Из окна поиска рассматриваются только те блоки, которые имеют ориентацию цветов, одинаковую со ссылочным блоком (рис. 7а).

4. В реализуемом алгоритме предлагается выбрать блоки нечетного размера, чтобы осуществить перекрытие соседних шаблонов Байера внутри одного ссылочного блока: 3x3, 5x5, 7x7 и т.д. (рис.7б). Результатом блокосогласования будет стек подобных блоков нечетного размера с одинаковой ориентацией цветов.

а) б)

Рис. 7. а) Правильно организованный набор блоков с учетом взаимной ориентации цветовых компонент; б) основная идея алгоритма: нечетный размер окна поиска и

ссылочного блока

5. Повторяются шаги 5-9 алгоритма для полутоновых изображений. Из набранного стека подобных блоков формируется матрица выборок вектора-столбца, которая является входными данными для АГК. Усечение базиса и обработка производится в соответствии с формулами (2), (3) и (5), (6). В результате будет получена первая оценка первичного байеровского изображения.

6. Аналогично второму этапу алгоритма для обработки полутоновых изображений рассчитывается вторая оценка первичного байеровского изображения. На этом этапе снова формируется эмпирический фильтр Винера (8).

7. В данном алгоритме не используется вся процедура постобработки. Это связано с мозаичностью первичных байеровских изображений. Однако имеется возможность применить гистограммную коррекцию. Результатом будет финальная оценка входного первичного байеровского изображения.

В табл.2 представлено сравнение результатов работы предлагаемого алгоритма фильтрации первичных байеровских изображений (ЫЬ-РСА) с наиболее эффективными на сегодняшний день алгоритмами (ЬРО-РСА, ВМЗЭ), а также качество восстановленных изображений после демозаикинга.

Таблица 2

Результаты работы алгоритмов (Пик ОСШ) для а = 25_

Тестовое изображение ЬРв-РСА вмзи ЫЬ-РСА

Г И 28.5 К 30.1 Я 30.2

Кодак №07 рЯршШ 28,4 С 28.8 30.3 с 30.6 30.3 в 30 4

в 28 3 В 1 зол в 30.3

к 24.9 к 26.3 к 26 2

Кодак №09 25.3 о 25.4 26.9 с 26.7 26.6 с 26 4

ииРмгаВШ в 25.2 в 26.5 11 26 3

Центральный Ссылочный пиксель блок

поиска

юйвж.- >Щ • 'Ц ||1Ш ; ..." ИР®** ' И 27.5 Я 28.7 Н 29.4

Кодак №19 27.9 О 28.1 29.3 С 29.4 30.0 С 30.1

в 28.2 в 29.6 В зол

ИЬ/.'ХЧ,:^ I* 30.1 к 31.0 И 31.3

Кодак № 23 30 1 с 30.8 31 3 в 31.9 31.7 с 32.1

Кг ш. -ьлг: жжа в 30.0 в 31.1 в 31.1

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

На основании проведенных исследований в области шумоподавления на цифровых изображениях в работе получены следующие основные результаты:

1. Проведен обзор технологии получения цифровых изображений.

2. Представлена общая схема алгоритмов восстановления цифровых изображений на основе декоррелирующего преобразования. Выделены общие черты данного класса методов, их достоинства и недостатки.

3. Подробно рассмотрены известные алгоритмы шумоподавления на основе наиболее эффективных декоррелирующих преобразований: дискретно-косинусного и АГК.

4. Представлен полный обзор современных методов удаления АБГШ на основе анализа главных компонент.

5. Приведены оригинальные (численные - Пик ОСШ, КСП и визуальные) результаты сравнения алгоритмов фильтрации цифровых изображений, зашумленных АБГШ. Установлено, что разработанный алгоритм показал наилучшие результаты по объективным критериям качества Пик ОСШ и КСП.

6. Разработанный алгоритм фильтрации полутоновых цифровых изображений имеет высокую эффективность в классе современных алгоритмов. Он превосходит лучший алгоритм на основе АГК (ЬРО-РСА) в среднем на ~ 0,65 дБ по Пик ОСШ и на ~ 0,0143 по КСП, а алгоритм ВМЗБ - в среднем на ~ 0,25 дБ по Пик ОСШ и на ~ 0,0049 по КСП.

7. Рассматриваемый в работе алгоритм нелокального усреднения (МЬ-теапэ) проиграл предлагаемому алгоритму в среднем ~ 2,07 дБ по Пик ОСШ и ~ 0,0660 по КСП.

8- Предложена модификация алгоритма обработки для изображений, представленных в шаблонах Байера, которая позволяет получить высокое качество восстановления в классе современных методов и учитывает особую структуру таких изображений. Предлагаемый алгоритм оказался лучше алгоритма ЬРО-РСА в проведенной серии экспериментов в среднем на ~ 1,33 дБ по метрике Пик ОСШ и на 0,0534 по КСП.

9. Предложен эффективный алгоритм постобработки полутоновых изображений, в основу которого положена новая идея критерия набора подобных блоков: среднее арифметическое набранных зашумленных блоков должно быть максимально близко по евклидовой норме к блоку-оценке, полученному на второй стадии алгоритма.

10. Особую эффективность алгоритм показывает на гладких изображениях. Это связано с особенностями его реализации: блок квадратной формы.

фиксированного размера, с последующим арифметическим усреднением множества обработанных блоковых оценок не дает возможности более качественно обрабатывать резкие перепады яркости и детализированные периодические структуры на изображении. При этом эффективность алгоритма по сравнению с «классической» схемой на основе АГК возросла в среднем на - 1,19 дБ по Пик ОСШ и на - 0,0534 по КСП.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Статьи в журналах из перечня ВАК

1. Сергеев Е.В., Мочалов И.С., Волохов В.А., Приоров А.Л. Нелокальный алгоритм фильтрации изображений на основе метода главных компонент // Успехи современной радиоэлектроники. 2012. №3. С. 80-88.

2. Волохов В.А., Сергеев Е.В., Приоров А.Л. Двухэтапная процедура фильтрации изображений на основе анализа главных компонент // Проектирование и технология электронных средств. 2011. №2. С. 40-44.

Доклады на российских и международных конференциях

3. Сергеев Е.В. Применение нелокального метода главных компонент в задаче фильтрации полутоновых и цветных изображений // Тр. LXV1I науч. сессии, посвященной Дню Радио. М., 2012. С. 238-242.

4. Сергеев Е.В., Малюкина Е.П., Волохов В.А. Модификация алгоритма нелокального усреднения на основе многоточечной обработки для удаления шума из цифровых изображений // Докл. 14-й междунар. конф. «Цифровая обработка сигналов и ее применение». М., 2012. Т. 2. С. 476^79.

5. Сергеев Е.В., Волохов В.А. Мочалов И.С., Приоров А.Л. Нелокальный алгоритм восстановления изображений на основе анализа главных компонент // Докл. 14-й междунар. конф. «Цифровая обработка сигналов и ее применение». М„ 2012. Т. 2. С. 481-484.

6. Приоров А.Л., Сергеев Е.В., Волохов В.А. Восстановление цифровых изображений на основе нелокального анализа главных компонент // Матер. 17-й междунар. науч.-техн. конф. «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций». Рязань, 2012. Ч. 2. С. 35-36.

7. Сергеев Е.В., Волохов В.А., Мочалов И.С., Приоров А.Л. Применение нелокального анализа главных компонентов в задаче восстановления цветных и полутоновых изображений // Матер. Второй • всерос. конф. «Радиоэлектронные средства передачи и приема сигналов и визуализации информации». Таганрог, 2012. С. 105-110.

8. Волохов В.А., Сергеев Е.В., Мочалов И.С., Приоров А.Л. Модификация алгоритма нелокального усреднения для удаления шума из цифровых изображений // Докл. 13-й междунар. конф. и выставки «Цифровая обработка сигналов и ее применение». М., 2011. Т. 1. С. 267-270.

9. Сергеев Е.В., Волохов В.А., Приоров А.Л. Фильтрация изображений на основе адаптивного анализа главных компонент и оптимального фильтра Винера // Матер. 9-й междунар. науч.-техн. конф. «Перспективные технологии в средствах передачи информации». Владимир-Суздаль, 2011. Т. 2. С. 73-75.

10. Волохов В.А., Сергеев Е.В., Мочалов И.С. Модификация алгоритма нелокального усреднения на основе анализа главных компонент для удаления шума из цифровых изображений // Тр. 21 -й междунар. конф. по компьютерной графике и зрению «Графикон'2011». М., 2011. С. 259-262.

11. Малюкина Е.П., Волохов В.А., Сергеев Е.В. Модификация алгоритма нелокального усреднения на основе многоточечной обработки для удаления шума из цифровых изображений // Матер, междунар. науч.-практ. конф. «Молодежь и наука: модернизация и инновационное развитие страны». Пенза, 2011.4. 2. С. 167-169.

12. Сергеев Е.В., Волохов В.А., Мочалов И.С. Фильтрация изображений на основе анализа главных компонент // Докл. 12-й междунар. конф. и выставки «Цифровая обработка сигналов и ее применение». М., 2010. Т. 2. С. 305-307.

13. Волохов В.А., Сергеев Е.В., Мочалов И.С. Разработка алгоритма фильтрации изображений на базе анализа главных компонент // Тр. 65-й науч. сессии, посвященной Дню радио. М., 2010. С. 193-195.

14. Волохов В.А., Сергеев Е.В. Удаление аддитивного белого гауссова шума из цифровых изображений на основе анализа главных компонент // Тр. 20-й междунар. конф. по компьютерной графике и зрению «Графикон'2010». СПб., 2010. С. 342-343.

15. Моисеев A.A., Сергеев Е.В., Новожилова Т.В. Определение мощности шума на основе трехполосного вейвлет-преобразования // Тез. докл. 15-й междунар. науч.-техн. конф. «Радиоэлектроника, электротехника и энергетика». М., 2009. Т. 1.С. 106-108.

16. Сергеев Е.В. Применение контурлет-преобразования в задаче восстановления цифровых изображений // Докл. 11-й междунар. конф. «Цифровая обработка сигналов и ее применение». М., 2009. Т. 2. С. 605-608.

17. Волохов В.А., Сергеев Е.В. Фильтрация АБГШ на основе схем трехполосного разложения сигнала // Сб. тезисов докладов 16-й всерос. межвузовской науч.-техн. конф. студентов и аспирантов «Микроэлектроника и информатика - 2009». М„ 2009. С. 240.

18. Волохов В.А., Сергеев Е.В. Алгоритм фильтрации изображений, построенный на основе курвлет-преобразования // Матер, докл. XV междунар. конф. студентов, аспирантов и молодых ученых «Ломоносов», подсекция «Математика». М., Изд-во МГУ; СП МЫСЛЬ, 2008. С. 3.

Свидетельство о государственной регистрации программ для ЭВМ

19. Сергеев Е.В., Волохов В.А., Приоров А.Л., Мочалов И.С. NL-PCA(Yar) -научно-исследовательская программа для подавления шума в статичных изображениях // Свидетельство о государственной регистрации программы для ЭВМ №2012614634 от 24 мая 2012.

Подписано в печать 09.11.12. Формат 60x84 '/хь. Усл. печ. л. 1,0. Тираж 100 экз. Отдел оперативной полиграфии ЯрГУ. 150000, г. Ярославль, Советская, 14

ВВЕДЕНИЕ

ГЛАВА 1. ФОРМИРОВАНИЕ ЦИФРОВЫХ ИЗОБРАЖЕНИЙ:

ПРОБЛЕМЫ И МЕТОДЫ ИХ РЕШЕНИЯ

1.1. Формирование цифровых полноцветных изображений

1.2. Виды шумов в ПЗС-матрицах

1.3. Модель рассматриваемого в работе шума

1.4. Постановка задачи фильтрации

1.5. Преобразования и алгоритмы на их основе

1.5.1. Дискретное косинусное преобразование

1.5.2. Блокосогласование и трехмерная фильтрация

1.5.3. Анализ главных компонент

1.5.4. Адаптивный анализ главных компонент 40 1.5.5 Локальная группировка пикселей и анализ главных компонент

1.6. Краткие выводы

ГЛАВА 2. РАЗРАБОТКА АЛГОРИТМА ФИЛЬТРАЦИИ НА ОСНОВЕ НЕЛОКАЛЬНОГО МЕТОДА ГЛАВНЫХ КОМПОНЕНТ

2.1. Предобработка с использованием вейвлетов без децимации.

2.2. Блокосогласование 57 2.2.1. Оптимизация блокосогласования по количеству арифметических операций

2.3. Анализ главных компонент: выбор параметров

2.4. Обработка трансформант в области главных компонент

2.5. Усреднение

2.6. Дополнительный этап обработки

2.7. Постобработка

2.8. Гистограммная коррекция

2.9. Сравнительный анализ алгоритмов восстановления цифровых изображений зашумленныхАБГШ 93 2.9.1. Численный анализ результатов на основе метрик ПОСШ и КСП

2.9.2. Визуальный анализ результатов

2.10. Краткие выводы

ГЛАВА 3. МОДИФИКАЦИЯ АЛГОРИТМА ФИЛЬТРАЦИИ НА ОСНОВЕ НЕЛОКАЛЬНОГО АНАЛИЗА ГЛАВНЫХ КОМПОНЕНТ

ДЛЯ ФИЛЬТРАЦИИ «СЫРЫХ» ИЗОБРАЖЕНИЙ

3.1. Рассматриваемые модели шума в «сырых» изображениях

3.2. Предварительная стадия обработки

3.4 Модификация алгоритма блокосогласования

3.5 Первый этап обработки

3.6 Второй этап обработки

3.7 Сравнительный анализ алгоритмов восстановления цифровых «сырых» изображений зашумленных АБГШ

3.7.1. Численный анализ результатов на основе метрик ПОСШ и КСП. Эксперимент

3.7.2. Визуальный анализ результатов

3.7.3. Численный анализ результатов на основе метрик ПОСШ и КСП. Эксперимент

3.7.4. Визуальный анализ результатов 131 3.8. Краткие выводы 135 ЗАКЛЮЧЕНИЕ 137 СПИСОК ЛИТЕРАТУРЫ 140 ПРИЛОЖЕНИЕ 1. ПОЛУТОНОВЫЕ ТЕСТОВЫЕ ИЗОБРАЖЕНИЯ

8 БИТ / ПИКСЕЛЬ) 151 ПРИЛОЖЕНИЕ 2. ЦВЕТНЫЕ ТЕСТОВЫЕ ИЗОБРАЖЕНИЯ (24 БИТ /

ПИКСЕЛЬ)

Актуальность темы. В настоящее время цифровые изображения используются повсеместно. Это связано с очень простым для обычного пользователя способом их получения, хранения, обработки, передачи. С технической точки зрения процесс формирования цифрового изображения представляет собой последовательность сложных алгоритмов. Основой большинства существующих устройств формирования цифровых изображений (например, сканеры, цифровые фотоаппараты, видеокамеры) является ПЗС-матрица (от «прибор с зарядовой связью»). Основу такой матрицы составляют фотоэлементы, позволяющие преобразовывать излучение (поток фотонов) от захватываемой сцены в электрическую энергию тока электронов, которые собираются в «ячейках» матрицы. Накопленный электрический заряд преобразуется в напряжение, усиливается, измеряется и подается на вход аналогово-цифрового преобразователя. В итоге получается дискретное число (или, в данном случае, пиксель), которое пропорционально интенсивности света, зарегистрированного данным участком матрицы. Совокупность таких чисел снятых со всех элементов матрицы будет называться «сырым» изображением (raw image) или первичным байеровским изображением. Полученное изображение неизбежно содержит множество помех, шумов, оптических искажений, зависящих в равной степени от технических характеристик устройства и от внешних условий съемки. Все последующие операции направлены именно на их устранение: фильтрация, коррекция поврежденных пикселей, интерполяция, цветовая коррекция, баланс белого, окончательная постобработка. Разработка новых более эффективных алгоритмов цифровых обработки изображений (ЦОИ) является актуальной задачей на сегодняшний день.

Степень разработанности проблемы. Методы и алгоритмы фильтрации цифровых изображений основываются на большом количестве теоретических работ.

Значительный вклад в разработку теории ЦОИ внесли отечественные ученые: Гуляев Ю.В., Зубарев Ю.Б., Кривошеев М.И., Ярославский Л.П., Сойфер В.А., Фурман Я.А., Дворкович В.П., Дворкович A.B., Лабунец В.Г., Брюханов Ю.А., Витязев В.В., Чобану М.К. и зарубежные: Гонсалес Р., Вудс Р., Митра С., Чан Т., Бовик А., Неуво Ю и другие.

Развитию современных алгоритмов фильтрации аддитивного белого гауссовского шума (АБГШ) содействовали работы таких ученых, как Ярославский Л. П., Приоров А.Л. Донохо Д. Л., Джонстон И. М., Старк Дж. Л., Кандэ Э. Дж., Ду М. Н., Веттерли М., Мюрезан Д. Д., Парке Т. У., Буадес А., Колл Б., Морель Дж. М., Катковник В., Егиазарян К., Фои А., Астола Я., Дабов К., Даледалл К. А., Сэлмон Дж., Ахарон М., Элад М. и других.

Продолжение исследований в области ЦОИ было осуществлено в данной диссертационной работе: сделана попытка создания нового алгоритма фильтрации АБГШ из цифровых полутоновых и первичных байеровских изображений, эффективность которого сравнима, а во многих случаях и превосходит известные лучшие алгоритмы фильтрации на сегодняшний день.

Целью работы является разработка и исследование новых нелокальных, нелинейных алгоритмов фильтрации на основе анализа главных компонент, оптимальной винеровской фильтрации с применением идей нелокальной обработки данных для решения ряда научно-практических задач цифровой обработки данных в целях улучшения характеристик соответствующих радиотехнических устройств.

Для достижения поставленной цели в диссертационной работе решаются следующие задачи:

- анализ существующих лучших алгоритмов подавления АБГШ с целью выявления их достоинств и недостатков;

- разработка новых нелокальных алгоритмов подавления АБГШ в цифровых изображениях;

- разработка нелокального алгоритма подавления АБГШ в цифровых первичных байеровских изображениях;

- изучение влияния параметров предложенных нелокальных алгоритмов на качество восстановленных изображений;

- многокритериальный анализ разрабатываемых алгоритмов и их сравнение с существующими на данный момент времени эффективными алгоритмами шумоподавления.

Методы исследования. При решении поставленных задач использовались современные методы цифровой обработки изображений, математического анализа, теории вероятностей, математической статистики, линейной алгебры. Активно использовались методы компьютерного моделирования в пакете прикладных программ Ма^аЬ, а также методы объектно-ориентированного программирования на языке С#.

Объектом исследования являются нелокальные, поточечные и блочные алгоритмы фильтрации, применяемые для подавления АБГШ в цифровых полутоновых и первичных байеровских изображениях.

Предметом исследований являются разработка, модификация, оптимизация и анализ алгоритмов на основе метода главных компонент, эмпирической винеровской фильтрации и нелокальной обработки.

Научная новизна. В рамках диссертационной работы получены следующие новые научные результаты:

1. Разработан и исследован нелокальный алгоритм подавления АБГШ в полутоновых изображениях на основе АГК, эмпирической винеровской фильтрации и идей нелокальной обработки данных, который получил название нелокальный анализ главных компонент (англ. ИЬ-РСА).

2. Предложена модификация разработанного алгоритма для подавления АБГШ в изображениях, представленных в шаблонах Байера.

3. Разработан новый алгоритм постобработки на основе идеи нелокальной обработки данных.

Практическая значимость.

1. Проведено многокритериальное сравнение работы наиболее эффективных на сегодняшний день алгоритмов восстановления цифровых изображений.

2. Рассмотрены алгоритмы на основе декоррелирующих преобразований и выявлены их общие черты, а также особенности каждого из них.

3. Предложен новый нелокальный алгоритм фильтрации АБГШ для полутоновых цифровых изображений, который превосходит «классический» алгоритм на основе АГК в среднем на ~ 1,19 дБ по пиковому отношению сигнала к шуму (ПОСШ) и на -0,0534 по коэффициенту структурного подобия (КСП).

4. Разработанный алгоритм не уступает одному из лучших на сегодняшний день алгоритмов фильтрации на основе блокосогласования и трехмерного преобразования (ВМЗБ). В проведенной серии экспериментов предложенный алгоритм оказался лучше, чем ВМЗБ в среднем на ~ 0,25 дБ по ПОСШ и на ~ 0,0049 по КСП.

5. Предложен новый нелокальный алгоритм фильтрации АБГШ для первичных байеровских цифровых изображений, получаемых непосредственно с матрицы устройства захвата изображения. Подобные матрицы используются в большинстве современных цифровых фотоаппаратов, видеокамер, сканеров. В проведенной серии экспериментов предложенный алгоритм оказался лучше, чем алгоритм на основе АГК с локальной группировкой пикселей (ЬРС-РСА) на ~ 1,40 дБ по ПОСШ и на ~ 0,0437 по КСП.

6. Разработанные алгоритмы могут быть использованы в системах передачи мультимедийной информации, цифрового телевидения, радиолокации, связи, распознавания образов и слежения за объектами, а также других прикладных задачах цифровой обработки изображений. Кроме того, их можно применять в бытовых устройствах: фотоаппаратах, видеокамерах, мобильных телефонах и просто в качестве программного обеспечения персонального компьютера.

Результаты работы внедрены в соответствующие разработки ООО «Ярославльтранссигнал» и ООО «А-ВИЖН» г. Ярославль. Отдельные результаты диссертационной работы внедрены в учебный процесс ЯрГУ в рамках дисциплин «Компьютерное зрение» и «Цифровая обработка изображений», а также в научно-исследовательские работы при выполнении исследований в рамках грантов «Развитие нелинейной теории обработки сигналов и изображений в радиотехнике и связи» (Программа «Развитие научного потенциала высшей школы (2009-2010 гг.)», №2.1.2/7067) и «Развитие нелинейной теории цифровой обработки сигналов и изображений в технических системах» (грант РФФИ №10-08-01186, 2010-2012 гг.). Результаты внедрения подтверждены соответствующими актами.

Достоверность материалов диссертационной работы подтверждена результатами компьютерного моделирования, демонстрирующими высокую эффективность предложенных алгоритмов в задачах обработки полутоновых и «сырых» изображений, использованием адекватного математического аппарата и совпадением ряда результатов с результатами, известными из литературы.

Апробация работы. Результаты работы докладывались и обсуждались на следующих научно-технических конференциях и семинарах разного уровня:

1. Пятнадцатой международной научной конференции студентов, аспирантов и молодых ученых «ЛОМОНОСОВ», Москва, 2008.

2. Пятнадцатой международной научно-технической конференции «Радиоэлектроника, электротехника и энергетика», Москва, 2009.

3. Одиннадцатой-четырнадцатой международной конференции и выставке «Цифровая обработка сигналов и ее применение», Москва, 2009-2012.

4. Шестьдесят пятой - шестьдесят седьмой научной сессии, посвященной Дню Радио, Москва, 2010-2012.

5. Семнадцатой международной научно-технической конференции «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций», Рязань, 2012.

6. Двадцатой и двадцать первой международной конференции по компьютерной графике и зрению «Графикон», Москва, 2010,2011.

7. Международной научно-практической конференции студентов и молодых ученых «Молодежь и наука: модернизация и инновационное развитие страны», Пенза, 2011.

8. Девятой международной научно-технической конференции «Перспективные технологии в средствах передачи информации», Суздаль, 2011.

9. Второй всероссийской конференции «Радиоэлектронные средства передачи и приема сигналов и визуализации информации», Таганрог, 2012.

10. Тринадцатой всероссийской научно-практической конференции «Проблемы развития средств ПВО в современных условиях», Ярославль 2012

11. Ярославских областных конференциях молодых ученых и аспирантов.

Публикации. По теме диссертации опубликовано 18 научных работ, из них две статьи в журналах, рекомендованных ВАК и 16 докладов на научных конференциях всероссийского и международного уровней; 1 свидетельство о регистрации программного обеспечения.

Структура и объем работы. Диссертация состоит из введения, трех глав, заключения, списка использованных источников, содержащего 108 наименований, и трех приложений. Она изложена на 155 страницах машинописного текста, содержит 56 рисунков и 9 таблиц.

ЗАКЛЮЧЕНИЕ

В диссертационной работе поставлен и решен ряд важных научно-практических задач, связанных с разработкой алгоритма фильтрации полутоновых и «сырых» изображений на основе нелокального анализа главных компонент.

1. Представлен обзор технологии получения цифровых изображений. Кратко прослеживается историческое развитие технологии фотографии с целью обзора областей практического применения разработанных алгоритмов.

2. Представлена общая схема алгоритмов восстановления цифровых изображений на основе декоррелирующего преобразования. Выделены общие черты данного класса методов, их достоинства и недостатки. Исходя из этого, поставлена и решена задача разработки нового алгоритма фильтрации, сравнимого по качеству работы с наилучшими на сегодняшний день алгоритмами подавления АБГШ.

3. Подробно рассмотрены известные алгоритмы шумоподавления на основе наиболее эффективных декоррелирующих преобразований: дискретно-косинусного и АГК. Определены их преимущества, которые были положены в основу разрабатываемых алгоритмов.

4. Разработанный алгоритм фильтрации полутоновых цифровых изображений имеет высокую эффективность в классе современных алгоритмов. Он превосходит лучший алгоритм на основе АГК (ЬРС-РСА) в среднем на -0,65 дБ по Пик ОСШ и на -0,0143 по КСП, а алгоритм ВМЗО - в среднем на - 0,25 дБ по Пик ОСШ и на - 0,0049 по КСП.

5. Представлен полный обзор современных методов удаления АБГШ на основе анализа главных компонент. Рассмотрены схемы алгоритмов, проанализировано качество их работы. Выявлены недостатки, учет которых позволил улучшить разрабатываемый алгоритм.

6. Разработан алгоритм фильтрации цифровых изображений на основе анализа главных компонент, оптимальной винеровской фильтрации и идей нелокальной обработки позволяющий эффективно восстанавливать цифровые изображения, зашумленные АБГШ.

7. Рассматриваемый в работе алгоритм нелокального усреднения (N1,-шеапв) проиграл предлагаемому алгоритму в среднем ~ 2,07 дБ по Пик ОСШ и ~ 0,0660 по КСП.

8. Предложена модификация алгоритма обработки для изображений, представленных в шаблонах Байера, которая позволяет получить высокое качество восстановления в классе современных методов и учитывает особую структуру таких изображений. Предлагаемый алгоритм оказался лучше алгоритма ЬРО-РСА в проведенной серии экспериментов в среднем на ~ 1,33 дБ по метрике Пик ОСШ и на 0,0534 по КСП.

9. Предложен эффективный алгоритм постобработки полутоновых изображений, в основу которого положена новая идея критерия набора подобных блоков: среднее арифметическое набранных зашумленных блоков должно быть максимально близко по евклидовой норме к блоку-оценке, полученному на второй стадии алгоритма.

10. Вводится новый алгоритм гистограммной коррекции, с помощью которого можно учесть квантование шума.

11. Особую эффективность алгоритм показывает на гладких изображениях. Это связано с особенностями его реализации: блок квадратной формы, фиксированного размера., с последующим арифметическим усреднением множества обработанных блоковых оценок не дает возможности более качественно обрабатывать резкие перепады яркости и детализированные периодические структуры на изображении. При этом эффективность алгоритма по сравнению с «классической» схемой на основе АГК возросла в среднем на ~ 1,19 дБ по Пик ОСШ и на-0,0534 по КСП.

12. Разработанный алгоритм был запатентован как самостоятельное программное обеспечение [16].

1. Волохов В.А., Мочалов И.С., Приоров А.Л. Применение динамической пороговой обработки в задачах фильтрации цифровых изображений // Тр. LXIV науч. сессии, посвященной Дню Радио. М., 2009. С. 240-241.

2. Волохов В.А., Сергеев Е.В. Удаление аддитивного белого гауссова шума из цифровых изображений на основе анализа главных компонент // Тр. 20-й междунар. конф. по компьютерной графике и зрению «Графикон'2010». СПб., 2010. С. 342 343.

3. Волохов В.А., Сергеев Е.В., Мочалов И.С. Разработка алгоритма фильтрации изображений на базе анализа главных компонент // Тр. 65-й науч. сессии, посвященной Дню радио. М., 2010. С. 193 195.

4. ГонсалесР., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2005.

5. Приоров А.Л., Апальков И.В., ХрящевВ.В. Цифровая обработка изображений. Ярославль: ЯрГУ, 2007.

6. Приоров А.Л., Волохов В.А., Мочалов И.С. Параметризация двумерных вейвлет-фильтров для субполосного разложения кратности 3*3 // Электросвязь, 2009. № 2. С. 25 28.

7. И. Приоров А.Л., ХрящевВ.В. Обработка и передача мультимедийной информации. Ярославль: ЯрГУ, 2010.

8. Сергеев Е.В. Применение нелокального метода главных компонент в задаче фильтрации полутоновых и цветных изображений // Тр. LXVII науч. сессии, посвященной Дню Радио. Москва, 2012. С 238 242.

9. Сергеев Е.В., Волохов В.А., Мочалов И.С. Фильтрация изображений на основе анализа главных компонент // Докл. 12-й междунар. конф. и выставки «Цифровая обработка сигналов и ее применение». М., 2010. Т. 2, С. 305-307.

10. Сергеев Е.В., Волохов В.А., Приоров А.Л., Мочалов И.С. NL-PCA(Yar) -научно-исследовательская программа для подавления шума в статичныхизображениях // Свидетельство о государственной регистрации программы для ЭВМ №2012614634 от 24 мая 2012.

11. Сергеев Е.В., МочаловИ.С., ВолоховВ.А., Приоров A. JI. Нелокальный алгоритм фильтрации изображений на основе метода главных компонент // Успехи современной радиоэлектроники. 2012. № 3. С. 80-88.

12. Adams J.E. Intersections between color plane interpolation and other image processing functions in electronic photography // Proceedings of SPIE. 1995. V. 2416, P. 144-151.

13. Adams J.E., Hamilton J.F. Adaptive color plane interpolation in single color electronic camera//US patent 5 506 619, 1996.

14. Aharon M., EladM., Bruckstein A., KatzY. The K-SVD: An algorithm for designing of overcomplete dictionaries for sparse representation // IEEE Trans. Signal Processing. 2006. V. 54, № 11. P. 4311 4322.

15. Alleysson D., Susstrunk S., Herault J. Linear demosaicing inspired by the human visual system // IEEE Trans, on Image Processing. 2005. V. 14, № 4, P. 439-449.

16. Ananthashayana V.K., PushpaM.K. Joint Adaptive Block Matching Search (JABMS) Algorithm // World Academy of Science, Engineering and Technology, 2009. V. 56. P. 225 229.

17. BarjatyaA. Block Matching Algorithms For Motion Estimation. Spring. Final Project Paper, 2004.

18. Bayer B.E. Eastman Kodak Company. Color Imaging Array // US patent 3 971 065, 1975.

19. Bishop C. Pattern Recognition and Machine Learning. Heidelberg, Springer, 2006.

20. BuadesA. Image and film denoising by non-local means-PhD thesis, Universität de les Illes Balears, 2005.

21. Cham W-K. Development of integer cosine transforms by the principle of dyadic symmetry// IEEE Communications, Speech and Vision. 1989. V. 136, №4. p. 276-282.

22. Chang E., Cheung S., Pan D.Y. Color filter array recovery using a threshold-based variable number of gradients // Proceedings of SPIE. 1999. V. 3650. P. 36-43.

23. Charith G., Abhayaratne K. Spatially adaptive wavelet transforms: an optimum interpolation approach // 3-rd International Workshop on Spectral Methods and Multirate Signal Processing (SMMSP). 2003. P. 155-162.

24. Chatterjee P., Milanfar P. A generalization of non-local means via kernel regression // Proc. IS&T / SPIE Conf. Computational Imaging VI, 2008. V.9, P. 1311-1321.

25. Chenyz Y.S., Hungyz Y.P., Fuhz C.S. A fast block matching algorithm based on the winner-update strategy // In Proceedings of the Fourth Asian Conference on Computer Vision. Taipei, Taiwan, 2000. V. 2, № 1. P. 977-982.

26. Chung H.Y., Cheung P., Yung N. adaptive search center non-linear three step search // USA International Conference on Image Processing (ICIP'98) 3. 1998. Chicago. Illinois. V.2., P. 191 -194.

27. DabovK., Foi A., EgiazarianK. Image restoration by sparse 3D transformdomain collaborative filtering // Proc. SPIE Electronic Imaging '08, San Jose, California. 2008. V 6812-07.

28. Dabov K., Foi A., Katkovnik V., Egiazarian K. BM3D image denoising with shape-adaptive principal component analysis // Proc. Workshop Signal Processing with Adaptive Sparse Structured Representations, 2009.

29. Dabov K., Foi A., Katkovnik V., Egiazarian K., Image denoising by sparse 3D transform-domain collaborative filtering //IEEE Trans. Image Process., 2007. № 8, V. 16, P. 2080 2095.

30. DanielyanA., Vehvilainen M., Foi A., Katkovnik V., Egiazarian K. Cross-color BM3D filtering of noisy raw data // Proc. Int. Workshop on Local and Non-Local Approx. in Image Process. LNLA 2009, August. Tuusula, Finland, P. 125 -129.

31. Deledalle C-A., Duval V., Salmon J. Anisotropic Non-Local Means with Spatially Adaptive Shapes SSVM, 2011.

32. Devor R.A., Lucier В J. Fast Wavelet Techniques for Near-Optimal Image Processing // Milcom'92, IEEE Military Communications Conference Record, 1992. P. 1129-1135.

33. Donoho D.L. De-noising by soft-thresholding // IEEE Trans. Inform. Theory, 1995. V. 41. P. 613-627.

34. Donoho D.L., Johnstone I.M. Adapting to unknown smoothness via wavelet shrinkage // J. Amer. Stat. Assoc., 1995. V. 90. P. 1200 1224.

35. Donoho D.L., Johnstone I. M. Ideal spatial adaptation by wavelet shrinkage // Biometrika, 1994. V. 81, № 3. P. 425 455.

36. Donoho D.L., Johnstone I.M., Keryacharian G., Picard D. Wavelet Shrinkage: Asymptopia // J. R. Statist. Soc. B, 1995. V. 57, № 2. P. 301 369.

37. EladM., Aharon M. Image denoising via sparse and redundant representations over learned dictionaries // IEEE Trans. Image Processing, 2006. V. 15, №. 12. P. 3736 3745.

38. Fan J., Gijbels I. Local Polynomial modeling and its applications. Chapman and Hall, 1996.

39. Foi A. Clipped noisy images: heteroskedastic modeling and practical denoising Signal Processing // doi:10.1016/j.sigpro. 2009. V. 89, № 12, P. 2609-2629.

40. Foi A. Practical denoising of clipped or overexposed noisy images. // Proc. 16th European Signal Process. Conf. EUSIPCO 2008, August. Lausanne, Switzerland.

41. Foi A., Alenius S, Katkovnik V, Egiazarian K. Noise measurement for raw data of digital imaging sensors by automatic segmentation of non-uniform targets // IEEE Sensors Journal, 2007. V 7, №10, P. 1456 1461.

42. Foi A., Katkovnik V, Egiazarian K. Pointwise Shape-Adaptive DCT as an overcomplete denoising tool. // Proc. Int. TICSP Workshop Spectral Meth. Multirate Signal Process.SMMSP. 2005. Riga.

43. Foi A., Trimeche M., Katkovnik V, Egiazarian K. Practical Poissonian-Gaussian noise modeling and fitting for single-image raw-data // IEEE Trans. Image Process., 2008. V 17, №10, P. 1737 1754.

44. GunturkB.K., Altunbasak Y., Mersereau R.M. Color plane interpolation using alternating projections // IEEE Trans, on Image Processing. 2002. V. 11, №9, P. 997-1013.

45. GunturkB.K., GlotzbachJ., AltunbasakY., SchaferR.W., MersereauR.M. Demosaicking: Color filter array interpolation in single-chip digital cameras // IEEE Signal Processing Magazine. 2005. V. 22, № 1. P. 44 54.

46. Hariharakrishnan D., Schonfeld K. Fast object tracking using adaptive block matching // IEEE transactions on multimedia. 2005. V. 7, № 5, P. 70.

47. HirakawaK., MengX.-L. An empirical Bayes EM-wavelet unification for simultaneous denoising, interpolation, and/or demosaicing // ICIP. 2006, P. 1453 -1456.

48. Hirakawa K., Meng X.-L, Wolfe P.J. A framework for wavelet-based analysis and processing of color filter array images with applications to denoising and demosaicing // ICASSP. 2007. V. 1, № 4. P. 597 600.

49. Hsu H.P. Schaum's outline of theory and problems of analog and digital communications. McGraw-Hill, 2003.

50. Hsu H.P. Schaum's outline of theory and problems of probability, random variables, and random processes. McGraw-Hill, 1997.

51. Hyvarinen A., Hurri J., Hoyer P.O. Natural image statistics: a probabilistic approach to early computational vision. Springer, 2009.

52. Hyvarinen A., KarhunenJ., OjaE. Independent component analysis. John Wiley and Sons, 2001.

53. Jackson J.E. A user's guide to principal components. John Wiley and Sons, 1991.

54. JainJ.R., JainA.K. Displacement measurement and its application in interframe image coding // IEEE Trans. Commn. 1981. V. 29, P. 1799 1808.

55. Jolliffe I. Principal Component Analysis. Heidelberg, Springer, 1986.

56. Jolliffe I.T. Principal component analysis. 2nd ed. Springer, 2002.

57. Jones E., Runkle P., Dasgupta N., Carin L. Signal Adaptive Wavelet Design Using Genetic Algorithms // Proc. SPIE. 2000. V. 4056. P. 362-371.

58. Kenterlisl P., Salonikidis D. Evaluation of wavelet domain methods for image denoising // Department of Electronic Computer Systems, Technological Education Institute of Piraeus, Greece, 2006.

59. Kimmel R. Demosaicing: Image reconstruction from CCD samples // IEEE Trans, on Image Processing, 1999.V. 8, № 9, P. 1221 1228.

60. KogaT., IinumaK., HiranoA., IijimaY., IshiguroT. Motion compensated interframe coding for video conferencing // Proc. Nat.Telecommunication Conf. 1981. V 5.3.1.

61. Koh Y., Yang S. An adaptive search algorithm for finding motion vectors // Proceedings of IEEE Region Ten Conf. Multimedia Technology for Asia-Pacific Information Infrastructure, 1999. V 1., № 3, P. 186 189.

62. Lang M., Guo H., Odegard J., Burrus C. S. Noise reduction using an undecimated discrete wavelet transform // IEEE SP Letters. 1995. V. 3, № 1. P. 10-12.

63. LiX. Demosaicing by successive approximation // IEEE Trans, on Image Processing. 2005. V. 14, № 3. P. 370 379.

64. Liang T., Kuo P. A novel fast block-matching algorithm for motion estimation using adaptively asymmetric patterns // International Journal of Innovative Computing, Information and Control ICIC International. 2008. V. 4, №8. P. 2011-2024.

65. Lin Y.C., Tai S.C. Fast full-search block-matching algorithm for motion-compensated video compression // IEEE transactions on communications. 1997. V. 45, №5, P. 527-531.

66. Liu L.K., Feig E. A block-based gradient descent search algorithm for block motion estimation in video coding // IEEE Trans. Circuits Syst. Video Technol. 1996. V. 6, № 8, P. 419 423.

67. Liu H., Zhang W., Cai J. A fast block-matching algorithm based on variable shape search. Liu 194 et al / J Zhejiang Univ SCIENCE7(2), 2006: V. 15, № 3, P. 194-198.

68. Longere P., Zhang X., Delahunt P.B., Davaid H.B. Perceptual assessment of demosaicing algorithm performance // Proc. of IEEE. 2002. V. 90, № 1. P. 123-132.

69. Malla S.A. Wavelet tour of signal processing. Academic Press, 1999.

70. MuresanD.D., Parks T.W. Adaptive principal components and image denoising // Proc. IEEE Int. Conf. Image Processing. 2003. V. 1. P. 101-104.

71. Paliy D., TrimecheM., Katkovni V., Alenius S. Demosaicing of noisy data: spatially adaptive approach // Proceedings of the SPIE. 2007. V. 6497, P. 64970K-1 64970K-12.

72. Parks T. W, Muresan D.D, Hirakawa K. Joint demosaicking and denoising // IEEE Trans on Image Processing 2006. V. 15, № 8, P 2146 2157.

73. Parks T.W., Hirakawa K Adaptive homogeneity-directed demosaicing algorithm // IEEE Trans.on Image Processing. 2005. V. 14, № 3. P. 360-369.

74. Parks T. W., Muresan D.D. Demosaicing using optimal recovery // IEEE Trans on Image Processing. 2005. V. 14, № 2. P. 267 278.

75. Pearson K. On lines and planes of closest fit to systems of points in space. -Philosophical Magazine 2(6), 1901. P. 559 572.

76. Plataniotis R., Lukac K.N. Color filter arrays: design and performance analysis // IEEE Transactions on Consumer Electronics. 2005. V. 51, №4. P. 1260-1267.

77. Po L.M., MaW.C, A novel four-step search algorithm for fast block motion estimation // IEEE Trans. Circuits Syst. Video Technol. 1996. V. 6, № 6. P. 313 317.

78. Rao K.R., Hwang J.J. Techniques and standards for image, video and audio coding // Eanglewood Cliffs. Prentice Hall, 1996.

79. Salmon J. On two parameters for denoising with non-local means // IEEE Signal Process. 2010. Lett., V. 17. P. 269 272.

80. Salmon J., Le E. Pennec An aggregator point of view on NL-Means // SPIE, 2009, V. 7446. P. 7446IE.

81. Salmon J., Le E. Pennec NL-Means and aggregation procedures // ICIP, 2009. P. 2977-2980.

82. Salmon J., StrozeckiY. From patches to pixels in non-local methods: weighted-average reprojection // ICIP. 2010. P. 1929 1932.

83. Snyder R., Ramanath W. E. Adaptive demosaicking // Journal of Electronic Imaging. 2003. V. 12, № 4. P. 633 642.

84. Starck J.-L., Candes E.J., Donoho D.L. The curvelet transform for image denoising // IEEE Trans. Image Processing, 2002. V. 11, № 6. P. 670 684.

85. Tropp J.A., Gilbert A.C. Signal recovery from random measurements via orthogonal matching pursuit // IEEE Trans. Information Theory. 2007. V. 53, № 12. P. 4655-4666.

86. Trussell H.J., Hartwig R.E. Mathematics for demosaicking // IEEE Trans, on Image Processing. 2002. V. 11. № 4, P. 485 492.

87. Vetterli M., Kovacevic Wavelets and subband coding//Prentice Hall PTR, 1997.

88. WuX, Zhang L. Color demosaicking via directional linear minimum mean square-error estimation // IEEE Trans, on Image Processing. 2005. V. 14, № 12. P.2167-2178.

89. Zhang L., DongW., Zhang D., Shi G. Two-stage image denoising by principal component analysis with local pixel grouping // Pattern Recognition. 2010. V. 43, № 8. P. 1531 1549.

90. Zhang L., Lukac R, Wu X,, Zhang D. PCA-based spatially adaptive denoising of cfa images for single-sensor digital cameras // IEEE Trans, on Image Processing. 2009. V. 18, № 4, P. 797 812.

91. Zhang L., WuX., Zhang D. Color reproduction from noisy CFA data of single sensor digital cameras // IEEE Trans, on Image Processing. 2007. V. 16, №9, P. 2184-2197.

92. Zhu S., MaK.K. A new diamond search algorithm for fast block-matching motion estimation // Int. Conf. Information, Communications and Signal Processing (ICICS), 1997. V. 1, № 9 12, P. 292 - 296.

93. Zhu S., MaK.K. A new three-step search algorithm for block motion estimation // IEEE Trans.Circuits Syst.Video Technol. 1994. V. 4, №8. P. 438-442.