автореферат диссертации по радиотехнике и связи, 05.12.04, диссертация на тему:Разработка и анализ неэталонных алгоритмов оценки качества сжатых изображений

На правах рукописи

Саутов Евгений Юрьевич

РАЗРАБОТКА И АНАЛИЗ НЕЭТАЛОННЫХ АЛГОРИТМОВ ОЦЕНКИ КАЧЕСТВА СЖАТЫХ ИЗОБРАЖЕНИЙ

Специальность 05 12 04 Радиотехника, в том числе системы и устройства телевидения

Автореферат

диссертации на соискание ученой степени кандидата технических наук

Москва-2008

003445656

Работа выполнена на кафедре динамики электронных систем Ярославского государственного университета им П Г Демидова

Научный руководитель

доктор технических наук, профессор Брюханов Юрий Александрович

Официальные оппоненты

доктор технических наук, Чобану Михаил Константинович

кандидат технических наук, Васильев Кирилл Петрович

Ведущая организация:

ОАО «Ярославский радиозавод»

Защита диссертации состоится « Ю » 2008 г на заседании

диссертационного совета ДС 451.001 01 при ЗАО «Московский научно-исследовательский телевизионный институт» (МНИТИ) по адресу 105094, г. Москва, ул Гольяновская, д 7а

С диссертацией можно ознакоми гься в библиотеке ЗАО МНИТИ Автореферат разослан «¿У » аЗмста 2008 г

Ученый секретарь диссертационного совета, кандидат технических наук

А Г Барсуков

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы диссертации. Проблема создания высококачественной системы цифровой передачи видеоинформации - это главным образом проблема быстрого и эффективного се сжатия - наиболее ресурсопотребляющей части всей системы Разработка алгоритмов и соответствующей аппаратуры цифрового сжатия различных видов информации для передачи по каналам связи как альтернативы аналоговым системам проводится уже более 20 лет Был получен ряд важных результатов в плане разработки алгоритмов сжатия (включая стандарты JPEG (JPEG-2000), MPEG-1, MPEG-2, MPEG-4, H 261, H 263, H 264/AVC для статических и динамических изображений различного разрешения)

Особенную важность подобные исследования приобрели в связи с переходом к цифровому телерадиовещанию, и в частности к многопрограммному цифровому телевидению, вызванным присоединением России к общеевропейской системе DVB (Распоряжение Правительства Российской Федерации от 25 05 2004 № 706-р «О внедрении в Российской Федерации европейской системы цифрового телевизионного вещания DVB») Практически во всех странах Европы определены сроки полного перехода на цифровое вещание (в пределе до 2012 г ). Обоснование и сроки внедрения цифровых систем вещания в России приводятся в проекте Концепции федеральной целевой программы «Развитие телерадиовещания в Российской Федерации (2007-2015 гг )»

Значительный вклад в разработку теории и алгоритмов цифровой обработки изображении внесли как отечественные ученые 10 В Гуляев, Ю.И. Борисов, Ю Б Зубарев, M И Кривошеев, В П Дворкович, А В Дворкович, Л П Ярославский, В А Сойфер, Ю С Радченко, так и зарубежные - С Митра, Р Гонсалес, Р Вудс, Т Чан, А Бовик, Ю Неуво, Я Астола, К Егиазарян и др

Алгоритмы сжатия статических изображений занимают значительное место в теории цифровой обработки изображений Связано это с тем, что изображения, представленные в цифровой форме, требуют для хранения довольно большого объема памяти, а при передаче их по каналам связи требуется значительное время Так, для изображения с разрешением 1280x1024 точек (типовое разрешение 19-дюймового монитора), с 24 битами на отсчет потребуется 1280x1024x24=3,75 Мбайт памяти Чтобы передать его по типовому каналу со скоростью 128 Кбит/с, потребуется около четырех минут В то же время изображения содержат информацию, которая является избыточной, те части памяти и полосы частот канала тратятся на нее Алгоритмы сжатия уменьшают объем избыточной информации Их можно разделить на два класса

- алгоритмы сжатия без потерь,

- алгоритмы сжатия с потерями

Алгоритмы сжатия с потерями основаны на том, что в изображении содержится информация, слабо воспринимаемая человеческим глазом Такой вид избыточности называется психофизиологической избыточностью Снижение такой избыточности состоит в исключении несущественных частей изображения, которые человеческий глаз не воспринимает в силу психофизиологических особенностей Критериями исключения такой информации являются параметры рецепторов

зрительного анализатора получателя видеосообщений При этом часть информации безвозвратно теряется Восстановить ее при декодировании невозможно

Отбрасывание части информации при использовании стандартов сжатия изображений JPEG и JPEG2000 делает актуальным вопрос об объективной опенке качества восстановленных изображений На современном этапе развития систем сжатия изображений существует несколько наиболее популярных критериев оценки их качества (рис 1)

Рис 1 Классификация критериев оценки качества изображений

Наиболее надежным и верным способом оценки качества изображения является субъективная экспертиза Расчет средней экспертной оценки (Mean opinion score, MOS) долгое время считался наиболее надежным методом Схема проведения подобного эксперимента стандартизована и основывается на рекомендации Международного Союза Электросвязи Однако такой подход требует работы большой группы людей, дорог в практическом применении и, как правило, не подходит для использования в реальных ситуациях

Основной задачей разработки объективных систем оценки является создание алгоритма, который мог бы автоматически и с большой степенью достоверности оценить качество предложенных изображений Термин «достоверный» в данном случае означает, что такой алгоритм должен оценивать качество так, как усредненно оценила бы его группа экспертов Очевидно, что развитие подобных алгоритмов несет в себе большой потенциал с точки зрения использования в реальных системах сжагия изображений

- Во-первых, такие алгоритмы могут использоваться для контроля качества в системах сжатия визуальной информации

- Во-вторых, подобные алгоритмы найдут применение в оценке и сравнении различных стандартов сжатия изображений

- В-третьих, они могут быть встроены в систему обработки и передачи

визуальной информации с целью оптимизации параметров на различных

этапах преобразования изображений

Исторически сложилось так, что объективные методы для оценки качества основывались на простых математических выражениях, таких как среднеквадратичная ошибка (СКО) и пиковое отношение сигнал/шум (ПОСШ) Это объясняется сравнительно малой изученностью вопроса о работе зрительной системы человека (ЗСЧ) и отсутствием соответствующих статистических данных Также широкая распространенность данных метрик объясняется простотой в их вычислении Относительно недавно были предложены более сложные в вычислении алгоритмы - универсальный индекс качества (УИК) и коэффициент структурного подобия (КСП), которые в ряде приложений показывают хорошую согласованность с субъективными экспертными оценками

Используемые сегодня метрики имеют один существенный недостаток - они требуют наличия изображения-оригинала (эталона), необходимого для проведения оценки Однако на практике инженерам в подавляющем большинстве случаев приходится сталкиваться с ситуацией, когда эталонное изображение недоступно В этом случае возникает необходимость в создании неэгалонных критериев, способных оценивать качество изображения «вслепую»

Задача неэталонной оценки качества изображений вызывает в последние i оды повышенный интерес исследователей Большая часть предлагаемых алгоритмов разработана для конкретных типов априори известных искажений в изображении Например, ряд критериев разработан для оценки изображений, имеющих размытую структуру В связи с бурным развитием мультисервисных сетей передачи информации, одной из перспективных областей применения неэталонных алгоритмов на сегодняшний день является оценка качества сжатых изображений и видеопоследовательностей Поэтому разработка неэталонных критериев оценки качества изображений применительно к системам сжатия визуальной информации представляет собой актуальную научно-техническую задачу

Основной целью работы является улучшение характеристик систем сжатия статических изображений путем объективной оценки искажений, вносимых на этапе преобразования

Для достижения указанной цели в диссертационной работе решаются следующие задачи

- разработка неэталонных алгоритмов оценки качества изображений, сжатых на основе дискретного косинусного преобразования,

- разработка неэталонных алгоритмов оценки качества изображений, сжатых на основе вейвлет-преобразования,

- проведение эксперимента по оценке корреляции между предложенными объективными критериями качества сжатых изображений со средними экспертными оценками,

- улучшение качества сжатых изображений стандарта JPEG путем удаления артефактов блочности

Методы исследования. При решении поставленных задач использовались современные методы цифровой обработки изображений, математического анализа, теории вероятностей, математической статистики, линейной алгебры Для практической реализации алгоритмов применялись современные численные методы и методы объектно-ориентированного программирования на языке С++

Научная новизна работы:

1 Разработаны алгоритмы неэталонной оценки качества сжатых изображений стандарта JPEG, основанные на измерении уровня блочности в восстановленном изображении

2 Предложен алгоритм неэталонной оценки качества сжатых изображений стандарта JPEG2000, основанный на изменениях в статистической модели изображения, вызванных квантованием вейвлет-коэффициентов

3 Разработан и исследован алгоритм удаления блочности в изображениях, сжатых на основе дискретного косинусного преобразования

На защиту выносятся:

1 Алгоритмы неэталонной оценки качества изображений, сжатых на основе дискретного косинусного преобразования

2 Алгоритм неэталонной оценки качества изображений, сжатых на основе вейвлет-преобразования

3 Результаты сопоставления предложенных объективных неэталонных оценок качества сжатых изображений со средними экспертными оценками

4 Алгоритм удаления артефактов блочности из изображений стандарта JPEG

Практическая ценность работы:

1 Разработаны неэталонные алгоритмы оценки качества изображений, сжатых на основе дискретного косинусного и вейвлет-преобразований

2 Проведен масштабный эксперимент по оценке корреляции между объективными критериями качества сжатых изображений со средними экспертными оценками

3 Предложенные неэталонные алгоритмы оценки качества могут быть использованы в системах обработки и передачи визуальной информации, цифрового телевидения, радиолокации, связи, классификации и распознавания образов и в других прикладных задачах цифровой обработки изображений

Апробация результатов работы

Результаты работы обсуждались на следующих научно-технических семинарах и конференциях

1 Восьмая-десятая международная конференция и выставка «Цифровая обработка сигналов и ее применение» (г Москва, 2006-2008 гг )

2 Третья международная научно-техническая конференция «Современные телевизионные технологии. Состояние и направления развития» (г Москва, МНИТИ, 2006 г )

3 Юбилейная научно-техническая конференция «Инновации в радиотехнических информационно-телекоммуникационных технологиях» (г Москва МАИ, 2006 г)

4 Четырнадцатая-пятнадцатая международная научно-техническая конференция «Информационные средства и технологии» (г Москва МЭИ, 2006-2007 гг )

5 65-я научная сессия, посвященная Дню Радио (г Москва, 2007 г )

6 Третья Всероссийская научная конференция «Проектирование научных и инженерных притожений в среде MATLAB» (г Санкт-Петербург, 2007 г )

7 Пятнадцатая международная научно-техническая конференция «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций» (г Рязань 2008 г)

Реализация резучьтатов работы

Резутьтаты работы внедрены в соответствующие разработки Ярославского филиала ОАО «Мобильные ТелеСиаемы», ЗАО «ИТ-Центр-Ярославль», г Ярославль Отдельные результаты диссертационной работы внедрены в учебный процесс ЯрГУ им П Г Демидова в рамках дисциплины «Цифровая обработка изображений», а также в научно-исследовательские работы при выполнении исследований в рамках гранта РФФИ Л"» 06-08-00782 «Развитие теории цифровой обработки сигналов и изображений в технических системах» (2006-2008 гг ) Все резутьтаты внедрения подтверждены соответствующими актами

Пубчикации По теме диссертации опубликовано 19 научных работ, из них 2 статьи в журналах рекомендованных ВАК («Цифровая обработка сигналов» «Проектирование итехнотогия электронных средств»), 2 статьи в сборнике научных трудов физического факультета ЯрГУ и 15 докладов на научных конференциях

Стру1ггура и объем работы. Диссертация состоит из введения, четырех разделов, заключения, списка использованных источников, содержащего 188 наименований и 5 приложений Она изложена на 181 странице машинописного текста, содержит 62 рисунка и 7 таблиц

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована необходимость и актуальность проведения исстедований и разработок неэталонных оценок качества сжатых изображений Сформулированы цели и задачи диссертационной работы определена их научная и практическая значимость Изложены основные положения выносимые па публичную защиту

В первом раздете проведен обзор и сравнительный анализ современных стандартов сжатия статических изображении - JPEG, JPEG2000 и SPIHT Для исстедования использовался набор стандартных тестовых изображений с различной степенью детализации В качестве критериев сравнения результатов работы использовались объективные эталонные метрики качества ПОСШ восстановленного изображения оценки по шкале УИК.

На рис 2 в качестве примера приведены зависимости оценок качества восстановленного тестового изображения «Лена» от коэффициента сжатия К

о

20

60

О 10 20 30 40 50 60 К

10

30

к

40

50

а)

б)

Рис. 2. Сравнение эффективности работы алгоритмов сжатия для изображения «Лена»: а) но шкале ПОСШ; б) по шкале УИК

Проведенные в данном разделе исследования указанных алгоритмов позволяют сформулировать следующие основные выводы:

1. При сжатии изображений наиболее отчетливо проявляются следующие два вида искажений - блочность (для стандарта JPEG) и размытие границ (для стандарта JPEG2000).

2. Стандарт JPEG проигрывает алгоритмам сжатия на основе вейвлет-преобразовання 2-7 дБ по шкале оценок ПОСШ. Эта разница увеличивается с ростом степени компрессии и визуально различима, начиная с К = 25 .

3. Алгоритм SPIHT целесообразно использовать в случае сжатия малоконтрастных изображений, изображений без резких границ и мелких деталей (особенно диагональных). Для данного типа изображений можно добиться лучшей работы алгоритма путем совмещения его с энтропийным кодированием.

4. В общем случае предпочтительным для практического использования является стандарт JPEG2000, который позволяет добиваться хороших результатов вне зависимости от особенностей изображений.

Таким образом, анализ известных алгоритмов сжатия статических изображений позволил сформулировать следующие три основные задачи диссертации:

- разработка неэталонных алгоритмов оценки качества изображений, сжатых на основе дискретного косинусного преобразования;

- разработка неэталонных алгоритмов оценки качества изображений, сжатых на основе вейвлет-преобразования;

- улучшение качества сжатых изображений стандарта JPEG путем удаления артефактов блочности.

Решение этих задач приведено в следующих трех разделах диссертации.

Второй раздел посвящен задаче неэталонной оценки качества изображении Общая схема разработанного неэталонного индекса качества (НИК) приведена на рис 3

f-

Средняя разница между бтоками 8x8 пикселей значения В^и Bv

Рис 3 Расчет неэталонного индекса качества

Расчет оценки производится следующим образом.

1 Обозначим исследуемое декодированное изображение, имеющее размеры MxN пикселей, как х(т,п), где т е[1,Л/], и е [1,Л'j, и вычислим разницу между соседними пикселями в каждой строке

dh (т, п) = х(т, и +1) - х(т, и) и в каждом столбце изображения

dv (т, п) = х(т +1, и) - х(т, п)

2 Определим среднюю разницу между блоками размером 8х 8 по формуле

1 м [/ml-i

3 Оценим характеристики изображения Оценка проводится в два этапа, т к два фактора характеризуют изображение

Отклонение разности

на граннце блоков от ее среднего значения по всему изображению значения /I

Среднее число переходов через ноль значения Z;,h Z,

а) Первый фактор - отклонение средней абсолютной разности на границе блоков от той же величины, подсчитанной для всего изображения

^=1

Л 7

м \-i

V(V-l)f

-1 i-i

б) Второй фактор - число переходов через ноль Пусть функция 2к(т,п) принимает значение, равное единице, если функция с1л(т,п) пересекает ноль по горизонтали В противном случае значение :к{т.п) равно нулю Находим значения функции гн(т,п) для ие[1,Л-2] Тогда количество переходов через ноль по горизонтали определяется как

] д/ л-:

/ =-V V; (,„,„)

*

Аналогичным способом вычисляются соответствующие величины В,, и 2, по вертикали

4 Производим усреднение полученных результатов

5 Для получения конечной оценки качества сжатых изображений (НИК) используется следующая комбинация величин 1, В и 2

НИК =а + рву1л''2гу\

где - параметры, которые подбирались таким образом, чтобы

результат как можно точнее был коррелирован с визуально воспринимаемым качеством Субъективные визуальные оценки изображений сжатых алгоритмом JPEG использованы для оптимизации параметров алгоритма Экспериментально подобраны следующие значения параметров

а = -246, Р = 262, у] =- 0,024, у2 = 0 016. у, = 0,064

Проведена нормализация оценки НИК, так чтобы ее значения находились внутри интервала [1, 10] Результаты работы алгоритма для фрагмента изображения «Лена» приведены на рис 4 Здесь К и НИК обозначают коэффициент сжатия исходного изображения и полученную неэталонную оценку, а ПОСШ и УИК -известные эталонные критерии оценки качества При низких коэффициентах сжатия (А'е[2,15]) JPEG-изображение практически полностью соответствует своем) оритиналу (искажения незначительные) Как видно из рис 46, оценка НИК для таких изображений достаточно высока (приближается к значению 10) При увеличении степени сжатия качество JPEG-изображения ухудшается, проявляются искажающие факторы блочность и размытие границ В этом случае опенка НИК уменьшается отражая воспринимаемое качество изображения (рис 4в, 4г)

Идея предлагаемого нейросетевого неэталонного индекса качества (ННИК) основывается на том. что основные искажения, возникающие на подвергшемся

ЛТ^С-сжатию изображении, концентрируются вблизи границ блоков размерами 8*8 пикселей.

а) оригинальное изображение б) .¡РЕС-изображение К - 13.4:

(НИК=7.87. ПОСШ=35.47 дБ, УИК=0,63)

в) ,1РЕС-изображение К- 32.8: г) .1РЕС-шображение К = 46.4:

(НИК=5.74. ПОСШ=30.40 дБ. УИК=0.40) (НИК=4.22. ПОСШ=27.32 дБ. УИК=0.27)

Рис. 4. Результаты тестирования НИК на фрагменте изображения «Лена»

Так как требуется приблизить результаты оценки качества изображений данным алгоритмом к результатам визуальной оценки, необходимо учесть факторы, влияющие на восприятие наблюдателем указанных эффектов. Наиболее значимые из них: амплитуда перепадов яркости на границе блока, протяженность границы блока, яркость фона изображения вблизи границы блока, детализированность изображения.

На основании оценки данных параметров для входного изображения формируется вектор, элементы которого характеризуют воздействие перечисленных факторов на визуальную оценку качества изображения. Полученный вектор является входным вектором предварительно обученной нейронной сети, на выходе которой формируется итоговое значение индекса качества изображения. При расчете ННИК используется нейронная сеть типа многослойный лерсептрон. Она

содержит 3 скрытых слоя по 7 нейронов в каждом и один нейрон в выходном слое. Функция активации всех нейронов - сигмоидальная. Выходным значением сети является величина ННИК, лежащая в интервале [0, 10]. Общая схема разработанного алгоритма представлена на рис. 5.

Нейронная сеть

Выделение границ блоков

Оценка количества деталей

Оценка яркости фона

Комбинирование свойств

Формирование входного вектора

I ННИК

Рис. 5. Расчет нейросетевого неэталонного индекса качества

На рис.6 представлены зависимости оценок ПИК и ННИК от коэффициента сжатия А", полученные для трех полутоновых изображений размером 512x512 пикселей с разной степенью детализации: «Лена», «Бабуин» и «Перцы».

) 20 30 40 50 60 0 5 10 15 20 25 30

К К

а) б)

Рис 6. Зависимость неэталонных оценок от коэффициента сжатия для грех типов тестовых изображений: а) но шкале НИК; б) по шкале ННИК

Отметим, что эти зависимости носят монотонно спадающий, практически линейный характер. Причиной этому служит проявление на изображении искажений, вносимых алгоритмом JPEG с ростом коэффициента сжатия. Практически при всех коэффициентах сжатия худшим по качеств)' является изображение «Бабуин» с большим содержанием мелких деталей.

Также был разработан еще один критерий оценки качества - неэталонный индекс блочности (НИБ). Его принципиальное отличие от рассмотренных выше

12

Входное JPEG - изображение

оценок состоит в том, что данный алгори тм работает в пространстве коэффициентов | дискретного косинусного преобразования (ДКП).

На рис. 7 приведен пример использования предложенного алгоритма в задаче измерения артефактов блочности. Тестовое изображение «Бабуин» с точки зрения НИБ является более «блочным». Этот факт объясняется наличием огромного числа естественных границ в данном тестовом изображении.

50

40

зо

х

20

10

'о 10 20 30 40 50 JPEG-изображение Л" -31.6:

к' (НИБ=25.36. ПОСШ=21.54 дБ)

а) б)

Рис. 7. Использование НИБ для оценки качества сжатых изображений: а) зависимость от коэффициента сжатия К: 6} результаты тестирования для фрагмента изображения «Бабуин»

1

Проведен сравнительный анализ предложенных неэталонных метрик с известными эталонными алгоритмами оценки качества ПОСШ и УИК. В качестве критериев сравнения использовались меры близости полученных результатов к оценкам MOS для JPEG-изображений: коэффициент линейной корреляции Пирсона, коэффициент ранговой корреляции Спирмена, квадратный корень из среднеквадратичной ошибки. Все три величины вычислялись после проведения ¡нелинейной регрессии. В качестве нелинейности использовалась логистическая ¡функция (I) с добавленным к ней линейным членом, таким образом, регрессионная 1 кривая зависела от пяти параметров

Г 1 1

+ р4х + р<. (1)

Полученные коэффициенты корреляции приведены в табл. ). Предложенные в работе неэталонные алгоритмы превосходят известные эталонные. Наилучшую корреляцию со средними экспертными оценками показал алгоритм ННИК. Метрики НИК и НИБ показали приблизительно равные результаты, немного отстав от лидера. Однако НИБ обладает преимуществом перед двумя другими неэталонными оценками, благодаря возможности работы в области ДКП-коэффициентов. В этом

- Лена

- Бабуин " Периы

случае оценка может производиться в процессе декодирования, до этапа перехода в пространственную область, позволяя серьезно сократить временные затраты

Табиша 1

Коэффициенты корреляции между значениями МОБ и объективными критериями

Критерии Коэффициенты корреляции

оценки качества Пирсона , Спирмена VСКО

ПОСШ 0,5268 0 4687 19,8593

УИК 0,8613 0 8381 11,8721

НИК 0,9504 0.9329 7,2639

ННИК 0,9691 ; 0,9670 6,0629

НИБ , 0,9562 0,9497 6,8356

Третий раздел посвящен оценке качества изображений, сжатых алгоритмом №Е02000 Для решения поставленной задачи предлагается новый способ оценки качества изображений, основанный на использовании статистической модели изображения (СМИ) в роли эталона с которым можно сопоставить оцениваемое изображение СМИ моделирует величину вейвлет-коэффициента С, определяемого величиной линейного предсказания коэффициента Р.

С=МР+Х Р = ,

1=1

где М и V - независимые случайные переменные с нулевым средним С, - п соседних с С коэффициентов в пространстве направлении и иерархии и /; -коэффициенты линейного предсказания

Данная модель отображает статистические взаимозависимости вейвлет-коэффициентов изображений в каждом поддиапазоне вейвлет-декомпозиции и их корреляцию с другими вейвлет-коэффициентами аналогичных поддиапазонов в последующих уровнях декомпозиции Она подходит для измерения эффекта квантования вейвлег-коэффициентов изображений так как квантование зануляет маленькие по величине коэффициенты Результатом этого процесса является увеличение вероятности нахождения нулевых коэффициентов в любом поддиапазоне в сравнении с ожидаемой вероятностью для обычных изображений

На рис 8 показаны совместные гистограммы одного и того же поддиапазона для исходного изображения «Лена» и его сжатых копий Влияние эффекта квантования очевидно происходит сдвиг коэффициентов к началу координат и нарушается зависимость межд> величинами Си Р. демонстрируя отклонение ол естественной СМИ

Для оценки качества предлагается использовать упрошенную модель двух состояний изображения в вейвлет-области Эти два состояния соответствуют тому, значителен или незначителен коэффициент или его предсказатель

Два порога (один для коэффициента - С и один для предсказателя - Р) выбираются для каждого поддиапазона и зависят от изображения. Коэффициент или его предсказатель считаются значительными, если их значения превышают порог. В результате получаем набор из четырех эмпирических вероятностей р . р рч и р,,,

соответствующих вероятностям того, что пара предсказатель/коэффициент лежит в одном из четырех квадрантов, как показано на рис. 9.

Незначительный Р Значительный С" 1Р„>

Незначительный Р Незначительный С Ф, )

Значительный Р Значительный С lp,„)

Значительный Р Незначительный С Фч )

->

IrtgiP)

Рие. 9. Разделение пространства (Р. С) на квадранты

В ходе проведения исследований замечено, что вероятности /?, являются хорошими показателями потери визуального качества сжатых изображений. I Вычислены соответствующие вероятности для шести поддиапазонов: горизонтального, вертикального и диагонального для первого и второго уровней

1ов2|Р)

а) оригинальное изображение б) J РЕС2000-изображение. К = 10,26

Рис. 8. Пример изменения совместныл гистограмм (log. (Р). log: (Г))для одного поддиапазона изображения «Лена» при различных степенях сжатия К

вейвлет-декомпозиции Сочетание всех этих параметров должно быть нелинейным, т к статистические зависимости отличаются для различных направлений и уровней Для того чтобы скомпенсировать эти различия предлагается независимо друг от друга нелинейно преобразовать каждую вероятность, после чего объединить их в зависимость

Я,=К,

( г

1-ехр

/V

где -преобразованная вероятность (предсказанное качество изображения) для /-го поддиапазона, р$!, - вероятность для /-го поддиапазона, К1, Г, и и1 -

параметры, аппроксимируемые кривой и получаемые из обучающего набора данных

Взвешенное среднее от преобразованных параметров используется для предсказания качества изображений По причине схожести статистических зависимостей по горизонтальным и вертикальным поддиапазонам для одной иерархии предполагается, что их веса одинаковы Таким образом, вектор качества размерности шесть я = |( е 1 6} преобразуется в вектор размерности четыре я' путем усреднения предсказаний качества горизонгальною и вертикального поддиапазонов для одного уровня В результате неэталонным индексом качества изображений формата №Е02000 (НИК2000), лежащим в интервале [0, 100], является взвешенное среднее я'.

НИК2000 =

где веса получены путем минимизации ошибки предсказания качества, используя данные обучающего массива

= 0,0001, и>2 = 0,3050, = 0,5111, и-4 = 0,1905.

Аналогичным образом, опираясь на средние экспертные оценки для обучающей выборки, полученные в результате проведения визуального эксперимента, подобраны значения порогов Порог (С) = 1,7850 , Порог (Р) = 1,7000

На рис 10а представлены зависимости оценки НИК2000 от коэффициента сжатия К, полученные для трех тестовых изображений Отметим, что эти зависимости носят монотонно спадающий характер Причиной этому служит проявление на изображении искажений, вносимых алгоритмом ^Е02000 с ростом коэффициента сжатия Результаты работы неэталонного алгоритма для фрагмента изображения «Лена» приведены на рис 106

Степень согласованности НИК2000 с субъективными экспертными оценками приведена в табл 2 Анализ таблицы показывает, что по всем трем критериям корреляции УИК и НИК2000 показали приблизительно равные оценки, а ПОСШ незначительно им проигрывает

сжатое изображение К ~ 100: (НИК2000=32,61, ПОСШ=28,97 дБ)

а) б)

Рис. 10. Использование НИК2000 для оценки качества сжатых изображений: а) зависимость от коэффициента сжатия К\ б) результаты тестирования для фрагмента

изображения «Лена»

Исходя из полученных результатов, можно сделать вывод, что алгоритм НИК2000 показывает высокую корреляцию с оценками MOS, являясь при этом неэталонным. Данное обстоятельство делает привлекательным его использование в системах определения качества цифровых изображений, сжатых на основе стандарта JPEG2000.

Таблица 2

Критерии оценки качества Коэс )фиииенты корреляции

Пирсона Спирмена Je PCO

ПОСШ 0,7821 0,7865 11,4558

УИК 0,7985 0,8088 11,3446

НИК2000 0,8017 0,8024 10,9415

j Четвертый раздел посвящен задаче удаления артефактов блочности из изображений, сжатых алгоритмом JPEG. В качестве критерия определения границ в сжатом изображении используется разработанный автором алгоритм НИБ.

Рассмотрим границу между двумя соседними блоками. С помощью индекса ; НИБ, описанного выше, вычислим значение блочности на границе двух соседних блоков. Если значение блочности для этой границы меньше определенного порога г, то преобразование этой границы не требуется. Если же порог превышен ( г/ > т ), то уменьшение артефактов блочности необходимо. Проведенное моделирование показывает, что наилучшие результаты с точки зрения ПОСШ восстановленного изображения получаются при следующем выборе порогового значения для слабо детализированных изображений: гопт = 0,02 при больших коэффициентах сжатия и

тот = 0,1 при малых. Для сильно детализированных изображений - гопт = 0.08 и гопт = 0,15 соответственно.

Для того чтобы предотвратить размытие краев объектов на исходном изображении, формируется инвариантное изображение, состоящее из блоков, в которых все ДКГ1-коэффициенты приравниваются нулю, кроме первого коэффициента. При этом размер инвариантного изображения составляет 1/64 от размера исходного изображения. Далее для каждого пикселя этого изображения находится величина градиента Ухт „ по следующей формуле:

Уд-

+ 2хт

+ х.

+1 .к Л»»|.г*1 '

Пиксель считается краевым, если \хтп>Т, где Т - некоторый порог. Бинарная морфологическая фильтрация применяется для удаления изолированных краевых пикселей, которые могут привести к ошибкам при нахождении краев. Поскольку каждый пиксель в инвариантном изображении соответствует блоку 8*8 в исходном изображении, каждый блок, соответствующий краевому пикселю в инвариантном изображении, объявляется краевым блоком в исходном изображении.

На рис. 11 показан пример работы алгоритма нахождения краев объектов на изображении «Лена» при различных порогах Т. Краевые блоки выделены черным цветом. Основные границы успешно обнаружены при Т = 1900 .

а) /<-=32.8: 7=1200 б) А'=32.8: Г=1900

Рис. 11. Результат работы алгоритма нахождения краевых блоков

Исходя из измеренной локальной видимости артефактов блочное™ на границах каждого блока и информации о краях объектов, все границы блоков исходного изображения делятся на три типа:

- Тип 1: // < т . дальнейшее преобразование не требуется.

- Тип 2: 1] > г и ни один из двух блоков, составляющих данную границу, не является краевым.

- Тин 3: ?/ > г и хотя бы один из двух блоков, составляющих данную границу, является краевым блоком.

После этого ко второму типу блоков применяются последовательно следующие операции'

1 Постобработка, заключающаяся в замене двумерной ступенчатой функции, описывающей перепад яркостей на границе между соседними блоками, на линейную двумерную функцию На рис. 12 в качестве примера показан одномерный случай замены ступенчатой функции f(x) = {\/%)s¡gn(x) на линейную функцию

у^х) Ступенчатая функция

Рис 12 Ичлюстрация замены ступенчатой функции на линышую функцию

2 Постфильтрация в пространстве ДКП Пусть Ътп - блок 8x8 т-й строки и «-го столбца изображения, а блок /г' 'п - блок, сдвинутый относительно блока Ьт „ на к пикселей по оси у и на / пикселей по оси х. При | к | < 8 и | /1 < 8 блоки Ьт п и будут частично перекрываться Пусть Втп и Вкт'„ - матрицы коэффициентов ДКП блоков Ътп и Ькт'п соответственно Тогда постфильтрация в пространстве ДКП для преобразования Вт „ описывается следующим выражением

_ | л а

вкт'Ли,у),

где Вт„{и,г) - отфильтрованный блок в пространстве ДКП, А - максимальное смещение по осям хну, »-¿у - весовые коэффициенты блоков Вкт''„, а IV - сумма всех весовых коэффициентов, определяемая по формуле

ы-ь

В работе использован параметр И = \, а весовые коэффициенты выбраны следующим образом

(\ 1 1 3 1

Большой весовой коэффициент центрального блока используется для предотвращения размытия деталей изображения

3 После процедуры постфильтрации к каждому коэффициенту ДКП обрабатываемых блоков применяется операция ограничения, с тем, чтобы все

коэффициенты оставались в рамках своих исходных интервалов. Поскольку параметры квантования известны на приемной стороне, соответствующие интервалы квантования [В™*(и,у),В™™(и,у)] для исходного коэффициента Втп{и,у) находятся по формулам:

В™(и,у) = е(и,у)(вт„(и,у)~ 0,5), В™(и,г) = ()(и,г){Вт„{и,у) + 0,5), где (¿{и,у) - шаг квантования для коэффициента Вт п (и, у). Преобразованный коэффициент Втп(и,у) заключается в рамках [Я™(к,у),В™"Ц(и,\<)] с помощью следующего алгоритма:

если Вт„(и,у)<В^(и,у), Вт„ {и,г) = Ва„ (и, v), если (и, v) < Вт „ {и,V) < Я™ (и, у), если Втп(и,у)>В^(и,г).

Блоки третьего типа генеральной классификации, являясь краевыми, подвергаются только процедуре постфильтрации с последующим ограничением коэффициентов ДКП. Постобработка в этом случае не производится.

На рис. 13 приведены численные результаты сравнения работы предложенного алгоритма удаления блочиости (АУБ) с работой других известных алгоритмов (метод ноль-маскировки (НМ) и метод адаптивной фильтрации (АФ) в пространстве ДКП) при удалении артефактов блочиости из тестового изображения «Перцы».

Рис. 13. Зависимость ПОСШ восстановленного изображения «Перцы» от коэффициента сжатия К

Анализ рис. 13 показывает, что АУБ демонстрируют повышение качества изображений в среднем на 0,5-1 дБ по шкале ПОСШ при сильном сжатии, и, в отличие от АФ, не проигрывает необработанным изображениям при малом сжатии. Подобное поведение исследуемого алгоритма объясняется тем, что при небольших

коэффициентах сжатия количество границ между соседними блоками размером 8x8, превышающих порог г, невелико Поэтому практически все блоки ДКП-коэффициентов классифицируются как «не требующие обработки» Напротив, алгоритм адаптивной фильтрации в пространстве ДКП оперирует всеми блоками коэффициентов изображения Дальнейшая оптимизация параметров алгоритма АУБ позволяет увеличить ПОСШ восстановленных изображений в среднем на 1-2 дБ

Визуальное сравнение результатов применения алгоритмов показывает, что на изображениях, обработанных алгоритмом ноль-маскировки, артефакты блочности подавлены очень слабо К тому же в области краев объектов можно заметить искажения, вносимые этим алгоритмом. Качество изображения, обработанного алгоритмов АФ, и изображения, обработанного алгоритмом АУБ, практически одинаково

В качестве критерия для оценки вычислительной сложности предложенных алгоритмов выбрано время их выполнения в среде MATLAB При этом время, затраченное на выполнение каждою алгоритма, интегрированного в алгоритм JPEG на этапе декодирования, нормировано на время работы классического алгоритма JPEG Зависимости относительного времени выполнения алгоритмов удаления блочности для изображения «Лена», закодированного с различной степенью К, приведены в табл 3

Таблица 3

Временные затраты на выполнение рассмотренных алгоритмов удаления блочности

К JPEG АУБ АФ НМ

13,4 1 1,16 6,21 1,08

17,4 1 1,26 6,24 1,12

22,:3 1 1,30 6,23 1,13

26,1 1 _j 1,34 6,21 1,13

32,8 1 1,37 6,23 1,14

46,4 1 1,41 6,24 1,15

Из полученных результатов видно, что по временным затратам алгоритм АФ проигрывает всем остальным рассмотренным алгоритмам, что объясняется его высокой вычислительной сложностью Предложенный алгоритм АУБ отстает ог алгоритма ноль-маскировки, но его отставание незначительно Среднее время работы, затраченное модифицированным алгоритмом АУБ JPEG-дeкoдepoм, примерно в 6 раз меньше, чем у декодера с АФ и сопоставимо с классическим JPEG-декодером

В заключении приведены основные результаты, полученные в диссертационной работе

1 Проведенный анализ современных алгоритмов сжатия относительно объективных эталонных оценок ПОСШ и УИК выявил преимущество методов, построенных на основе вейвлет-преобразования. При одинаковом коэффициенте сжатия алгоритм БР1НТ сопоставим с алгоритмом JPEG2000, оценки ПОСШ и УИК различаются менее чем на 5%

2 Проигрыш в качестве JPEG-изображений при невысоких коэффициентах сжатия более заметен по шкале ПОСШ, чем по шкале УИК При увеличении коэффициента сжатия (К > 25) разница в качестве становится более заметной и составляет более 2 дБ по шкале ПОСШ и более 15% по шкале УИК

3 При восстановлении сжатых изображений наиболее отчетливо проявляются следующие два типа искажений - блочность (для стандарта JPEG) и размытие границ (для стандарта JPEG2000) Корректная количественная оценка этих артефактов и есть главная идея неэталонной оценки качества сжатых изображений

4 Предлагаемые алгоритмы неэталонной оценки качества JPEG-изображений позволяют производить оценку качества в ситуации отсутствия изображения-оригинала, что существенно расширяет потенциальную область их использования в приложениях цифровой обработки изображений

5 Разработанный алгоритм НИБ работает в пространстве ДКП-коэффициентов, что позволяет сократить вычислительные затраты на оценку качества изображения и использовать такой алгоритм в задачах удаления блочности из JPEG-изображений

6 Предлагаемый алгоритм неэталонной оценки качества НИК2000 основан на изменениях в статистической модели изображения, вызванных квантованием вейвлет-коэффициентов при сжатии изображения алгоритмом JPEG2000

7 Путем анализа статистических характеристик изображений из обучающего набора (содержащего как оригинальные изображения, так и их копии, сжатые с различными степенями алгоритмом JPEG2000) получены оптимальные параметры алгоритма НИК2000

8 Проведенный визуальный эксперимент показал, что с точки зрения коррелированное™ со средними экспертными оценками для стандарта JPEG все предлагаемые неэталонные критерии значительно превосходят эталонную оценку ПОСШ (30-50%) и находятся в хорошей корреляции с оценкой УИК Для стандарта JPEG2000 преимущество неэталонного критерия НИК2000 не так очевидно и составляет в среднем 3-5%

9 Разработан алгоритм удаления артефактов блочности из JPEG-изображений Оптимизация параметров алгоритма АУБ позволяет увеличить ПОСШ восстановленных изображений в среднем на 1-2 дБ

10 Результаты восстановления сжатых изображений алгоритмом АУБ демонстрируют повышение качества изображений в среднем на 0,5-1 дБ по шкале ПОСШ

11 Сравнительный анализ временных затрат на декодирование изображений показывает, что среднее время работы, затраченное модифицированным алгоритмом АУБ JPEG-декодером, примерно в 6 раз меньше, чем у декодера с АФ и сопоставимо с классическим JPEG-декодером

12 Предложенные алгоритмы неэталонной оценки качества могут быть использованы в системах обработки и передачи визуальной информации, цифрового телевидения, распознавания образов и слежения за объектами, гранулометрического анализа и в других прикладных задачах цифровой обработки изображений

СПИСОК ОПУБЛИКОВАННЫХ ПО ТЕМЕ ДИССЕРТАЦИИ РАБОТ

1 Приоров A J1, Саутов Е Ю , Хрящев В В Неэталонная оценка качества JPEG-изображений И Цифровая обработка сигналов, 2007 № 3 С 15-19

2 Саутов Е 10, Хрящев В В. Разработка и анализ алгоритма неэталонной оценки качества сжатых изображений // Проектирование и технология электронных средств, 2007 № 2 С 26-29

3 Бекренев В А , Саутов Е Ю , Хрящев В В Новый подход к оценке качества JPEG-изображений // Физический вестник ЯрГУ им П Г Демидова сб науч тр, Ярославль. 2006 С 90-97

4 Абдуллоев А А, Саутов ЕЮ. К вопросу об оценке качества восстановленных изображений // Актуальные проблемы физики сб науч тр молодых ученых, аспирантов и студентов, Вып 6, Ярославль, 2007 С 7-14

5 Саутов Е.Ю Применение универсального индекса качества в задачах улучшения и восстановления цифровых изображений // Тр 15-и Межд науч-тех конф «Информационные средства и технологии», М, 2007 С 142-145

6 Саутов Е Ю Разработка и реализация в среде MATLAB алгоритма оценки качества цифровых изображений // Тр III Всерос науч конф «Проектирование научных и инженерных приложений в среде MATLAB», СПб, 2007 С 1473-1483

7 Бухтояров С С, Арляпов С А, Саутов Е Ю, Хрящев В В Модифицированный критерий оценки качества восстановленных изображений // Докл 8-й Межд конф «Цифровая обработка сигналов и ее применение» (DSPA-2006), М , 2006 Т 2, С 413-416

8 Бекренев В А , Куйкин Д К, Саутов Е 10 Алгоритм неэталоннои оценки качества JPEG-изображений // Докл 9-й Межд конф «Цифровая обработка сигнатов и ее применение» (DSPA-2007), М , 2007 Т 2, С 312-315.

9 Куйкин Д К, Саутов Е Ю, Хрящев В В Анализ использования нейронной сети в задаче неэталонной оценки качества сжатых изображений // Докл 10-й Межд конф «Цифровая обработка сигналов и ее применение» (DSPA-2008), М , 2008 Т 2, С 701-704

10 Бекренев В А , Саутов Е Ю , Хрящев В В Алгоритм неэталонной оценки качества JPEG-изображений // Докл юбилейной науч -техн конф, посвященной 60-летию ОАО «Радиотехнический институт имени академика А Л Минца» и факультета радиоэлектроники летательных аппаратов МАИ, М, 2006 С 194-201

11 Бекренев В А, Саутов Е Ю, Хрящев В В Разработка и исследование в среде MATLAB алгоритма неэталонной оценки качества сжатых изображений // Тр III Всерос науч конф «Проектирование научных и инженерных приложений в среде MATLAB», СПб, 2007 С 1354-1362

12 Бекренев В А , Саутов Е Ю, Хрящев В.В., Голубев М Н Оценка качества сжатых изображений в отсутствии изображения оригинала // Тр 14-й межд науч -техн конф «Информационные средства и технологии», М., 2006 Т 3, С 23-27

13 Бекренев В А, Саутов ЕЮ, Соловьев ВЕ Неэталонная оценка качества №ЕО-изображений // Матер IX Всерос науч конф «Информационные технологии в электротехнике и электроэнергетике» (ИТЭЭ-2006), Чебоксары, 2006 С 243-244

14 Бекренев В А, Саутов Е Ю, Сутковой С И Анализ качества сжатых изображений // Матер X Всерос науч конф «Информационные технологии в электротехнике и электроэнергетике» (ИТЭЭ-2007), Чебоксары, 2007 С 145-146

15 Шмаглит Л А, Саутов ЕЮ, Хрящев В В Оценка качества сжатых видеопоследовательностей // Докл 9-й Межд конф «Цифровая обработка сигналов и ее применение» (Э8РА-2007), М , 2007 Т 2, С 316-318

16 Саутов Е Ю, Хрящев В В Сравнительный анализ видеокодеков на основе стандарта МРЕв-4 // Докл 62-й Науч сессии, посвященной Дню радио, М, 2007 С 146-148

17 Шмаглит Л А, Саутов ЕЮ Оценка качества сжатых видеопоследовательностей // Матер X Всерос науч конф «Информационные технологии в электротехнике и электроэнергетике» (ИТЭЭ-2007), Чебоксары 2007 С 153-154

18 Бекренев В А, Саутов ЕЮ Неэталонная оценка качества изображений, сжатых алгоритмом №Е02000 // Матер 15-ой межд науч -тех. конф «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций», Рязань, 2008 Т 1, С 124-126

19 Саутов Е Ю Уменьшение артефактов блочности в Л'ЕО-изображениях // Матер 15-ой межд науч -тех конф «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций», Рязань, 2008 Т 2, С 132-133

Подписано в печать 17 04 08 Формат 60x84 1/16 Уел печ л 1,5 Тираж 100 экз

Отпечатано на ризографе Ярославский государственный университет 150000 Ярославль, ул Советская, 14

ВВЕДЕНИЕ.

1. ОЦЕНКА КАЧЕСТВА СЖАТЫХ ИЗОБРАЖЕНИЙ НА ОСНОВЕ ТРАДИЦИОННЫХ ЭТАЛОННЫХ КРИТЕРИЕВ.

1.1. Стандарт JPEG.

1.1.1. Алгоритм сжатия - Baseline JPEG.

1.1.2. Основные характеристики стандарта JPEG.

1.2. Стандарт JPEG2000.

1.2.1. Основные характеристики стандарта JPEG2000.

1.3. Алгоритм SPIHT.

1.3.1. Прогрессивная передача в алгоритме SPIHT.

1.3.2. Основные характеристики алгоритма SPIHT.

1.4. Субъективные критерии качества.

1.5. Объективные критерии качества.

1.5.1. Пиковое отношение сигнал/шум.

1.5.2. Недостатки объективных критериев оценки качества изображений, базирующихся на среднеквадратичной ошибке.

1.5.3. Модификация ПОСШ с учетом характеристик зрительной системы человека.

1.5.4. Универсальный индекс качества.

1.6. Сравнительный анализ алгоритмов сжатия изображений относительно критериев ПОСШ и УИК.

1.7. Краткие выводы.

2. НЕЭТАЛОННЫЕ АЛГОРИТМЫ ОЦЕНКИ КАЧЕСТВА

JPEG - ИЗОБРАЖЕНИЙ.

2.1. Вводные замечания.

2.2. Неэталонный индекс качества.

2.2.1. Расчет неэталонного индекса качества.

2.2.2. Нормализация оценки НИК.

2.2.3. Результаты тестирования НИК.

2.3. Нейросетевой неэталонный индекс качества.

2.3.1. Расчет нейросетевого неэталонного индекса качества.

2.3.2. Обучение и работа нейронной сети.

2.3.3. Результаты тестирования ННИК.

2.4. Неэталонный индекс блочности.

2.4.1. Математическая модель блочности.

2.4.2. Представление модели блочности в пространстве ДКП.

2.4.3. Измерение артефактов блочности с учетом характеристик зрительной системы человека.

2.4.4. Результаты тестирования НИБ.

2.5. Сравнительный анализ предложенных неэталонных алгоритмов оценки качества JPEG - изображений.

2.6. Краткие выводы.

3. НЕЭТАЛОННЫЙ АЛГОРИТМ ОЦЕНКИ КАЧЕСТВА ИЗОБРАЖЕНИЙ, СЖАТЫХ НА ОСНОВЕ

ВЕЙВЛЕТ - ПРЕОБРАЗОВАНИЯ.

3.1. Вводные замечания.

3.2. Статистическая модель изображения в вейвлет-области.

3.3. Алгоритм неэталонной оценки качества изображений стандарта JPEG2000.

3.3.1. Расчет неэталонного индекса качества.

3.3.2. Вычисление значений порогов.

3.3.3. Упрощение модели.

3.3.4. Оптимизация параметров НИК2000.

3.4. Результаты тестирования НИК2000.

3.5. Краткие выводы.

4. УЛУЧШЕНИЕ JPEG-ИЗОБРАЖБНИЙ НА ОСНОВЕ АЛГОРИТМА УДАЛЕНИЯ БЛОЧНОСТИ.

4.1. Вводные замечания.

4.2. Алгоритм уменьшения артефактов блочности.

4.2.1. Нахождение краев объектов на изображении.

4.2.2. Алгоритм постобработки для границ второго типа.

4.2.3. Алгоритм постфильтрации в пространстве ДКП границ второго и третьего типа.

4.2.4. Ограничение коэффициентов ДКП после процедуры постфильтрации.

4.3. Настройка параметров алгоритма удаления блочности.

4.4. Анализ работы алгоритма удаления блочности.

4.4.1. Анализ ПОСШ обработанного изображения.

4.4.2. Анализ НИБ обработанного изображения.

4.4.3. Визуальный анализ работы алгоритма.

4.4.4. Сравнение времени работы различных алгоритмов улучшения JPEG - изображений.

4.5. Краткие выводы.

Актуальность темы

Проводимые во всех технически развитых странах разработки алгоритмов и аппаратуры сокращения объема и рационального пакетирования видео-, аудио- и сопутствующей информации являются основой создания систем эффективного использования каналов связи, сохранения действующих частотных планов, высвобождения значительной части частотного ресурса для передачи потребителям дополнительных видов услуг — видеотелефона, мобильной и стационарной телеконференц-связи, многопрограммного интерактивного телевидения, телевидения высокой четкости, многопрограммного звукового вещания, цифрового кино. Разработка алгоритмов и соответствующей аппаратуры цифрового сжатия различных видов информации для их передачи по каналам связи как альтернативы аналоговым системам проводится уже более 20 лет. Был получен ряд важных результатов в плане разработки алгоритмов сжатия (включая стандарты JPEG (JPEG-2000), MPEG-1, MPEG-2, MPEG-4, Н.261, Н.263, H.264/AVC для статических и динамических изображений различного разрешения) [1-40, 103, 126, 127, 130].

Проблема создания высококачественной системы цифровой передачи видеоинформации - это главным образом проблема быстрого и эффективного ее сжатия - наиболее ресурсопотребляющей части всей системы [21-23]. Ее эффективность существенно влияет на качество воспроизводимой информации [1-3,24,36,40]. Кодирующее устройство решает сложные задачи в реальном времени и производит большое количество операций обработки, определяющих качество цифрового преобразования сигналов изображения и звукового сопровождения [1617, 26-27, 29, 40]. Декодер, как правило, менее сложен и должен получать и восстанавливать данные [36, 40].

Особенную важность подобные исследования приобрели в связи с переходом к цифровому телерадиовещанию, и в частности к многопрограммному цифровому телевидению, вызванным присоединением России к общеевропейской системе DVB (Распоряжение Правительства Российской Федерации от 25.05.2004 № 706-р «О внедрении в Российской Федерации европейской системы цифрового телевизионного вещания DVB»). Практически во всех странах Европы определены сроки полного перехода на цифровое вещание (в пределе до 2012 г.). Обоснование и сроки внедрения цифровых систем вещания в России приводятся в проекте Концепции федеральной целевой программы «Развитие телерадиовещания в Российской Федерации (2007-2015 гг.)» [1-3].

Значительный вклад в разработку теории и алгоритмов ЦОИ внесли как отечественные ученые Ю.В. Гуляев, Ю.И. Борисов, Ю.Б. Зубарев, М.И. Кривошеев, В.П. Дворкович, А.В. Дворкович, Л.П. Ярославский, В.А. Сойфер, Ю.С. Радченко, так и зарубежные - С. Митра, Р. Гонсалес, Р. Вудс, Т. Чан, А. Бовик, Ю. Неуво, Я. Астола, К. Егиазарян и др. [1-56, 66-75].

Алгоритмы сжатия занимают значительное место в теории цифровой обработки изображений [23, 39,40]. Связано это с тем, что изображения, представленные в цифровой форме, требуют для хранения довольно большого объема памяти, а при передаче их по каналам связи требуется значительное время [14,21-23,26,29,36]. Так, для изображения с разрешением 1280x1024 точек (типовое разрешение 19-дюймового монитора), с 24 битами на отсчет потребуется 1280x1024x24=3,75 Мбайт памяти. Чтобы передать его по типовому каналу со скоростью 128 Кбит/с, потребуется около четырех минут.

В то же время изображения содержат информацию, которая является избыточной, т.е. части памяти и полосы частот канала тратятся на нее. Алгоритмы сжатия уменьшают объем избыточной информации. Их можно разделить на два класса [36, 40, 77]: алгоритмы сжатия без потерь (рис. В. 1а); алгоритмы сжатия с потерями (рис. В. 16). а)

Алгоритмы сжатия с потерями г л г 1 г

Дискретное косинусное преобразование В ейв лет-преобразование Перспективные технологии сжатия

Стандарт JPEG Стандарт JPEG2000 Фрактальное кодирование Нейросетевые методы сжатия

Алгоритм SPIHT б)

Рис. В.1. Алгоритмы сжатия цифровых изображений: а) без потерь; б) с потерями

Алгоритмы сжатия без потерь основаны на исключении избыточной статистической информации. К ним относятся: кодирование длин серий (Run-Length Encoding, RLE), метод группового кодирования (Lempel-Ziv-Welch, LZW), хаффмановское кодирование, арифметическое кодирование и др. «Сжатие без потерь» означает, что процесс обратим, т.е. информацию можно восстановить при декодировании в первоначальном виде [2324,29, 40, 54].

Алгоритмы сжатия с потерями основаны на том, что в изображении содержится информация, слабо воспринимаемая человеческим глазом. Такой вид избыточности называется психофизиологической избыточностью [41,80]. Снижение такой избыточности состоит в исключении несущественных частей изображения, которые человеческий глаз не воспринимает в силу психофизиологических особенностей. Критериями исключения такой информации являются параметры рецепторов зрительного анализатора получателя видеосообщений. При этом часть информации безвозвратно теряется. Восстановить ее при декодировании невозможно [7172, 81].

Например, глаз человека не различает цвет мелких деталей изображения [80-82]. Следовательно, можно хранить только яркость деталей, а цветность отбросить и таким образом уменьшить объем информации.Этот метод давно применяется в телевидении. Разбиение непрерывного потока изображения на кадры также пример исключения психофизиологической избыточности [82, 160-161].

JPEG (Joint Photographic Expert Group - объединенная группа экспертов в области фотографии) - это первый международный стандарт ISO/IEC для сжатия неподвижных цифровых изображений [17, 124]. Целью алгоритма JPEG является сжатие изображений любого размера, в любых цветовых пространствах, при достижении оптимального баланса между коэффициентом компрессии и качеством декодированного изображения. Несмотря на широкую популярность стандарта JPEG в последние два десятилетия, развивающиеся интерактивные мультимедиа приложения в проводных и беспроводных коммуникациях, а также Интернет-приложения, потребовали новых возможностей, отсутствующих в JPEG [17]. Все это послужило основой для разработки и сертификации нового стандарта — JPEG2000, принятого на рубеже веков.

Алгоритм сжатия, используемый в стандарте JPEG2000, основан на вейвлет-разложении изображения [103]. Стандарт JPEG2000 показывает свою эффективность в широком спектре приложений: передача изображений в сети Интернет, цифровая фотография, создание цифровых библиотек, базы данных изображений, цветное копирование, сканирование, печать, компьютерная графика, обработка медицинских изображений, мобильная связь третьего поколения (3G), приложения клиент-сервер, электронная коммерция и др. [34, 103].

Отбрасывание части информации при использовании стандартов сжатия изображений JPEG и JPEG2000 делает актуальным вопрос об объективной оценке качества восстановленных изображений [40-43]. На современном этапе развития систем сжатия изображений существует несколько наиболее популярных критериев оценки их качества (рис. В.2) [29, 32-33].

Рис. В.2. Классификация критериев оценки качества изображений

Наиболее надежным и верным способом оценки качества изображения является субъективная экспертиза [16-21]. В самом деле, расчет средней экспертной оценки (Mean opinion score, MOS) долгое время считался наиболее надежным методом [29]. Схема проведения подобного эксперимента стандартизована и основывается на рекомендации Международного Союза Электросвязи [18]. Однако такой подход требует работы большой группы людей, дорог в практическом применении и, как правило, не подходит для использования в реальных ситуациях [26,29,37,41, 148].

Основной задачей разработки объективных систем оценки является создание алгоритма, который мог бы автоматически и с большой степенью достоверности оценить качество предложенных изображений [41-43]. Термин «достоверный» в данном случае означает, что такой алгоритм должен оценивать качество так, как усредненно оценила бы его группа экспертов. Очевидно, что развитие подобных алгоритмов несет в себе большой потенциал с точки зрения использования в реальных системах сжатия изображений [56]:

- Во-первых, такие алгоритмы могут использоваться для контроля качества в системах сжатия визуальной информации.

- Во-вторых, подобные алгоритмы найдут применение в оценке и сравнении различных стандартов сжатия изображений.

- В-третьих, они могут быть встроены в систему обработки и передачи визуальной информации с целью оптимизации параметров на различных этапах преобразования изображений.

Исторически сложилось так, что объективные методы для оценки качества основывались на простых математических выражениях, таких как среднеквадратичная ошибка (СКО) и пиковое отношение сигнал/шум (ПОСШ) [26,29,170-171]. Это объясняется сравнительно малой изученностью вопроса о работе зрительной системы человека (ЗСЧ) и отсутствием соответствующих статистических данных [41,71-73,146]. Также широкая распространенность данных метрик объясняется простотой в их вычислении. Относительно недавно были предложены более сложные в вычислении алгоритмы — универсальный индекс качества (УИК) и коэффициент структурного подобия (КСП), которые в ряде приложений показывают хорошую согласованность с субъективными экспертными оценками [70, 72-73].

Используемые сегодня метрики имеют один существенный недостаток — они требуют наличия изображения-оригинала (эталона), необходимого для проведения оценки. Однако на практике инженерам в подавляющем большинстве случаев приходится сталкиваться с ситуацией, когда эталонное изображение недоступно. В этом случае возникает необходимость в создании неэталонных критериев, способных оценивать качество изображения «вслепую» [41, 168-169, 173].

Задача неэталонной оценки качества изображений вызывает в последние годы повышенный интерес исследователей [41]. Большая часть предлагаемых алгоритмов разработана для конкретных типов априори известных искажений в изображении. Например, ряд критериев разработан для оценки изображений, имеющих размытую структуру [157]. В связи с бурным развитием мультисервисных сетей передачи информации, одной из перспективных областей применения неэталонных алгоритмов на сегодняшний день является оценка качества сжатых изображений и видеопоследовательностей [160-167]. Поэтому разработка неэталонных критериев оценки качества изображений применительно к системам сжатия визуальной информации представляет собой актуальную научно-техническую задачу.

Основной целью работы является улучшение характеристик систем сжатия статических изображений путем объективной оценки искажений, вносимых на этапе преобразования.

Для достижения указанной цели в диссертационной работе решаются следующие задачи:

- разработка неэталонных алгоритмов оценки качества изображений, сжатых на основе дискретного косинусного преобразования;

- разработка неэталонных алгоритмов оценки качества изображений, сжатых на основе вейвлет-преобразования;

- проведение эксперимента по оценке корреляции между предложенными объективными критериями качества сжатых изображений со средними экспертными оценками.

- улучшение качества сжатых изображений стандарта JPEG путем удаления артефактов блочности.

Методы исследования. При решении поставленных задач использовались современные методы цифровой обработки изображений, математического анализа, теории вероятностей, математической статистики, линейной алгебры. Для практической реализации алгоритмов применялись современные численные методы и методы объектно-ориентированного программирования на языке С++.

Достоверность полученных научных результатов. Достоверность полученных научных результатов обусловлена применением адекватного математического аппарата, подтверждается их согласованностью с результатами проведенного компьютерного моделирования и сопоставлением полученных результатов с научными данными, известными из российской и зарубежной литературы.

Научная новизна. В рамках данной работы получены следующие новые научные результаты.

1. Разработаны алгоритмы неэталонной оценки качества сжатых изображений стандарта JPEG, основанные на измерении уровня блочности в восстановленном изображении.

2. Предложен алгоритм неэталонной оценки качества сжатых изображений стандарта JPEG2000, основанный на изменениях в статистической модели изображения, вызванных квантованием вейвлет-коэф фициентов.

3. Разработан и исследован алгоритм удаления блочности в изображениях, сжатых на основе дискретного косинусного преобразования.

Практическая ценность

1. Разработаны неэталонные алгоритмы оценки качества изображений, сжатых на основе дискретного косинусного и вейвлет-преобразований.

2. Проведен масштабный эксперимент по оценке корреляции между объективными критериями качества сжатых изображений со средними экспертными оценками.

3. Предложенные неэталонные алгоритмы оценки качества могут быть использованы в системах обработки и передачи визуальной информации, цифрового телевидения, радиолокации, связи, классификации и распознавания образов и в других прикладных задачах цифровой обработки изображений.

Результаты работы внедрены в соответствующие разработки Ярославского филиала ОАО «МобильныеТелеСистемы», ЗАО «ИТ-Центр-Ярославль», г. Ярославль.

Отдельные результаты диссертационной работы внедрены в учебный процесс ЯрГУ им. П.Г. Демидова в рамках дисциплины «Цифровая обработка изображений», а также в научно-исследовательские работы при выполнении исследований в рамках гранта РФФИ № 60-08-00782 «Развитие теории цифровой обработки сигналов и изображений в технических системах» (2006-2008 гг.).

Все результаты внедрения подтверждены соответствующими актами.

На защиту диссертации выносятся следующие основные результаты:

1. Алгоритмы неэталонной оценки качества изображений, сжатых на основе дискретного косинусного преобразования.

2. Алгоритм неэталонной оценки качества изображений, сжатых на основе вейвлет-преобразования.

3. Результаты сопоставления предложенных объективных неэталонных оценок качества сжатых изображений со средними экспертными оценками.

4. Алгоритм удаления артефактов блочности из изображений стандарта JPEG.

Апробация работы. Результаты работы обсуждались на следующих научно-технических семинарах и конференциях:

1. Восьмая - десятая международная конференция и выставка «Цифровая обработка сигналов и ее применение» (г. Москва, 2006 — 2008 гг.).

2. Третья международная научно-техническая конференция «Современные телевизионные технологии. Состояние и направления развития» (г. Москва, МНИТИ, 2006 г.).

3. Юбилейная научно-техническая конференция «Инновации в радиотехнических информационно-телекоммуникационных технологиях» (г. Москва, МАИ, 2006 г.).

4. Четырнадцатая - пятнадцатая международная научно-техническая конференция «Информационные средства и технологии» (г. Москва, МЭИ, 2006-2007 гг.).

5. Девятая — десятая Всероссийская научная конференция «Информационные технологии в электротехнике и электроэнергетике» (г. Чебоксары, 2006-2007 гг.)

6. 65-я научная сессия, посвященная Дню Радио (г. Москва, 2007 г.).

7. Третья Всероссийская научная конференция «Проектирование научных и инженерных приложений в среде MATLAB» (г. Санкт-Петербург, 2007 г.)

8. Пятнадцатая международная научно-техническая конференция «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций» (г. Рязань, 2008 г.).

Публикации. По теме диссертации опубликовано 19 научных работ, из них 2 статьи в журналах, рекомендованных ВАК («Цифровая обработка сигналов», «Проектирование и технология электронных средств»), 2 статьи в сборнике научных трудов физического факультета ЯрГУ и 15 докладов на научных конференциях.

Структура и объем работы. Диссертация состоит из введения, четырех разделов, заключения, списка использованных источников, содержащего 188 наименований, и 5 приложений. Она изложена на 181 странице машинописного текста, содержит 62 рисунка и 7 таблиц.

Основные результаты диссертации можно сформулировать в следующем виде.

1. Разработка алгоритма объективного неэталонного измерения качества - весьма трудная задача. Это связано с неполным пониманием работы зрительной системы человека. На сегодняшний день считается, что эффективная неэталонная модель оценки качества изображения возможна только при наличии априорной информации о типах его искажений.

2. Проведенный анализ современных алгоритмов сжатия относительно объективных эталонных оценок ПОСШ и УИК выявил преимущество методов, построенных на основе вейвлет-преобразования. При одинаковом коэффициенте сжатия алгоритм SPIHT сопоставим с алгоритмом JPEG2000, оценки ПОСШ и УИК различаются менее чем на 5%.

3. Проигрыш в качестве JPEG-изображений при невысоких коэффициентах сжатия более заметен по шкале ПОСШ, чем по шкале УИК. При увеличении коэффициента сжатия (К > 25) разница в качестве становится более заметной и составляет более 2 дБ по шкале ПОСШ и более 15% по шкале УИК.

4. При восстановлении сжатых изображений наиболее отчетливо проявляются следующие два типа искажений — блочность (для стандарта JPEG) и размытие границ (для стандарта JPEG2000). Корректная количественная оценка этих артефактов и есть главная идея неэталонной оценки качества сжатых изображений.

5. Предлагаемые алгоритмы неэталонной оценки качества JPEG-изображений позволяют производить оценку качества в ситуации отсутствия изображения-оригинала, что существенно расширяет потенциальную область их использования в приложениях цифровой обработки изображений.

6. Разработанный алгоритм НИБ работает в пространстве ДКП-коэффициентов, что позволяет сократить вычислительные затраты на оценку качества изображения и использовать такой алгоритм в задачах удаления блочности из JPEG-изображений.

7. Предлагаемый алгоритм неэталонной оценки качества НИК2000 основан на изменениях в статистической модели изображения, вызванных квантованием вейвлет-коэффициентов при сжатии изображения алгоритмом JPEG2000.

8. Путем анализа статистических характеристик изображений из обучающего набора (содержащего как оригинальные изображения, так и их копии, сжатые с различными степенями алгоритмом JPEG2000) получены оптимальные параметры алгоритма НИК2000.

9. Проведенный визуальный эксперимент показал, что с точки зрения коррелированности со средними экспертными оценками для стандарта JPEG все предлагаемые неэталонные критерии значительно превосходят эталонную оценку ПОСШ (30-50%) и находятся в хорошей корреляции с оценкой УИК. Для стандарта JPEG2000 преимущество неэталонного критерия НИК2000 не так очевидно и составляет в среднем 3-5%.

10. Разработан алгоритм удаления артефактов блочности из JPEG-изображений. Оптимизация параметров алгоритма АУБ позволяет увеличить ПОСШ восстановленных изображений в среднем на 1-2 дБ.

11. Результаты восстановления сжатых изображений алгоритмом АУБ демонстрируют повышение качества изображений в среднем на 0,5-1 дБ по шкале ПОСШ.

12. Сравнительный анализ временных затрат на декодирование изображений показывает, что среднее время работы, затраченное модифицированным алгоритмом АУБ JPEG-декодером, примерно в 6 раз меньше, чем у декодера с АФ и сопоставимо с классическим JPEG-декодером.

Предложенные алгоритмы неэталонной оценки качества могут быть использованы в системах обработки и передачи визуальной информации, цифрового телевидения, распознавания образов и слежения за объектами, гранулометрического анализа и в других прикладных задачах цифровой обработки изображений.

ЗАКЛЮЧЕНИЕ

1. Борисов Ю.И., Дворкович В.П., Зубарев Ю.Б. Технические проблемы и перспективы внедрения цифрового телевидения и радиовещания в России. Часть 1 // Broadcasting. Телевидение и радиовещание, 2007. №1. С. 22-27.

2. Борисов Ю.И., Дворкович В.П., Зубарев Ю.Б. Технические проблемы и перспективы внедрения цифрового телевидения и радиовещания в России. Часть 2 // Broadcasting. Телевидение и радиовещание, 2007. №2. С. 14-18.

3. Зубарев Ю.Б., Дворкович В.П., Дворкович А.В. Проблемы и перспективы внедрения информационных мультимедийных систем в России // Электросвязь, 2004. №10. С. 11-16.

4. Цифровая обработка изображений // ТИИЭР, 1972. Т. 60, №7.

5. Распознавание образов и обработка изображений // ТИИЭР, 1979. Т. 67, №10.

6. Обработка изображений // ТИИЭР, 1981. Т. 69, №5.

7. Ярославский Л.П. Введение в цифровую обработку изображений. — М.: Советское радио, 1979.

8. Yaroslavsky L. Digital Picture Processing An Introduction // Springer Verlag, 1985.

9. Yaroslavsky L. Eden M. Fundamentals of Digital Optics // Birkhauser, Boston, 1996.

10. Даджион Д., Мерсеро P. Цифровая обработка многомерных сигналов. — М.: Мир, 1988.

11. Чобану М.К., Миронов В.Г. Состояние и перспективы развития методов цифровой обработки многомерных сигналов. Часть 1. Теория // Электричество, 2002. №11. С. 58-69.

12. Чобану М.К. Состояние и перспективы развития методов цифровой обработки многомерных сигналов. Часть 2. Приложения // Электричество, 2003. №.1. С. 58-73.

13. Прэтт У. Цифровая обработка изображений. — М.: Мир, 1982.

14. Павлидис Т. Алгоритмы машинной графики и обработки изображений — М.: Радио и связь, 1986.

15. Чобану М.К., Черников А.В. Современный метод сжатия изображений на базе вейвлет-преобразования и иерархического алгоритма кодирования // Цифровая обработка сигналов, 2005. №3. С. 40-59.

16. Цифровая обработка телевизионных и компьютерных изображений / Под ред. Зубарева Ю.Б. и Дворковича В.П. М.: 1997.

17. Wallage G. The JPEG Still Picture Compression Standard // Communications of the ACM, 1991. V. 34, №4. P. 31-44.

18. Recommendation ITU-R BT.500-11. Methodology for the subjective assessment of the quality of television pictures, 2002.

19. Шлихт Г.Ю. Цифровая обработка цветных изображений. — М.: Эком, 1997.

20. Сойфер В.А., Сергеев В.В., Попов С.Б., Мясников В.В. Теоретические основы цифровой обработки изображений: Учебное пособие / Самарский государственный аэрокосмический университет им. С.П. Королева Самара, 2000.

21. Методы компьютерной обработки изображений / Под ред. Сойфера В.А. 2-е изд., испр. — М.: Физматлит, 2003.

22. Грузман И.С., Киричук B.C., Косых В.П., Перетягин Г.И., Спектор А.А. Цифровая обработка изображений в информационных системах: Учебное пособие. Новосибирск: НГТУ, 2000.

23. Ватолин Д., Ратушняк А., Смирнов М., Юкин В. Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео. М.: Диалог-МИФИ, 2002.

24. Цифровое преобразование изображений / Под редакцией Быкова Р.Е. -М.: Горячая линия Телеком, 2003.

25. Абламейко С.В., Лагуновский Д.М. Обработка изображений: технология, методы, применение. — Минск: Амалфея, 2000.

26. Приоров А.Л., Хрящев В.В., Апальков И.В. Цифровая обработка изображений: Учеб. пособие / Яросл. гос. университет. Ярославль, 2007.

27. Приоров А.Л., Ганин А.Н., Хрящев В.В. Цифровая обработка изображений: Учеб. пособие / Яросл. гос. университет Ярославль, 2001.

28. Красильников Н.Н. Цифровая обработка изображений. — М.: Вузовская книга, 2001.

29. Гонсалес Р., Вудс Р. Цифровая обработка изображений М.: Техносфера, 2005.

30. Гонсалес Р., Вудс Р., Эддинс С. Цифровая обработка изображений в среде MATLAB. М.: Техносфера, 2006.

31. Быстрые алгоритмы в цифровой обработке изображений / Под ред. Хуанга Т.С. М.: Радио и связь, 1984.

32. Pratt W. Digital Image Processing // Third Edition. Wiley, 2001.

33. Jahne B. Practical Handbook on Image Processing for Scientific and Technical Applications // Second edition. CRC, 2004.

34. Chan Т., Shen J. Image Processing and Analysis Variational, PDE, wavelet, and stochastic methods // SIAM, 2005.

35. Umbauqh S. Computer Imaging: Digital Image Analysis and Processing // CRC, 2005.

36. Woods J. Multidimensional Signal, Image, and Video Processing and Coding // Academic Press, 2006.

37. Bovik A. The Handbook of Image and Video Processing (Communication, Networking and Multimedia) // Academic Press, 2005.

38. Jae S. Two-Dimensional Image and Signal Processing // Prentice Hall, 1990.

39. Russ J. The image processing handbook I ICRC, 2006.

40. Сэл омой Д. Сжатие данных, изображений и звука. М.: Техносфера, 2004.

41. Wang Z., Bovik A. Modern Image Quality Assessment. // Synthesis Lectures on Image. Video & Multimedia Processing. Morgan & Claypool, 2006.

42. Acharya Т., Ray A. Image Processing Principles and Application // New Jersey: John Wiley & Sons, Inc. Hoboken, 2005.

43. Aubert G., Kornprobst P. Mathematical Problems in Image Processing: Partial Differential Equations and the Calculus of Variations // Springer Verlag, 2002.

44. Ланнэ A.A. Синтез систем нелинейной цифровой обработки сигналов // Изв. вузов. Радиоэлектроника, 1985. Т. 28, №8. С. 7-17.

45. Щербаков М.А. Нелинейная фильтрация сигналов и изображений: Учеб. пособие. Пенза: ПТУ, 1999.

46. Pitas I., Venetsanopoulos A. Nonlinear Digital Filters: Principles and Applications. Boston, MA: Kluwer, 1990.

47. Dougherty E., Astola J. Nonlinear Filters for Image Processing / Wiley-IEEE Press, 1999.

48. Arce G. Nonlinear Signal Processing A Statistical Approach // New Jersey: John Wiley & Sons, Inc., Hoboken, 2005.

49. Mitra S., Sicuranza G. Nonlinear Image Processing // Academic Press, 2000.

50. Кравченко В.Ф., Рвачев B.A. "Wavelet" системы и их применение в обработке сигналов // Зарубежная радиоэлектроника, 1996. №4. С. 3-20.

51. Добеши И. Десять лекций по вейвлетам. Ижевск: НИЦ «Регулярная и хаотическая динамика», 2001.

52. Малла С. Вейвлеты в обработке сигналов: Пер. с англ. М.: Мир, 2005.

53. Haykin S., Adaptive Filter Theory. Englewood Cliffs, NJ: Prentice-Hall, 1991.

54. Cover T.M., Thomas J.A. Elements of Information Theory. Wiley-Interscience, New York, 1991.

55. Said A., Pearlman W. A new, fast, and efficient image codec based on set partitioning in hierarchical Trees // IEEE Trans, on Circ. and Syst. for Video Tech, 1996. V. 6, P. 243-250.

56. Pappas Т., Safranek R., Perceptual criteria for image quality evaluation In Handbook of Image and Video Processing (A. Bovik, ed.). Academic Press, 2000.

57. Haykin S. Neural Networks: A Comprehensive Foundation. -РУС

58. Осовский С. Нейронные сети для обработки информации. М.: Финансы и статистика, 2002.

59. Галушкин А.И. Теория нейронных сетей / Сер. Нейрокомпьютеры и их применение. Кн. 1.- М.: ИПРЖР, 2000.

60. Балухто А.Н. Нейросетевые системы обработки информации и их применение в космической технике. М.: СИП РИА, 2000.

61. Головко В.А. Нейронные сети: обучение, организация и применение. — М.: ИПРЖР, 2001.

62. Kosko В. Neural Network for Signal Processing / Prentice-Hall, 1992.

63. Нейросетевые алгоритмы обработки изображений // Итоги науки и техники. Сер. Физические и математические модели нейронных сетей. Т. З.-М.: ВИНИТИ, 1991.

64. Нейрокомпьютеры в системах обработки изображений. Кн. 7: Коллективная монография / Общая редакция А.И. Галушкина. М.: Радиотехника, 2003.

65. Нейрокомпьютеры в системах обработки сигналов. Кн. 9: Коллективная монография / Под ред. Ю.В. Гуляева и А.И. Галушкина. М.: Радиотехника, 2003.

66. Eskicioglu A., Fisher P. Image quality measures and their performance // IEEE Trans. Communications, 1995. V. 43, №12. P. 2959-2965.

67. Арляпов C.A., Приоров A.JI., Хрящев B.B. Модифицированный критерий оценки качества восстановленных изображений // Цифровая обработка сигналов, 2006. №2. С. 27-33.

68. Радченко Ю.С., Радченко Т.А., Булыгин А.В. Сравнительный анализ алгоритмов сжатия изображений на основе дискретного косинусного (DCT) и чебышевского (GDCT) преобразований // Цифровая обработка сигналов, 2006. №4. С. 15-19.

69. Egiazarian К., Jaakko A., Ponomarenko N., Lukin V., Battisti F., Carli M.i

70. Two new full-reference quality metrics based on HVS // Proc. Of the 2 int.workshop on video process, and quality metrics for consumer electronics,1. VPQM, Jan. 2006.

71. Илюшкина H.C., Чобану M.K. Три эталонных критерия оценки качества сжатия изображений // Доклады 10-й Междунар. конф. «Цифровая обработка сигналов и ее применение» (DSPA-2008), М., 2008. Т. 2,С. 521-524.

72. Wang Z., Bovik A., Sheikh Н., Simoncelli Е. Image quality assessment: from error visibility to structural similarity // IEEE Transactions on Image Processing, 2004. V. 13, №4. P. 600-612.

73. Kotani K., Gan Q., Miyahara M., Algazi V.R. Objective picture quality scale for color image coding // Proc. IEEE Int. Conf. on Image Processing, Oct. 1995. V. 3, P. 133-136.

74. Mrak M., Grgic S., Grgic M. Picture quality measures in image compression system // Proc. IEEE region 8 Int. Conf. on Computer as a Tool, EUROCON 2003, Sep. 2003. V. 1, P. 233-236.

75. Сай С.В. Оценка четкости изображения в стандарте JPEG // Доклады 2-й Междунар. конф. «Цифровая обработка сигналов и её применение» (DSPA-2000), М., 2000. Т. 2, С. 93.

76. Ватолин Д.С. Алгоритмы сжатия изображений. — М.: Московский государственный университет, 2000.

77. Miyahara М., Kotani К., Algazi V.R. Objective picture quality scale (PQS) for image coding // IEEE Trans. Communications, Sept. 1998. V. 46, №9. P. 1215-1225.

78. Liu C.-M., Lin J.-Y., Wu K.-G., Wang C.-N. Objective image quality measure for block-based DCT coding // IEEE Trans. Consumer Electronics, June 1997. V. 43, №3. P. 511-516.

79. Wandell B.A. Foundations of Vision. Sinauer Associates, Inc., 1995.

80. Geisler W.S, Banks M.S. Visual performance. In M. Bass (Ed.), Handbook of Optics. McGraw-Hill, 1995.

81. L.K. Cormack. Computational models of early human vision. In A.C Bovik (Ed.), Handbook of Image and Video Processing, 2nd ed. Elsevier Academic Press, April 2005.

82. Wang, Z., Bovik A., Evans B.L. Blind measurement of blocking artifacts in images // Proc. IEEE Int. Conf. on Image Processing, Vancouver, Canada, Sept. 2000. V. 3, P. 981-984.

83. Sheikh H.R., Bovik A., de Veciana G. An information fidelity criterion for image quality assessment using natural scene statistics // IEEE Trans, on Image Processing, Dec. 2005. V. 14, №12. P. 2117-2128.

84. Fuhrmann D.R., Baro J.A., Cox Jr J.R. Experimental evaluation of psychophysical distortion metrics for JPEG-encoded images // Journal of Electronic Imaging, Oct. 1995. V. 4, P. 397-406.

85. Eckert M.P., Bradley A.P. Perceptual quality metrics applied to still image compression. Signal Processing, Nov. 1998. V. 70, №3. P. 177-200.

86. Meesters L., Martens J.-B. A single-ended blockiness measure for JPEG coded images. Signal Processing, 2002. V. 82, P. 369-387.

87. Yamashita Т., Kameda M., Miyahara M. An objective picture quality scale for video images (PQSvideo) definition of distortion factors // Proc. SPIE, 2000. V. 4067, P. 801-809.

88. Karunasekera S.A., Kingsbury N.G. A distortion measure for blocking artifacts in images based on human visual sensitivity // IEEE Trans, on Image Processing, June 1995. V. 4, №6. P. 713-724.

89. Watson A. Visually optimal DCT quantization matrices for individual images //Proc. Data Compression Conf, 1993. P. 178-187.

90. Watson A. DCTune: A technique for visual optimization of DCT quantization matrices for individual images // Soc. for Information Display Digest of Technical Papers, 1993. V. 24, P. 946-949.

91. Ratnakar V., Livny M. Efficient algorithm for optimizing DCT quantization // IEEE Transactions on Image Processing, Feb. 2000. V. 9, №2. P. 267-270.

92. Monro D., Sherlock B. Optimum DCT quantization // Proc. Data Compression Conf. 1993, P. 188-194.

93. Wu S., Gersho A. Rate-constrained picture-adaptive quantization for JPEG baseline coders // Proc. Int. Conf. Acoustics, Speech, Signal Processing, Apr. 1993. V. 5, P. 389-392.

94. Ratnakar V., Livny M. Extending RD-OPT with global thresholding for JPEG optimization//Proc. Data Compression Conf, 1996. P. 379-386.

95. Crouse M., Ramchandran K. JPEG optimization using an entropy-constrained quantization framework // Proc. Data Compression Conf, 1995. P. 342-351.

96. Rao K.R., Yip P. Discrete Cosine Transform: Algorithms, Advantages, Applications. Academic Press, New York, 1990.

97. Safranek R., Johnston J.D. A perceptually tuned sub-band image coder with image dependent quantization and post-quantization data compression // Proc. IEEE Int. Conf. Acoust., Speech, and Signal Processing, May 1989. P. 19451948.

98. Ahumada A., Jr., Peterson H. Luminance-model-based DCT quantization for color image compression // Proc. SPIE Human Vision, Visual Processing and Digital Display III, Aug. 1992. V. 1666, P. 365-374.

99. Peterson H., Ahumada A., Watson A. The visibility of DCT quantization noise // Soc. for Information Display. Digest of Tech, 1993. V. 24, P. 942945.

100. Shapiro J.M. Embedded image coding using zerotrees of wavelets coefficients // IEEE Trans. Signal Process., Dec. 1993. V. 41, №12. P. 3445-3462.

101. Said A., Pearlman W.A. A new, fast, and efficient image codec based on set partitioning in hierarchical trees // IEEE Trans. Circuits Syst. Video Technol., Dec. 1996. V. 6, №6. P. 243-250.

102. Taubman D.S., Marcellin M.W. JPEG2000: Image Compression Fundamentals, Standards, and Practice // Norwell, MA: Kluwer, 2001.

103. Podilchuk C., Jayant N., Farvardin N. Three-dimensional subband coding of video // IEEE Trans. Image Process., Feb. 1995. V. 4, №2. P. 125-139.

104. Shen K.S., Delp E.J. Wavelet based rate scalable video compression // IEEE Trans. Circuits Syst. Video Technol., Jan. 1999. V. 9, №1, P. 109-122.

105. Cho S., Pearlman W.A. A full-featured, error-resilient, scalable wavelet video codec based on the set partitioning in hierarchical trees (SPIHT) algorithm // IEEE Trans. Circuits Syst. Video Technol., Mar. 2002. V. 12, №3. P. 157171.

106. Marziliano P., Dufaux F., Winkler S., Ebrahimi T. Perceptual blur and ringing metrics: Application to JPEG2000 // Signal Process.: Image Commun., Feb. 2004. V. 19, №2. P. 163-172.

107. Li X. Blind image quality assessment // Proc. IEEE Int. Conf. Image Processing, Sept. 2002. V. 1, P. 449^152.

108. Simoncelli E.P. Statistical models for images: Compression, restoration and synthesis // IEEE Asilomar Conf. Signals, Systems, and Computers, Nov. 1997. P. 673-678.

109. Buccigrossi R.W., Simoncelli E.P. Image compression via joint statistical characterization in the wavelet domain // IEEE Trans. Image Process., Dec. 1999. V. 8, №12. P. 1688-1701.

110. Hancock P.J.B., Baddeley R.J., Smith L.S. The principal components of natural images // Network: Comput. Neur. Syst., 1992. V. 3, P. 61-70.

111. Wainwright M.J., Simoncelli E.P., Wilsky A.S. Random cascades on wavelet trees and their use in analyzing and modeling natural images // Appl. Comput. Harmon. Anal., 2001. V. 11, P. 89-123.

112. Lee A.B., Mumford D., Huang J. Occlusion models for natural images: A statistical study of a scale-invariant dead leaves model // Int J. Comput. Vis., 2001. V. 41, №1/2. P. 35-59.

113. Пб.МШфак M.K., Kozintsev I., Ramachandran K., Moulin P. Lowcomplexity image denoising based on statistical modeling of wavelet coefficients // IEEE Signal Process. Lett., Dec. 1999. V. 6, №12. P. 300-303.

114. Portilla J., Simoncelli E.P. A parametric texture model based on joint statistics of complex wavelet coefficients // Int. J. Comput. Vis., 2000. V. 40, №1. P. 49-71.

115. Lam E.Y., Goodman J. W. A mathematical analysis of the DCT coefficient distributions for images // IEEE Trans. Image Process., Oct. 2000. V. 9, №10, P. 1661-1666.

116. Field DJ. Relations between the statistics of natural images and the response properties of cortical cells // J. Opt. Soc. Amer., 1987. V. 4, №12, P. 23792394.

117. Srivastava A., Lee A.B., Simoncelli E.P., Zhu S.-C. On advances in statistical modeling of natural images // J. Math. Imag. Vis., 2003. V. 18, P. 17-33.

118. Meesters L., Martens J.-B. A single-ended blockiness measure for JPEG-coded images// Signal Process., 2002. V. 82, P. 369-387.

119. Watson A., Yang G.Y., Solomon J.A., Villasenor J. Visibility of wavelet quantization noise // IEEE Trans, on Image Processing, Aug. 1997. V. 6, №8. P. 1164-1175.

120. Lai Y. K., Kuo C.-C. J. A Haar wavelet approach to compressed image quality measurement // Journal of Visual Communication and Image Representation, Mar. 2000. V. 11, P. 17-40.

121. Pennebaker W., Mitchell J. JPEG still image data compression standard // New York, Van Nostrand, 1993.

122. Mitchell J.L., Pennebaker W.B., Fogg C.E., LeGall D.J. MPEG video compression standard // New York, Chapman & Hall, 1997.

123. Recommendation ITU-T H.261. Video codecs for audiovisual services at p x 64kb/s, Mar. 1993.

124. Recommendation ITU-T H.263. Video coding for low bitrate communication,1998.

125. Pearson D. Whybray M. Transform coding of images using interleaved blocks //Proc. Inst. Elect. Eng., Aug. 1984. V. 131, P. 466-472.

126. Zhang Y., Pickholtz R., Loew M. A new approach to reduce the blocking effect of transform coding // IEEE Trans. Commun., Feb. 1993. V. 41, P. 299302.

127. MPEG4 video verification model version 15.0, ISO/IEC/JTC1/SC29/WG11,1999.

128. Yang Y., Galatsanos N.P., Katsaggelos A.K. Regularized reconstruction to reduce blocking artifacts of block discrete cosine transform compressedimages // IEEE Trans. Circuits Syst. Video Technol., Dec. 1993. V. 3, P. 421432.

129. Zakhor A. Iterative procedure for reduction of blocking effects in transform image coding // IEEE Trans. Circuits Syst. Video Technol., Mar. 1992. V. 2, P. 91-95.

130. Stevenson R.L. Reduction of coding artifacts in transform image coding // in Proc. IEEE Int. Conf. Acoustics, Speech, and Signal Processing, (Minneapolis, MN), Mar. 1993. V. 5, P. 401-404.

131. Coudoux F.X., Gzalet M., Corlay P. Reduction of blocking effect in DCT-coded images based on a visual perception criterion // Signal Processing: Image Communication, 1998. V. 11, P. 179-186.

132. Jeon В., Jeong J. Blocking artifacts reduction in image compression with block boundary discontinuity criterion // IEEE Trans. Circuits Syst. Video Technol., June 1998. V. 8, P. 345-357.

133. Zeng B. Reduction of blocking effect in DCT-coded images using zero-masking techniques // Signal Processing, 1999. V. 79, P. 205-211.

134. Chen Т., Wu H.R., Qiu B. Adaptive post filtering of transform coefficients for the reduction of blocking artifacts // IEEE Trans. Circuits Syst. Video Technol., May 2001. V. 11, P. 594-602.

135. Chang S.-F., Messerschmitt D. G. Manipulation and compositing of MC-DCT compressed video // IEEE J. Select. Areas Commun., Jan. 1995. V. 13, P. 111.

136. Merhav N., Bhaskaran V. Fast algorithm for DCT-domain image down-sampling and for inverse motion compensation // IEEE Trans. Circuits Syst. Video Technol., June 1997. V. 7, P. 468-476.

137. Wang Z., Sheikh H. R., Bovik A. No-reference perceptual quality assessment of JPEG compressed images // Proc. IEEE Int. Conf. on Image Processing, Sept. 2002. V. 1, P. 477 480.

138. Song J., Yeo B.-L. A fast algorithm for DCT-domain inverse motion compensation based on shared information in a macroblock // ШЕЕ Trans. Circuits Syst. Video Technol., Aug. 2000. V. 10, P. 767-775.

139. Liu S., Bovik A.C. Look-up-table based DCT-domain inverse motion compensation // in Proc. IEEE Int. Conf. Image Proc., Thessaloniki, Greece, Oct. 2001. P. 965-968.

140. Тео P.C., Heeger D.J. Perceptual image distortion // Proc. IEEE Int. Conf. on Image Processing, 1994. P. 982-986.

141. Daly S. The visible difference predictor: An algorithm for the assessment of image fidelity// Proc. SPIE, 1992. V. 1616, P. 2-15

142. Wang Z., Bovik A. A universal image quality index // IEEE Signal Processing Letters, Mar. 2002. V. 9, №3. P. 81-84.

143. Wang Z., Bovik A., Lu L. Why is image quality assessment so difficult? // Proc. IEEE Int. Conf. Acoust., Speech, and Signal Processing, Orlando, May 2002. V. 4, P. 3313-3316.

144. Rajashekar U., Cormack L.K., Bovik A. Image features that draw fixations // Proc. IEEE Int. Conf. on Image Processing, Sept. 2003. V. 3, P. 313-316.

145. Sheikh H.R., Sabir M.F., Bovik A. An evaluation of recent full reference image quality assessment algorithms // IEEE Trans, on Image Processing, 2005.

146. Sheikh H.R., Bovik A. Image information and visual quality // IEEE Trans, on Image Processing, 2006. V. 15, №2. P. 430-444.

147. Wu H.R., Yuen M. A generalized block-edge impairment metric for video coding // IEEE Signal Processing Letters, Nov. 1997. V. 4, №11. P. 317-320.

148. Wang Z., Wu G., Sheikh H.R., Simoncelli E.P., Yang E.-H., Bovik A. Quality-aware images // IEEE Trans. Image Processing, June 2006. V. 15, №6. P. 1680-1689.

149. Avcibas I., Sankur В., Sayood K. Statistical evaluation of image quality measures // Journal of Electronic Imaging, Apr. 2002. V. 11, P. 206-223.

150. Xu W., Hauske G. Picture quality evaluation based on error segmentation // Proc. SPIE, 1994. V. 2308, P. 1454-1465.

151. Piella G., Heijmans H.J.A.M. A new objective quality measure for image fusion // Proc. IEEE Int. Conf. on Image Processing, Barcelona, 2003.

152. Farrell J.E., Xiao F., Catrysse P., Wandell B.A. A simulation tool for evaluating digital camera image quality // Proc. SPIE Electronic Imaging, Santa Clara, Jan. 2005.

153. Nilsson F. Objective quality measures for halftoned images // Journal of Optical Society of America A, Sept. 1999. V. 16, №9. P. 2151-2162.

154. Lee W.-H., Lai S.-H., Chen C.-L. Iterative blind image motion deblurring via learning a no-reference image quality measure // Proc. IEEE Int. Conf. Image Processing., ICIP 2007. V. 4, P. 405-408.

155. Damera-Venkata N., Kite T.D., Geisler W.S., Evans B.L., Bovik A. Image quality assessment based on a degradation model // IEEE Trans, on Image Processing, Apr. 2000. V. 4, №4. P. 636-650.

156. Zeng W., Daly S., Lei S. An overview of the visual optimization tools in JPEG2000 // Signal Processing: Image Communication, Jan 2002. V. 17, №1. P. 85-104.

157. Lee S., Pattichis M.S., Bovik A. Foveated video quality assessment // IEEE Trans. Multimedia, Mar. 2002. V. 4, №1. P. 129-132.

158. Webster A.A., Jones C.T., Pinson M.H., Voran S.D., Wolf S. An objective video quality assessment system based on human perception // Proc. SPIE, 1993. V. 1913, P. 15-26.

159. Watson A.B., Hu J., McGowan III J.F. DVQ: A digital video quality metric based on human vision // Journal of Electronic Imaging, 2001. V. 10, №1. P. 20-29.

160. Tan K.T., Ghanbari M. A multi-metric objective picture-quality measurement model for MPEG video // IEEE Trans. Circuits and Systems for Video Tech., Oct. 2000. VI10, №7. P. 1208-1213.

161. Yu Z., Wu H.R., Winkler S., Chen T. Vision-model — based impairment metric to evaluate blocking artifact in digital video // Proc. IEEE, Jan. 2002. V. 90, №1. P. 154-169.

162. Wang Z., Sheikh H.R., Bovik A. Objective video quality assessment The Handbook of Video Databases: Design and Applications (B. Furht and O. Marques ed.). CRC Press, Sept. 2003. P. 1041-1078.

163. Gastaldo P., Rovetta S., Zunino R. Objective assessment of MPEG-video quality: a neural-network approach // Proc. IJCNN, 2001. V. 2, P. 1432-1437.

164. Tan K.T, Ghanbari M. Frequency domain measurement of blockiness in MPEG-2 coded video // Proc. IEEE Int. Conf. Image Processing., Sept. 2000. V. 3,P. 977-980.

165. Приоров A.JI., Саутов Е.Ю., Хрящев B.B. Неэталонная оценка качества JPEG изображений//Цифровая обработка сигналов, 2007. №3. С. 1519.

166. Саутов Е.Ю., Хрящев В.В. Разработка и анализ алгоритма неэталонной оценки качества сжатых изображений // Проектирование и технология электронных средств, 2007. №2. С. 26-29.

167. Бекренев В.А., Саутов Е.Ю., Хрящев В.В. Новый подход к оценке качества JPEG — изображений // Физический вестник ЯрГУ им. П.Г. Демидова: сб. науч. тр., Ярославль, 2006. С. 90-97.

168. Абдуллоев А. А., Саутов Е.Ю. К вопросу об оценке качества восстановленных изображений // Актуальные проблемы физики: сб. науч. тр. молодых ученых, аспирантов и студентов, выпуск 6, Ярославль, 2007. С. 7-14.

169. Бухтояров С.С., Арляпов С.А., Саутов Е.Ю., Хрящев В.В. Модифицированный критерий оценки качества восстановленных изображений // Доклады 8-й Междунар. конф. «Цифровая обработка сигналов и ее применение» (DSPA-2006), М., 2006. Т. 2, С. 413-416.

170. Бекренев В.А., Куйкин Д.К., Саутов Е.Ю. Алгоритм неэталонной оценки качества JPEG изображений // Доклады 9-й Междунар. конф. «Цифроваяобработка сигналов и ее применение» (DSPA-2007), М., 2007. Т. 2,С. 312-315.

171. Куйкин Д.К., Саутов Е.Ю., Хрящев В.В. Анализ использования нейронной сети в задаче неэталонной оценки качества сжатых изображений // Доклады 10-й Междунар. конф. «Цифровая обработка сигналов и ее применение» (DSPA-2008), М., 2008. Т. 2, С. 701-704.

172. Саутов Е.Ю. Применение универсального индекса качества в задачах улучшения и восстановления цифровых изображений // Труды 15-й Международной науч.-тех. конф. «Информационные средства и технологии», М., 2007. С. 142-145.

173. Саутов Е.Ю. Разработка и реализация в среде MATLAB алгоритма оценки качества цифровых изображений // Труды III Всероссийской научной конференции «Проектирование научных и инженерных приложений в среде MATLAB», СПб, 2007. С. 1473-1483.

174. Бекренев В.А., Саутов Е.Ю., Хрящев В.В., Голубев М.Н. Оценка качества сжатых изображений в отсутствии изображения оригинала // Труды 14-й межд. науч.-техн. конф. «Информационные средства и технологии», М., 2006. Т.З, С. 23-27.

175. Бекренев В.А., Саутов Е.Ю., Соловьев В.Е. Неэталонная оценка качества JPEG изображений // Материалы IX Всероссийской науч. конф.

176. Информационные технологии в электротехнике и электроэнергетике» (ИТЭЭ-2006), Чебоксары, 2006. С. 243-244.

177. Бекренев В.А., Саутов Е.Ю., Сутковой С.И. Анализ качества сжатых изображений // Материалы X Всероссийской науч. конф. «Информационные технологии в электротехнике и электроэнергетике» (ИТЭЭ-2007), Чебоксары, 2007. С.145-146.

178. Бекренев В.А., Саутов Е.Ю. Неэталонная оценка качества изображений, сжатых алгоритмом JPEG2000 // Матер. 15-ой межд. науч.-тех. конф. «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций», Рязань, 2008. Т. 1, С. 124-126.

179. Саутов Е.Ю. Уменьшение артефактов блочности в JPEG-изображениях // Матер. 15-ой межд. науч.-тех. конф. «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций», Рязань, 2008. Т. 2, С.132-133.

180. Шмаглит JI.A., Саутов Е.Ю., Хрящев В.В. Оценка качества сжатых видеопоследовательностей // Доклады 9-й Междунар. конф. «Цифровая обработка сигналов и ее применение» (DSPA-2007), М., 2007. Т. 2,С. 316-318.

181. Саутов Е.Ю., Хрящев В.В. Сравнительный анализ видеокодеков на основе стандарта MPEG-4 // Доклады 62-ой Науч. сессии, посвященной Дню радио, М., 2007. С. 146-148.

182. Шмаглит JI.A., Саутов Е.Ю. Оценка качества сжатых видеопоследовательностей // Материалы X Всероссийской науч. конф. «Информационные технологии в электротехнике и электроэнергетике» (ИТЭЭ-2007), Чебоксары 2007. С. 153-154.

183. Sprljan N., Grgic S., Grgic M. Modified SPIHT algorithm for wavelet packet image coding // IEEE Video/Image Proc. and Multimedia Communication, 2002. P. 189-194.

184. Kim B.-J., Pearlman W.A. An embedded wavelet video coder using three-dimensional set partitioning in hierarchical trees (SPIHT) // Proc. Data Compression Conf., 1997. P. 251-260.

185. Описание алгоритма сжатия Baseline JPEG

186. Пусть сжатию подвергается цветное 24-битное изображение (по 8 бит на каждый из RGB каналов).

187. Шаг 1. Переводим изображение из цветового пространства RGB в цветовое пространство YCbCr. В матричной форме такое преобразование можно представить следующим образом:

188. Y 0,2999 0,587 0,114 R 0

189. СЬ = -0,168736 -0,331264 0,5 X G + 128

190. Сг 0,5 -0,418688 -0,081312 В 128

191. Обратное преобразование осуществляется умножением вектора YCbCr на обратную матрицу:1. R 1 0 1,402 Y 0

192. G = 1 -0,34414 -0,71414 X СЬ — 1281. В 1 1,772 0 Сг 128

193. Шаг2. Разбиваем исходное изображение на матрицы 8x8. Формируем из каждой матрицы три рабочие матрицы ДКП- по 8 бит отдельно для каждой компоненты.

194. Рис. П. 1.1. Зависимость нормированной СКО восстановленного изображения от размера блока разложения для трех дискретных преобразований

195. ШагЗ. Применяем ДКП к каждой рабочей матрице. Для блока размером 8x8 оно вычисляется так:1

196. F(u,v)=-c(u) c(v) J. Yj /(*> У) х cos4 JC=0 у=огде u,v = 0,1,.7, аж(2х + \)и 16cos7t(2y + \)v 1611. Лг = Ос(к) = и2 '1, к ФЪ

197. Получаем матрицу, в которой коэффициенты в левом верхнем углу соответствуют низкочастотной составляющей изображения, а в правом нижнем высокочастотной.

198. На этом шаге осуществляется управление степенью сжатия, и происходят самые большие потери. Задавая матрицы квантования с большими коэффициентами, мы получим больше нулей и, следовательно, большую степень сжатия.

199. Эти матрицы квантования обеспечивают хорошие результаты для большинства реальных изображений, заданных с точностью 8 бит для компонент яркости и цветности.

200. Таким образом, в начале вектора получаются коэффициенты матрицы, соответствующие низким частотам, а в конце высоким.

201. Свертываем получившиеся пары кодированием по Хаффману с фиксированной таблицей. Постоянные коэффициенты кодируются отдельно, используя схему предсказания.

202. Описание алгоритма сжатия JPEG2000

203. Предварительная обработка изображения

204. Предварительная обработка изображения состоит из трёх основных этапов: разбиение на тайлы (блоки), сдвиг по яркости и последующее преобразование компонент.

205. Первая часть стандарта JPEG2000 поддерживает два различных преобразования: обратимое преобразование компонент (Reversible Color Transform, RCT) и необратимое преобразование компонент (Irreversible Color Transform, ICT).

206. После этапа предварительной обработки следует этап сжатия. Поток сжатых данных приведен на рис. П.2.1. Заметим, что каждая компонента после предварительной обработки сжимается и передается независимо.

207. Этап сжатия включает в себя:

208. Дискретное вейвлет-преобразование.2. Квантование.3. Энтропийное кодирование.

209. Вначале каждая компонента преобразуется с помощью подходящего типа дискретного вейвлет-преобразования. Оно непосредственно разлагает каждую компоненту на множество подуровней различного разрешения.

210. Битовый поток для блока 1 | Битовый поток для блока 2

211. Битовый поток для блока 43

212. Рис. П.2.1. Поток сжатых данных

213. Коэффициенты фильтра анализа (для прямого преобразования) могут быть записаны следующим образом:для ФНЧ А4,А3,й2,й|,йь,й1,Л2,А3,й4., гдей4 =А4 =+0,026748757410810;

214. Аз =h з =-0,016864118442875;hi = h2 =-0,078223266528988; hx =h j =+0,266864118442872; /z0 =+0,602949018236358. для ФВЧ g3, g2, gx, g0, gx, g2, g3 ., гдеg3 =g3 =+0,0912717631142495;g2 =g2 =-0,057543526228500;-0,591271763114247;g0 =+1,115087052456994.

215. Для обратного преобразования используется пара фильтров, называемая фильтрами синтеза. В этой паре ФНЧ имеет 7 коэффициентов, а ФВЧ 9 коэффициентов.

216. Коэффициенты ФНЧ можно записать в виде h'3,h'2,h'x,h'0,h[,h'2,h3.,где

217. Соответствующие фильтры синтеза имеют коэффициенты:1. ФНЧ \h'x,h'Q,h., гдеh=h'x =1/2; h'0= 1.

218. ФВЧ g'2,g'{,gQ,g'i,g'2., гДеg=g-i =-1/4; gJ=3/4.

219. Квантование. После дискретного вейвлет-преобразования при использовании режима сжатия с потерями все подуровни квантуются. На этом этапе теряется наибольшее количество информации при кодировании.

220. Все вычислительные операции до этапа квантования включительно выполняются над данными, представленными в виде двумерных массивов. Далее данные преобразуются в вид, удобный для этапа энтропийного кодирования.

221. Контроль битовой скорости полностью зависит от кодера и может быть реализован по-разному. Программист может сам определять, как он будет оптимизировать соотношение скорости.

222. Описание алгоритма сжатия SPIHT

223. Формализованный алгоритм кодера SPIHT

224. Для упрощения описания основ данного метода вначале предположим, что коэффициенты отсортированы до начала цикла. Алгоритм 1. Упрощенный SPIHT

225. Шаг 1. Для заданного изображения вычисляем его вейвлет-преобразование, используя подходящие вейвлет-фильтры, получаем коэффициенты преобразования Ci,j. и представляем их в виде целых чисел фиксированной разрядности.

226. Шаг 2. Передаем итах — количество разрядов (считая от нуля), занимаемых максимальным отсчетом разложения, то есть "max =1оВ2(тах,,;К;)) (округление вниз).

227. Шаг 3. Инициализируем список значимых коэффициентов как пустое множество.

228. Шаг 4. Сортировка. Передаем число / коэффициентов Ci,j., которые удовлетворяют неравенству 2" <\C[i,j]\<2"+l. Затем передаем / паркоординат и / знаков этих коэффициентов.

229. Шаг 5. Поправка. Передаем (п -1) -е старшие биты всехкоэффициентов, удовлетворяющих неравенству \Ci,j.\>2". Этикоэффициенты были выбраны на шаге сортировки предыдущей итерации цикла.

230. Шаг 6. Итерация. Уменьшаем п на 1. Если необходимо сделать еще одну итерацию, переходим на Шаг 4.

231. Процесс восстановления изображения в данном алгоритме является симметричным.

232. Алгоритм сортировки разделением множеств

233. Тест на существенность множества Тк можно записать так:

234. Поскольку результат каждого теста записывается в сжатый файл, то хорошо было бы минимизировать число необходимых тестов. Для достижения этой цели было предложено использовать специальную структуру данных пространственно ориентированное дерево.

235. Пространственно ориентированное дерево это структура, которая определяется с использованием пространственных соотношений между вейвлетными коэффициентами на различных уровнях пирамиды поддиапазонов.

236. Пространственно ориентированное дерево

237. D(i,j): множество координат всех потомков узла (/,/).

238. H(i,j): множество координат всех корней пространственно ориентированного дерева (узлы на самом высоком уровне пирамиды).

239. L(i,j) = D(i,j)-0(i,j). Это множество содержит всех потомков узлаза вычетом четырех его отпрысков.

240. Используя эти обозначения для отпрысков узла (i,j), не являющегося листом дерева или корнем, обозначенным на рис. П.3.1 звездочкой, можно записать:9(7, j) = {(2z,2j),(21,2 j +1), (2i +1,2j),(2i +1,2 j +1) }.

241. Как было отмечено выше, пространственно ориентированные деревья в алгоритме SPIHT используются для создания и разбиения множеств Тк. Последнее осуществляется с использованием следующих правил.

242. Начальными множествами являются {(/,у')} и D(i,j) для всех (/, j) еН.

243. Если множество D(i,j) является значимым, то его разбивают на L(i,j)плюс еще четыре одноэлементных множества с (к, /) е 0(i, j).

244. Если множество L(i, j) является значимым, то его разбивают на четыре множества D(k, /), где (к, I) е 0(i, j).1. Алгоритм кодирования

245. Порядок, в котором множества проверяются на значимость, очень важен. Поэтому в практической реализации алгоритма SPIHT вся информация сохраняется в трех упорядоченных списках:

246. LIP список незначащих точек (list of insignificant pixel);

247. LIS список незначащих множеств (list of insignificant sets);

248. LSP список значащих точек (list of significant pixel).

249. В эти списки заносятся координаты (i,j) так, что в списках LIP, LSP они представляют индивидуальные коэффициенты, а в списке LIS они представляют или множество D(i,j) (запись типа А), или множество L(i,j) (запись типа В).

250. Ниже полностью представлен модифицированный алгоритм кодирования SPIHT. Алгоритм 2, в отличие от Алгоритма 1, используетподход разделения множеств на этапе сортировки. Его упрощенная блок-схема приведена на рис. П.3.2.

251. Рис. П.3.2. Упрощенная блок-схема модифицированного SPIHT кодера

252. Алгоритм 2. Модифицированный алгоритм SPIHT на основе подхода разделения множеств

253. Шаг 1. Для заданного сжимаемого изображения вычисляем его вейвлет-преобразование, используя подходящие вейвлет-фильтры, получаем коэффициенты преобразования Cz, j. и представляем их в виде целых чисел фиксированной разрядности.

254. Шаг 2. Передаем птах — количество разрядов (считая от нуля), занимаемых максимальным отсчетом разложения, то есть «max =log2(max;. Дя. у)) (округление вниз).

255. Шаг 3. Инициализируем список LSP как пустой и добавляем координаты (i, j) е Н в LIP, а в список LIS координаты (z, j)eH, которые имеют потомков, записи типа .,4.1. Шаг 4. Сортировка.

256. Для каждой записи из LIP выполняем:41.1. Передача Sn(i,j);41.2. Если Sn(i,j) = 1, то перемещаем (i,j) в LSP и передаем знак1. Ci,j}\

257. Для каждой записи (i,j) из LZS" выполняем: 4.2.7. Если запись имеет тип А, то• Передача S„ (D{i, j));• Если Sn (D(i, j)) = 1, то

258. Для каждого (к, /) e 0(i, j) выполняем: о Передача Sn(k,l);о Если Sn (к, /) = 1, то добавляем (к, I) в LSP и передаем знак Ск,1.-,о Если Sn(k,l) = 0, то добавляем (к,1) в конец LIP\

259. Если L(i, j) ^ 0, перемещаем (г, J) в конец LIS, как запись типа В, и переходим на шаг 4.2.2. в противном случае удаляем запись (i,j) из LIS;42.2. Если запись имеет тип В, то• Передача S„ (.L(i, j));• Если Sn(L(i,j)) = l то

260. Добавляем каждый (к, I) е 0(i, j) в конец LIS, как запись типа А;1. Удаляем (г, j) из LIS.

261. Шаг 5. Поправка. Для каждой записи (г, j) из LSP, за исключением тех, которые были включены в последний проход сортировки, то есть с тем же п, передаем п-й наиболее значимый бит |С/, .

262. Шаг 6. Итерация. Уменьшаем п на 1. Если необходимо сделать еще одну итерацию, переходим на Шаг 4.

263. Краткое описание психометрического эксперимента

264. Использовались следующие типы искажений:

265. При непосредственном проведении эксперимента был использован одностимуляционный метод, при котором оригинальное изображение входит в набор предлагаемых эксперту изображений и оценивается наряду с остальными.

266. Рис. П.4.1. Внешний вид интерфейса программы, использованной в эксперименте

267. Вся шкала была разделена пятью делениями: «Очень плохо», «Плохо», «Средне», «Хорошо», «Очень хорошо». После выставления оценки положение ползунка линейно отражалось в диапазон оценок от 1 до 100.

268. На рис. П.4.2 приведены примеры изображений и средние оценки экспертов, полученные в ходе эксперимента.

269. Оригинальное изображение (MOS = 88,8)