автореферат диссертации по радиотехнике и связи, 05.12.04, диссертация на тему:Разработка методов и устройств сжатия с раздельным преобразованием составляющих спектра сигнала телевизионного изображения

На правах рукописи

Седов Михаил Олегович

РАЗРАБОТКА МЕТОДОВ И УСТРОЙСТВ СЖАТИЯ С РАЗДЕЛЬНЫМ ПРЕОБРАЗОВАНИЕМ СОСТАВЛЯЮЩИХ СПЕКТРА СИГНАЛА ТЕЛЕВИЗИОННОГО ИЗОБРАЖЕНИЯ

Специальность 05.12.04 - Радиотехника, в том числе системы и устройства телевидения

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

1 5 АВГ 2013

Москва 2013

005532130

Работа выполнена на кафедре телевидения и звукового вещания Московского технического университета связи и информатики.

Научный руководитель:

доктор технических наук, профессор Безруков Вадим Николаевич

Официальные оппоненты:

доктор технических наук, профессор

Виленчик Леонид Семёнович

(ФГУП МКБ «Электрон», генеральный

конструктор),

кандидат технических наук

Ульянкин Сергей Викторович

(ФГУП РТРС, зам. директора департамента

стратегии развития и технической политики)

Ведущее предприятие:

ФГУП «Специальное научно-производственное объединение «Элерон»

Защита состоится 1 октября 2013 г. в 1300 ч. на заседании совета по защите докторских и кандидатских диссертаций Д219.001.01 при МТУСИ по адресу: 111024, Москва, ул. Авиамоторная, д. 8а, ауд. А-448.

С диссертацией можно ознакомиться в библиотеке Московского технического университета связи и информатики.

Электронная версия автореферата размещена на официальном сайте ВАК Минобрнауки РФ.

Автореферат разослан «? ^ » 2013 г.

Учёный секретарь совета по защите докторских и кандидатских диссертаций Д219.001.01 кандидат технических наук, доцент

Иванюшкин Р.Ю.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Сегодня мировой и российский рынок систем вещательного и прикладного телевидения переживает переход на цифровые технологии и соответственно — от аналоговых систем к их цифровым вариантам. При этом постоянно расширяется сфера применения систем цифрового телевидения, и активно растут объёмы видеоинформации, которые следует хранить и передавать по сетям связи. С учётом последнего остаётся весьма актуальной задача разработки эффективных, адаптивного типа, методов и алгоритмов сжатия спектра сигналов телевизионных (ТВ) изображений.

При их разработке должно быть обеспечено, по возможности, жёсткое согласование качества ТВ изображения со спецификой функционирования, средой передачи и характеристиками приёмника переданной

видеоинформации.

В частности, для зрения человека характерен интегрально-дифференциальный принцип обработки видеоинформации. Режим функционирования зрительной системы определяется в текущем времени изменениями интегральных параметров изображений. Соответственно этому основной вклад в визуальное качество изображения реализуется восприятием достаточно протяженных в пространстве и во времени структурных элементов объектов видеоконтроля. В то же время зрительная система не воспринимает излишне протяженные (в пространстве и во времени) структурные элементы объектов видеоконтроля (например, протяженный по угловому размеру и медленно меняющийся фон). Заметность изменений структуры таких составляющих определяется трансформациями их спектра при сканировании протяжённых объектов в режиме видеоконтроля.

Поэтому при сжатии спектра видеоинформационных сигналов прикладного телевидения чаще всего основное внимание уделяется сохранению

качества передачи относительно протяженных в пространстве кадра контуров, границ, структурных элементов изображения (внутрикадровое сжатие) и, в то же время, допускается деградация мелкоструктурных составляющих изображения, имеющих ограниченные размеры в пространстве кадра или по времени предъявления. При увеличении степени сжатия, например, по методу JPEG малоконтрастные точечные и подобного типа элементы объектов видеоконтроля фактически преобразуются в фоновые элементы размером 4x4 или 8x8 пикселей. Имеет место полное устранение мелкой (на фоне) малоконтрастной структуры изображения. Возникают значительные искажения мелкой структуры в пределах подвижных (в зоне видеоконтроля) объектов. При увеличении степени сжатия имеет место и деградация протяженных высококонтрастных границ, что связано с независимым сжатием кадров в пределах смежных, фиксированных по положению в пространстве блоков. Другим дефектом при увеличении степени сжатия является появление ступенчатости границ, что обусловлено анизотропией сквозной пространственно-частотной характеристики процесса обработки сигнала изображения по методу JPEG. Следовательно, данные методы не согласованы с основным требованием, предъявляемым к системам телевидения высокой и сверхвысокой чёткости, - высококачественное воспроизведение мелкой (тонкой) структуры изображений.

Несколько другими являются искажения в методах, основанных на вейвлет-преобразовании. Основным преимуществом данного метода является отсутствие блочной структуры. Однако, при увеличении степени сжатия, характерны существенные нелинейные (муарового типа) искажения высокочастотной структуры изображения в пределах внутрикадрового пространства, падение ее контраста или возникновение заметных структурных шумов, исчезновение чёткости в зависимости от уровня сигнала изображения и

другие дефекты. К тому же здесь до сих пор не решена задача эффективного сжатия по межкадровому направлению, т.е. при передаче подвижных объектов.

В связи с этим в представленной диссертационной работе основное внимание было уделено актуальному на современном этапе направлению разработки алгоритмов сжатия спектра сигналов изображений с использованием вейвлет-преобразования, позволяющих раздельно и адаптивно обрабатывать в пределах многомерного пространства и заданного диапазона уровней различные составляющие в структуре изображений объектов видеоконтроля. Последнее определяет основу для развития полностью адаптивных методов сжатия, сочетающих в своей основе преимущества различных вариантов, методов и алгоритмов цифровой обработки структуры изображения в процессе сжатия.

Другим требованием, которое учитывалось при выполнении данной диссертационной работы, является ограничение объёма вычислений в процессе реализации предложенных алгоритмов на основе использования уже разработанных и перспективных алгоритмов реставрации сигнала изображений с сопутствующим упрощением реализации кодирующих устройств.

Цель и задачи работы. Разработка новых методов, алгоритмов и устройств, обеспечивающих высокоэффективное сжатие спектра видеоинформации для систем цифрового телевидения, за счёт формирования многоуровневой пространственно-масштабируемой структуры изображения и соответствующего цифрового потока для её передачи по каналам связи.

Для достижения поставленной цели в работе решаются следующие научно-практические задачи:

1. Анализ современных метрик оценки качества изображений с целью выявления параметров, влияющих на субъективное восприятие искажений, но не учтённых в данных метриках.

2. Сравнительный анализ существующих методов, алгоритмов и

существующих стандартов сжатия спектра сигналов ТВ изображений.

3. Разработка методов и устройств внутрикадрового и межкадрового сжатия.

4. Проведение экспериментальной оценки разработанных методов.

Методы исследования. При решении поставленных задач в работе

использованы современные методы цифровой обработки изображений,

статистической радиотехники, спектрального анализа и программирования.

Научная новизна работы.

1. Разработан метод оценки качества изображений, который учитывает степень заметности искажений на протяжённых границах изображения и на участках изображения, средняя яркость которых приблизительно эквивалентна текущему уровню адаптации зрительной системы человека.

2. Предложена методика и конкретизирована форма испытательного сигнала, позволяющая аналитически проанализировать влияние квантования коэффициентов дискретного косинусного преобразования (ДКП) при сжатии по стандарту JPEG на возникающие при этом искажения.

3. Для вариантов с вейвлет-преобразованием разработан метод увеличения степени сжатия, основанный на интегральном предсказании сигнала изображения текущего кадра, децимации по межкадровому направлению и эффективного кодирования возникающих ошибок предсказания.

4. Предложена модификация сжатия на основе дискретного вейвлет-преобразования (ДВП), обеспечивающая адаптивный учёт ориентации элементов пространственной структуры изображений в пределах растра.

Практическая ценность работы.

1. Разработан алгоритм оценки качества изображений, учитывающий большую заметность искажений на границах, а также отклонение яркости изображения от текущего уровня адаптации.

2. Разработаны структурные схемы устройств внутрикадрового и межкадрового сжатия.

3. Создана компьютерная модель разработанных методов внутрикадрового и межкадрового сжатия. Реализация результатов работы. Результаты работы использованы при разработке систем передачи видеоинформации в в/ч № 2304 и ФГУП «Научно-исследовательский институт прикладной акустики».

Апробация результатов работы. Основные положения и результаты диссертационной работы докладывались и обсуждались на научно-технических конференциях «Молодые ученые - науке, технологиям и профессиональному образованию в электронике», 2006 г., «Фундаментальные проблемы радиоэлектронного приборостроения», 2007 г., «Технологии информационного общества», 2007 ... 2012 гт.

Публикации. По материалам диссертации опубликовано 11 печатных работ, в том числе 4 — в журналах, соответствующих перечню ВАК.

Объём и структура работы. Диссертация состоит из введения, четырёх глав, заключения, списка литературы и приложения. Работа изложена на 178 страницах машинописного текста. Список литературы включает 107 наименований.

Основные положения, выносимые на защиту:

1. Разработанный алгоритм объективной оценки качества изображений, совершенствует метод, основанный на дискретном косинусном преобразовании, так как учитывает специфику видеоконтроля элементов пространственной структуры ТВ изображения и влияние адаптационных характеристик зрительного восприятия.

2. Методика анализа специфики искажений, обусловленных подавлением высокочастотных составляющих пространственного спектра при его квантовании, учёт результатов которой позволяет уменьшить уровень таких искажений при сжатии спектра ТВ изображений.

3. Разработанный метод сжатия спектра ТВ сигнала во временном направлении на основе интегрального предсказания текущего кадра позволяет увеличить эффективность сжатия спектра видеосигнала.

4. Предложенный вариант модифицированного дискретного вейвлет преобразования (ДВП) с адаптационным изменением направлений раздельной обработки в пределах внутрикадрового пространства позволяет увеличить эффективность сжатия изображений и уменьшить искажения, вызванные использованием ДВП.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертации, указана цель работы, определены задачи и методы исследования, сформулированы научная новизна, практическая значимость работы, а также положения, выносимые на защиту. Представлены состав и краткое описание работы, приведены сведения об апробации работы и публикациях автора.

В первой главе «Исследование методов относительной оценки качества изображения в системах цифрового телевидения» рассмотрены эталонные методы оценки изображений: метод, основанный на структурном подобии (ББШ), метод, использующий для оценки качества изображения вейвлет-преобразование (С\У-881М) и метод, основанный на ДКП (УдМ).

Первый метод независимо оценивает яркость, контрастность и структуру изображения, а затем преобразует эти параметры в комплексную оценку. Вычисление метрики сразу для целого изображения нерационально по нескольким причинам. Во-первых, сигнал, описывающий натуральные изображения, обычно нестационарен. Во-вторых, искажения на изображениях, которые определяются локальной статистикой ТВ изображений, также имеют свойство изменяться в пространстве кадра. В-третьих, такой подход не

обеспечивает учёт свойства зрительной системы человека, согласно которому только локальный участок изображения в один момент времени воспринимается с наибольшим разрешением. Поэтому вычисление метрики производится в пределах «окна», обычно 8x8 или 16x16 пикселей.

Как известно, для зрительной системы характерно прослеживание границ с выявлением изменений в их направлении. То есть наибольшую заметность имеют искажения вертикально ориентированных границ, несколько меньшую — горизонтально ориентированных, а минимальную заметность имеют диагональные искажения границ. Кроме того, заметность искажений по отношению к фону существенно повышается в тех участках изображения, яркость которых приблизительно эквивалентна уровню текущей адаптации зрительной системы. Чем больше отклонение яркости текущей адаптации от уровня яркости в локальном участке ТВ изображения, тем ниже заметность искажений, возникающих при сжатии в его пределах. С учётом этого произведено улучшение метода оценки качества, основанного на ДКП. Структура схема устройства оценки качества изображения с конкретизацией назначения отдельных блоков представлена на Рисунке 1.

Исходное Усреднение Формирование огибающей N кадров

кадра

Блок задержки

N/2 кадров

Блок задержки N/2 кадров

Внутрикадровое усреднение

ДКП

ДКП

Вычисление

—^ локальных — Квантование —

контрастов

Вычисление

—► локальных — Квантование —*

контрастов

Формирование коэффициентов заметности 1

ФПКЧ

Индекс качества

Иитегр. по Локализация

направлениям

Формирование коэффи циентов заметности 2

Рисунок. 1. Структурная схема устройства оценки качества изображения

Выделение совокупности блоков, содержащих элементы изображения, существенно влияющие на визуальную оценку качества всего ТВ изображения, позволяет уточнить степень их деградации при реализации сжатия, что, в свою очередь, повышает точность объективной оценки качества изображения.

Во второй главе «Характеристики преобразований и методы цифрового сжатия спектра сигналов телевизионных изображений» исследованы современные методы внутрикадрового сжатия изображений с потерями. Фактически сейчас наибольшее распространение получили алгоритмы сжатия основанные на ДКП и ДВП. Отличительной особенностью первых является высокая скорость сжатия, а вторых - сравнительно лучшее качество сжатых изображений при большей вычислительной сложности. Соответственно основные исследования алгоритмов сжатия, основанных на ДКП, ведутся в направлении улучшения качества, а алгоритмов, основанных на ДВП - в направлении ускорения вейвлет-преобразования. Кроме того, хотя стандарт МРЕО-4 позволяет использовать ДВП для внутрикадрового сжатия, подавляющее большинство существующих реализаций этого стандарта используют для этого ДКП.

Основным недостатком методов сжатия, основанных на ДКП является появление специфических искажений при больших степенях сжатия, в результате которых мелкие детали изображения становятся размытыми или полностью пропадают. Причиной этого, в том числе, является снижение числа уровней («огрубление») шкалы квантования коэффициентов ДКП. Минимизация данных искажений является актуальной задачей, поэтому был проведён анализ влияния квантования высокочастотных ДКП-коэффициентов в процессе сжатия.

Поскольку степень искажений вертикальных и горизонтальных границ при сжатии с использованием ДКП целесообразно выявлять, используя испытательный сигнал со ступенчатым нарастающим и спадающим по уровню

спектром, целесообразно определить двумерный дискретный спектр в виде суммы ступенчатых составляющих:

х у 1 11 х у 2 21 ху I п-1,т х у

(1)

■■■■ + 1 / Лео ,<о )+я 5 (со ,со ).

п \т — 1] п,т-1 х у п т п,т х у

В соотношении (1) коэффициенты щ отражают относительный уровень

отдельной ступенчатой составляющей. Постепенное устранение спектральных составляющих отдельных ступеней данного спектра показывает результат квантования коэффициентов спектра в реальной области, что, в свою очередь, сопровождается сопутствующими искажениями пространственной структуры сигнала.

Будем, в частности, считать, что матрица 5\,(<и ,о> ) имеет пхт = 15x15,

11 д; у

^21 Кг'Юу) "13х 13,) -11x11,54\(а>х,соу) -9x9,5-7x7,

$-5x5, 5?!(тх,соу) -3х3,5^(сох,соу) -1 х 1 дискретных отсчётов.

Реальный сиптл, заданный в области пространственных частот суммой составляющих, соответствует вкладу каждой отдельной из таких составляющих в его форму.

Если устранить из суммы составляющих спектра три наиболее высокочастотных ступени, получим для реального сигнала соотношение следующего вида:

О1 (.г, у, ^, ^) = 4 ■ ^ 4 (.г, V, , ) + 015 (х, у, ^, (0у1) + ^ 6 (V, сох1, ^)+

Аналогично могут быть представлены варианты устранения, например, пяти, шести и семи ступеней спектра.

На Рисунке 2 представлены изменения формы испытательного сигнала

при обнулении трёх, пяти, шести и семи ступеней пространственного спектра. Из рисунка видно, что с возрастанием числа подавленных высокочастотных составляющих спектра, практически линейно возрастает амплитуда и протяжённость сопутствующих

выбросов. Также возрастает протяжённость главного лепестка, что Рисунок. 2. Сечения испытательного сигнала влияет на искажение ТОНКИХ

вертикальных и горизонтальных линий на изображении, а также на интегральные искажения при сжатии малоконтрастных границ аналогичной ориентации. Такие искажения существенно определяют субъективное качество ТВ изображений. При этом большое значение имеет положение вертикально и горизонтально ориентированных составляющих внутрикадровой структуры по отношению к использованной последовательности блоков. Учёт этого фактора может обеспечить заметное увеличение эффективности адаптивного сжатия спектра в системах цифрового ТВ вещания.

Предложены варианты адаптивного положения блоков, показанные на Рисунке 3, где вариант а) предназначен для передачи наклонных составляющих в пределах — 45°<ф<45°, б) 45°<ф<135°, в) и г) - горизонтально и вертикально ориентированных составляющих, д) — для передачи мелкоструктурных составляющих.

О1(*,о)

.1.2

1,1.1

III

lili

1 -4- I -К i •н- 1ПГ - 4--

1 1 -Г' 1 1 "Г"

i -L.. I 1 -L. 1

1 1 1 1 -1—

а б в г д

Рисунок. 3. Варианты адаптивного изменения положения независимых блоков в пределах внугрикадрового пространства Разработан алгоритм, обеспечивающий выявление малоконтрастных протяжённых границ, деталей и текстуры в пределах внутрикадрового пространства и уменьшение визуальной деградации указанных составляющих при сжатии спектра с использованием ДКП.

Третья глава «Разработка устройства сжатия видеоинформации» посвящена разработке методов внутрикадрового и межкадрового сжатия.

В содержании данной главы диссертации определён коэффициент передачи процесса формирования ТВ сигнала по временному направлению с учётом инерционности процесса считывания (4).

к, (®) = к0п к0п (т)' е~"Т' (4)

Здесь АГ011(го)= БЫ!

а)-Т_

ог-Т.

- учитывает время накопления Г„ в течение

2 )/ \ 2

длительности кадра, Тк, - уровень остаточного потенциального рельефа при считывании ТВ сигнала. Предложено при сжатии по межкадровому направлению использовать фильтр, обеспечивающий предсказание сигнала реального кадра. Соответственно результирующий коэффициент передачи Кг(ы) определяется в данном случае произведением коэффициента К(со) передачи такого фильтра и фильтра, учитывающего время накопления (5).

1__(а + 2-р- cos(o • Г) + 2 • /7 • cos(tu ■ 3 ■ Г) +

К(0) (+2-//-cos(a>-5-7') + 2-u-cos(®-7-7')

■КМ

(5)

На Рисунке 4 представлен вид функции коэффициента передачи временного фильтра.

Рисунок. 4. Характеристики коэффициента передачи фильтра низких временных частот для

вариантов:

1)при а = 0, /> = 0,7, 7 = -0,11,о = ^ = 0,Г = 0,02,Г„ = 0,02-сплошная линия;

2)при а = 0, /> = 0,72, г] = -0,14, и = ц = 0,Т = 0,02, Тп = 0,04-пунктирнаялиния.

Согласно графику на Рисунке 4, для коэффициентов передачи фильтра, осуществляющего реставрацию сигнала изображения кадра на основе последующих и предшествующих кадров, свойственна относительно низкая избирательность и возникновение существенного колебательного процесса в области частот, превышающих 12,5 Гц. С увеличением времени накопления связано в данном случае сужение главного лепестка, некоторое снижение общего уровня колебательного процесса и изменение полярности второго и третьего лепестков коэффициента передачи. Для уменьшения указанных искажений, предлагается использовать предварительную низкочастотную фильтрацию исходного ТВ сигнала по временному направлению.

Для решения поставленной задачи были рассмотрены два фильтра. Импульсные характеристики (ИХ) первого имеет нечётное (п = 5) число отсчётов (6), ИХ второго - чётное (л = 4) число отсчётов (7).

Я,(<±И,) = 171-г(/ + 3-Г) + 0 + р1-^(/ + Г) + ог1+/»1-«У«-Г) + 0 + 71чУ(»-З.Г). (6)

г2(/±*Г) = 172-г(» + 3-|) + 0 + р2-5«+|) + 0 + р2-Л(<-|) + 0 + 72-^-3-|). (7)

Анализ ИХ данных фильтров показал, что вариант предварительного фильтра с пятью отсчётами существенно превосходит вариант фильтра с четырьмя отсчётами по степени подавления составляющих временного спектра в диапазоне частот от 12,5 до 30 Гц. Однако фильтр с чётным числом отсчётов является более простым в реализации.

К последовательности операций разрабатываемого метода относятся следующие:

1. Преобразование чересстрочной развёртки в построчную с соответствующим увеличением частоты преобразованных кадров во времени.

2. Многократная задержка последовательного во времени ТВ сигнала на время, кратное преобразованной длительности кадра.

3. Реализация предварительной и затем реставрационной низкочастотной фильтрации ТВ сигнала.

4. Вычитание реставрированных и реальных кадров ТВ сигнала с формированием соответствующего сигнала межкадровой разности.

5. Снижение частоты следования ТВ кадров в два раза за счёт устранения из преобразованной их последовательности реставрированных кадров.

6. Сжатие полученного сигнала межкадровой разности на основе его пространственно-частотной декомпозиции с адаптивной дискретизацией.

7. Реализация следующего этапа преобразований по 1-7.

8. Декодирование сжатого по п.п. 6 сигнала межкадровой разности.

9. Устранение из полученного на следующем этапе сигнала межкадровой разности составляющих межкадровой разности, соответствующих результату декодирования на предшествующем этапе.

10. Сжатие остаточных составляющих сигнала межкадровой разности текущего этапа.

Алгоритм же внутрикадрового сжатия основывается на дискретном вейвлет преобразовании. Ядром классического ДВП является операция фильтрации высокочастотным (ВЧ) и низкочастотным (НЧ) фильтрами -сначала по строкам, затем по столбцам, т.е. под углом 90 градусов по отношению к горизонтальному направлению. Показано, что при обработке элементов изображения, пространственное положение которых отлично от вертикального и горизонтального, вносятся искажения. Предлагается выделять такие элементы на изображении и осуществлять их фильтрацию под углом 45°. Для уменьшения искажений

осуществляется интерполяция \

отсутствующих промежуточных / ^

V, „ \ ' V': А

пикселей в структуре ортогональной |

дискретизации. • ; • . / ¡5

Чтобы выделить наклонные у |

элементы на изображении, выполняется ; 1 , |

его дифференцирование под углом 45°. . , : , \

Для этого последовательно ИЗ Рисунок. 5. Вычисления диагонального

_ градиента

исходного изображения вычитаются

его копии: копия, сдвинутая на 1 пиксель вправо вниз, влево вверх, влево вниз и вправо вверх. Получившиеся значения складываются, затем с использованием низкочастотной пространственной фильтрации удаляются оставшиеся вертикальные и горизонтальные составляющие. Получившиеся значения подвергаются пороговой обработке для снижения влияния шума. В результате получают сигнал изображения, в котором элементы, расположенные под углом к горизонту имеют большую интенсивность, чем вертикально и горизонтально ориентированные (Рисунок 5).

Начало

Для того чтобы разные участки изображения обрабатывались разными методами, следует разделить изображение на блоки размером 16x16 пикселей. Ясно, что, чем меньше размер блока, тем точнее будет анализ исходного изображения. С другой стороны, при фильтрации блока изображения появляются краевые эффекты на границах блока. Таким образом, при использовании достаточно длинных фильтров, например 9/7, как в стандарте 1РЕ02000 краевые эффекты проявляются значительно. Экспериментальным путем было выяснено, что оптимальным будет использование блоков размером 16x16 пикселей.

В результате получаем количество блоков к, которые при сжатии следует обрабатывать стандартным ДВП под 90° и (п-к) блоков, которые следует обработать ДВП под 45°.

Чтобы выполнить ДВП под 45°, следует вычислить результат свёртки элементов блока, расположенных параллельно главной

диагонали и расположенных перпендикулярно главной диагонали, с ИХ соответствующих НЧ и ВЧ фильтров. Операция свёртки имеет довольно большую вычислительную сложность, но, в силу своей распространённости, зачастую

имеет быструю реализацию для довольно обширного числа процессоров и

Поворот элементе четных эв на 45°

Поворот нечетных элементов на 45°

Двумерная свертка четных элементов

Двумерная свёртка нечётных элементов

Обратный поворот чётных элементов на 45°

Обратный поворот нечетных элементов на 45°

Сложение нечетных чётных и элементов

Конец

Рисунок 6. Алгоритм свёртки под 45°

компьютерных систем. Поэтому для выполнения свёртки под 45° предлагается сначала повернуть изображение на угол 45°, чтобы элементы, параллельные главной диагонали, стали строками, а перпендикулярные главной диагонали — столбцами, а затем выполнить стандартную свёртку по столбцам и по строкам. После этого надо развернуть изображение обратно. Алгоритм свёртки под 45° показан на Рисунке .

Выполнение децимации после свёртки под углом 45° следует выполнить так же, как и в стандартном ДВП.

В четвёртой главе «Результаты экспериментального исследования разработанного метода сжатия изображения» представлены промежуточные результаты, а также количественные оценки разработанных методов.

0,4 0,3

3 ■

Ш

: - ... 1-1..

ш разр. метод

ШУОМ

ШПОСШ

1 г 3 4 5 6 7 а 9 $0 1112 13 14 1516 Изображение

« • • 0 • 0 « 0 о 0 0 0 IЛ5'- 55 1М'|

• • 0 1 50 0 1«- 0 0 0 0 1024" ** 0

• • • 0 «9 • « 105 ш ^ 0 а в 512 мда

« « в «0 0 V 4» 0 2,619 Ш1 15 и 1мг V

• 0 » к 4 0 Ш « 0 0 в тй 3223 1891 фи о

« 0 • 33!4 109 0 935« шв т йй 9«9' ? 0

« « о г*;- М.1 51 ш 13л« 01 о :т 671 0 в

• 0 0 2-1 гг» 1055 * щ: 271 «21.: 111 6 0

0 0 715 Й35 ззгё 40 1213 »й в в: 0

» 0 10?» гвм ш '#> 0 0 278 1» (¿04 0 0 в

« » !:--< Й05 15« 0 о Мв ф 3«3= :442 0 в о

0 о Йог «И 0 0 0 15!в «87 щ 0 0 .9»

0 455 »•а ы* 0 0 8 1244 4980 2571 0 1238 Й72

• 150! а 1Ю к о 0 ;Н8 ш* 0 2}9 вм 0

М1; И1 ■ ш, ею 'ЛИ 9 0 0 в 1541 0 0.

то 1» 0 3244 16*7 •А 0 0 в 0 324* в 1444 6 0

Рисунок 7. Тестирование разработанного метода Рисунок 8. Выявление участков для ДВП оценки качества изображений под углом 45°

На Рисунке 7 показаны абсолютные отклонения объективных оценок качества изображений, полученных по методу, разработанному в первой главе, по методу, основанному на ДКП (УС>М) и пиковое отношение сигнал/шум (ПОСШ), от экспертной оценки. Перед вычислением отклонения все значения были нормированы.

На Рисунке 8 показан промежуточный этап работы разработанного метода внутрикадрового сжатия: исходное изображение, разделённое на блоки

размером 16x16 пикселей, и выделение границ под углом 45°. В блоках, где сумма значений пикселей не превышает заданный уровень, выполняется стандартное ДВП. В остальных блоках выполняется ДВП под углом 45°.

Для объективной оценки качества разработанного метода внутрикадрового сжатия вейвлет коэффициенты после ДВП и АДВП подвергаются пороговой обработке. Затем производятся обратные преобразования, и результаты сравниваются. Для объективной оценки качества использоваиы методы ПОСШ и Результаты сравнения показаны на Рисунке 9.

60 50

ч

40 3

с 20 — ДВП

---АДВП

10

о

^ 1 1 ооооосГсГо 3 5 3

Порог

Рисунок. 9. Оценка качества внутрикадрового метода сжатия На Рисунке 10 показаны НЧ и ВЧ составляющие ошибки предсказания (ОП) реального и предсказанного кадров, вычисляемые в методе межкадрового сжатия.

^ч .Л

а) б)

Рисунок 10. а) - НЧ составляющая ОП, б) - ВЧ составляющая ОП

Проведено исследование эффективности разработанного метода межкадрового сжатия по сравнению с методом, в котором исходная видеопоследовательность была прорежена в два раза, а затем недостающие кадры восстановлены как копия предыдущих. Результаты представлены на Рисунке 11.

Рисунок 11. Оценка метода межкадрового сжатия В заключении диссертационной работы представлены основные выводы

по результатам выполненной работы:

1. Существующие метрики оценки качества изображений не учитывают большую заметность искажений на протяжённых границах изображения, а также отклонение фоновой составляющей изображения от текущего уровня адаптации зрительной системы при сжатии последовательности изображений.

2. При квантовании коэффициентов ДКП возникают искажения тонких вертикальных и горизонтальных линий на изображении, а также интегральные искажения малоконтрастных границ аналогичной ориентации, для снижения уровня которых предложены варианты адаптивного изменения положения блоков, и разработан алгоритм выявления малоконтрастных протяжённых границ.

3. Анализ выбранных для предварительной фильтрации по межкадровому направлению фильтров показал, что вариант предварительного фильтра с

пятью отсчётами существенно превосходит вариант фильтра с четырьмя отсчётами по степени подавления составляющих временного спектра в диапазоне частот от 12,5 до 30 Гц. Однако фильтр с чётными числом отсчётов является более простым в реализации.

4. На основе проведённых исследований, разработан метод межкадрового сжатия, что обеспечивает увеличение качества сжатых по межкадровому направлению изображений.

5. При сжатии изображений с использованием ДВП целесообразно адаптивно изменять направление фильтрации в зависимости от направления протяжённых границ на изображении.

6. Разработанный адаптивный метод внугрикадрового сжатия обеспечивает увеличение качества передачи составляющих структуры сигнала ТВ изображений в локальных участках внугрикадрового пространства.

СПИСОК ПУБЛИКАЦИЙ

1. Безруков В.Н., Романов С.Г., Седов М.О. Адаптивность при сжатии спектра сигналов изображений в системах цифрового телевидения. // Электросвязь. - № 3 - 2013 г. - с. 22-26.

2. Седов М.О. Адаптивное дискретное вейвлет-преобразование. // T-Comm - Телекоммуникации и транспорт. - №9 - 2012 г. - с. 127-128.

3. Безруков В.Н., Медведев A.A., Седов М.О. Спектры элементарных составляющих пространственной структуры изображений. // T-Comm - Телекоммуникации и транспорт. Спецвыпуск по итогам 3-й отраслевой научной конференции «Технологии информационного общества». - 2009 г. - с. 186-188.

4. Безруков В.Н., Медведев A.A., Седов М.О. Анализ характеристик спектра структур внутрикадровой дискретизации сигналов ТВ-

изображений. // T-Comm - Телекоммуникации и транспорт. - №5 -2009 г. - с. 14-17.

5. Горбачёв В.В., Седов М.О. Опыт применения ADV202 JPEG2000-maeKa от Analog Devices. // CCTV Focus. - №3 - 2005 г. - с. 46-49.

6. Горбачёв В.В., Седов М.О. Распределённые сети видеонаблюдения с использованием WiFi. // CCTV Focus. - №2 - 2006 г. - с. 10-17.

7. Голубков A.B., Черкашин A.A., Седов М.О. Видеорегистратор ВР-РК-1. // Вестник связи. - №2 - 2006 г. - с. 24.

8. Седов М.О., Горбачёв В.В. Использование преимуществ стандарта JPEG2000 в беспроводных системах видеонаблюдения. // Материалы Международной научно-технической школы-конференции «Молодые ученые - науке, технологиям и профессиональному образованию в электронике» часть 1, - М.:МИРЭА,- 2006 г. - с. 208-211.

9. Седов М.О. Система сжатия с разделением спектра сигнала изображения на пространственно-временные составляющие. // Московская отраслевая научно-техническая конференция «Технологии информационного общества», тезисы докладов. - М.: Инсвязьиздат - 2007 г. - с. 103-104.

10. Седов М.О. Вейвлеты и зрительная система человека. // Фундаментальные проблемы радиоэлектронного приборостроения. Материалы международной научно-технической конференции «INTERMATIC -2007». -М.'.МИРЭА, - 2007 г. - с. 245-246.

П.Седов М.О., Горбачёв В.В. Система видеонаблюдения, построенная на коммуникационных линиях разной пропускной способности. // Труды Московского технического университета связи и информатики. - М.: «ИД Медиа Паблишер», - 2008 г. - с. 447-450.

Подписано в печать 10.07.2013. Формат 60x84 1/16. Объем 1.5 усл.п.л.

Тираж 100 экз. Заказ 185.

Оперативная полиграфия «Брис-М» 111024, г. Москва, ул. Авиамоторная, д. 8

ФЕДЕРАЛЬНОЕ АГЕНТСТВО СВЯЗИ МОСКОВСКИЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ СВЯЗИ И ИНФОРМАТИКИ

На правах рукописи

04201361508

Седов Михаил Олегович

РАЗРАБОТКА МЕТОДОВ И УСТРОЙСТВ СЖАТИЯ С РАЗДЕЛЬНЫМ ПРЕОБРАЗОВАНИЕМ СОСТАВЛЯЮЩИХ СПЕКТРА СИГНАЛА ТЕЛЕВИЗИОННОГО ИЗОБРАЖЕНИЯ

Специальность 05.12.04. Радиотехника, в том числе системы и устройства телевидения

Диссертация на соискание ученой степени кандидата технических наук

Научный руководитель: д.т.н., профессор Безруков В.Н.

Москва, 2013 г.

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ..............................................................................................................5

ГЛАВА 1. ИССЛЕДОВАНИЕ МЕТОДОВ ОТНОСИТЕЛЬНОЙ ОЦЕНКИ КАЧЕСТВА ИЗОБРАЖЕНИЯ В СИСТЕМАХ ЦИФРОВОГО ТЕЛЕВИДЕНИЯ....................................................................................................11

1.1. Относительная оценка качества изображений в системах цифрового

телевидения.......................................................................................................11

1.2. Эталонные методы оценки изображений...............................................13

1.3. Оценка качества изображений, основанная на структурном подобии 15

1.4. Оценка качества изображений с использованием вейвлетов...............25

1.5. Оценка качества изображений на основе дискретного косинусного

преобразования.................................................................................................28

1.5.1. Разработка алгоритма объективной оценки визуального качества

изображений с ДКП.......................................................................................30

1.6. Выводы.......................................................................................................35

ГЛАВА 2. ХАРАКТЕРИСТИКИ ПРЕОБРАЗОВАНИЙ И МЕТОДЫ ЦИФРОВОГО СЖАТИЯ СПЕКТРА СИГНАЛОВ ТЕЛЕВИЗИОННЫХ ИЗОБРАЖЕНИЙ...................................................................................................37

2.1. Анализ характеристик спектра структур внутрикадровой

дискретизации сигналов телевизионных изображений...............................39

2.2. Сжатие спектра сигналов изображений..................................................52

2.3. Методы сжатия изображений..................................................................54

2.4. Вейвлет-преобразование..........................................................................56

2.4.1. Непрерывное вейвлет-преобразование.............................................56

2.4.2. Дискретное вейвлет-преобразование................................................57

2.5. Энтропийное кодирование.......................................................................63

2.5.1. Кодирование Хаффмана.....................................................................63

2.5.2. Арифметическое кодирование...........................................................71

2.5.1РЕ02000....................................................................................................78

2.7. Адаптивные методы сжатия спектра сигналов телевизионных изображений.....................................................................................................82

2.8. Выводы.......................................................................................................96

ГЛАВА 3. РАЗРАБОТКА УСТРОЙСТВА СЖАТИЯ ВИДЕОИНФОРМАЦИИ

.................................................................................................................................98

3.1. Разработка метода сжатия с адаптивными преобразованиями пространственно-временной структуры текущего телевизионного сигнала.

............................................................................................................................98

3.1.1. Ограничение спектра ТВ сигнала по временному направлению. 104 3.1.2 Пространственно-частотная декомпозиции и сжатие сигнала

межкадровой разности................................................................................109

3.2. Разработка устройства межкадрового сжатия.....................................115

3.3. Адаптивное дискретное вейвлет преобразование...............................117

3.3.1. Разработка алгоритма фильтрации изображения под углом 45°.. 118

3.3.2. Алгоритм фильтрации под углом 45°..............................................125

3.4. Разработка устройства внутрикадрового сжатия...............................127

3.5. Выводы.....................................................................................................133

ГЛАВА 4. РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТАЛЬНОГО ИССЛЕДОВАНИЯ РАЗРАБОТАННОГО МЕТОДА СЖАТИЯ ИЗОБРАЖЕНИЯ.......................134

4.1. Выбор исходных изображений..............................................................134

4.2. Тестирование метода оценки качества изображений..........................137

4.3. Этапы работы алгоритма внутрикадрового сжатия............................138

4.3. Объективные оценки качества ДВП и разработанного АДВП..........142

4.4. Этапы работы алгоритма межкадрового сжатия.................................145

4.4. Оценка эффективности разработанного метода межкадрового сжатия ..........................................................................................................................152

4.5. Выводы.....................................................................................................154

ЗАКЛЮЧЕНИЕ...................................................................................................155

ЛИТЕРАТУРА.....................................................................................................156

ПРИЛОЖЕНИЯ...................................................................................................167

Приложение 1. Текст программного обеспечения для моделирования

адаптивного вейвлет-преобразования...........................................................167

Приложение 2. Текст программного обеспечения для моделирования

метода межкадрового сжатия........................................................................173

Приложение 3. Акты об использовании результатов диссертационной работы...............................................................................................................176

ВВЕДЕНИЕ

Актуальность темы. Сегодня мировой и российский рынок систем вещательного и прикладного телевидения переживает переход на цифровые технологии и соответственно - от аналоговых систем к их цифровым вариантам. При этом постоянно расширяется сфера применения систем цифрового телевидения, и активно растут объёмы видеоинформации, которые следует хранить и передавать по сетям связи. С учётом последнего остаётся весьма актуальной задача разработки эффективных, адаптивного типа, методов и алгоритмов сжатия спектра сигналов телевизионных (ТВ) изображений.

При их разработке должно быть обеспечено, по возможности, жёсткое согласование качества ТВ изображения со спецификой функционирования, средой передачи и характеристиками приёмника переданной

видеоинформации.

В частности, для зрения человека характерен интегрально-дифференциальный принцип обработки видеоинформации. Режим функционирования зрительной системы определяется в текущем времени изменениями интегральных параметров изображений. Соответственно этому основной вклад в визуальное качество изображения реализуется восприятием достаточно протяженных в пространстве и во времени структурных элементов объектов видеоконтроля. В то же время зрительная система не воспринимает излишне протяженные (в пространстве и во времени) структурные элементы объектов видеоконтроля (например, протяженный по угловому размеру и медленно меняющийся фон). Заметность изменений структуры таких составляющих определяется трансформациями их спектра при сканировании протяжённых объектов в режиме видеоконтроля.

Поэтому при сжатии спектра видеоинформационных сигналов прикладного телевидения чаще всего основное внимание уделяется сохранению качества передачи относительно протяженных в пространстве кадра контуров, границ, структурных элементов изображения (внутрикадровое сжатие) и, в то же время, допускается деградация мелкоструктурных составляющих изображения, имеющих ограниченные размеры в пространстве кадра или по времени предъявления. При увеличении степени сжатия, например, по методу JPEG малоконтрастные точечные и подобного типа элементы объектов видеоконтроля фактически преобразуются в фоновые элементы размером 4x4 или 8x8 пикселей. Имеет место полное устранение мелкой (на фоне) малоконтрастной структуры изображения. Возникают значительные искажения мелкой структуры в пределах подвижных (в зоне видеоконтроля) объектов. При увеличении степени сжатия имеет место и деградация протяженных высококонтрастных границ, что связано с независимым сжатием кадров в пределах смежных, фиксированных по положению в пространстве блоков. Другим дефектом при увеличении степени сжатия является появление ступенчатости границ, что обусловлено анизотропией сквозной пространственно-частотной характеристики процесса обработки сигнала изображения по методу JPEG. Следовательно, данные методы не согласованы с основным требованием, предъявляемым к системам телевидения высокой и сверхвысокой чёткости, -высококачественное воспроизведение мелкой (тонкой) структуры изображений.

Для стандартов сжатия MPEG характерно к тому же появление пространственно- временных искажений, обусловленных смещениями подвижного контролируемого объекта по отношению к фиксированной по положению в пространстве кадров "сетке блоков" обработки структуры изображения при сжатии. Это отражается трансформациями тонких информационных элементов контролируемых подвижных объектов,

поблочными фазовыми искажениями в условиях передачи малоконтрастных подвижных объектов и другими существенными нелинейными искажениями изображения (укрупнения и пульсации структуры шумов, нарушения формы и положения границ и т.д.).

Несколько другими являются искажения в методах, основанных на вейвлет-преобразовании. Основным преимуществом данного метода является отсутствие блочной структуры. Однако, при увеличении степени сжатия, характерны существенные нелинейные (муарового типа) искажения высокочастотной структуры изображения в пределах внутрикадрового пространства, падение ее контраста или возникновение заметных структурных шумов, исчезновение чёткости в зависимости от уровня сигнала изображения и другие дефекты. К тому же здесь до сих пор не решена задача эффективного сжатия по межкадровому направлению, т.е. при передаче подвижных объектов.

В связи с этим в представленной диссертационной работе основное внимание было уделено актуальному на современном этапе направлению разработки алгоритмов сжатия спектра сигналов изображений с использованием вейвлет-преобразования, позволяющих раздельно и адаптивно обрабатывать в пределах многомерного пространства и заданного диапазона уровней различные составляющие в структуре изображений объектов видеоконтроля. Последнее определяет основу для развития полностью адаптивных методов сжатия, сочетающих в своей основе преимущества различных вариантов, методов и алгоритмов цифровой обработки структуры изображения в процессе сжатия.

Другим требованием, которое учитывалось при выполнении данной диссертационной работы, является ограничение объёма вычислений в процессе реализации предложенных алгоритмов на основе использования уже разработанных и перспективных алгоритмов реставрации сигнала

изображений с сопутствующим упрощением реализации кодирующих устройств.

Цель и задачи работы. Разработка новых методов, алгоритмов и устройств, обеспечивающих высокоэффективное сжатие спектра видеоинформации для систем цифрового телевидения, за счёт формирования многоуровневой пространственно-масштабируемой структуры изображения и соответствующего цифрового потока для её передачи по каналам связи.

Для достижения поставленной цели в работе решаются следующие научно-практические задачи:

1. Анализ современных метрик оценки качества изображений с целью выявления параметров, влияющих на субъективное восприятие искажений, но не учтённых в данных метриках.

2. Сравнительный анализ существующих методов, алгоритмов и существующих стандартов сжатия спектра сигналов ТВ изображений.

3. Разработка методов и устройств внутрикадрового и межкадрового сжатия.

4. Проведение экспериментальной оценки разработанных методов.

Методы исследования. При решении поставленных задач в работе использованы современные методы цифровой обработки изображений, статистической радиотехники, спектрального анализа и программирования.

Научная новизна работы.

1. Разработанный метод оценки качества изображений, учитывает степень заметности искажений на протяжённых границах изображения и на участках изображения, средняя яркость которых приблизительно эквивалентна текущему уровню адаптации зрительной системы человека.

2. Предложенная методика и форма испытательного сигнала, позволяет аналитически проанализировать влияние квантования коэффициентов дискретного косинусного преобразования (ДКП) при сжатии по стандарту JPEG на возникающие при этом искажения.

3. Для вариантов с вейвлет-преобразованием разработан метод увеличения степени сжатия, основанный на интегральном предсказании сигнала изображения текущего кадра, децимации по межкадровому направлению и эффективного кодирования возникающих ошибок предсказания.

4. Предложенная модификация сжатия на основе дискретного вейвлет-преобразования (ДВП), обеспечивает адаптивный учёт ориентации элементов пространственной структуры изображений в пределах растра.

Практическая ценность работы.

1. Разработан алгоритм оценки качества изображений, учитывающий большую заметность искажений на границах, а также отклонение яркости изображения от текущего уровня адаптации.

2. Разработаны структурные схемы устройств внутрикадрового и межкадрового сжатия.

3. Создана компьютерная модель разработанных методов внутрикадрового и межкадрового сжатия.

Реализация результатов работы. Результаты работы использованы при разработке систем передачи видеоинформации в в/ч № 2304 и ФГУП «Научно-исследовательский институт прикладной акустики».

Апробация результатов работы. Основные положения и результаты диссертационной работы докладывались и обсуждались на научно-технических конференциях «Молодые ученые - науке, технологиям и профессиональному образованию в электронике», 2006 г., «Фундаментальные проблемы радиоэлектронного приборостроения», 2007 г., «Технологии информационного общества», 2007 ... 2012 гг.

Публикации. По материалам диссертации опубликовано 11 печатных работ, в том числе 4 - в журналах, соответствующих перечню ВАК.

Объём и структура работы. Диссертация состоит из введения, четырёх глав, заключения, списка литературы и приложения. Работа изложена на 178

страницах машинописного текста. Список литературы включает 107

наименований.

Основные положения, выносимые на защиту:

1. Разработан алгоритм объективной оценки качества изображений, совершенствующий метод, основанный на дискретном косинусном преобразовании, так как учитывает специфику видеоконтроля элементов пространственной структуры ТВ изображения и влияние адаптационных характеристик зрительного восприятия.

2. Разработанная методика анализа специфики искажений, обусловленных подавлением высокочастотных составляющих пространственного спектра при его квантовании, позволяет уменьшить уровень таких искажений при сжатии спектра ТВ изображений.

3. Разработан метод сжатия спектра ТВ сигнала во временном направлении на основе интегрального предсказания текущего кадра, позволяющий увеличить эффективность сжатия спектра видеосигнала.

4. Предложен вариант модифицированного дискретного вейвлет преобразования (ДВП) с адаптационным изменением направлений раздельной обработки в пределах внутрикадрового пространства, позволяющий увеличить эффективность сжатия изображений и уменьшить искажения, вызванные использованием ДВП.

и

ГЛАВА 1. ИССЛЕДОВАНИЕ МЕТОДОВ ОТНОСИТЕЛЬНОЙ ОЦЕНКИ КАЧЕСТВА ИЗОБРАЖЕНИЯ В СИСТЕМАХ ЦИФРОВОГО ТЕЛЕВИДЕНИЯ

1.1. Относительная оценка качества изображений в системах цифрового

телевидения

Разработка новых, а также улучшение существующих методов сжатия изображений с потерями всегда сопровождается сравнительным анализом нового (улучшенного метода) со старым. Для этого применяются метрики оценки изображения - субъективные и объективные. Первые основываются на субъективной оценке человеком или группы людей оригинального и сжатого изображений, вторые - на сравнении численных характеристик изображений. Кроме того, объективные методы оценки изображений позволяют сравнить различные алгоритмы, фильтры без использования оригинального изображения. Под метрикой (в обработке изображений) будем понимать функцию, определяющую расстояние от оцениваемого изображения до эталонного или идеального изображения в пространстве изображений [103].

Классификация метрик оценки качества изображений приведена на Рисунке 1.1.

Рисунок 1.1. Классификация метрик оценки качества изображений

Объективные методы оценки изображений можно разделить на три класса [103]:

• Эталонные (full reference, FR) - предполагают наличие исходного (эталонного) изображения, которое используется для сравнения с обработанным, причём предполагается, что исходное изображение не зашумлено, т.е. является идеальным. Достоинством метрик этой группы является простота их вычисления [67, 71].

• Неэталонные (по reference, NR) — предполагают отсутствие исходного изображения для сравнения. Данные имеют наибольшую вычислительную сложность и разрабатываются, как правило, для определённого вида искажений. При разработке неэталонной метрики качества часто необходимо учесть особенности сжатия той или иной системы компрессии [75]. При сравнении по неэталонному критерию качества изображений, сжатых кодеками, использующими разный принцип кодирования, приведение метрик, учитывающих спе