автореферат диссертации по радиотехнике и связи, 05.12.04, диссертация на тему:Методы и устройство формирования сигналов в цифровых видеоинформационных системах

На правах рукописи

9 15-5/440

Попов Андрей Владимирович

МЕТОДЫ И УСТРОЙСТВО ФОРМИРОВАНИЯ СИГНАЛОВ В ЦИФРОВЫХ ВИДЕОИНФОРМАЦИОННЫХ

СИСТЕМАХ

Специальность 05.12.04 - Радиотехника, в том числе системы и устройства телевидения

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Москва 2015

Работа выполнена на кафедре телевидения и звукового вешания им. С.И. Катаева Федерального государственного образовательного бюджетного учреждения высшего профессионального образования Московский Технический Университет Связи и Информатики

Научный руководитель: доктор технических наук,

профессор Безруков Вадим Николаевич

Официальные оппоненты: Куюс Калью Иванович, доктор технических наук,

профессор, ЗАО «Московский научно-исследовательский телевизионный институт», главный эксперт

Брюховецкий Александр Павлович, кандидат физико-математических наук, доцент кафедры Радиотехнических приборов, ФГБОУ ВПО «НИУ МЭИ», начальник лаборатории НПЦ

Ведущая организация: ФГУП «Научно-исследовательский институт радио»,

г. Москва

Защита состоится « 08 » октября 2015 г. в 13 . 00 часов на заседании совета по защите докторских и кандидатских Д 212.157.05 при ФГБОУ ВПО «НИУ «МЭИ» по адресу: 111250, Москва, Красноказарменная ул., д. 17, аудитория А-402.

С диссертацией можно ознакомиться в библиотеке ФГБОУ ВПО «НИУ «МЭИ» и на сайте www.mpei.ru.

Отзывы на автореферат в двух экземплярах, заверенные печатью, просим направлять по адресу: 111250, Москва, Красноказарменная ул., д. 14, Ученый совет «НИУ «МЭИ»

Автореферат разослан «_»_2015 г.

Ученый секретарь диссертационного совета Д 212.157.05 к.т.н., доцент

Р.С. Куликов

Актуальность темы. Формирование телевизионных (ТВ) изображений высокой тг~ сверхвысокой четкости отражает современные направления развития видеоинформационных технологий на основе новых научных достижений в области телевидения и передачи видеоданных. Однако лишь недавно эти форматы четкости успели доказать востребованность, завоевать признание обычных пользователей и профессионалов, а также показать свое преимущество перед ТВ изображениями стандартной четкости.

Пользователи все чаще выбирают возможность работы с изображениями с большей четкостью, независимо от того, смотрят ли они фильм, программы передач телевидения высокой четкости (ТВЧ), занимаются видеомонтажом или хотят организовать видеоконференцсвязь, используя для этого персональный компьютер или свое мобильное устройство.

Повсеместному внедрению, например, систем ТВЧ препятствуют трудности, обусловленные высокой инерционностью процесса модернизации аппаратуры и технического оснащения для формирования и обработки соответствующих видеоинформационных сигналов с учетом обеспечения требований, предъявляемых потребителями к качеству таких сигналов. Соответственно, удовлетворение перечисленных потребностей пользователей в полной мере возможно только с использованием самых передовых высокопроизводительных средств передачи сигналов и мощных аппаратных вычислительных ресурсов, стоимость которых зачастую оказывается очень высокой. Последнее заставляет предпринимать шаги для того, чтобы компенсировать инерционность развития технической составляющей, создавая возможности реализации современных требований к обработке видео на базе приемлемых по стоимости аппаратных платформ и доступных для пользователей средств передачи данных.

Для эффективного решения такой задачи необходимы исследования, достижения и перспективные разработки в области методов и устройств кодирования, которые позволят ускорить интеграцию современных технологий в жизнь каждого потребителя. Уже сейчас неоценимый вклад по данным направлениям, внесли и продолжают вносить теоретические и практические работы С.И. Катаева, М.И. Кривошеева, Ю.Б. Зубарева, A.C. Селиванова, Б.П. Хромого, В.П. Дворковича, Ю.С. Сагдуллаева, В.Н. Безрукова, а также других отечественных и зарубежных авторов.

Современным продуктом таких исследований являются, например, широко используемые стандарты сжатия H.264/AVC и H.265/HEVC. Они реализуют эффективное кодирование в системах ТВЧ для работы на большинстве аппаратных платформ и систем, с использованием меньшего количества ресурсов для передачи видеоинформационных сигналов.

Однако остается ряд платформ, для которых названные стандарты неспособны обеспечить эффективное кодирование сигналов ТВ изображений с качеством, соответствующим формату высокой четкости, особенно, для кодирования изображений, передаваемых в режиме реального времени. Кроме этого, исследования показали, что новейшие форматы ТВ изображений сверхвысокой четкости 4К и 8К, скорее всего, предъявят бескомпромиссно высокие требования к основным алгоритмам современных стандартов сжатия в отношении их эффективности и скорости обработки видеоинформационных сигналов, что говорит о скором достижении предела заложенного в эти стандарты ресурса. Сказанное выше приводит к выводу о необходимости

дальнейших исследований и разработок более эффективных методов обработки и кодирования ТВ сигналов в цифровых видеоинформационных системах.

По этой причине актуальными являются разработки новых цифровых методов и устройств, отличающихся не только эффективным и качественным, но и быстрым по времени, эа счёт снижения объёма необходимых вычислений, кодированием видеоинформационных сигналов высокой н сверхвысокой четкости. При этом в процессе обработки таких сигналов не потребуется привлечение высокопроизводительного оборудования. Наличие таких методов и устройств позволит успешно обеспечивать современные и будущие требования к видеоинформационным системам на базе мобильных и стационарных аппаратных платформ.

Цель и задачи работы. Целью настоящей диссертационной работы является модернизация существующих и разработка новых адаптивных методов, алгоритмов и устройств, позволяющих эффективно формировать, обрабатывать и кодировать видеоинформационные сигналы ТВ изображений со стандартной, высокой и сверхвысокой четкостью, а также сократить эа сч&г снижения объема вычислений необходимое количество используемых временных и аппаратных ресурсов для реализации перечисленных операций в сравнении с существующими методами.

Для достижения поставленной цели в данной диссертационной работе решены следующие научно-практические задачи:

1. Проведен теоретический анализ методов обработки и кодирования видеоинформационных сигналов в современных стандартах сжатия Н.264/АУС, Н.265/НЕУС и эффективных методов противошумовой коррекции структуры ТВ изображений.

2. На основе аналитических результатов выбраны параметры размера блоков обрабатываемых пикселей внутрикадрового пространства и конкретизированы перспективные направления в области разработки новых методов эффективного формирования видеоинформационных сигналов.

3. Разработан эффективный метод шумовой коррекции, преимуществом которого является относительно высокая степень подавления высокочастотных, в пределах внутрикадрового пространства, составляющих шума.

4. Разработана структурная схема устройства многомерной шумовой коррекции видеоинформационных сигналов, обеспечивающее эффективное устранение шума.

5. Разработан метод итерационной противошумовой обработки, обеспечивающий формирование адаптивных сигналов управления высокой точности.

6. Разработан метод внутрикадрового сжатия сигналов изображений, обеспечивающий масштабируемость видеоинформационного потока при передаче кодированных данных.

7. Разработан высокоэффективный метод межкадрового кодирования данных, не требующий в процессе своей работы привлечения высокопроизводительных аппаратных ресурсов.

Методы исследования. Поставленные в данной диссертационной работе задачи решались с использованием современных методов цифровой обработки изображений, численного анализа, статистической радиотехники, теории численного интегрирования и дифференцирования, спектрального анализа, программирования и др.

Научная новизна

1. Для варианта кодирования изображений высокой четкости выявлена специфика корреляционных связей смежных в пространстве пикселей и конкретизированы параметры размеров блоков пикселей, обеспечивающие увеличение эффективности устранения внутрикадровой избыточности в пространственном спектре изображения без существенной потери качества в последнем.

2. Предложена таблица с увеличенным набором коэффициентов частотного взвешивания для квантования трансформант ДКП в пространственном направлении видеоформата высокой четкости.

3. Разработан метод трехмерной противошумовой коррекции на основе адаптивной пространственно-временной фильтрации сигналов ТВ изображений в последовательности кадров.

4. Разработана структурная схема устройства трехмерной противошумовой коррекции на основе пространственно-временной фильтрации сигналов ТВ изображений в последовательности кадров.

5. Для адаптивной внутрикадровой и межкадровой обработки ТВ изображений высокой четкости разработан метод формирования управляющих сигналов, основанный на итерационной, линейной и нелинейной противошумовой обработке сигналов ТВ изображений.

6. Разработан метод адаптивного внутрикадрового сжатия с возможностью формирования корректирующей информации, обеспечивающей масштабируемость видеоинформационного потока.

7. Разработан метод адаптивного межкадрового сжатия с уменьшением необходимого числа сигналов векторов движения для восстановления кадра и соответственно увеличенной производительностью при выполнении процесса кодирования.

Практическая ценность

1. Реализовано эффективное формирование управляющих сигналов для адаптивной внутрикадровой и межкадровой обработки ТВ изображений высокой четкости.

2. Разработан алгоритм формирования корректирующей информации при внутрикадровом сжатии видеосигнала с выполнением условия масштабируемости результирующего информационного потока.

3. При реализации межкадрового сжатия сигналов изображений обеспечено уменьшение необходимого числа сигналов векторов движения для восстановления кадра и соответственно увеличена производительность при выполнении процесса кодирования.

4. Разработана структурная схема устройства трехмерной шумовой коррекции на основе пространственно-временной фильтрации сигналов изображений в последовательности кадров.

5. Создано программное обеспечение для моделирования разработанного метода адаптивного внутрикадрового сжатия с возможностью формирования корректирующей информации.

6. Создано программное обеспечение для моделирования разработанного метода адаптивного межкадрового сжатия.

Реализация результатов работы. Результаты работы использованы при разработке

систем передачи видеоинформации в ООО «Радиокомп», ЗАО «Спецвидеопроект» и при

выполнении гранта РФФИ № 14-07-00793-А «Разработка методов, алгоритмов и

устройства объективной комплексной и раздельной относительной оценки характеристик

систем сжатия спектра сигналов изображений вещательного телевидения» в ФГОБУ ВПО МТУ СИ. Они также использованы при проведении учебного процесса на кафедре телевидения и звукового вещания им. С.И. Катаева ФГОБУ ВПО МТУСИ для подготовки бакалавров и магистров.

Апробация результатов работы. Основные положения диссертационной работы докладывались и обсуждались на международных научно-технических конференциях "Фундаментальные проблемы радиоэлектронного приборостроения", Москва, ЫегтаЬс 2011 г. и Москва, ЬИегтайс 2012 г., У1П международно-отраслевой научно-технической конференция "Технологии информационного общества", Москва, 2014 г., а также на научно-технических семинарах, организованных на кафедре телевидения и звукового вещания им. С.И. Катаева ФГОБУ ВПО МТУСИ, 2011 - 2014 гг.

Публикации. По материалам диссертационной работы опубликовано 5 научных работ, в том числе три статьи в ведущих рецензируемых журналах, входящих в перечень ВАК.

Личный вклад. Теоретические выводы, основные положения и рекомендации, изложенные в материалах дайной диссертации, получены автором лично.

Структура и объём работы. Диссертационная работа состоит из введения, четырёх глав, заключения, списка литературы и приложения. Работа изложена на 205 страницах машинописного текста. Список литературы включает 91 наименований. Основные положения, выносимые на защиту

1. Разработанный метод трехмерной противошумовой коррекции внутрикадрового пространства на основе адаптивной пространственно-временной фильтрации сигналов изображений в последовательности кадров, реализующий эффективное подавление шумов различного происхождения и обеспечивающий экономное, в силу применения простых математических операций, использование вычислительных ресурсов.

2. Разработанная структурная схема устройства трехмерной противошумовой коррекции видеоинформационного сигнала на основе адаптивной пространственно-временной фильтрации кадров, реализующая эффективное подавление шумов различного происхождения и экономию вычислительные ресурсы.

3. Разработанный метод итерационной противошумовой обработки, обеспечивающий формирование адаптивных сигналов управления высокой точности, позволяющий повысить эффективность и скорость работы алгоритмов кодирования видеоинформационных сигналов в режиме реального времени.

4. Разработанный адаптивный метод устранения внутрикадровой избыточности с селективной обработкой сигнала ошибки, увеличивающий эффективность кодирования изображений формата стандартной и высокой четкости, а также обеспечивающий возможность формирования масштабируемого видеоинформационного потока, позволяющего динамически адаптировать скорость такого потока к пропускной способности канала связи.

5. Разработанный адаптивный метод устранения межкадровой избыточности, обеспечивающий формирование уменьшенного, требуемого для передачи, количества векторов движения и, тем самым, предоставляющий возможность увеличения степени сжатия с уменьшением общего времени работы алгоритма межкадрового кодирования.

б. Результаты проведенного анализа, моделирования и экспериментальных исследований разработанных методов сжатия изображений различных форматов четкости, демонстрирующие увеличение эффективности процесса кодирования этих методов по сравнению с существующими методами.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

В первой главе «Исследование методов кодирования на основе устранения статистической и психофизиологической избыточностей внутрикадрового и межкадрового направлений видеоинформационного сигнала» рассматриваются современные методы устранения психофизиологической и статистической избыточности в пространственном (внутрикадровом) и временном (в последовательности кадров) направлениях, реализуемые с учетом особенностей пространственно-временных характеристик зрительной системы человека.

В процессе проводимого анализа показано, что в условиях малых яркостей и освещенностей контролируемых объектов зрительная система работает как многомерный интегратор видеоинформации - увеличивает чувствительность с уменьшением разрешающей способности. При больших освещенностях (яркостях) объектов имеет место переход к дифференциальной оценке видеоинформационных воздействий с изменениями обратного типа.

Рассмотрены методы кодирования без потерь, в частности проведен анализ статических, адаптивных и динамических энтропийных методов сжатия, как неотъемлемых составляющих алгоритмов сжатия без потерь. Для обнаружения и анализа таблиц с данными энтропийного кодирования декодирован сигнал ТВ изображения.

Методы кодирования с потерями - очередной и очень важный этап при сжатии видеоинформационного сигнала. Использование этих методов позволяет необратимо устранять значительную часть избыточности, присущей видеоинформационному сигналу. Так различают внутрикадровые и межкадровые методы кодирования. К первым относится метод цветовой субдискретизации - снижение разрешения по цвету н сохранение разрешения по яркости в связи с особенностью зрительной системы, которая имеет высокую разрешающую способность при восприятии яркости, и меньшую для цветности.

Более существенная часть внутрикадровой избыточности устраняется при распределении, частотном взвешивании и квантовании коэффициентов, полученных в результате процесса преобразования с помощью методов на основе дискретно-косинусного преобразования (ДКП) и вейвлет преобразования. Данные преобразования являются прямыми конкурентами друг другу, из которых ДКП имеет высокое быстродействие и простоту реализации, но уступает вейвлет преобразованию в возможности масштабирования информационного потока и вносит в пространственную структуру кадра заметные искажения в виде блочности. Однако, для вейвлет преобразования характерно низкое быстродействие из-за высоких требований к вычислительным ресурсам и увеличение уровня нелинейных искажений в участках с наличием высокоградиентных изменений внутрикадровой структуры сигнала изображения. Следует отметить, что на основе ДКП построено большинство современных систем и стандартов сжатия.

В результате анализа работы методов на основе упомянутых преобразований принято, что в силу высокого быстродействия и совершенствующихся методов

устранения характерных блочных искажений, метод на основе ДКП является предпочтительным для скоростного кодирования в реальном режиме времени. Результат сокращения избыточности при использовании ДКП демонстрируется на рисунке 1.

Согласно рисунку 1 б для декодированного изображения характерно подавление уровня высоких пространственных частот и, следовательно, за счёт частотного взвешивания и квантования имеет место резкое уменьшение действия шумового сигнала, высокоуровневые составляющие которого сосредоточены именно в этой области пространственных частот.

а) исходное изображение 80x80 пикселей б) восстановленное изображение после

процедуры квантования ДКП коэффициентов Рисунок 1. Результат применения процедуры квантования ДКП коэффициентов

Кроме внутрикадровой избыточности, в видеоинформационном потоке присутствует межкадровая избыточность, устраняемая за счет межкадрового (временного) сжатия. Межкадровое сжатие имеет в своей основе два базовых этапа, на первом из которых вычисляется сигнал разности между сигналами последовательных кадров (межкадровая разница). Вторым этапом является процесс оценки и компенсации движения, при котором определяется направление и интервал перемещения составляющих сигналов объектов. Реализация этого процесса возможна с применением различных методов (алгоритмов оценки движения), отличающихся скоростью работы и качеством (точностью) выполнения компенсации движения. Однако процесс требует значительных временных и вычислительных ресурсов, поэтому большинство современных разработок в области эффективного кодирования видеосигнала направлены на оптимизацию существующих и создание новых методов компенсации движения.

В данной работе осуществлено моделирование основных операций процесса компенсации движения, что дало возможность реализовать детальный экспериментальный анализ характера работы данных операций. Выявлены ряд показателей и значений параметров компенсации движения, оказывающие положительное влияние на оптимизацию процесса межкадрового сжатия.

В частности показано (рисунок 2) влияние размера обрабатываемого блока на общую эффективность компенсации движения и, как следствие, на объем передаваемых данных.

Результат экспериментальной межкадровой обработки, приведенный на рисунке 2

б) можно охарактеризовать самой высокой в данном примере скоростью обработки и самым большим объемом передаваемых данных, соответствующих ошибкам предсказания. Полученному результату на рисунке 2 в) соответствует наименьшее быстродействие обработки, однако, для данного случая характерны наименьший объем передаваемых на приёмную сторону данных и более высокая точность выполнения

компенсации движения в сравнении с рисунком 2 б). Если движение предсказано достаточно точно (рисунок 2 в), то для каждого блока элементов изображения можно передавать лишь относительно малые межкадровые различия и, плюс, двумерный вектор движения.

а) б) в)

Рисунок 2. Объем сформированного на основе межкадровой разницы видеоинформационного сигнала для передачи по каналам связи а) - межкадровая разность, б) межкадровая разность с компенсацией движения (размер блока компенсации 16x16 пикселей), в) межкадровая разность с компенсацией движения (размер блока компенсации 8x8 пикселей)

Вектор движения для блока выбирается из условия минимальности значения функции, определяющей критерий совпадения блоков. В настоящее время доступен широкий набор таких функций (SSD, SAD, MAD, MSE и др.), отличающихся, в основном, уровнем сложности реализации и качеством получаемого результата.

Наиболее популярной в силу своих минимальных требований к вычислительным ресурсам и простотой реализации считается функция суммы абсолютных разностей (SAD) между элементами текущего и опорного блоков:

X.Y

где F - значение яркости, / - временной индекс кадра, (х, у) - пространственные координаты пикселей в кадре, Vx, Vy - координаты вектора движения.

Таким образом, установлено, что оценка вектора движения должна реализовываться в условиях селективного выделения составляющих видеоинформационного сигнала, отличающихся достаточно высоким градиентом изменения во внутрикадровом пространстве и сравнительно высоким отношением сигнал/шум. В основном, это среднечастотные составляющие, т.к. добавление высокочастотных составляющих ухудшает отношение сигнал/шум, а чрезмерное интегрирование (пространственная низкочастотная фильтрация) уменьшает уровень составляющих отражающих пространственно-временные изменения сигнала изображения при передаче движения.

Во второй главе «Формирование сигналов управления для адаптивного преобразования видеоинформационного сигнала» проведена классификация и сравнительный анализ наиболее успешных современных методов шумовой коррекции. Классификация выбранных фильтров шумоподавления, взятых для анализа, представлена на рисунке 3.

Проведенный анализ работы фильтров показал, что современные методы, обеспечивающие наиболее качественную фильтрацию изображения, строятся на принципах теории вероятности и математической статистики, а потому требовательны к вычислительным и временным ресурсам. При этом эффективная работа данных методов

обеспечивается наличием жестко заданных условий, что делает эти методы узкоспециализированными, а большинство из рассмотренных методов не обеспечивают эффективную обработку видеосигналов в режиме реального времени.

Однако проанализированные фильтры обладают свойствами, которые позволяют добиться эффективности при разработке новых методов. Среди таких свойств можно выделить итерационность процесса обработки и применение фильтрации на основе данных из пространственно-временной области. Данные свойства успешно применены в разработанных методах, имеющих процедуру противошумовой коррекции.

Рисунок 3. Семейство современных фильтров шумоподавления

Разработанный и

описанный, в рамках данной главы диссертации, метод шумовой коррекции поясняется на рисунке 4. В процессе фильтрации (реставрации) пикселя задействовалась группа близлежащих пикселей из пространственного и

временного направления. Для обеспечения симметрии в обрабатываемых данных и увеличения скорости

обработки, количество пикселей в группе ограничивается областью размером 5x5x5 пикселей. В начале процесса фильтрации данная трехмерная группа пикселей используется для оценки фильтруемого пикселя.

п-1 кадр

4

п-2 кадр

Рисунок 4. Группировка пикселей пространственного х, у и временного * направлений в трехмерную группу размером 5x5x5 пикселей

и

Оценка осуществляется первичным интегрированием совокупностей разнородных распределений пикселей трёхмерной группы с получением соответствующего результирующего значения (Р) и с оценкой разности полученного интегрированного значения с фильтруемым (оцениваемым) пикселем (АР). Разность (АР) не должна превышать заданного порога, который регулируется учётом освещённости в пределах контролируемой сцены. В этом случае выходной пиксель определяется полученным результирующим значением (Р).

Совокупность разнородных распределений пикселей трёхмерной группы используемых в первичном интегрировании при этом представлена следующими вариантами. Первоначально для интегрирования используется совокупность всех пикселей трехмерной группы 5*5x5 пикселей, которые интегрируются трехмерным окном с весовыми коэффициентами, значения которых формируются усеченной функцией Гаусса с обобщением для трехмерного случая. При этом, усеченная функция Гаусса не имеет бесконечного по протяженности спада симметричных краев, присущего исходной функции Гаусса, что повышает крутизну среза соответствующей частотной характеристики фильтра с одновременным устранением колебательных изменений её уровня в полосе пропускания и подавления, а использование простых линейных методов усреднения пикселов в сочетании с трехмерностью обрабатываемых данных позволяет добиться компромисса между скоростью работы и качеством фильтрации.

Если в результате оценки имело место превышение заданного порога, то размер трёхмерной группы снижается до объёма 3*3x3 пикселей и оценка результирующего пикселя производится снова. Если и в данном случае было выявлено превышение результатом оценки фильтруемого пикселя заданного порога, процесс оценки продолжается с интегрированием одномерных совокупностей пикселей (режим одномерной оценки), также имеющих динамическую размерность от 5 до 3 пикселей и по

направления интерполяции

Рисунок 5. Пример основных одномерных направлений интегрирования в пределах

трехмерной группы

Причём, при первичном интегрировании в данном частном случае используется одномерное окно весовых коэффициентов, которое построено на основе одномерной усеченной функции Гаусса для вариантов размера групп 5 и 3 пикселя. В случае отсутствия здесь превышения порога по какому-либо направлению, оно запоминается вместе с соответствующими ему значениями результата первичного интегрирования (Р) и оценки разности полученного интегрированного значения с фильтруемым (оцениваемым) пикселем (АР). Далее процесс поиска одномерных направлений, на которых в результате оценки отсутствует превышения заданного порога, продолжается до полного перебора доступных направлений.

Таким образом, противошумовую фильтрацию (реставрацию) пикселя определяют либо соответствующие трехмерные группы 5x5x5 или 3x3x3 пикселей, либо совокупность направлений (режим одномерной оценки), по которым не было обнаружено превышений заданного порога при соответствующих Р и ЛР. В последнем случае формируется совокупность групп фильтрующих пикселей, которые будут участвовать в процессе реставрации оцениваемого пикселя. Для них на основе Р и йР производится формирование необходимых весовых коэффициентов (а), с последующим весовым суммированием вычисленных по отдельным направлениям (с высокой корреляцией) пикселей при формировании результирующего пикселя.

Предложенная трехмерная фильтрация позволяет точнее отфильтровать составляющие шума даже в случае наличия искажения всех пикселей в относительно большой по размеру области изображения - так называемый шум в виде цветных пятен.

250

время, Л мсек сигнал наличия изменения

время, /, мсек положительная составляющая сигнала изменения

время, ?, мсек отрицательная составляющая сигнала изменения

время, /, мсек итоговый управляющий сигнал, сформированный на основе сигнала наличия изменения

Рисунок 6. Результат работы разработанного метода формирования сигналов управления

В рамках данной главы также описан разработанный метод формирования сигналов управления для адаптивного преобразования видеоинформационного сигнала. Для получения сигналов управления вычисляется сигнал наличия внутршсадрового или межкадрового изменения (сигнал наличия изменений), который в дальнейшем проходит процедуру раздельной обработки положительных и отрицательных составляющих этого сигнала, что позволяет избежать увеличения средней составляющей шума примерно в раз. После завершения обработки составляющих сигнала, они детектируются по абсолютному значению и объединяются в итоговый управляющий сигнал (рисунок 6).

Обработка

положительных и отрицательных составляющих сигнала

проводится итерационно, с использованием нелинейного порогового ограничения и слабого интегрирования,

позволяя адаптивно

подстраиваться к структуре сигнала и тем самым получить результат при высоком уровне шумов, формируя на выходе сравнительно высокоточный сигнал управления.

Разработанный метод формирования управляющего сигнала . является

высокоскоростной процедурой из-за наличия в ней исключительно простых

арифметических операций, а применение такого сигнала при сжатии позволяет быстро формировать команды для строго заданных объектов, сокращая, таким образом, количество

ОРИГИНАЛ ИЗОБРАЖЕНИЯ КАДРА

ВЫЧИСЛЕНИЕ РАЗНОСТИ

РАЗБИВКА НА БЛОКИ 16X1« ПИКСЕЛЕЙ

ДКП

КВАНТС )ВАНИЕ

1 ЭТАП

ШУМОВАЯ КОРРЕКЦИЯ

' г

ФОРМИРОВАНИЕ УС

5

2 ЭТАП

ШУМОВАЯ КОРРЕКЦИЯ I

г

ФОРМИРОВАНИЕ УС

±

ВОССТАНОВЛЕНИЕ ИЗОБРАЖЕНИЯ

ВЫДЕЛЕНИЕ КИ НА ОСНОВЕ УС

I

ВЫЧИСЛЕНИЕ РАЗНОСТИ

дкп

КВАНТОВАНИЕ

5НТМШШ6Е

КОДИРОВАНИЕ

Рисунок 7. Алгоритм метода внутриквдрового кодирования на основе управляющих сигналов с итерационным методом подавления шума

вычислений и лишний (паразитный) объем передаваемых данных.

В третьей главе "Реализация методов сжатия видеоинформационных сигналов" представлено описание разработанного метода внутриквдрового кодирования (рисунок 7) с использованием предложенной в рамках данной главы матрицы с увеличенным набором коэффициентов частотного взвешивания для квантования трансформант ДКП, которая обеспечивает согласованность характеристик зрения с особенностями устранения избыточности в форматах видео высокой четкости.

В разработанном методе также задействован новый алгоритм коррекции искажений на основе управляющих сигналов (УС) с нелинейным итерационным методом подавления шума. УС позволяет формировать корректирующую информацию (КИ), адаптированную под форму области содержащей искажения. КИ предназначена для улучшения качества декодированного изображения и опционально может быть передана в случае наличия

свободных ресурсов в канале связи, обеспечивая этим масштабируемость видеоинформационного потока.

В рамках данной главы также описан разработанный метод межкадрового кодирования с предсказанием на основе управляющих сигналов с итерационным методом шумовой коррекции (рисунок 8).

Алгоритм данного мешда за счет реализации формирования УС определяет границы областей с наличием изменений во временном направлении и, соответственно, позволяет запускать команды на кодирование исключительно для отмеченных локаций, ускоряя тем самым процесс межкадровой обработки в целом.

Использованное в

алгоритме разработанного

метода итерационное

шумоподавление при

формировании УС позволяет исключить формирование

избыточных сигналов векторов движения и, таким образом, сократить объем передаваемых данных, а также снизить нагрузку на вычислительные ресурсы при реализации компенсации движения.

При этом, на этапе

итерационной шумоподавление осуществляется фильтра.

соответствующая импульсной характеристики распределения шума:

коррекции,

применение Матрица, его (ИХ),

Рисунок 8. Алгоритм метода межкадрового кодирования на основе управляющих сигналов с итерационным методом подавления шума

была выбрана с учетом Гауссовской модели

0.000789 0.006581 0.013347 0.006581 0.000789

0.006581 0.054901 0.111345 0.054901 0.006581

0.013347 0.111345 0.225821 0.111345 0.013347

0.006581 0.54901 0.111345 0.054901 0.006581

0.000789 0.006581 0.013347 0.006581 0.000789

С учетом нормирования относительно центрального коэффициента получим:

0.003494 0.02914 0.0591 0.02914 0.003494

0.02914 0.24312 0.49307 0.24312 0.02914

0.0591 0.49307 1.0 0.49307 0.0591

0.02914 0.24312 0.49307 0.24312 0.02914

0.003494 0.02914 0.0591 0.02914 0.003494

В реальной области ИХ данного фильтра может быть, с некоторым приближением, определена в виде выражения:

- t 5Х И'* - кТ*) • S{<y - пТу))> (2)

Л—2л~2

где tx,ty- аргументы плоскости пространства кадра; Tz,Ty— период следования идеализированных отсчётов для варианта условной частоты дискретизации видеосигнала /Дг = -/Ди"13-5'1°6 Гц {Т'=Ту =1//ß.=1//pv =0.074-10^); М -

пространственные порядковые номера коэффициента фильтра; - значения

коэффициентов, определяющих амплитуду отсчётов ИХ.

В частотной области коэффициент передачи фильтра имеет следующий вид:

^ {fx'fy) = (/../у) + *2* (/../,) + (/«. + *4* (3)

гдс К\ху {fx'fy)>K2х {fx'fy)'K2y {fx-/y)-K3x {fx-fy)<K4x (fxJy) " составляющие коэффициента передачи фильтра:

*1 ху (fx'fy) = 1 • «»(2*/, • 0 ■ тя + 2я/у ■ 0• Ту)-,

К2х {fx'fy) = 2" 0-49307 • cos{lnfxTx + 2лfy • 0 • Ту) + 2 ■ 0.0591 • cos{2nfx • 2ТХ + 2 я/у • 0 • Ту)-К2у (fx<fy] = 2' 0.49307 • cos(2nfx • 0 -Тх + 2nfyTy) + 2 • 0.0591 • соф*/, • 0 • Тх + 2л/у-27^);

(/*./у) = 2 • 0.243^(соф/г/я • \ТХ + • 17^) + cos{lnfx ■ 1 Тх - 2л fy • 17^)) + +2 • 0.02914^coi (2*/, • 2ТХ + 2лfy • 1Гу) + ем(2»г/, • 27^ - 2*/, • 17^)); *4* (Л'/у) = 2' 0.02914 («и (2л/, ■ 1 Тх + 2*/,, ■ 2Ту j + соф*/, • 1 Тх - 2л}у • 27^)) +

+2 ■ 0.003494(cos\2nfx • 2ТХ + 2л/у ■ 2Ту) + cos{lnfx ■ 2ТХ - 2лfy ■ 2Ty"jj.

Нормировка импульсной характеристики относительно нулевого уровня осуществлена в соответствии с соотношением:

4xy\fxJy)- ^(оо) • (4)

Апертурная характеристика определена как

stn{2^fx^Tx) {sin(2nfxS2Tx)j

3 ( i ччЗ

sin

V

(2*fy{2Ty)

где £ - коэффициент апертурных искажений, для которого установлено значение £=0,25.

Тогда результирующий коэффициент передачи с учетом влияния апертурных искажений имеет следующий вид:

КР (Л./у) = *0ху (Л./у)' (/*./у). (6)

Результаты расчета Кр(/Х'/у) представлены на рисунке 9. Сечения результирующего коэффициента передачи фильтра показаны на рисунке 10.

Рисунок 9. Результаты расчета Рисунок 10. Сечения вдоль оси 0/х:

результирующего коэффициента передачи 1 _ апертурная характеристика датчика

пространственного фильтра низких частот ,, / , , \

у видеосигнала Ка[/х,/у);

2 - нормированный коэффициент

передачи фильтраК0ху (/х./у);

3 - результирующий коэффициент

передачи Кр(/х,/у)

Согласно результатам расчетов (рисунки 9, 10) использование пространственного фильтра обеспечивает достаточно эффективное подавление пространственных высокочастотных составляющих шума при выделении сигнала управления.

Для реализации предложенных в данной работе методов разработано программное обеспечение на базе языка программирования МАТЬАВ. Для сравнения результатов работы разработанных методов с существующими методами, было также произведено моделирование работы последних в среде МАТЬАВ.

В качестве исходных данных для оценки эффективности внутрикадрового кодирования выбирались две видеопоследовательности и одно изображение, отличающиеся форматом кадра (высокой и стандартной четкости) и структурой пространственного содержания. Все исходные данные содержали образы людей как основной объект внутрикадрового пространства.

Объективная оценка качества декодируемых данных осуществлялась метрикой пикового отношения сигнал/шум.

Результаты работы разработанного метода внутрикадрового кодирования и метода сжатия стандарта JPEG представлены на рисунке 11.

Rebecca Black Read» to 'Friday'

Rebecca Black React» to 'Friday*

Размер данных, байт

тою

Размер данных, байт

Рисунок 11. Сравнительная оценка данных результата работы разработанного метода внутрикадрового сжатия и метода сжатия стандарта JPEG

Оценка данных показывает, что использование таблицы с увеличенным числом коэффициентов квантования позволяет значительно сократить объем передаваемых данных при одинаковых параметрах качества декодированных изображения.

Использование корректирующей информации увеличивает качество декодируемых изображений и также позволяет сократить объем передаваемых данных, но при превышении порога уровня искажений в пространстве кадра передается больший объем данных. Результаты работы разработанного метода межкадрового кодирования и метода сжатия стандарта MPEG, а также их сравнительные оценки представлены на рисунках 13 и 14.

Номер кадра

Рисунок 14. Сравнительная оценка данных результата работы разработанного метода межкадрового сжатия и метода сжатия стандарта MPEG

В заключении приводятся основные выводы и результаты, полученные в ходе проведения исследований.

Номер кадра Foreman

Рисунок 13. Объем векторов движения формируемый разработанным методом (слева) и методом стандарта MPEG (справа)

В приложении приведён код программы, моделирующий адаптивное внутрикадровое кодирование с формированием корректирующей информации на основе управляющих сигналов, а также код программы, моделирующий с применением управляющих сигналов адаптивный процесс выполнения компенсации движения и формирования уменьшенного числа сигналов векторов движения, необходимых для декодирования видеоинформационного потока.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Рассмотрены особенности работы зрительной системы человека, на основе которых производится выявление психофизиологической избыточности. Проведен анализ современных методов сжатия сигналов изображений в пределах пространственного и временного направлений на основе дискретно-косинусного преобразования и вейвлет функций. Исследованы, с оценкой эффективности и скорости работы, энтропийные методы сжатия видеоинформационных сигналов. Также рассмотрены современные и перспективные методы противошумовой коррекции с анализом принципов их работы. Проанализированы алгоритмы работы современных методов устранения межкадровой избыточности, лежащие в основе кодеков Н.264/АУС и Н.265/НЕУС. В результате проделанной работы выявлены недостатки алгоритмов этих методов.

2. Определен перечень мер, направленных на увеличение эффективности работы рассмотренных методов сжатия, сформулированы требования к разработанным методам пространственного и межкадрового кодирования.

3. Предложено использовать в разработанном методе кодирования в пределах внутрикадрового пространства блоки увеличенных размеров для кодирования кадров формата высокой четкости.

4. Сформирована и успешно протестирована матрица квантования, обеспечивающая эффективное сокращение избыточности в блоках увеличенного размера.

5. Разработан метод трехмерной противошумовой коррекции в пределах внутрикадрового пространства на основе адаптивной пространственно-временной фильтрации сигналов изображений в последовательности кадров, реализующий эффективное подавление шумов различного происхождения и обеспечивающий экономное использование вычислительных ресурсов.

6. Разработана структурная схема устройства трехмерной шумовой коррекции на основе адаптивной пространственно-временной фильтрации сигналов изображений в последовательности кадров, обеспечивающее эффективное подавление шума различной природы и использование пониженного объёма вычислительных ресурсов.

7. Разработан нелинейный итерационный метод формирования управляющих сигналов с противошумовой коррекцией, обладающий универсальностью и высоким быстродействием.

8. Разработан адаптивный метод кодирования пространственной структуры кадра с возможностью формирования корректирующей информации, передаваемой, при необходимости, в зависимости от наличия свободных ресурсов канала связи.

9. Разработан эффективный метод адаптивного кодирования по межкадровому направлению видеоинформационного сигнала, обеспечивающий выполнение компенсации движения с высокой производительностью за счёт формирования

20

1 5 - 82 0 9

уменьшенного числа сигналов векторов движения, достаточного для восстановления сигнала кадра.

10. Проведены моделирование и экспериментальные исследования, результаты которых показали эффективность работы разработанных методов и улучшенные результаты в сравнении с методами-конкурентами. Предложенные алгоритмы обеспечивают коррекцию недостатков, выявленных при анализе существующих методов кодирования. Рекомендуется использование разработанных методов кодирования видеоинформационного сигнала, как в качестве самостоятельных модулей, так и в качестве модернизации компрессионных систем на основе стандартов JPEG, H.264/AVC и H.265/HEVC.

СПИСОК ПУБЛИКАЦИЙ

Статьи в изданиях, входящих в перечень ВАК РФ

1. Попов A.B. Временная психофизиологическая избыточность в видеоинформационных сигналах видеоконференцсвязи // T-Comm. Телекоммуникации и транспорт, № 9, 2012.-С. 112-114.

2. Попов A.B. Алгоритмы энтропийного кодирования при сжатии спектра телевизионного сигнала // T-Comm. Телекоммуникации и транспорт, № 4, 2013. - С.

3. Безруков В.Н., Попов A.B., Аладин В.М. Искажения сигналов изображения в современных системах телевидения // T-Comm. Телекоммуникации и транспорт, № 1,

4. Попов A.B. Современные методы сжатия видеоинформационных сигналов в системах видеоконференцсвязи // Фундаментальные проблемы радиоэлектронного приборостроения / Материалы Международной научно-технической конференции «INTERMATIC-2011» 14 - 17 ноября 2011 г., Москва. / Под ред. Чл.-корр. РАН A.C. Сигова. - М.: МГТУ МИРЭА - ИРЭ РАН, 2011, часть 3. - С. 254.

5. Попов A.B. Пространственно-временное предсказание в стандарте видео сжатия Н.264 // Фундаментальные проблемы радиоэлектронного приборостроения / Материалы Международной научно - технической конференции «INTERMATIC-2012», 3-7 декабря 2012 г., Москва. / Под ред. академика РАН A.C. Сигова. - М.: МГТУ МИРЭА - ИРЭ РАН, 2012, часть 6. - С. 215.

42-46.

2015.-С. 45-50.

Материалы конференций

Подписано в печать

Типография Издательства МЭИ, Красноказарменная ул.,д.1Э

2015675434

2015675434