автореферат диссертации по радиотехнике и связи, 05.12.04, диссертация на тему:Разработка и исследование методов и устройств сокращения временной избыточности цифровых видеопотоков

На правах рукописи

Шиманский Евгений Юрьевич

РАЗРАБОТКА И ИССЛЕДОВАНИЕ МЕТОДОВ И УСТРОЙСТВ СОКРАЩЕНИЯ ВРЕМЕННОЙ ИЗБЫТОЧНОСТИ ЦИФРОВЫХ ВИДЕОПОТОКОВ.

Специальность: 05.12.04- Радиотехника, в том числе системы и устройства радионавигации, радиолокации и телевидения.

Автореферат диссертации на соискание ученой степени кандидата технических наук

Санкт-Петербург - 2004

Работа выполнена в Санкт-Петербургском федеральном государственном унитарном предприятии научно — исследовательском институте телевидения.

Научный руководитель

Доктор технических наук, профессор, Быков Р. Е.

Официальные оппоненты:

Доктор технических наук, ст. н. с, Цыцулин А.К.

Кандидат технических наук, ст.н.с. Можейко В.И.

Ведущая организация: Санкт-Петербургский государственный

университет кино и телевидения

Защита состоится »дье^а-М 2004 г. в час на заседании диссертационного совета Д 212.238.03 Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» им. В.И. Ульянова (Ленина) по адресу: 197376, Санкт-Петербург, ул. Проф.

Попова, 5.

С диссертацией можно ознакомиться в библиотеке университета.

Автореферат разослан »

2004 г.

Ученый секретарь диссертационного совета

Баруздин С. А.

2004-4 18193

№

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ.

Актуальность темы. В современных цифровых системах вещательного телевидения, а также в компьютерных системах связи используются форматы MPEG-2 и MPEG-4. В связи с этим продолжает оставаться актуальной разработка методов и устройств сокращения избыточности цифровых видеопотоков. Основным направлением диссертационной работы является обнаружение резкой смены сюжета при использовании алгоритмов компенсации движения, разработка методов и алгоритмов обнаружения векторов движения, а также оценка эффективности их работы. Эффективность работы методов и алгоритмов оценивается по таким параметрам, как величина искажений декодированного изображения и скорость кода в канале.

Актуальность исследований связана с возникновением переходных искажений при резкой смене сюжета или быстрых перемещениях. В силу специфики кодирования в формате MPEG-2 и MPEG-4 переходные искажения могут распространяться на всю последовательность группы кадров. Гибкость семейства форматов MPEG заключается в том, что они не регламентируют алгоритм поиска векторов движения. В потоке необходимо передать данные о самом векторе и ошибку предсказания. По этому можно совершенствовать аппаратуру, с целью улучшения качества изображения и увеличения степени сжатия в соответствии с технологической базой или внедрением новых ускоренных алгоритмов определения векторов не внося корректировок в сам формат. Любой ускоренный алгоритм имеет свои недостатки. Поиск же векторов методом полного перебора практически невозможно реализовать сточки зрения аппаратных затрат.

Целью диссертационной работы является разработка и исследование алгоритмов и способов компенсации движения и построение обнаружителя смены сюжета. В силу того, что классы изображений на входе кодирующего устройства могут быть различными, ставилась задача оптимизации алгоритмов компенсации движения к резким изменениям сюжета.

Исходя из цели работы, задачами решаемыми в диссертации являются:

1. Исследование зависимости между значениями интеграла модуля межкадровой разности и скоростью кода в канале для блока поэлементной разности, полученного в соответствии с форматом MPEG-2.

2. Разработка алгоритма для предсказания скорости кода в канале.

3. Построение обнаружителя смены сюжета. Адаптация существующих алгоритмов к ситуации, когда приходится находить не вектор движения, а вектор «подобия» с целью минимизации потерь качества изображения и достижения максимального сжатия.

4. Разработка метода для оценки эффективности работы алгоритмов компенсации движения.

5. Применение разработанных алгоритмов для решения практических задач.

Основные методы исследования. В работе использованы методы дискретной математики, корреляционного анализа, методы цифровой обработки сигналов изображения, оценка качества дискретных изображений, имитационное моделирование.

Научная новизна исследований состоит в следующем:

• предложен метод комплексного решения задачи анализа и компенсации движения в формате MPEG-2, позволяющий обнаруживать резкую смену сюжета и определять оптимальный порог для типовых сюжетов;

• предложен метод оценки работы алгоритма компенсации движения по минимуму скорости кода в канале при ограничении на отношение сигнал/шум;

• разработана адаптивная схема компенсации движения с обнаружителем резкой смены сюжета по интегралу модуля межкадровой разности в кодирующем устройстве MPEG-2;

• установлено, что значения интеграла модуля межкадровой разности и скорости кода в канале коррелированны между собой для ограниченного количества сюжетов;

• установлена линейная связь к получено аналитическое выражение между скоростью кода для макроблока и количеством ненулевых спектральных. коэффициентов в этом макроблоке.

Практическая - значимость работы. Включенные в диссертацию результаты получены автором в рамках работы ОКР «Мультиканал», проводимой в соответствии с Федеральной, целевой, комплексной программой «Создание технических средств связи, телевидения и радиовещания», и заключаются в следующем:

1. Предложен новый метод и получено аналитическое выражение для предсказания скорости кода в канале по ненулевым спектральным коэффициентам, которые могут быть использованы в инженерных расчетах.

2. Разработано программное обеспечение, позволяющее оценить корреляционную связь между интегралом модуля межкадровой разности и скоростью кода в канале.

3. Разработано программное обеспечение, позволяющее оценить эффективность работы алгоритма компенсации движения.

4. Разработан программный комплекс, позволяющий моделировать различные виды движения и оценивать качество декодированного изображения.

5. Результаты диссертационной работы используются в кодирующем устройстве MPEG-2 в части реализации адаптивного подбора коэффициентов квантования.

На защиту выносятся следующие основные положения:

• для обнаружения резкой смены сюжета вводится порог для интеграла модуля межкадровой разности, тем самым обеспечивается уменьшение максимальной ошибки декодированного изображения;

• эффективность работы схемы компенсации движения может быть оценена по минимуму скорости кода в канале при ограничении на отношение сигнал/шум;

• для уменьшения ошибки передачи при заданной скорости передачи необходимо учитывать не только смену сюжета, но и соотношение скоростей кода в соседних кадрах;

• для уменьшения ошибки передачи в реальном времени следует воспользоваться предсказанием скорости кода в канале; в частности, скорость кода в канале может быть предсказана по количеству ненулевых спектральных коэффициентов в макроблоке.

Апробация работы. Основные положения и результаты работы докладывались и обсуждались на следующих конференциях:

5-ая Международная конференция «Распознавание - 2001», 23-26 октября, 2001 г., Курск.

Международная конференция «Телевидение: передача и обработка изображений», 21-22 мая, 2002 г., Санкт-Петербург. 3-ая Международная конференция «Телевидение: передача и обработка изображений», 5-6 июня 2003 г., Санкт-Петербург. Публикации. По теме диссертации опубликовано 2 статьи, 1 публикация в сборнике материалов научно-технической конференции и тезисы к 2 докладам на международных научно-технических конференциях.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка использованной литературы, включающего 71 наименование, и двух приложений. Основная часть работы изложена на 94 страницах машинописного текста. Работа содержит 38 рисунков и 9 таблиц.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ.

Во введении обоснована актуальность темы, сформулирована научная проблема, дана общая постановка решаемых задач и аннотация диссертационной работы. Озвучены положения, выносимые на защиту.

В первой главе рассмотрены основные методы устранения пространственной и временной избыточности изображений, а также основные типы искажений, присущие цифровому кодированию в формате МРЕв-2. Пространственная избыточность устраняется в процессе использования дискретно-косинусного преобразования Фурье, временная — за счет использования предсказания вперед (Р- кадры), в двух направлениях (В-кадры), а также предсказания с использованием алгоритмов анализа и компенсации движения.

Рассмотрены основные алгоритмы анализа и компенсации движения. Как правило, суть этих алгоритмов сводится к следующему: во временной области в блоке яркости выделяется блок размером 16x16 элементов изображения, в соседнем кадре в некоторой зоне поиска определяется наиболее похожий блок такого же размера, затем вычисляется межкадровая разность между этими блоками, вычисляется спектр от межкадровой разности и спектральные коэффициенты кодируются кодами переменной длины.

Рассмотрены основные типы искажений связанные со спецификой кодирования в формате MPEG-2.

Определены цели и задачи диссертационной работы, направленные на обнаружение резкой смены сюжета и адаптацию известных алгоритмов компенсации движения, разработку методов объективной оценки эффективности работы алгоритмов компенсации; движения, алгоритма предсказания скорости кода в канале.

Во второй главе производится синтез тестовых изображений:

• для анализа корреляционной связи между значениями интеграла модуля межкадровой разности, используемый как критерий при определении вектора движения и скоростью кода в канале;

• для оценки эффективности работы схемы компенсации движения.

Для анализа корреляционной связи были выбраны характерные типы сюжетов, такие как крупный план, средний план и мелкий план. Для полноты выборки каждый блок сравнивается со всеми блоками изображения, статистика набирается по всему кадру со смещением на один элемент изображения, т.е. блок сравнивается с набором случайных блоков.

Анализируются ряд реальных сюжетов, содержащих шумовую составляющую, полученных при помощи профессиональной камеры КТ-190, с отношением сигнал/шум порядка 56 дБ.

Для оценки эффективности схемы компенсации: движения использовалась тестовая последовательность с горизонтальными, вертикальными и круговыми смещениями, а также тестовая последовательность, содержащая сюжеты с различным спектральным составом.

Видео поток на входе кодирующего устройства представляет собой случайный процесс. В силу того, что в большинстве случаев сюжеты коррелированны, между собой, можно считать входной видео поток стационарным случайным процессом. При резкой смене сюжета видео поток становится нестационарным случайным процессом. Задача состоит в обнаружении смены сюжета и уменьшении времени переходных искажений до одного кадра. Случайный процесс характеризуется набором автокорреляционных функций (АКФ) и набором плотностей вероятности. Стационарный случайный процесс можно охарактеризовать с помощью АКФ и плотностью распределения.

В качестве корреляционной функции между кадрами выступает интеграл модуля межкадровой разности. При * равном времени кадра средний квадрат межкадровой разности связан с коэффициентом корреляции соотношением:

£Цх(0-*(/ + г) }!] = 2r„(0Xl-p]

где - коэффициент корреляции.

Дня уменьшения вычислительных затрат используют не квадрат межкадровой разности, а модуль.

Алгоритм обработки видеопоследовательности в соответствии с форматом MPEG-2 предусматривает переход из временной области в частотную область. Деление полученных спектральных коэффициентов на фактор квантования F (для передачи спектральных коэффициентов с требуемой точностью), принимающих значение 1..62 или 1..112, в соответствии с выбранной шкалой квантования и установленным округлением результатов. Зигзагообразное считывание коэффициентов и статистическое кодирование, реализованное при помощи алгоритма RLC-VLC, при котором наиболее вероятные символы кодируются короткими битовыми последовательностями, а наименее вероятные-длинными.

При определении зависимости скорости кода в канале от. интеграла модуля межкадровой разности использовалась программная модель, полностью соответствующая процедуре обработке видеосигнала в кодере MPEG-2. Каждый макроблок сравнивался со всеми макроблоками изображения, и для каждой пары макроблоюв вычислялись. |д| - значение интеграла модуля межкадровой разности (DFD — displayed frame difference) и L - значение скорости кода в канале. Анализ производился для различных значений фактора квантования F=l .62.

Графики, отражающие указанные процессы для F=l, представлены в виде двумерных гистограмм (рис. 1, а, б, в), на которых N - количество событий с данным значением скорости кода в канале L и DFD -Максимальное значение для одного элемента гистограммы ограничено числом N=255. Графики построены для изображения крупного плана (портрет) (рис.1 а), среднего плана (содержащего ярю выраженные контура) (рис.1б)и мелкоструктурного изображения(рис.1 в).

Анализ полученных гистограмм показывает, что скорость кода и интеграл модуля межкадровой разности не коррелированны между собой. Однаю, при малых значениях DFD можно выделить участок, где разброс скорости кода незначителен, т.е. на этом участке эти две величины коррелированны. Поэтому при построении схемы компенсации движения целесообразно иметь пороговое устройство для интеграла модуля межкадровой разности. Введение порога позволит обнаружить смену сюжета и снизить влияние переходных процессов до одного кадра. В результате во

второй главе была синтезирована схема компенсации движения с обнаружителем резкой смены сюжета (рис.2).

Рис. 1 Зависимости скорости кода в канале от значения DFD при факторе F=l для изображения: а) крупный план; б) средний план; в) мелкий план.

Начальный момент работы.кодера является частным случаем резкой смены сюжета. Очевидно, что выделение сюжета с высокой временной корреляцией позволит повысить эффективность кодирования.

Информация на входе кодера представляет случайный процесс с априорной неопределенностью момента смены сюжета. Цель диссертационной работы состоит в определении переходного процесса, связанного со сменой кадров, или быстрым перемещением, для адаптации блока компенсации движения. В противном случае схема компенсации движения вместо сжатия приводит к обратному эффекту. Полученный вектор приведет к увеличению скорости передачи. Резкое увеличение скорости передачи битов приводит к переполнению выходного буфера, которое влечет за собой замораживание сюжета. Чтобы уменьшить скорость передачи кодер вынужден более грубо квантовать спектральные коэффициенты, что неминуемо сказывается на качестве изображения.

По результатам второй главы сделаны следующие выводы:

• анализ полученных зависимостей скорости кода в канале от интеграла модуля межкадровой разности показывает отсутствие корреляции между этими величинами;

• при малых значениях интеграла модуля межкадровой разности выделен участок, в котором разброс скорости кода незначителен. Это говорит о

целесообразности введения порогового устройства в схему компенсации движения;

Рис. 2 Адаптивная схема компенсации движения.

• синтезирована схема кодирующего устройства с использованием порогового обнаружителя, позволяющая распознать смену сюжета и тем самым уменьшить влияние переходных процессов до одного кадра.

В третьей главе предложен метод и получено аналитическое выражение для предсказания скорости кода в канале по ненулевым спектральным коэффициентам.

Для анализа скорости кода произведена оценка зависимости количества бит, приходящихся на макроблск после кодирования кодами переменной длины от количества ненулевых спектральных коэффициентов в этом макроблоке. В результате моделирования были: получены зависимости скорости кода макроблока от количества ненулевых спектральных коэффициентов блоков, входящих в этот макроблок для типовых сюжетов (рис.3).

Рис.3. Зависимости скорости кода макроблока L от количества ненулевых элементов NoZeгo: а) крупный план; б) мелкий план; в) средний план.

Зависимости (рис.3) имеют линейный характер для всех тестовых изображений. Разброс обуславливается значениями самих ненулевых коэффициентов. Получив уравнение прямой, которая будет являться функцией регрессии, можно по количеству ненулевых спектральных коэффициентов в макроблоке предсказывать скорость кода в канале для данного макроблока.

Фактически полученные прямые являются зависимостью скорости кода от количества ненулевых элементов для самой таблицы RLC-VLC. Наклон прямой не зависит от типа изображения. Прямая становится либо короче, либо длиннее, в зависимости от содержания сюжета. Например, для ровного поля (при условии отсутствия шумов) эта прямая выродится в точку.

В предположении линейной зависимости в качестве функции регрессии принимается уравнение прямой, в котором значения NoZeгo (количество ненулевых элементов) обозначено - N а значения скорости кода - L:

В уравнении прямой 1 имеют место следующие соотношения для коэффициентов регрессии Ьа и '.

где

А» - частота к-го интервала значений;

частота.]'-го интервала значений объясняющей переменной Ь; Рц-частота к-го интервала значений И и фго интервала значений L. Исходя из соотношений 1 , 2 и 3 было получено выражение для функции регрессии :

I = 32 + 9.8АГ

(4)

Алгоритм был применен в кодирующем устройстве МРЕО-2 для адаптивного подбора коэффициентов квантования. Известно, что на выходе кодирующего устройства для поддержания постоянной скорости кода в канале целесообразно ставить буферную память. Когда свободное пространство в памяти становится небольшим, необходимо увеличивать фактор квантования, чтобы уменьшить скорость передачи. В тоже время, когда буферная память освобождается, можно уменьшить фактор квантования, при этом точность спектральных коэффициентов повысится, в связи с чем увеличится скорость кода в канале.

Алгоритм подсчета ненулевых спектральных коэффициентов применялся при анализе скорости кода для блока поэлементной разности, определенного как разность между опорным блоком и блоком, найденным с

учетом информации о векторе движения. Если блок поэлементной разности имеет скорость кода больше, чем опорный блок, то, с точки зрения сокращения потока, целесообразно передавать опорный блок. В противном случае передается блок найденный с учетом информации о векторе движения.. По результатам третьей главы сделаны следующие выводы:

• предложен метод для предсказания скорости кода в канале по ненулевым спектральным коэффициентам, требующий минимума аппаратных затрат;

• получено аналитическое выражение для определения скорости кода для макроблока по ненулевым спектральным коэффициентам, выражение (4);

• при использовании алгоритма подсчета количества ненулевых спектральных коэффициентов, необходимо учитывать ошибки, вызванные значениями самих спектральных коэффициентов; эти ошибки не превышают 10%.

В четвертой главе определено пороговое значение для интеграла модуля межкадровой разности и предложен, метод оценки эффективности работы алгоритма компенсации движения.

На рис. 4 изображены зависимости критериев верности для выбранных тестовых последовательностей; от пороговых значений интеграла модуля межкадровой разности. Критерии верности определялись по нормированным среднеквадратическим ошибкам (НСКО) между эталонным изображением и изображением прошедшим тракт кодирования с использованием компенсации движения. Тестовые последовательности содержали как малые изменения сюжета, так и резкую смену кадра.

На реальных изображениях с ростом величины DFD корреляционные связи между фрагментами изображений существенно снижаются,, гарантировать снижение скорости передачи при этом практически невозможно. Поэтому значения НСКО определялись в комбинированной процедуре: до некоторого значения DFD, называемого пороговым, восстановление фрагментов производилось с учетом векторов движения, а при его превышении - без учета.

Нормированная среднеквадратическая ошибка £ без преобразования, определяется соотношением:

(5)

ст.ст2 х10<

Фактор F= 10 (Изображение)

Рис.4 Критерии верности а) для тестовой последовательноси: с мало различающимся кадрами; б) для последовательности с резко изменяющимися кадрами.

Для сближения результатов объективной, и субъективной оценок, возможно применение к изображениям поэлементных преобразований. В настоящее время отсутствует однозначно определенное преобразование, дающее оптимальный результат. В описываемом случае применено квадратичное поэлементное преобразование, для которого Тогда £ определится как

4 =

У-1 _

¿¿[С0\*)12

(б)

В силу того, что

^ 1—^—+——1 =

где {.} - преобразование Фурье, на изображении выделялись контура ю временной области и в соответствии с (5), (6) и (7) оценивалось £ между двумя контурными изображениями, одно из которых прошло через тракт кодирования и декодирования, другое - то же самое изображение, но без искажений вносимых трактом. Для выделения контура тестовое изображение подвергалось двойному дифференцированию по осям х и у.

Из графиков критериев верности определено порогаюе значение для интеграла модуля межкадроюй разности равное 4000, позволяющее обнаруживать смену сюжета и снизить время переходного процесса при смене сюжета до одного кадра.

В соответствии с предложенным методом определения эффективности работы алгоритма компенсации движения, оценка производится по минимуму скорости кода в канале при ограничении на отношение си гнал /шум.

Отношение сигнал/шум рассчитывалось по значению нормированной среднеквадр этической ошибки в соответствии с выражением:

(с/ш)я =-т%(нско)

В случае, когда два кадра мало отличаются друг от друга, т.е. все движения объектов происходят в зоне поиска векторов, метод полного перебора и комплексный подход при компенсации движения (введение порога для интеграла межкадроюй разности и учет скоростей кода в соседних кадрах), дают следующие показатели скорости кода в канале и отношения сигнал/шум. Скорость кода в канале на кадр изображения при факторе квантования F=10, для эталонного алгоритма при полном диапазоне значений DFD составила примерно 102 кБит, при кодировании только I-макроблоков составила примерно 160 кБит, а при кодировании с применением комплексного подхода составила примерно 98 кБит. Отношение сигнал/шум для эталонного алгоритма при пол ном динамическом диапазоне DFD составило 36 дБ. Для изображения кодированного без учета информации о векторах движения отношение сигнал/шум составило примерно 30 дБ, а для кадра восстановленного при комплексном подходе, при пороговом значении для DFD равном4000,отношение сигнал/шум составило 35 дБ.

При кодировании тестовой последовательности с кадрами резко отличающимися друг от друга по спектральному составу с фактором квантования. Р=10 для метода полного перебора отношение сигнал/шум составило 24 Дб при скорости кода в канале 640 кБит, при кодировании: только I - макроблоков отношение сигнал/шум составило 26 дБ, при скорости кода 184 кБит, для комплексного алгоритма скорость кода составила примерно 186 кБит, а отношение сигнал/шум - 26 Дб.

В работе произведена оценкам коэффициента корреляции между скоростью кода в канале и интегралом модуля межкадровой разности. Для оценки коэффициента корреляции между значениями скорости кода в канале и БРБ использовалась формула для простой нелинейной корреляции:

(8)

- частота к-го интервала значений |д|;

- частота.]'-го интервала значений переменной Ь;

Рц - частота к-го интервала значений И и.]'-го интервала значений Ь; £ - значения функции регрессии для скорости кода в канале; среднее значение скорости кода в канале. В соответствии с соотношением (8) построены графики зависимости коэффициента корреляции от размера зоны поиска и от фактора квантования -(рис.5.), где 1 - изображение типа «портрет», 2 - мелкоструктурное изображение, 3 - изображение содержащее резкие переходы, периодическую структуру).

Рис. 5 Зависимость коэффициента корреляции от: а) фактора квантования; б) размера зоны поиска.

Полученные зависимости для коэффициента корреляции построены при ограничении DFD порогом 4000. При превышении порога, значения коэффициента корреляции будут гораздо меньше, о чем свидетельствует разброс скорости кода в канале, при фиксированном значении DFD на рис.1. На основании проведенного исследования можно заключить, что скорость кода в канале в формате MPEG-2 - при ограничении значения DFD порогом 4000, будет достигать минимума в большинстве случаев в силу коэффициента корреляции для типовых сюжетов не меньшего 0.8. При проектировании схемы компенсации движения необходимо ограничивать динамический диапазон интеграла модуля межкадровой разности. Это позволит обнаружить смену сюжета, снизить скорость передачи и повысить отношение сигнал/шум декодированного изображения.

По результатам четвертой главы сделаны следующие выводы:

• по графикам НСКО получено пороговое значение для интеграла модуля межкадровой разности, позволяющее определить резкую смену сюжета;

• рассчитан коэффициент корреляции между интегралом модуля межкадровой разности и скоростью кода в канале, при ограничении интеграла модуля межкадровой разности порогом 4000; результаты расчета показывают, что скорость кода в канале при разработанном методе кодирования будет достигать минимума в большинстве случаев в силу коэффициента корреляции равного 0.8;

• использование комплексного подхода при анализе движения на тестовых сюжетах позволило обнаружить резкую смену сюжета и повысить отношение сигнал/шум, в случае смены сюжета на 2 дБ ив то же время, снизить скорость кода в канале примерно в три раза по сравнению с методом полного перебора;

• предложен метод объективной оценки эффективности работы алгоритма компенсации движения, основанный на минимизации скорости кода в канапе при ограничении на отношение сигнал/шум.

• на тестовых сюжетах с различными видами движения, в пределах зоны поиска векторов движения, отношение сигнал/шум и скорость кода в канале, по сравнению с методом полного перебора, были практически одинаковыми; результаты визуальных оценок совпадали с результатами объективных критериев.

В заключении сформулированы следующие основные результаты работы. 1. Разработан метод комплексного решений задачи компенсации движения в формате MPEG-2. В основе метода лежит обнаружение смены сюжета и учет соотношения скоростей кода в канале в соседних кадрах. Применение данного метода позволило при резкой смене кадра на тестовых сюжетах повысить отношение сигнал/шум на 2 дБ и, в то же время, снизить скорость кода в канале примерно в три раза по сравнению с методом полного перебора.

2. Установлено пороговое значение для интеграла модуля межкадровой разности в блоке, равное 4000, которое используется для обнаружения смены сюжета и позволяет уменьшать переходные искажения, связанные с резкой сменой сюжета, до одного кадра.

3. Установлено, что скорость кода в канале для блока межкадровой разности при разработанном методе кодирования будет достигать минимума в большинстве случаев в силу коэффициента корреляции равного 0.8 при ограничении интеграла модуля межкадровой порогом 4000.

4. Разработан и аналитически обоснован метод оценки скорости кода в канале по количеству ненулевых спектральных коэффициентов, позволивший на порядок сократить вычислительные затраты

5. Разработан метод оценки эффективности работы кодера, использующего компенсацию движения, основанный на минимизации скорости кода в канале при ограничении на отношение сигнал/шум.

В приложении приведены акт внедрения и листинг библиотеки классов

использованный для обработки изображений.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ.

1. Шиманский Е. Ю. Оптимизация алгоритма поиска векторов движения в формате МРЕО-2. Материалы международной конференции «Телевидение: передача и обработка изображений», С.-Петербург, 21-22 мая, 2002. -С.13 -14.

2. Шиманский Е. Ю. Устранение избыточности с использованием компенсации движения. Материалы 3-й международной конференции «Телевидение: передача и обработка изображений» С. -Петербург, 5-6 июня, 2003.-С. 29-31.

3. Шиманский Е. Ю. Корреляция блоков и длина выходного кода в формате МРЕО-2. Сборник материалов 5-ой Международной конференции «Распознавание - 2001», Курск ,23-2 6 октября, 2001, часть 1 -С.159 -160.

4. Быков Р. Е., Шиманский Е.Ю. Сокращение временной избыточности цифровых сигналов в системах вещательного телевидения. Известия ВУЗов России, Радиоэлектроника, 1,2002. -С. 62 - 67.

5. Шиманский Е.Ю. Оценка эффективности работы алгоритмов анализа и компенсации движения в формате МРЕО-2. Известия ВУЗов России, Радиоэлектроника, 2,2002 . -С. 57 - 62.

Лицензия ИД № 05081 от 18.06.01

Подписано в печать 25.12.03. Формат 60*84 1/16 Бумага офсетная. Печать офсетная. Усл. печ. л. 1,0 Тираж 100 экз. Заказ

Отпечатано с готового оригинал-макета в типографии ОАО "НИИ ТМ" 195256, Россия, г. Санкт-Петербург, пр. Непокоренных, 47 тел.: (812) 535-17-00, факс: (812) 535-83-74

P. 170 О

РНБ Русский фонд

2004-4 18193

Введение.

1. Алгоритмы устранения избыточности в видео потоках формата МРЕС-2. Достоинства и недостатки. (Обзор литературы).

1.1 Устранение пространственной и временной избыточности в формате МРЕС-2.

1.2. Устранение временной избыточности в формате МРЕС-2 с учетом информации о векторе движения.

1.3. Основные типы искажений при цифровом кодировании. 25 Выводы и постановка задачи исследований.

2. Оценка корреляционной связи между скоростью кода в канале и интегралом модуля межкадровой разности.

2.1. Обоснование выбора тестовых сюжетов для исследования корреляционной связи и оценки эффективности 33 использования схемы компенсации движения.

2.2. Исследование взаимосвязи между интегралом модуля межкадровой разности и скоростью кода.

2.3. Место и структура блока сокращения временной избыточности цифрового видео потока.

Выводы.

3. Оценка скорости кода по ненулевым спектральным коэффициентам.

3.1. Определение зависимости скорости кода от количества ненулевых спектральных коэффициентов в макроблоке.

3.2. Аппроксимация регрессионной прямой.

Выводы.

4. Оценка эффективности использования векторов движения в формате МРЕС-2.

4.1. Визуальная оценка качества тестовой последовательности.

4.2. Верность воспроизведения дискретных изображений.

4.2.1. Парные меры качества изображения.

4.2.2. Оценка верности воспроизведения изображения для тестовой последовательности.

4.3 Оценка корреляционной связи между интегралом модуля межкадровой разности и скоростью кода.

4.3.1 Расчет коэффициента корреляции между интегралом модуля межкадровой разности, ограниченного порогом и скоростью кода для блока поэлементной разности.

4.3.2. Зависимость коэффициента корреляции от фактора квантования и размера зоны поиска. 4.4. Визуальная оценка качества тестовой последовательности из двух различных кадров, кодированной с использованием информации о векторе движения.

Выводы.

Последние годы характеризуются широким развитием новых технологий вещания и телекоммуникаций, представляющих населению и другим пользователям целый ряд услуг.

Новейшие технологии, возникшие на стыке электросвязи и компьютерной техники, стали в технически передовых странах основой разработок в области создания принципиально новых цифровых телекоммуникационных систем, способных резко повысить эффективность использования каналов передачи информации.

Развитие телевизионной техники в значительной мере связано с появлением новых идей и технологий в смежных областях. К решению все большего числа задач телевидения и видеотехники многие годы привлекается цифровая техника. В настоящее время произошел своеобразный перелом во взглядах и подходах к внедрению компьютерных технологий в телевидение. Стало возможным формирование нового информационного пространства (Web TV) с многочисленными информационными узлами и цифровой телевизионной сетью, обеспечивающей интерактивный режим работы и качество изображения, соответствующее стандартам вещательного телевидения [1].

Применение специальных методов цифровой обработки видео- и аудиоинформации, сокращающих ее избыточность, позволяет резко повысить эффективность существующих ТВ сетей, создает возможность передачи либо динамических цветных изображений более высокого разрешения, либо нескольких программ телевизионного стандарта при сохранении действующих частотных планов.

Одним из важных компонентов при устранении избыточности является схема обнаружения и компенсации движения.

Актуальность темы. В современных цифровых системах вещательного телевидения, а также в компьютерных системах связи используются форматы MPEG-2 и MPEG-4. В связи с этим продолжает оставаться актуальной разработка методов и устройств сокращения избыточности цифровых видеопотоков. Основным направлением диссертационной работы является обнаружение резкой смены сюжета при использовании алгоритмов компенсации движения, разработка методов и алгоритмов обнаружения векторов движения, а также оценка эффективности их работы. Эффективность работы методов и алгоритмов оценивается по таким параметрам, как величина искажений декодированного изображения и скорость кода в канале.

Актуальность исследований связана с возникновением переходных искажений при резкой смене сюжета или быстрых перемещениях. В силу специфики кодирования в формате MPEG-2 и MPEG-4 переходные искажения могут распространяться на всю последовательность группы кадров. Гибкость семейства форматов MPEG заключается в том, что они не регламентируют алгоритм поиска векторов движения. В потоке необходимо передать данные о самом векторе и ошибку предсказания. По этому можно совершенствовать аппаратуру, с целью улучшения качества изображения и увеличения степени сжатия в соответствии с технологической базой или внедрением новых ускоренных алгоритмов определения векторов не внося корректировок в сам формат. Любой ускоренный алгоритм имеет свои недостатки. Поиск же векторов методом полного перебора практически невозможно реализовать с точки зрения аппаратных затрат.

Целью диссертационной работы является разработка и исследование алгоритмов и способов компенсации движения и построение обнаружителя смены сюжета. В силу того, что классы изображений на входе кодирующего устройства могут быть различными, ставилась задача оптимизации алгоритмов компенсации движения к резким изменениям сюжета.

Исходя из цели работы, задачами решаемыми в диссертации являются:

1. Исследование зависимости между значениями интеграла модуля межкадровой разности и скоростью кода в канале для блока поэлементной разности, полученного в соответствии с форматом МРЕС-2.

2. Разработка алгоритма для предсказания скорости кода в канале.

3. Построение обнаружителя смены сюжета. Адаптация существующих алгоритмов к ситуации, когда приходится находить не вектор движения, а вектор «подобия» с целью минимизации потерь качества изображения и достижения максимального сжатия.

4. Разработка метода для оценки эффективности работы алгоритмов компенсации движения.

5. Применение разработанных алгоритмов для решения практических задач.

Основные методы исследования. В работе использованы методы дискретной математики, корреляционного анализа, методы цифровой обработки сигналов изображения, оценка качества дискретных изображений, имитационное моделирование.

Научная новизна исследований состоит в следующем:

• предложен метод комплексного решения задачи анализа и компенсации движения в формате МРЕС-2, позволяющий обнаруживать резкую смену сюжета и определять оптимальный порог для типовых сюжетов;

• предложен метод оценки работы алгоритма компенсации движения по минимуму скорости кода в канале при ограничении на отношение сигнал/шум;

• разработана адаптивная схема компенсации движения с обнаружителем резкой смены сюжета по интегралу модуля межкадровой разности в кодирующем устройстве МРЕС-2;

• установлено, что значения интеграла модуля межкадровой разности и скорости кода в канале коррелированны между собой для ограниченного количества сюжетов;

• установлена линейная связь и получено аналитическое выражение между скоростью кода для макроблока и количеством ненулевых спектральных коэффициентов в этом макроблоке.

Практическая значимость работы. Включенные в диссертацию результаты получены автором в рамках работы ОКР «Мультиканал», проводимой в соответствии с Федеральной, целевой, комплексной программой «Создание технических средств связи, телевидения и радиовещания», и заключаются в следующем:

1. Предложен новый метод и получено аналитическое выражение для предсказания скорости кода в канале по ненулевым спектральным коэффициентам, которые могут быть использованы в инженерных расчетах.

2. Разработано программное обеспечение, позволяющее оценить корреляционную связь между интегралом модуля межкадровой разности и скоростью кода в канале.

3. Разработано программное обеспечение, позволяющее оценить эффективность работы алгоритма компенсации движения.

4. Разработан программный комплекс, позволяющий моделировать различные виды движения и оценивать качество декодированного изображения.

5. Результаты диссертационной работы используются в кодирующем устройстве МРЕв-2 в части реализации адаптивного подбора коэффициентов квантования.

На защиту выносятся следующие основные положения:

• для обнаружения резкой смены сюжета вводится порог для интеграла модуля межкадровой разности, тем самым обеспечивается уменьшение максимальной ошибки декодированного изображения;

• эффективность работы схемы компенсации движения может быть оценена по минимуму скорости кода в канале при ограничении на отношение сигнал/шум;

• для уменьшения ошибки передачи при заданной скорости передачи необходимо учитывать не только смену сюжета, но и соотношение скоростей кода в соседних кадрах;

• для уменьшения ошибки передачи в реальном времени следует воспользоваться предсказанием скорости кода в канале; в частности, скорость кода в канале может быть предсказана по количеству ненулевых спектральных коэффициентов в макроблоке.

Апробация работы. Основные положения и результаты работы докладывались и обсуждались на следующих конференциях:

• 5-ая Международная конференция «Распознавание - 2001», 23-26 октября, 2001 г., Курск.

• Международная конференция «Телевидение: передача и обработка изображений», 21-22 мая, 2002 г., Санкт-Петербург.

• 3-ая Международная конференция «Телевидение: передача и обработка изображений», 5-6 июня 2003 г., Санкт-Петербург.

Публикации. По теме диссертации опубликовано 2 статьи, 1 публикация в сборнике материалов научно-технической конференции и тезисы к 2 докладам на международных научно-технических конференциях.

Выводы.

По графикам НСКО получено пороговое значение для интеграла модуля межкадровой разности, позволяющее определить резкую смену сюжета.

Рассчитан коэффициент корреляции между интегралом модуля межкадровой разности и скоростью кода в канале, при ограничении интеграла модуля межкадровой разности порогом 4000. Результаты расчета показывают, что скорость кода в канале при разработанном методе кодирования будет достигать минимума в большинстве случаев в силу коэффициента корреляции равного 0.8.

Использование комплексного подхода при анализе движения позволяет обнаружить резкую смену сюжета и повысить отношение сигнал/шум, в случае резкой смены сюжета, на 2 дБ и, в то же время, снизить скорость кода примерно в три раза по сравнению с методом полного перебора. В случае малых изменениях сюжета комплексный алгоритм работает не хуже эталонного.

Предложен метод объективной оценки эффективности работы алгоритма компенсации движения, основанный на минимизации скорости кода в канале при ограничении на отношение сигнал/шум.

Заключение.

Настоящая работа посвящена теоретическому и экспериментальному исследованию эффективности сжатия динамических изображений с использованием информации о векторах движения в формате цифрового телевидения МРЕС-2.

На основе проделанной работы были получены следующие основные результаты:

1. Разработан метод комплексного решения задачи компенсации движения в формате МРЕС-2. В основе метода лежит обнаружение смены сюжета и учет соотношения скоростей кода в канале в соседних кадрах. Применение данного метода позволило при резкой смене кадра на тестовых сюжетах повысить отношение сигнал/шум на 2 дБ и, в то же время, снизить скорость кода в канале примерно в три раза по сравнению с методом полного перебора.

2. Установлено пороговое значение для интеграла модуля межкадровой разности в блоке, равное 4000, которое используется для обнаружения смены сюжета и позволяет уменьшать переходные искажения, связанные с резкой сменой сюжета, до одного кадра.

3. Установлено, что скорость кода в канале для блока межкадровой разностц при разработанном методе кодирования будет достигать минимума в большинстве случаев в силу коэффициента корреляции равного 0.8 при ограничении интеграла модуля межкадровой разности порогом 4000.

4. Разработан и аналитически обоснован метод оценки скорости кода в канале по количеству ненулевых спектральных коэффициентов, позволивший на порядок сократить вычислительные затраты 5. Разработан метод оценки эффективности работы кодера, использующего компенсацию движения, основанный на минимизации скорости кода в канале при ограничении на отношение сигнал/шум.

1. Быков Р.Е. Теоретические основы телевидения. Санкт-Петербург: Издательство "Лань", 1998 г.

2. Цифровая обработка телевизионных и компьютерных изображений. Под. ред. Зубарева Ю.Б. Дворковича В.П. Москва: Издательство МНЦТИ, 1997 г -255 с.

3. Дворкович В.П., Дворкович А.В. и др. Телевизионные измерения как средство обеспечения высокого качества телевизионного вещания. "625" №8 1999г.

4. ISO/IEC 13818-1 Information Technology Generic coding of moving pictures and associated audio information. Part 1: Systems. Recommendation H.262. Draft International Standard, 1994.

5. ISO/IEC 13818-2 Information Technology Generic coding of moving pictures and associated audio information. Part 2: Video. Recommendation H.262. Draft International Standard, 1994.

6. ISO/IEC DIS 10918-1. Information Technology Digital Compression and Coding of Continuous-tone Still Images: Requirements and Guidelines./ Ed.l, JTS 1/SC 29,1994.

7. The JPEG Still Picture Compression Standard. / Communications of the ACM. V. 34, №4, April 1991.

8. ISO/IEC 11172-2. Information Technology Coding of Moving Pictures and Associated for Digital Storage Media at up to about 1.5 Mbit/s. Part 2: Video./ Ed.l, JTS 1/SC29, 1993.

9. MPEG: A Video Compression Standard for Multimedia Applications. Didier Le Gall. Communications of the ACM. April 1991. V.34, №4.

10. У. Прэтт. Цифровая обработка изображений, в 2 кн. : Издательство "Мир" Москва 1982.

11. Е. Накасу, К. Аеки, Р. Яджима, У. Канатсугу, К. Кубота. Статистический анализ качества изображений MPEG-2 для телевизионного вещания.: Техника кино и телевидения, 1997, № 3.

12. Э.Фёрстер Б.Рёнц Методы корреляционного и регрессионного анализа.: Москва « Финансы и статистика » 1983 г. 303 с.

13. Г.Г. Абезгауз и др. Справочник по вероятностным расчетам.: Ордена Трудового Красного Знамени Военное издательство министерства обороны СССР. Москва-1970.

14. И. Н. Бронштейн, К. А. Семендяев. Справочник по математике. Москва: «Государственное издательство технико-теоретической литературы», 1957 г.

15. В.П. Дворкович, В.В. Нечепаев.Компенсация движения с использованием преобразования Фурье. Материалы I международной конференции «Цифровая обработка сигналов и ее применение». М.: Изд. МЦ НТИ, 1998. Том 3. С.149-151.

16. JI. Френке. Теория сигналов. М: «Советское радио», 1974. 344 с.

17. А. К. Цыцулин. Телевидение и космос: Учеб. Пособие.-СПб., Изд. СПбГТУ «ЛЭТИ», 2003.- 228 с.

18. Оппенгейм Э. Применение цифровой обработки сигналов. М.: Мир, 1980. -552 с.

19. Цифровое вещание: от студии к телезрителю. Под ред. Проф. Л.С. Виленчика. Моква 2001.

20. Д. Ватолин, А. Ратушняк, М. Смирнов, В. Юкин. Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео. Москва: «Диалог МИФИ», 2002 г.

21. Ричард Брайс. Справочник по цифровому телевидению. Изд. «Эра» 2001 г.

22. М. Птачек.Цифровое телевидение. Теория и техника. Москва: «Радио и связь» 1990 г.

23. М. И. Кривошеев. Основы телевизионных измерений. Москва: «Радио и связь», 1989 г.

24. Р. Гаплагер. Теория информации и надежная связь. Москва: «Советское радио», 1974 г.-720 с.

25. К. Шеннон. Работы по теории информации и кибернетике. Москва: Издательство иностранной литературы. 1963 г. -829 с.

26. Зубарев Ю.Б., Кривошеев М.И., Красносельский И.Н. Цифровое телевизионное вещание. Москва: Научно-исследовательский институт радио1. НИИР), 2001.-568 с.

27. Шиманский Е.Ю. Корреляция блоков и длина выходного кода в формате МРЕС-2. Сборник материалов 5-ой Международной конференции «Распознавание 2001» - Курск 2001, часть 1 С.159-160.

28. Шиманский Е.Ю. Оптимизация алгоритма поиска векторов движения в формате МРЕС-2. Материалы международной конференции «Телевидение: передача и обработка изображений» С. Петербург 2002. С. 13-14.

29. Шиманский Е.Ю. Устранение избыточности с использованием компенсации движения. Материалы 3-й международной конференции «Телевидение: передача и обработка изображений» С. Петербург 2003, С. 29-31.

30. Быков Р.Е., Шиманский Е.Ю. Сокращение временной избыточности цифровых сигналов в системах вещательного телевидения. Известия высших учебных заведений России. Радиоэлектроника №1 2002, С. 62-67.

31. Шиманский Е.Ю. Оценка эффективности работы алгоритмов анализа и компенсации движения в формате MPEG-2. Известия высших учебных заведений России. Радиоэлектроника №2 2002, С. 57-62.

32. О.С. Астратов, Н.В. Чернышова. Компенсация фона при выделении подвижных объектов. Материалы международной конференции «Телевидение: передача и обработка изображений» С. Петербург 2002, С.32-34.

33. Yanbin Yu, Dimitris Anastassiou. Interlaced video coding with field-based multiresolution representation. Signal Processing: Image Communication №5 1993, p.185.

34. Performance Evaluation of Cell Discarding Mechanisms for the Distribution of VBR MPEG-2 Video over ATM Networks. IEEE Transactions on Broadcasting, №2 1998, p.206.

35. T. Koga, K, Linuma, A. Hirano Motion compensated interframe coding for video conferencing, et al. Proc NTC81, New Orleans, LA.,1991, November.

36. An Efficient Protocol Arhitecture for Error-Resilient MPEG-2 Video Communications over ATM Networks. IEEE Transactions on Broadcasting, VOL. 45, №1, March 1999, p.129.

37. Wilson Wing-Fai POON, Kwok-Tung LO.Design of Multicast Delivery for Providing VCR Functionality in Interactive Video-on Demand Systems. IEEE Transactions on Broadcasting, VOL. 45, №1, March 1999, p. 141.

38. Б.М. Певзнер. Качество цветных телевизионных изображений. Москва: «Радио и связь» 1988 г.

39. Б.С. Тимофеев. Сегментация и сопровождение движущихся объектов. Материалы международной конференции «Телевидение: передача и обработка изображений» С. Петербург 2002, С. 5-8.

40. Б. С. Тимофеев. Видеокомпьютерные системы для наблюдения за движущимися объектами. Материалы 3-й международной конференции «Телевидение: передача и обработка изображений», Санкт-Петербург 2003, С. 9-13.

41. H.A. Обухова. Алгоритмы обнаружения и идентификации транспортных средств в телевизионных системах мониторинга городских магистралейМа-териалы международной конференции «Телевидение: передача и обработка изображений» С. Петербург 2002. С.48-50.

42. Ахмед Р, Pao К. Р. Ортогональные преобразования при обработке цифровых сигналов. Москва: «Связь», 1980 г.

43. Быстрые алгоритмы в цифровой обработке изображений. Под редакцией Т. С. Хуанга. Москва: «Радио и связь», 1984 г. 271 с.

44. Методы передачи изображений. Сокращение избыточности/ Под ред. У. К. Прэтта. Москва: «Радио и связь», 1983.

45. Цифровое телевидение. / Под ред. М. И. Кривошеева. Москва: «Связь», 1980.

46. С-Н. Lin, J-L. Wu. A Light weight genetic block matching algoritm for video coding. IEEE Transactions Circuit System Video Technology, March 1998, p.385-392.

47. Rob Koenen. MPEG-4 Multimedia for our time. IEEE Spectrum. February 1999, p.26-33.

48. Pascal Fleury, Sushil Bhattacharjee, Laurent Piron, Touradj Ebrahimi, Murat Kunt. MPEG-4 Video Verification Model: A Solution for Interactiv Multimedia Applications. SPIE Journal of Electronic Imaging. July 1998. Vol. 7, №3, p.502-515.

49. Красильников H. H. Теория передачи и восприятия изображений. Теория передачи изображений и ее приложения. -М.: Радио и связь, 1986. — 248 с.

50. Хромов JI. И. и др. Видеоинформатика. Передача и компьютерная обработка видеоинформации. JI. И. Хромов, А. К. Цицулин, А. Н. Куликов. М.: Радио и связь, 1991.-192 с.

51. Тимофеев Б. С. Цифровое телевидение: Учеб. Пособие \ СПбГУАП. СПб., 1998. -49 с.

52. С. В. Сай Четкость цветного изображения в системах со сжатием визуальных данных. Хабаровск: Изд-во Хабаровского государственного технического университета, 1999. - 143 с.

53. Быков Р. Е. Шнёль М. Адаптивное транскодирование видеопотоков MPEG. Известия ВУЗов России, Радиоэлектроника, 1, 2003. С. 30-32.

54. Шнёль М. Архитектура и метод транскодирования видеопотоков MPEG. Материалы 2-й Международной конференции «Телевидение и обработка изображений» С.-Петербург, 21-22 мая 2002 г. С.24-26.

55. Шнёль М. MPEG-2 Transcoding from the Production into the Emission Format. (Транскодирование формата MPEG-2 в формат передачи). Материалы международной конференции «Телевидение и обработка изображений», С.Петербург, 20-22 июня, 2000 г. С. 15-17.

56. Рабинер П., Гоулд Б. Теория и применение цифровой обработки сигналов. Пер. с англ. Под ред. Ю. Н. Александрова. М., «Мир», 848 с.

57. И. С. Гоноровский. Радиотехнические цепи и сигналы. Москва: Радио и связь, 1986.512 с.

58. Н. Г. Харатишвили. Цифровое кодирование с предсказанием непрерывных сигналов. Москва: Радио и связь, 1986. 140 с.

59. Лебедев Д. С., Цуккерман И. И. Телевидение и теория информации. Москва: Энергия, 1965. 219 с.

60. Тихонов В. И. Статистическая радиотехника. Москва: Советское радио, 1966.780 с.

61. The Programmable Logic. Data Book. Xilinx, San Jose, USA, 1998.

62. Березнев А. Г.САПР ПЛИС фирмы Xilinx. Мир ПК, 1994, №4, стр. 54.

63. Цуккерман И. И. и др. Цифровое кодирование телевизионных изображений. Москва: Радио и связь, 1981 г.

64. Черносвитов А. В. Технологии программирования на языке С++. Санкт-Петербург: Изд. СпбГТУ, 1997.- 272 с.

65. А. Я. Савельев Арифметические и логические основы цифровых автоматов. Москва: Высшая школа, 1980. 255 с.