автореферат диссертации по радиотехнике и связи, 05.12.04, диссертация на тему:Исследование и разработка методов и устройства сжатия видеоинформации для систем цифрового телевидения с пространственным масштабированием

На правах рукописи УДК 621.397.2

Рабинович Александр Владиленович

ИССЛЕДОВАНИЕ И РАЗРАБОТКА МЕТОДОВ И УСТРОЙСТВА СЖАТИЯ ВИДЕОИНФОРМАЦИИ ДЛЯ СИСТЕМ ЦИФРОВОГО ТЕЛЕВИДЕНИЯ С ПРОСТРАНСТВЕННЫМ МАСШТАБИРОВАНИЕМ

Специальность 05.12.04. Радиотехника, в том числе системы и устройства телевидения

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Москва 2005

Работа выполнена на кафедре телевидения Московского технического университета связи и информатики.

Научный руководитель:

доктор технических наук, профессор Безруков В. Н.

Официальные оппоненты:

Лауреат Государственной и Ленинской премий, доктор технических наук, профессор Селиванов А. С.; кандидат технических наук, доцент Смирнов А. В.

Ведущее предприятие:

ОАО "Всероссийский научно-исследовательский институт телевидения и радиовешания".

Защита состоится " /3" 2005 г. в ч. на заседании диссертационного

совета К219.001.02 по присуждению ученой степени кандидата технических наук в Московском техническом университете связи и информатики.

Отзывы, заверенные печатью, просим направлять по адресу: 111024, Москва, ул. Авиамоторная, д.8а.

С диссертацией можно ознакомиться в библиотеке университета.

Автореферат разослан "31 " 2005 г.

Ученый секретарь

специализированного совета К219.001.02 кандидат технических наук, доцент

О. В. Матвеева

fff^ 3 WWW

(¿.ог-j ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Анализ современного состояния рынка телекоммуникационных услуг указывает на то, что идёт быстрое развитие мультисервисных систем и сетей, включая Интернет и различные видеоинформационные технологии, обеспечивающих передачу телевизионного (ТВ) сигнала как по беспроводным, так и по кабельным каналам связи. Большое количество различных внедряемых систем и ускоренное развитие перспективных технологических решений приведёт в ближайшем будущем к значительному изменению диапазона требований к функциональным характеристикам абонентских устройств. Появится потребность в разнообразных устройствах, обеспечивающих возможно высокое качество изображения при наличии существенно отличающихся условий приёма, технических характеристик и пропускной способности используемых каналов связи. Становится к тому же очевидным, что для адресной, в том числе и сквозной, передачи ТВ сигнала по сетям, включающим в свою структуру неоднородные по характеристикам участки, только эффективного кодирования изображения уже недостаточно. В этих условиях все более востребованным и актуальным становится пространственное масштабирование сигналов изображений при передаче, которое позволяет относительно просто оптимизировать индивидуальное обслуживание пользователя в полном соответствии с характеристиками применяемых каналов связи и вне зависимости от используемого типа абонентских устройств: от небольших мобильных терминалов до приёмных устройств телевидения высокой чёткости.

Основой эффективного использования каналов связи для передачи телевизионных изображений является устранение содержащейся в них психофизиологической и статистической избыточности - сжатие изображения. Существенный вклад в разработку цифровых систем сжатия и обработки изображений, а также методов и аппаратуры измерения качества в цифровых ТВ системах, в России внесли научные теоретические и практические работы С.И. Катаева, М.И. Кривошеева, Ю.Б. Зубарева, В.П. Дворковича, A.C. Селиванова, Б.П. Хромого, И.К. Игнатьева, Е.З. Сороки, И.И. Цуккермана, В.Н. Безрукова и ряда других специалистов.

Существующие международные стандарты кодирования телевизионных изображений в настоящее время не обеспечивают, в полной мере, эффективное согласование параметров сжатия со спецификой и характеристиками используемых телекоммуникационных систем, поскольку формируют цифровой поток, имеющий фиксированные скорости передачи и единственный пространственный масштаб изображен Уполнения

упомянутых требований следует либо создавать неско ько пфММШМЫЦЬфровых потоков

с различным пространственным масштабом, что приведет к увеличению необходимой общей скорости передачи, либо выполнять перекодирование цифрового потока в соответствующих точках распределительной сети, что потребует установки дополнительного оборудования.

Таким образом, в настоящее время актуальной задачей является разработка новых методов и устройств сжатия видеоинформации для систем цифрового телевидения с пространственным масштабированием, отвечающих современным требованиям и учитывающих перспективу развития рынка телекоммуникационных услуг.

Цель и задачи работы. Разработка новых методов и устройства сжатия видеоинформации для систем цифрового ТВ, имеющих высокую эффективность, обеспечивающих формирование многоуровневой пространственно-масштабируемой структуры изображения и создание соответствующего транспортного цифрового потока при передаче сигналов изображений.

Поставленная цель достигается в работе за счёт использования результатов, полученных при решении следующих научно-технических задач:

• сопоставительного анализа перспективных методов кодирования динамических изображений с помощью преобразований, обеспечивающих создание многоуровневой пространственно-масштабируемой структуры;

• определении алгоритма кодирования, приводящего к повышению эффективности устранения пространственно-временной избыточности ТВ изображений с учётом специфики используемого преобразования;

• анализа и разработки методов квантования отсчётов преобразованного изображения для достижения заданного качества изображения;

• разработки устройства сжатия видеоинформации с пространственным масштабированием для систем цифрового ТВ.

Методы исследования. При решении поставленных задач в работе используются методы цифровой обработки и кодирования изображений, теория цифровой фильтрации, теория электрических цепей, теория информации, теория вероятностей и спектральный анализ.

Научная новизна работы.

• Проведено исследование влияния наложения основного и побочного, вызванного децимацией сигнала, спектров пространственных частот изображения при реализации дискретного вейвлет-преобразования (ДВП), на основе результатов которого разработан способ снижения величины ошибки предсказания (ОП) движения объектов изображения.

• Для повышения эффективности оценки движения с использованием алгоритма ускоренного иерархического поиска в области трансформант ДВП предложено

использовать в качестве критерия определения идентичности блоков результат сравнения их спектров пространственных частот, позволяющий снизить величину накопления ОП векторов движения между уровнями декомпозиции ДВП.

• Разработаны математические модели, характеризующие спектры пространственных частот тестового изображения и спектры пространственно-временных частот ОП движения. Использование этих моделей дало возможность получить соотношения, позволившие оптимизировать структуру устройства сжатия видеоинформации.

• Разработан метод повышения эффективности кодирования ОП движения на основе выполнения вейвлет-декомпозиции во временном направлении.

• Разработан метод формирования весовых коэффициентов для квантования трансформант ДВП в пространственном и временном направлениях на основе пространственно-временной функции контрастной чувствительности зрительной системы человека.

Практическая ценность работы.

1. Реализован алгоритм эффективного устранения визуальной и статистической избыточности ТВ изображения для устройств сжатия с пространственным масштабированием.

2. Разработана структурная схема устройства сжатия видеоинформации для систем цифрового ТВ с пространственным масштабированием. При этом полученные в диссертации результаты используются в НИЧ МТУСИ при создании оригинальных устройств сжатия видеоинформации.

3. Разработаны рекомендации по применению разработанного устройства сжатия видеоинформации в стационарных и мобильных телекоммуникационных системах.

Апробация результатов работы. Основные положения и результаты диссертационной работы докладывались и обсуждались на четырёх научно-технических конференциях: на конференциях "Телекоммуникационные и вычислительные системы" (в рамках Международного форума информатизации), Москва, 2003-2004 г.г.; на конференциях профессорско-преподавательского, научного и инженерно-технического состава МТУСИ, 2004-2005 г.г.

Публикации. По материалам диссертационной работы опубликовано 14 печатных работ. Материалы работы представлены также в научно-технических отчётах по НИР, выполненных в НИЛ-11 НИЧ МТУСИ.

Личный вклад. Все основные научные результаты, приведенные в диссертации, получены автором лично.

Объём и структура работы. Диссертация состоит из введения, пяти глав, заключения, списка литературы и приложения. Работа изложена на 201 странице машинописного текста. Список литературы включает 116 наименований.

Основные положения, выносимые на защиту:

1. Результаты сравнительного анализа существующих методов кодирования изображений с преобразованием; разработка метода кодирования, обеспечивающего формирование пространственно-масштабированной структуры изображения.

2. Разработанный алгоритм, повышающий точность оценки и компенсации движения объектов изображения в области трансформант ДВП.

3. Предложенный метод на основе временной вейвлет-декомпозиции, повышающий эффективность кодирования последовательностей ошибок предсказания движения.

4. Способ формирования весовых коэффициентов для квантования трансформаит ДВП, согласованный со свойствами зрительной системы человека.

5. Разработанное устройство сжатия видеоинформации и результаты программного моделирования этого устройства.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертационной работы, рассмотрено состояние исследуемого вопроса, указана цель работы, определены задачи и методы исследования. Сформулированы научная новизна, практическая значимость работы, а также положения, выносимые на защиту.

В первой главе рассматриваются общие принципы кодирования с преобразованием статических и динамических изображений, в частности, реализованные в стандартах JPEG и МРЕО-х / Н.2бх, а также специфические свойства используемых преобразований.

Показано, что поскольку в указанных стандартах для устранения пространственной избыточности применяется дискретное косинусное преобразование (ДКП), выполняемое над отдельными блоками изображений, то при больших коэффициентах сжатия это может привести к возникновению заметности границ блоков (блоковые артефакты). Появление таких границ в данном случае связано с подавлением высокочастотных составляющих пространственного спектра. При этом по отношению к исходному спектру возникает изменение весового соотношения между амплитудами спектральных составляющих, которое вызывает искажения структуры изображения по направлению максимального градиента сигнала изображения в пределах блока.

Проанализированы методы устранения временной избыточности при кодировании по стандартам МРЕв-х / Н.26х, в которых используется кодирование с предсказанием, реализованное на основе процедуры оценки и компенсации движения, в результате чего для всех блоков формируются вектора движения, характеризующие величину и направление смещения отдельного блока между анализируемыми кадрами, используя которые строится предсказанный кадр. Разность значений элементов изображения между исходным и предсказанным кадрами давт ОП.

Одной из главных целей вышеуказанных систем сжатия изображения является оптимизация качества изображения для данной скорости цифрового потока. Однако, в условиях значительного увеличения в ближайшее время количества пользователей телекоммуникационными услугами возникает необходимость пространственной масштабируемости изображения.

Показана необходимость перехода к методам кодирования изображения с масштабированием, которые предназначены для адаптивного кодирования изображения с высокой разрешающей способностью и позволяют производить декодирование цифрового потока по частям, в зависимости от допустимой скорости в канале связи и требуемого качества изображения для данного абонентского устройства. Пространственно-масштабируемый кодер формирует выходной поток, содержащий несколько вложенных частей (уровней), обеспечивающих в соответствующих изображениях при декодировании различные уровни пространственной разрешающей способности (разрешения), как показано на рис. 1.

ЦИФРОВОЙ поток

□ УРОВЕНЬЭ

(низкое

РАЗРЕШЕНИЕ)

УРОВЕНЬ 1

(высокое

РАЗРЕШЕНИЕ)

Рис. 1

Отмечено, что при разработке методов кодирования с пространственным масштабированием важную роль играет выбор используемого преобразования изображения. Для таких методов кодирования целесообразным является переход от ДКП к использованию ДВП. В ходе реализации ДВП формируется иерархическая субполосная структура, имеющая определённые пространственно-частотные характеристики субполос различных уровней, что

с точки зрения обеспечения масштабируемости кодека является существенным преимуществом.

Проведенный сравнительный анализ параметра декорреляции изображения показал, что ДВП обеспечивает в общем случае более высокую её степень в сравнении с ДКП; на основании этого параметра было определено, что достаточно трёх уровней вейвлет-декомпозиции для эффективной декорреляции.

Показано, что одним из преимуществ при реализации ДВП является возможность выбора цифровых вейвлет-фильтров с различными характеристиками, учитывающих специфику многомерного спектра при обработке заданных сигналов. Проанализированы основные характеристики вейвлет-фильтров и определено их влияние на эффективность кодирования изображений: а) компактность носителя - позволяет вейвлет-преобразованию эффективно представлять функции (сигналы), которые имеют локализованные особенности; б) линейность фазочастотной характеристики (ФЧХ) - даёт возможность сформировать иерархическую субполосную структуру, в которой положение коэффициентов в субполосе декомпозиции уровня £ соответствует относительному положению коэффициентов на уровне ¿+1; в) высокая гладкость - обеспечивает лучшую точность аппроксимации сигнала при низком разрешении, поэтому соответствующие фильтры дадут в результате реализации ДВП небольшие трансформанты в области, где входная функция более плавная.

Проведенный анализ позволяет сделать следующие выводы.

1. Во всех рассмотренных стандартах используются методы сжатия видеоинформации с потерями, чаще всего основанные на кодировании с применением ДКП блоков изображения, что при больших коэффициентах сжатия обуславливает появление блочной структуры при декодировании.

2. Устранение временной избыточности, содержащейся в кадрах динамического изображения, осуществляется путём оценки и компенсации движения в области кадра.

3. Для обслуживания пользователей с различными техническими характеристиками предоставленных каналов связи и абонентских устройств необходимо создать цифровой поток, содержащий вложенные уровни с различным пространственным масштабом.

4. Формирование пространственно-масштабированной структуры изображения наиболее эффективно выполняется с помощью ДВП.

5. Для пространственной вейвлет-декомпозиции целесообразно применять фильтры с линейной ФЧХ на основе вейвлетов СОТ-9П.

Во второй главе разрабатывается математическая модель тестового изображения, модуль двумерного спектра пространственных частот которого показан на рис. 2; с использованием данной модели проводится анализ спектра сигнала, сформированного после

выполнения ДВП. Основными операциями при I - уровневой вейвлет-декомпозиции являются: а) низко- и высокочастотная фильтрация сигнала, образующая соответствующие пространственно-частотные субполосы (поддиапазоны); б) децимация (понижение числа отсчётов последовательности) с коэффициентом т = 2 в каждом из пространственных направлений и на каждом уровне декомпозиции, которая может рассматриваться как вторичная дискретизация сигнала с пониженной частотой (при этом возникают побочные спектры, перекрывающиеся с основным спектром, так называемый элайзинг); в) сжатие выборки отсчётов, в результате чего происходит расширение спектра исходного сигнала.

На рис. 3 в увеличенном масштабе показаны модули основного ф(ш,, соу) и

побочного &(а>х, соу) спектров пространственных частот высокочастотной (ВЧ) субполосы

диагональной пространственной ориентации для модели тестового изображения при £ = 1, полученные из выражения:

'«-¿Ж'^МЧ'^)}

где А"( ) - спектр исходного сигнала, Н( ) - частотная характеристика вейвлет-фильтра.

Рис. 2 Рис. 3

Выражения, аналогичные (1), были получены также для Ь = 2 и 3, с использованием которых определялась относительная энергия элайзинговой составляющей Е(а>) на трёх уровнях вейвлет-декомпозиции в низкочастотной (НЧ) и ВЧ субполосах для данного тестового сигнала. Для НЧ субполос величина Е{со) мала, напротив, в ВЧ субполосах величина Е{со) оказывает влияние на основной сигнал.

Для построения системы сжатия с пространственным масштабированием процедуру оценки и компенсации движения целесообразно выполнять не в самом кадре, а в области трансформант его вейвлет-декомПозиции, представленной четырьмя субполосами на каждом уровне. Возможность оценки движения обусловлена тем, что полученные после

преобразования субполосы содержат как частотную, так и, в отличие от ДКП, пространственную информацию об изображении.

Поскольку процедура оценки движения имеет высокую вычислительную сложность, то в ряде случаев необходимо применять ускоренные алгоритмы. Для ¿-уровневой пирамидальной структуры вейвлет-декомпозиции оптимальным является применение ускоренного алгоритма иерархического поиска. Это объясняется тем, что в данном алгоритме сначала производится оценка векторов движения на уровне I с использованием наименьших размеров блока отсчётов изображения и области поиска. Затем на основе этих векторов предсказываются вектора движения для уровня I -1, на котором они уточняются и определяют центр новой области поиска, имеющей меньший размер относительно увеличенного в два раза размера блока. Таким образом выполняется оценка векторов движения на всех уровнях декомпозиции.

Однако, эффективно оценка движения может быть выполнена только в НЧ субполосе, поскольку в ВЧ субполосах, как было установлено выше, содержится некоторая энергия элайзннговой составляющей, снижающая точность указанной оценки и, как следствие этого, приводящая к росту величины ОП. Для получения предсказанных ВЧ субполос уровня I необходимо выполнить интерполяцию отсчётов сигнала в НЧ субполосах двух кадров того же уровня, провести в них оценку движения, а компенсацию движения - в НЧ субполосе уровня ¿-1 предыдущего кадра. Затем над отсчётами НЧ субполосы с компенсированным движением выполнить одноуровневое ДВП. После этого результирующие субполосы будут содержать информацию о предсказанном движении.

Применение в данном способе предсказания функции стоимости (ФС) в виде суммы абсолютных разностей, фактически учитывающих только величину различия средней яркости блоков, не является оптимальным. Оценка на основе подобных ФС не учитывает пространственную конфигурацию элементов в блоке. В случае достаточно "сложного" участка изображения возможно ошибочное определение вектора движения. Это, во-первых, будет приводить к накоплению ОП векторов движения между уровнями декомопзиции; во-вторых - к большему увеличению ОП в ВЧ субполосах, чем уменьшение ОП, полученное в результате компенсации движения в НЧ субполосе.

В связи с этим для блока, имеющего минимальную ФС, необходимо ввести разработанный дополнительный критерий идентичности, учитывающий спектральные составляющие блоков:

с{ф,,0у)=?2)в{<ох,<оу)-В'{<ох,а>Х (2)

где в(сох,сау), В'(а)х,а)у) - двумерные спектры пространственных частот опорного блока В кадра К и анализируемого блока кадра К-1, соответственно. При этом анализируемыми блоками являются центральный блок в области поиска В0 и блок с минимальной ФС В. Если минимальное значение критерия (2) найдено для В и В0, то значение вектора движения для искомого блока В следует принять равным предсказанному значению вектора для данного уровня декомпозиции L; если критерий (2) минимизируется для блоков В и В, то полученные вектора можно использовать для компенсации движения.

Выводы по результатам исследования.

1. Для анализа вейвлет-преобразования изображения необходимо использование математической модели тестового изображения, содержащего протяжённые в пространстве объекты с плавным изменением яркости и мелкоструктурные элементы с резкими контрастными переходами. Это позволит выявить специфику сигнала в низко- и высокочастотных субполосах вейвлет-декомпозиции.

2. При выполнении ДВП возникают побочные спектры пространственных частот, перекрывающиеся с основным спектром, что в основном вносит искажения в сигнал ВЧ субполос. Для разработанного тестового изображения доля энергии элайзинговой составляющей в ВЧ субполосах Е{со) принимает значения около 30% относительно энергии основного сигнала. Данные искажения полностью устраняются при синтезе изображения, но влияют на промежуточную обработку сигнала.

3. Оптимальным алгоритмом ускоренной оценки движения в случае пространственно-масштабированной структуры изображения является алгоритм иерархического поиска.

4. При реализации устройства кодирования с пространственным масштабированием необходимо выполнять оценку и компенсацию движения в области трансформант ДВП.

5. Для повышения эффективности алгоритма оценки движения в системе кодирования с масштабированием необходимо использовать дополнительный критерий идентичности на основе спектров пространственных частот блоков изображения, позволяющий снизить величину ОП. Уменьшение энергии ОП для тестовых видеопоследовательностей с учетом этого критерия составило в среднем 29%.

В третьей главе проводится анализ пространственно-временного спектра динамического объекта изображения при условии, что объект движется с постоянной скоростью v пикселей за длительность кадра (пикс/кадр) через весь кадр изображения. Особенностью этого спектра является то, что он будет лежать в плоскости пространственно-временных частот fij-o^v, -a>yvy =0 для различных значений скоростей. Для рассматриваемого случая движения в одном направлении по пространству кадра эта

особенность временного спектра движущегося объекта будет проявляться в виде зависимости наклона огибающей спектра к оси временных частот со - обратно пропорционально скорости V. С учётом этого свойства получено выражение для временного спектра ОП модели тестового объекта изображения, движущегося со скоростью V, и усредненного по плотности вероятности (с дисперсией а1) ОП векторов движения .

На рис. 4 показаны модули временных спектров амплитуд ОП движения тестового объекта изображения при фиксированной величине а2 и £ = 3 для НЧ субполосы (/н -час юта временной дискретизации). Сплошная кривая соответствует спек тру при значении скорости V = 1 пикс/кадр, пунктирная кривая - при у = 2 пикс/кадр. Из рисунка видно, что присутствует явно выраженный основной максимум спектра ОП, смещённый в ВЧ область спектра временных частот (в сравнении с временным спектром амплитуд движущегося объекта тестового изображения), амплитуда и крутизна нарастания которого в основном определяются величиной а1, а его смещение в область высоких временных частот -

скоростью V. Подобное перераспределение энергии в спектре необходимо учитывать при анализе искажений, вызванных обработкой ОП во временном направлении.

fjft V, шасслсадр

Рис. 4 Рис. 5

Повысить эффективность кодирования последовательностей ОП можно путём, аналогичным внутрикадровому кодированию, то есть выполнив над ОП вейвлет-декомпозицию во временном направлении.

Определена эффективность кодирования ОП (74 (у) (зависящая от отношения дисперсий значений отсчётов исходного и преобразованного сигналов) указанным методом при различных скоростях движения объекта изображения в кадре На рис. 5 показано, то с ростом скорости происходит снижение величины (7,(у) относительно её значения при V = 1 пикс/кадр. Это объясняется тем, что основная энергия ОП во всех субполосах сосредоточена вокруг движущихся объектов изображения; при увеличении скорости движения снижается

корреляция для фиксированной точки просгранства между элементами последовательности ОП.

Проведенные экспериментальные исследования величины энергии ОП в различных пространственных субполосах показали её существенное снижение по сравнению с энергией трансформант текущего и предыдущего кадров изображения, что позволило в дальнейшем получить большие коэффициенты сжатия видеопоследовательностей.

С учётом временной декомпозиции ОП, полученных для изображений t разной динамикой движения, и дальнейшего квантования субполос временной декомпозиции различных уровней целесообразно определить шум квантования во временном направлении. Обычно при квантовании наиболее грубо квантуются ВЧ субполосы сигнала, величина коэффициентов которых относительно невелика. При больших коэффициентах сжатия и, особенно, при использовании квантователей с расширенной нулевой зоной существенная часть коэффициентов ВЧ субполос Oll принимает нулевые значения, а коэффициенты сигнала в НЧ субполосах будут восстановлены с некоторой ошибкой.

Проведено исследование влияния ограничения спектра временных частот при различных скоростях движения тестового объекта изображения, показавшее, что шум квантования будет увеличиваться пропорционально росту скорости движения объекта изображения.

На основании указанных исследований сделаны следующие выводы.

1. Присутствие явно выраженного основного лепестка во временном спектре ОП тестового изображения говорит о некоторой корреляции между ОП и, следовательно, потенциальной возможности повышения эффективности их кодирования.

2. Для видеопоследовательности со средней динамикой движения эффективность кодирования с временной декомпозицией G( (v) уменьшается, примерно, на 40% в интервале скоростей v от 1 до 8 пикс/кадр.

3. Временной спектр ОП расширяется пропорционально росту скорости движения объекта изображения. В результате этого шум квантования во временном направлении будет увеличиваться для объектов с большей скоростью движения.

4. Шум квантования во временном направлении в текущем кадре может иметь составляющую из-за влияния элементов объектов изображения из предыдущего кадра.

В четвёртой главе исследуются методы квантования и разрабатываются критерии формирования весовых коэффициентов, определяющих шаг квантования в различных субполосах ДВП. Все методы сжатия с потерями видеоинформации основаны на использовании характеристик некоторой модели восприятия, определённой для класса натуральных изображений. Согласование метода квантования с моделью восприятия

позволит снизить заметность шума квантования на декодированном изображении и тем самым улучшить субъективное качество изображения при данном коэффициенте сжатия Структура вейвлет-преобразования хорошо сочетается со свойствами зрительной системы человека (ЗСЧ), которая имеет каналы, учитывающие как ориентационную, так и масштабную специфику объектов. Моделью, учитывающей указанные свойства ЗСЧ, является функция контрастной чувствительности (ФКЧ). Она зависит как от пространственных, так и от временных параметров изображения, а также от условий просмотра и формата изображения. В соответствии с моделью ФКЧ определена степень заметности шума квантования для различных диапазонов пространственно-временных частот, исходя из чего получены весовые коэффициенты квантования для соответствующих субполос вейвлет-декомпозиции. Полученные нормированные весовые коэффициенты к квантования в пространственной области для НЧ (А) и ВЧ субполос, содержащих трансформанты элементов изображения, имеющих горизонтальную (//), вертикальную (V) и диагональную (Г>) ориентации для трёх уровней ДВП, представлены на рис. 6.

Основными элементами изображения, характеризующими его пространственные особенности, являются границы объектов изображения. Воздействие шума квантования на такие элементы проявляется в виде нарушения регулярности (гладкости) участков изображения - появления локальных максимумов сигнала. На рис. 7 непрерывной и пунктирной линиями показаны границы - исходная и с шумом квантования, соответственно. В относительно гладкой области изображения такие максимумы границы визуально наиболее заметны.

Во временной области видеопоследовательность характеризуется резкостью смены яркости в фиксированной точке растра и также подвержена воздействию шума квантования.

Для снижения заметности артефактов данного типа, возникающих обычно при больших коэффициентах сжатия, необходимо уменьшать величину вейвлет-коэффициентов,

Рис. 6

Рис.7

соответствующих ложным локальным максимумам. Такое уменьшение вейвлет-коэффициентов приведет к появлению локальных минимумов сигнала, однако, исходя из свойств ЗСЧ, подобные минимумы будут менее заметны, чем максимумы сигнала.

Для определения и снижения величины указанных вейвлет-коэффициентов была разработана нелинейная пороговая функция, определяющая выходные значения квантователя

квантования) коэффициенты, [/?|,/?2] - некоторый интервал значений их отношения.

При определении значений РпР2 для конкретной функции, описывающей границу объекта в пространстве кадра или изменение яркости в межкадровом пространстве, использовался следующий метод. В вейвлет-образ функции вводился шум квантования различной величины, обусловленный различным шагом квантования, затем выполнялось обратное ДВП и оценивалось приближение регулярности полученной функции в области действия шума квантования, до и после пороговой обработки, к регулярности исходной функции, Установлено, что для области кадра значения= 0,5 и Д < 0,8, для межкадровой области - /?, = 0,5 и рг< 0,7.

По результатам исследования сформулированы выводы.

1. Величины весовых коэффициентов, определяющих шаг квантования для различных субполос вейвлет-декомпозиции в пространственных и временных направлениях, находятся в соответствующей зависимости между собой, определяемой выбранной моделью ЗСЧ.

2. Наименьшая заметность шума квантования в пространстве кадра характерна для объектов изображения, имеющих малую протяженность в диагональном направлении по кадру. Наибольшая заметность - для относительно крупных объектов, имеющих равномерную яркость в горизонтальном и вертикальном пространственных направлениях.

3. В межкадровом направлении в разработанном устройстве большая заметность шума квантования имеет место для статических и малоподвижных объектов изображения; меньшая - для быстродвижущихся объектов.

4. Для улучшения визуального качества изображения и уменьшения артефактов, иногда проявляющихся в виде ложных локальных максимумов, необходимо определять соответствующие квантованные трансформанты ДВП и уменьшать их величину на один уровень квантования.

(3)

где Д- шаг квантования, с! и й - исходный и деквантованный (содержащий ошибку

5. Критерии определения указанных квантованных трансформант должны выбираться на основе величины регулярности функции в окрестностях анализируемой точки.

В пятой главе с учётом проведенных исследований разработана структурная схема устройства сжатия видеоинформации и проанализированы результаты программного моделирования разработанного устройства. На основании полученных результатов делается вывод о том, что разработанный метод и устройство сжатия видеоинформации превосходят по пиковому отношению сигнап/шум для монохромного изображения кодеки JPEG и MPEG-2 (при условии обеспечения транспортным потоком MPEG-2 многоуровневого пространственно-масштабируемого изображения) на величины в пределах 0,9 дБ и 0,5 дБ, соответственно. По субъективной оценке разработанный метод и устройство сжатия имеют более высокое визуальное качество декодированного изображения при относительно высокой степени сжатия, чем в указанных кодеках, что объясняется отсутствием артефактов в виде блочной структуры.

Отмечается, что данное устройство может быть применено для передачи видеоинформации с различными скоростями по сети Интернет, по беспроводным каналам связи с различными условиями приёма. Кроме того, перспективными направлениями являются цифровое ТВ и многоадресные системы, в которых применение разработанного устройства снизит общую стоимость телекоммуникационной сети, позволит увеличить число обслуживаемых абонентов при организации видеоинформационных услуг и ряда других приложений.

В заключении диссертационной работы представлены основные выводы по результатам выполненной работы.

В приложении диссертационной работы приводится исходный код основных модулей разработанной программной модели устройства сжатия видеоинформации с пространственным масштабированием.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1 Проведен анализ существующих методов кодирования изображений, показавший целесообразность перехода к устройствам сжатия видеоинформации для систем цифрового телевидения с пространственным масштабированием, построенным на основе дискретного вейвлет-преобразования.

2. Предложен дополнительный критерий идентичности, учитывающий спектральный состав отдельных блоков преобразованного изображения и позволяющий повысить точность

оценки движения в указанных системах, уменьшая при этом, примерно, на 29% величину энергии ошибки предсказания.

3 Разработан метод вейвлет-декомпозиции сигнала ошибок предсказания во временном направлении, повышающий эффективность кодирования в зависимости от скорости движения объектов изображения для различных тестовых динамических видеопоследовательностей.

4. Определён способ формирования весовых коэффициентов для квантования субполос пространственно-временной вейвлет-декомпозиции с использованием нелинейной пороговой функции, определяющей выходные значения квантователя, что снижает заметность шума квантования и обеспечивает увеличение пикового отношения сигнал/шум (ПОСШ) на 0,5 дБ.

5. Разработана структурная схема устройства сжатия видеоинформации с пространственным масштабированием изображения. Результаты программного моделирования разработанного устройства для монохромного изображения показали следующее:

- при кодировании статических изображений величина ПОСШ для ряда тестовых изображений больше в среднем на 0,9 дБ, чем у кодека JPEG (при равных коэффициентах сжатия);

- при кодировании динамических изображений, эффективность разработанного устройства выше по ПОСШ в пределах 0,5 дБ по сравнению с кодеком MPEG-2 с учётом того, что это устройство создаёт пространственно-масштабированное изображение;

- по субъективной оценке при больших коэффициентах сжатия разработанный метод имеет более высокое качество декодированного изображения из-за отсутствия артефактов в виде блочной структуры.

6. Даны рекомендации по применению разработанного устройства сжатия видеоинформации с пространственным масштабированием для стационарных и мобильных приёмных абонентских устройств.

СПИСОК ПУБЛИКАЦИЙ

1. Рабинович A.B. "Обработка телевизионного сигнала перед АЦП" // Труды НИИР, 2002, с. 70-72.

2. Рабинович A.B. "Кодирование изображений с применением вейвлет-преобразования" // Труды НИИР, 2003, с. 102-107.

3. Рабинович A.B. "Анализ характеристик фильтров для преобразования изображений" // Труды НИИР, 2004, с. 187-192.

4. Рабинович A.B. "Оценка движения при кодировании изображений с преобразованием" И Труды Московского технического университета связи и информатики, 2004, с. 69-77.

5. Рабинович A.B. "Оценка статистических характеристик преобразованных изображений" // Материалы международного форума информатизации (МФИ-2003), "Телекоммуникационные и вычислительные системы", Москва, 26 ноября 2003, с. 27-29.

6. Рабинович A.B. "Межкадровая обработка видеосигнала в кодеках с пространственным масштабированием изображения" // Материалы международного форума информатизации (МФИ-2004), "Телекоммуникационные и вычислительные системы", Москва, 24 ноября 2004, с. 47-50.

7. Рабинович A.B. "Особенности представления сигнала изображения с помощью вейвлет-преобразования". Деп. в ЦНТИ "Информсвязь", 14.06.03. № 2232 св. 2003, с. 5-12.

8. Рабинович A.B. "Алгоритмы оценки движения для систем сжатия ТВ изображений". Деп. в ЦНТИ "Информсвязь", 04.07.04. № 2241 св. 2004, с.26-34.

9. Рабинович A.B. "Критерии оценки движения для алгоритмов сжатия изображений". Деп. в ЦНТИ "Информсвязь", 04.07.04. № 2241 св. 2004, с. 35-41.

10. Безруков В.Н., Рабинович A.B. "Многомерная обработка видеосигнала в системах сжатия" II Материалы научной конференции профессорско-преподавательского, научного и инженерно-технического состава МТУСИ, Москва, 27 января 2005, с. 109-110.

11. Рабинович A.B. "Комбинированный метод передачи цифрового телевидения". Деп. в ЦНТИ "Информсвязь", 14.06.03. №2232 св.2003, с. 13-20.

12. Рабинович A.B. "Сравнение кодеров изображений на базе различных преобразований" // Материалы научной конференции профессорско-преподавательского, научного и инженерно-технического состава МТУСИ, Москва, 28 января 2004, с. 131-132.

13. Рабинович A.B. "Анализ спектра мощности ошибки предсказания в системах сжатия динамических изображений" // Материалы научной конференции профессорско-преподавательского, научного и инженерно-технического состава МТУСИ, Москва, 27 января 2005, с. 112.

14. Рабинович A.B. "Особенности сжатия подвижных изображений" // Материалы научной конференции профессорско-преподавательского, научного и инженерно-технического состава МТУСИ, Москва, 28 января 2004, с. 131.

«

s.

f

Подписано в печать 08.08.05. Формат 60x84/16. Объем 1,2 усл. п.л. Тираж 100 экз. Заказ 226.

ООО "Инсвязьиздат". Москва, ул. Авиамоторная, 8а.

,¡¡ 1 5 384

РНБ Русский фонд

2006-4 12329

ВВЕДЕНИЕ.

ГЛАВА 1. АНАЛИЗ МЕТОДОВ КОДИРОВАНИЯ ИЗОБРАЖЕНИЙ.

1.1. Кодирование изображений с преобразованием.

1.2. Сжатие статических изображений.

1.3. Сжатие динамических изображений.

1.4. Масштабируемость систем сжатия.

1.5. Некоторые статистические характеристики изображений.

1.6. Дискретное вейвлет-преобразование (ДВП).

1.7. Анализ параметров вейвлет-фильтров.

1.8. Выводы.

ГЛАВА 2. ИССЛЕДОВАНИЕ И РАЗРАБОТКА МЕТОДА УСТРАНЕНИЯ ВРЕМЕННОЙ ИЗБЫТОЧНОСТИ ИЗОБРАЖЕНИЯ

В СИСТЕМЕ С ПРОСТРАНСТВЕННЫМ МАСШТАБИРОВАНИЕМ.

2.1. Разработка математической модели тестового изображения.

2.2. Исследование спектра пространственных частот преобразованного изображения.

2.3. Оценка и компенсация движения в области трансформант ДВП.

2.4. Разработка метода повышения точности оценки движения динамических объектов изображения.

2.5. Выводы.

ГЛАВА 3. ИССЛЕДОВАНИЕ МЕТОДА ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ КОДИРОВАНИЯ ОШИБКИ ПРЕДСКАЗАНИЯ ДВИЖЕНИЯ.

3.1. Анализ пространственно-временного спектра движущегося объекта изображения.

3.2. Разработка модели ошибки предсказания движения и анализ её спектра.

3.3. Вейвлет-декомпозиция ошибки предсказания во временном направлении.

3.4. Оценка эффективности кодирования.

3.5. Анализ искажений, возникающих при ограничении временного спектра ошибки предсказания.

3.6. Выводы.

ГЛАВА 4. РАЗРАБОКТА МЕТОДА КВАНТОВАНИЯ ТРАНСФОРМАНТ ИЗОБРАЖЕНИЯ.

4.1. Соотношение между субполосной декомпозицией изображения и зрительной системой.

4.2. Специфика пространственного восприятия изображения.

4.3. Квантование трансформант преобразования.

4.4. Оценка воздействия шума квантования на пространственные элементы изображения.

4.5. Влияние шума квантования во временном направлении на элементы изображения.

4.6. Сжатие изображения при низких скоростях кодирования.

4.7. Исследование эффективности кодирования.

4.8. Выводы.

ГЛАВА 5. РАЗРАБОТКА УСТРОЙСТВА СЖАТИЯ ВИДЕОИНФОРМАЦИИ И АНАЛИЗ РЕЗУЛЬТАТОВ ПРОГРАММНОГО

МОДЕЛИРОВАНИЯ.

5.1. Разработка устройства сжатия видеоинформации с пространственным масштабированием.

5.2. Экспериментальные исследования и их результаты.

5.3. Выводы.

Актуальность темы. Анализ современного состояния рынка телекоммуникационных услуг указывает на то, что идёт быстрое развитие мультисервисных систем и сетей, включая Интернет и различные видеоинформационные технологии, обеспечивающих передачу телевизионного (ТВ) сигнала как по беспроводным, так и по кабельным каналам связи. Большое количество различных внедряемых систем и ускоренное развитие перспективных технологических решений приведёт в ближайшем будущем к значительному изменению диапазона требований к функциональным характеристикам абонентских устройств. Появится потребность в разнообразных устройствах, обеспечивающих возможно высокое качество изображения при наличии существенно отличающихся условий приёма, технических характеристик и пропускной способности используемых каналов связи. Становится к тому же очевидным, что для адресной, в том числе и сквозной, передачи ТВ сигнала по сетям, включающим в свою структуру неоднородные по характеристикам участки, только эффективного кодирования изображения уже недостаточно. В этих условиях все более востребованным и актуальным становится пространственное масштабирование (масштабируемость кодеков) сигналов изображений при передаче, которое позволяет относительно просто оптимизировать индивидуальное обслуживание пользователя в полном соответствии с характеристиками применяемых каналов связи и вне зависимости от используемого типа абонентских устройств: от небольших мобильных терминалов до приёмных устройств телевидения высокой чёткости.

Основой эффективного использования каналов связи для передачи телевизионных изображений является устранение содержащейся в них психофизиологической и статистической избыточности - сжатие изображения. Существенный вклад в разработку цифровых систем сжатия и обработки изображений, а также методов и аппаратуры измерения качества в цифровых ТВ системах, в России внесли научные теоретические и практические работы С.И. Катаева, М.И. Кривошеева, Ю.Б. Зубарева, В.П. Дворковича, А.С. Селиванова, Б.П. Хромого, Н.К. Игнатьева, Е.З. Сороки, И.И. Цуккермана, В.Н. Безрукова и ряда других специалистов.

Существующие международные стандарты кодирования телевизионных изображений в настоящее время не обеспечивают, в полной мере, эффективное согласование параметров сжатия со спецификой и характеристиками используемых телекоммуникационных систем, поскольку формируют цифровой поток, имеющий фиксированные скорости передачи и единственный пространственный размер изображения в данном потоке. Для выполнения упомянутых требований следует либо создавать несколько параллельных цифровых потоков с различным пространственным масштабом, что приведёт к увеличению необходимой общей скорости передачи, либо выполнять перекодирование цифрового потока в соответствующих точках распределительной сети, что потребует установки дополнительного оборудования.

Таким образом, в настоящее время актуальной задачей является разработка новых методов и устройств сжатия видеоинформации для систем цифрового телевидения с пространственным масштабированием, отвечающих современным требованиям и учитывающих перспективу развития рынка телекоммуникационных услуг.

Цель и задачи работы. Разработка новых методов и устройства сжатия видеоинформации для систем цифрового ТВ, имеющих высокую эффективность, обеспечивающих формирование многоуровневой пространственно-масштабируемой структуры изображения и создание соответствующего транспортного цифрового потока при передаче сигналов изображений.

Поставленная цель достигается в работе за счёт использования результатов, полученных при решении следующих научно-технических задач:

• сопоставительного анализа перспективных методов кодирования динамических изображений с помощью преобразований, обеспечивающих создание многоуровневой пространственно-масштабируемой структуры;

• определении алгоритма кодирования, приводящего к повышению эффективности устранения пространственно-временной избыточности ТВ изображений, с учётом специфики используемого преобразования;

• анализа и разработки методов квантования отсчётов преобразованного изображения для достижения заданного качества изображения;

• разработки устройства сжатия видеоинформации с пространственным масштабированием для систем цифрового ТВ.

Научная новизна работы.

• Проведено исследование влияния наложения основного и побочного (вызванного децимацией сигнала) спектров пространственных частот изображения при реализации дискретного вейвлет-преобразования (ДВП), на основе результатов которого разработан способ уменьшения величины ошибки предсказания (ОП) движения объектов изображения.

• Для повышения эффективности оценки движения с использованием алгоритма ускоренного иерархического поиска в области трансформант ДВП, предложено использовать в качестве дополнительного критерия определения идентичности блоков изображения результат сравнения их спектров пространственных частот, позволяющий снизить величину накопления ОП векторов движения между уровнями декомпозиции ДВП.

• Разработаны математические модели, характеризующие спектры пространственных частот тестового изображения и спектры пространственно-временных частот ОП движения. Использование этих моделей тест-изображения дало возможность получить соотношения, оптимизирующие структуру устройства сжатия видеоинформации.

• Разработан метод повышения эффективности кодирования ОП движения на основе выполнения вейвлет-декомпозиции во временном направлении.

• Разработан метод формирования весовых коэффициентов для квантования трансформант ДВП в пространственном и временном направлениях на основе пространственно-временной функции контрастной чувствительности зрительной системы человека.

Практическая ценность работы.

1. Реализован алгоритм эффективного устранения визуальной и статистической избыточности изображений для устройств сжатия с пространственным масштабированием.

2. Разработана структурная схема устройства сжатия видеоинформации для систем цифрового ТВ с пространственным масштабированием. При этом полученные в диссертации результаты используются в НИЧ МТУ СИ при создании оригинальных устройств сжатия видеоинформации.

3. Разработаны рекомендации по применению разработанного устройства сжатия видеоинформации в стационарных и мобильных телекоммуникационных системах.

Апробация результатов работы. Основные положения и результаты диссертационной работы докладывались и обсуждались на четырёх научно-технических конференциях: на конференциях "Телекоммуникационные и вычислительные системы" (в рамках Международного форума информатизации), Москва, 2003-2004 г.г.; на конференциях профессорско-преподавательского, научного и инженерно-технического состава МТУСИ, 2004-2005 г.г.

Публикации. По материалам диссертационной работы опубликовано 14 печатных работ. Материалы работы представлены также в научно-технических отчётах по НИР, выполненных в НИЛ-11 НИЧ МТУСИ.

Личный вклад. Все основные научные результаты, изложенные в диссертации, получены автором лично.

Объём и структура работы. Диссертация состоит из введения, пяти глав, заключения, списка литературы и приложения. Работа изложена на 201 странице машинописного текста. Список литературы включает 116 наименований.

5.3. Выводы

На основании полученных результатов программного моделирования сжатия изображения делается вывод о том, что разработанные методы и устройство сжатия видеоинформации, предложенные в данной работе, превосходят по пиковому отношению сигнал/шум (ПОСШ) для чёрно-белого (или монохромного) изображения кодеки JPEG и MPEG-2 (при условии обеспечения транспортным потоком MPEG-2 трёхуровневого пространственно-масштабируемого изображения) на величины в пределах 0,94 дБ и 0,54 дБ, соответственно. По субъективной оценке разработанные методы и устройство сжатия обеспечивают более высокое визуальное качество декодированного изображения при относительно высокой степени сжатия, что объясняется отсутствием артефактов в виде блочной структуры.

Разработанное устройство может быть применено для передачи видеоинформации с различными скоростями по сети Интернет, по беспроводным каналам связи с соответствующими условиями приёма. Кроме того, перспективными направлениями его практического внедрения являются системы цифрового ТВ и многоадресные распределительные сети, в которых применение разработанного устройства снизит общий объём передаваемой информации, позволит увеличить число обслуживаемых абонентов при организации видеоинформационных услуг, программ "видео по запросу" и ряда других приложений.

ЗАКЛЮЧЕНИЕ

Проведенные автором теоретические и экспериментальные исследования позволили решить следующие задачи.

1. Рассмотрены существующие стандарты сжатия статических и динамических изображений на основе дискретного косинусного преобразования (ДКП). Выявлено, что видеосигнал при сжатии по указанным стандартам неполностью учитывает специфику передачи по каналам связи с различной пропускной способностью и воспроизведения на разнообразных видах абонентских устройств. Показано, что переход к системам сжатия на основе дискретного вейвлет-преобразования (ДВП) позволит повысить эффективность указанных систем с учётом современных требований как к качеству изображения, так и к пространственной масштабируемости видеосигнала.

2. Исследованы свойства изображения после его обработки с использованием ДВП на различных уровнях декомпозиции. Отмечается, что в процессе выполнения ДВП возникает наложение основного и побочного спектров исходного сигнала изображения, что оказывает значительное воздействие на ВЧ область спектра и оценку движения объектов изображения.

3. С учётом специфических искажений сигнала в области высоких пространственных частот применён модифицированный способ оценки и компенсации движения. Показано, что используемый в настоящее время критерий минимума суммы абсолютных разностей не обеспечивает достаточную точность при оценке движения в области трансформант ДВП, поскольку возможны ситуации, когда при равной величине указанного критерия между анализируемыми блоками элементы в них имеют различную пространственную конфигурацию.

4. Разработан дополнительный критерий оценки идентичности блоков на основе результата сравнения их спектральных составляющих, обеспечивающий повышение точности метода иерархического поиска в области трансформант ДВП. Это даёт возможность исключить ошибочное определение векторов движения при выполнении их предсказания при переходе от одного уровня декомпозиции к другому, а также уменьшить энергию ошибки межкадрового предсказания в среднем на 29%.

5. Получено аналитическое выражение спектра ошибки предсказания в области трансформант ДВП. Используя тестовый сигнал, разработанный автором, выполнен анализ спектра ошибки предсказания с учётом спектра пространственных частот изображения и при различных скоростях движения объектов изображения в кадре. Теоретически и экспериментально показано, что выполнение вейвлет-декомпозиции ошибки предсказания во временном направлении позволяет дополнительно повысить эффективность кодирования сигнала.

6. Разработан метод формирования весовых коэффициентов для определения шага шкалы квантования трансформант ДВП как для пространственной, так и для временной областей, исходя из пространственно-временной функции контрастной чувствительности зрительной системы человека.

7. Показана целесообразность применения равномерного квантователя с расширенной нулевой зоной. Определены пределы увеличения нулевой зоны с точки зрения заметности влияния шума квантования на изображение.

8. Проведенные экспериментальные исследования с помощью программного моделирования позволяют сделать вывод о том, что разработанные методы и устройство сжатия видеоинформации превосходят по пиковому отношению сигнал/шум (ПОСШ) для чёрно-белого (монохромного) изображения кодеки JPEG и MPEG-2 (при условии обеспечения транспортным потоком MPEG-2 трёхуровневого пространственно-масштабируемого изображения) на величины в пределах 0,94 дБ и 0,54 дБ, соответственно. По субъективной оценке разработанное устройство сжатия имеет более высокое визуальное качество декодированного изображения при относительно высокой степени сжатия, что объясняется отсутствием артефактов в виде блочной структуры.

9. Разработана программная модель устройства сжатия динамических изображений с обеспечением пространственного масштабирования сигнала изображения.

10. Даны рекомендации по применению разработанного устройства сжатия для цифрового ТВ, многоадресных систем, а также в видеоинформационных и мультисервисных сетях.

11. Результаты исследований использованы в НИЧ МТУ СИ при создании устройств сжатия видеоинформации с технологичной схемной реализацией.

По материалам диссертационной работы опубликовано 14 научных работ. Положения диссертационной работы также обсуждались на научно-технических конференциях и форумах.

1. Зубарев Ю.Б., Кривошеев М.И., Красносельский И.Н. Цифровое телевизионное вещание. Основы, методы, системы.-М.:(НИИР-ИОИ), 2001.

2. Цифровая обработка телевизионных и компьютерных изображений / Под. ред. Ю.Б. Зубарева и В.П. Дворковича. М.: МЦНТИ, 1997.

3. ISO/IEC 10918-1: Information technology Digital compression and coding of continuous-tone still images: Requirements and guidelines, 1994.

4. Grgic S., Mrak M., Grgic M. Comparison of JPEG image coders. Proceedings of the 3rd international symposium on video processing and multimedia communications, VIPromCom-2001, Zadar, 2001.

5. ITU-T Recommendation H.261, Video codec for audiovisual services at px 64kbit/s, 1993.

6. ITU-T Recommendation H.263, Video coding for low bitrate communication, 1996.

7. ISO/IEC 13818-2. Information Technology — Generic Coding of Moving Pictures and Associated Audio Information: Video, 1995.

8. Смирнов A.B. Основы цифрового телевидения: Учебное пособие.-М.: "Горячая линия Телеком", 2001.

9. Danyali Н., Mertins A. Fully scalable wavelet-based image coding for transmission over heterogeneous networks // School of electrical, computer and telecommunications engineering university of Wollongong, Wollongong, Australia, 2002.

10. Зубарев Ю.Б., Дворкович В.П., Козлов В.А., Артамонов С.Е. Мультимедиа — проблемы и перспективы внедрения систем в России // Цифровая обработка сигналов, №1,2001.

11. Ohm J. Advances in scalable video coding // Proc. of the IEEE, vol. 93, no. 1,2005.

12. ISO/IEC 11172-2. Information technology Coding of moving pictures and associated audio for digital storage media at up to about 1,5 Mbit/s - Part 2: Video, 1993.

13. ISO/IEC 14496-2. Information technology Coding of audio-visual objects - Part 2: Visual, 1999.

14. Рабинович A.B. Кодирование изображений с применением вейвлет-преобразования // Труды НИИР, 2003.

15. Рабинович А.В. Особенности представления сигнала изображения с помощью вейвлет-преобразования. Деп. в ЦНТИ "Информсвязь", 14.06.03. №2232 св. 2003.

16. Mallat S. A theory for multiresolution signal decomposition: The wavelet representation // IEEE Transactions on pattern analysis and machine intelligence, 11(7), 1989.

17. Цифровое кодирование телевизионных изображений. / Под ред. И. И. Цуккермана. М.: Радио и связь, 1981.

18. Прэтт У. Цифровая обработка изображений. -М.: Мир, 1982.

19. Hilton М. L., Jawerth В., Sengupta A. Compressing Still and Moving Images with Wavelets // Multimedia Systems, vol. 2(3), 1994.

20. Воробьев В.И., Грибунин В.Г. Теория и практика вейвлет -преобразования. С.-Петербург: ВУС, 1999.

21. Lewis A., Knowles G. Image coding using the 2-D wavelet transform // IEEE Trans, on image processing, vol. 1, 1992.

22. Рабинович A.B. Оценка статистических характеристик преобразованных изображений // Материалы международного форума информатизации (МФИ-2003), "Телекоммуникационные и вычислительные системы", Москва, 26 ноября 2003.

23. Daubechies I. Orthonormal bases of compactly supported wavelets Commun. pure appl. mathematics, vol. XLI, 1988.

24. Usevitch B. A tutorial on modern lossy wavelet image compression: foundations of JPEG 2000 // IEEE signal processing magazine, 2001.

25. Lightstone M., Majani E., Mitra S. Low bit-rate design considerations for wavelet-based image coding // Multidimensional systems and signal processing, 8(1-2), 1997.

26. Strang G., Nguyen T. Wavelets and Filter Banks. Wellesley-Cambridge Press, Wellesley MA, first edition, 1996.

27. Rioul O. Regular wavelets: a discrete-time approach // IEEE Trans, on signal processing, 41(12), 1993.

28. Golub A., Loan V. Matrix computations. Johns Hopkins University Press, 1993.

29. Рабинович A.B. Анализ характеристик фильтров для преобразования изображений // Труды НИИР, 2004.

30. Гудмен Дж. Введение в Фурье-оптику. М.: Мир, 1970.

31. Рабинер Л., Гоулд Б. Теория и применение цифровой обработки сигналов.-М.: Мир, 1978.

32. Игнатьев Н. К. Дискретизация и ее приложения. М.: Связь, 1980.

33. Игнатьев Н. К., Сорока Е.З. Метод сжатия телевизионного спектра, основанный на вертикально-временной фильтрации изображения // Сб. трудов Гос. НИИ Мин. связи СССР, 1960, вып. 3(31).

34. Гольденберг Л.М., Матюшкин Б.Д., Поляк М.Н. Цифровая обработка сигналов. М.: Радио и связь, 1985.

35. Goswami J.C., Chan А.К. Fundamentals of Wavelets : Theory, Algorithms, and Applications, Texas A&M University, 1999.

36. Ярославский Л.П. Введение в цифровую обработку изображений. -М.: Сов. радио, 1979.

37. Xuguang Y. Ramchandran K. Scalable wavelet video coding using aliasing-reduced hierarchical motion compensation //IEEE Transactions on image processing, vol.9, 2000.

38. Van der Auwera G., Munteanu A., Lafruit G., Cornelis J. Video Coding Based on Motion Estimation in the Wavelet Detail Images. Proceedings of the IEEE International conference on acoustics, speech, and signal processing (ICASSP), Seattle, May 1998.

39. Cafforio C., Guaragnella C. and Picco R. // Motion compensation and multiresolution coding. Signal Proc.: Image Communication, 6, 1994.

40. Dufaux F., Moccagatta I. and Kunt M. Motion-compensated generic coding of video based on a multiresolution data structure // Optical engineering, 32(7), 1993.

41. Zhang Y.-Q., Zafar S. Motion-Compensated Wavelet Transform Coding for Color Video Compression // IEEE Trans, on circ. and syst. video techn., 2(3), 1992.

42. Van der Auwera G., Lafruit G., Cornelis J. Arithmetic complexity of motion estimation algorithms // Proceedings of the IEEE Benelux signal processing symposium, Leuven, Belgium, March 1998.

43. Mandal M. K., Chan E., Wong X., Panchanathalu S. Multiresolution motion estimation techniques for video compression // Opt. Eng., 35,1996.

44. Kruger S. A., Calway A. D. A multiresolution frequency domain method for estimating affine motion parameters // Proceedings IEEE international conference on image processing, vol. I, Lausanne, Switzerland, Sep 1996.

45. Kruger S. A., Calway A. D., Tweed D. S. Motion estimation using adaptive correlation and local directional smoothing // Proceedings of the IEEE conference on image processing, Chicago, 1998.

46. Рабинович A.B. Критерии оценки движения для алгоритмов сжатия изображений. Деп. в ЦНТИ "Информсвязь", 04.07.04. № 2241 св. 2004.

47. Cheung С. Fast motion estimation techniques for video compression // Ph.D thesis. City University of Hong Kong, 1998.

48. Hoang D., Long P., Vitter J. Efficient cost measures for motion estimation at low bit rates // IEEE Transactions on circuits and systems for video technology, 8, 1998.

49. Erol В., Kossentini F., Alnuweiri H. Efficient coding and mapping algorithms for software-only real-time video coding at low bit rates // IEEE Transactions on circuits and systems for video technology, 10 (6), 2000.

50. Рабинович A.B. Алгоритмы оценки движения для систем сжатия ТВ изображений. Деп. в ЦНТИ "Информсвязь", 04.07.04. № 2241 св. 2004.

51. Jung S., Shin S., Baik H., Park M. Nobel successive elimination algorithms for the estimation of motion vectors // IEEE International symposium on multimedia software engineering, Tamkang University, Taipei, Taiwan, 2000.

52. Kim J., Choi T. Adaptive matching scan algorithm based on gradient magnitude for fast full search in motion estimation // IEEE Transactions on consumer electronics, 45 (3), 1999.

53. Kim J., Choi T. A fast full-search motion-estimation algorithm using representative pixels and adaptive matching scan // IEEE Transactions on circuits and systems for video technology, 10 (7), 2000.

54. Kim J., Ahn B. Lossless computational reduction of full search algorithm in motion estimation using appropriate matching unit from image localization //

55. EE International conference on information technology: Coding and computing, Las Vegas, USA, 2001.

56. Jung S., Shin S., Baik H., Park M. Nobel successive elimination algorithms for the estimation of motion vectors // IEEE International symposium on multimedia software engineering, Tamkang University, Taipei, Taiwan, 2000.

57. Wang H., Mersereau R. Fast algorithms for the estimation of motion vectors // IEEE Transactions on image processing, 8(3), 1999.

58. Рабинович A.B. Оценка движения при кодировании изображений с преобразованием // Труды Московского технического университета связи и информатики, 2004.

59. Зубарев Ю.Б., Дворкович В.П., Нечепаев В.В., Соколов А.Ю. Методы анализа и компенсации движения в динамических изображениях // Электросвязь, №11,1998.

60. Simoncelli Е. Distributed Representation of Image Velocity // The media laboratory massachusetts institute of technology, MIT Media laboratory vision and modeling technical report №202, 1992.

61. Anandan. P. A computational framework and an algorithm for the measurement of visual motion // International Journal of Computer Vision, 2, 1989.

62. Barron J. L., Fleet D. J., Beauchemin S. S. Performance of optical flow techniques // Technical report RPL-TR-9107, Robotics and perception laboratory technical report, Queen's University, Kingston, Ontario, July 1992.

63. Bergen J. R., Burt P. J., Hanna K., Hingorani R., Jeanne P., Peleg S. Dynamic multiple-motion computation // Artificial intelligence and computer Vision, Elsevier Science Publishers В.V., 1991.

64. Харкевич A.A. Спектры и анализ. -M.: Физматгиз, 1962.

65. Гоноровский И.С. Радиотехнические цепи и сигналы.- М.: Радио и связь, 1994.

66. Christmas W. J. Spatial filtering requirements for gradient-based optical flow measurement // Centre for vision, speech and signal processing University of Surrey, Guildford, 1998.

67. Bober M., Kittler J. Robust motion analysis // Computer Vision and Pattern Recognition, 1994.

68. Weng J., Huang T.S., Ahuja N. Motion and Structure from Image Sequences // Springer-Verlag, 1993.

69. Girod B. Efficiency analysis of multihypothesis motion-compensated prediction for video coding // IEEE Transactions on image processing, vol. 9, no. 2, Feb., 2000.

70. Градштейн И.С., Рыжик И.М. Таблицы интегралов, сумм, рядов и произведений.-М.: Наука, 1971.

71. Безруков В.Н., Королев А.В., Ляпунов В.Н., Новаковская О.С. Выбор параметров систем телевидения высокой визуальной четкости и качества // Техника кино и телевидения, № 10, 1985.

72. Рабинович А.В. Обработка телевизионного сигнала перед АЦП // Труды НИИР, 2002.

73. Безруков В.Н., Рабинович А.В. Многомерная обработка видеосигнала в системах сжатия // Материалы научной конференции профессорско-преподавательского, научного и инженерно-технического состава МТУ СИ, Москва, январь 2005.

74. Уэлстид С. Фракталы и вейвлеты для сжатия изображений в действии.-М.: Триумф, 2003.

75. Рабинович А.В. Межкадровая обработка видеосигнала в кодеках с пространственным масштабированием изображения // Материалы международного форума информатизации (МФИ-2004), Телекоммуникационные и вычислительные системы, Москва, ноябрь 2004.

76. Soman А. К., Vaidyanathan P. P. Coding gain in paraunitary analysis/synthesis systems // IEEE Transactions signal processing, 41(5), May 1993.

77. Djokovic I., Vaidyanathan P. P. On optimal analysis/synthesis filters for coding gain maximization // IEEE Transactions signal processing, 44(5), May 1996.

78. Calvagno G., Mian G. A., Rinaldo R. Computation of the coding gain for subband coders // IEEE Transactions communications, 44(4), April 1996.

79. Cagnazzo M. Wavelet transform and three-dimensional data compression // Doctoral thesis, University of Napoli "Federico II" , Italy, 2005.

80. Ohm J.-R. Advanced packet-video coding based on layered VQ and SBC techniques // IEEE Trans, circ. and sys. for vid. tech., vol. 3, no. 3, 1993.

81. Ohm J.-R. Three-Dimensional subband coding with motion compensation//IEEE Trans, image processing, vol. 3, no. 5,1994.

82. Conklin G. J., Hemami S. S. Evaluation of temporally scalable video coding techniques // School of Electrical Engineering, Cornell University, 1997.

83. Тихонов В.И. Статистическая радиотехника.-М.: Сов. радио, 1966.

84. Dong D. W., Atick J. J. Statistics of natural time-varying images // Network: comput. neural syst. 6, 1995.

85. Van der Schaaf A., van Hateren J.H. Modeling of the power spectra of natural images: statistics and information // Vis. Res., 1996.

86. Baddeley R. The correlational structure of natural images and the calibration of spatial representations // Cogn. Sci., 21,1997.

87. Torralbal A., Oliva A. Statistics of natural image categories. // Network: Comput. Neural Syst., 14, 2003.

88. Dong D. W. Spatiotemporal inseparability of natural images and visual sensitivities // Computational, neural & ecological constraints of visual motion processing, 2001.

89. Hemami S. S. Visual sensitivity considerations for subband coding // Asilomar conference on signals, systems and computers, 1997.

90. Luo J., Chen C.W., Parker K.J., Huang T. S. A scene adaptive and signal adaptive quantization for subband image and video compression using wavelets // IEEE Transactions on circuits and systems for video technology, vol. 7, no. 2, 1997.

91. Mohsenian N., Nasrabadi N. M. Subband coding of video using edge-based vector quantization technique for compression of the upper bands // Proc. int. conf. acoustics, speech, signal processing, San Francisco, CA, 1992.

92. Johnsen O., Shentov О. V., Mitra S. K.A technique for the efficient coding of the upper bands in subband coding of images // Proc. int. conf. acoustics, speech, signal processing, Albuquerque, NM, 1990.

93. Witkin A. P., Tenenbaum M. On the role of structure in vision // Human & machine vision, New York: Academic, 1983.

94. Watson A.B., Yang G.Y., Solomon J.A., Villasenor J. Visual thresholds for wavelet quantization error // Human vision and electronic imaging, B. Rogowitz and J. Allebach, The society for imaging science and technology, 1996.

95. Bradley A. P. A wavelet visible difference predictor // IEEE Transactions on image processing, vol. 8, no. 5, 1999.

96. Snyder H. L. Image quality: Measures and visual performance // Flat panel displays and CRT's, Ed. New York: Van Nostrand Reinhold, 1985.

97. Jain A. K. Fundamentals of digital image processing // Englewood Cliffs, NJ: Prentice-Hall, 1989.

98. Glenn W. E. Digital image compression based on visual perception // Digital images and human vision, Ed. Cambridge, MA: MIT Press, 1993.

99. Girod B. The information theoretical significance of spatial and temporal masking in video signals // SPIE, Human vision, visual processing, and display, vol. 1077, 1989.

100. Gaudart L., Grebassa Т., Petrakian J. P.Wavelet transform in human visual channels // Appl. Opt., vol. 32, 1993.

101. Mallat S. Wavelets for vision // Proc. IEEE, vol. 84, 1996.

102. Watson A.B. The cortex transform: Rapid computation of simulated neural images // Comput. vis., graph., image process., vol. 39, 1987.

103. Nill N. В., Bouzas В. H. Objective image quality measure derived from digital image power spectra // Opt. Eng .,31, 1992.

104. Nadenau M.J., Reichel J., Kunt M. Wavelet-based color image compression: exploiting the contrast sensitivity function // IEEE Transactions on image processing, vol. 12, 2003.

105. Телевидение: Учебник для вузов / Под ред. В.Е. Джаконии.-М.: Горячая линия — Телеком, 2002.

106. Fan G., Wai-Kuen Cham. Model-based edge reconstruction for low bit-rate wavelet-compressed images // IEEE Transactions on circuits and systems for video technology, vol.10, 2000.

107. Mallat S., Hwang W. L. Singularity detection and processing with wavelets // IEEE Trans, inf. theory 38, 2 (March), 1992.

108. Mallat S. A wavelet tour of signal processing. Academic Press, 1998

109. Carey W. K., Hemami S. S., Heller P. N. Smoothness-constrained wavelet image compression // Proc. IEEE Int. conf. on image processing, Lausanne, Switzerland, Sept. 1996.

110. Pizurica A., Philips W., Lemahieu I., Acheroy M. A joint inter- and intrascale statistical model for Bayesian wavelet based image denoising // IEEE Transactions on image processing, vol. 11, 2002.

111. Mallat S., Falzon F. Analysis of low bit rate image transform coding // IEEE Transactions on signal processing, April 1998.

112. Buccigrossi R.W., Simoncelli E.P. Image compression via joint statistical characterization in the wavelet domain // IEEE Transactions on image processing, vol. 8, 1999.

113. Харатишвили Н.Г., Чхеидзе И.М., Ронсен Д., Инджия Ф.И. Пирамидальное кодирование изображений. М.:Радио и связь. 1996.