автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Разработка алгоритмов стабилизации и компрессии изображений для систем видеонаблюдения мобильных робототехнических комплексов

На правах рукописи

□□3453031

Коплович Евгения Александровна

Разработка алгоритмов стабилизации и компрессии изображений для систем видеонаблюдения мобильных робототехнических комплексов

Специальность 05.13.11 — «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей»

Автореферат

диссертации на соискание ученой степени кандидата физико-математических наук

1 4 КНВ 2СС9

Москва, 2008

003459031

Работа выполнена на кафедре «Высшей математики № 1» Московского государственного института электронной техники (технического университета).

Научный руководитель: доктор физико-математических наук,

профессор Умняшкин С. В.

Официальные оппоненты: доктор физико-математических наук,

профессор Рычагов М. Н.

кандидат физико-математических наук Посыпкин М. А.

Ведущая организация: государственное унитарное предприятие

г. Москвы научно-производственный центр «Электронные вычислительно-информационные системы»

Защита состоится « » 0 '2- 2009 г. в Н часов <РОшшут на заседании диссертационного совета Д 212.134.02 при Московском государственном институте электронной техники (техническом университете) по адресу: 124498, Москва, проезд 4806, д. 5, МИЭТ.

С диссертацией можно ознакомиться в библиотеке МИЭТ. Автореферат разослан «

29» юо£_ г.

Ученый секретарь диссертационного совета, доктор технических наук

Гуреев А. В.

Общая характеристика работы Актуальность проблемы

Перспективным направлением автоматизации в различных областях человеческой деятельности является создание мобильных робототехни-ческих комплексов (МРК), которые способны функционировать в экстремальных и опасных для жизни человека условиях.

Дистанционное управление МРК осуществляется с помощью человеко-машинного интерфейса на основе видеоданных, поступающих от телевизионной системы подвижного аппарата, поэтому к качеству видеоизображения предъявляются повышенные требования: оператор должен быть обеспечен максимально достоверной и полной визуальной информацией при минимальных вносимых задержках и искажениях.

Ограниченная пропускная способность каналов связи не позволяет передавать без компрессии значительные объемы видеоданных. Выбор того или иного метода сжатия видеоинформации определяется как обеспечиваемыми характеристиками компрессии, так и вычислительной сложностью реализации. Часто останавливаются на простейших алгоритмах, подразумевающих независимую покадровую обработку поступающего видеопотока. Распространенные стандарты видеокодирования, такие как МРЕО-2 и МРЕС-41, позволяют добиться лучшего соотношения качество/степень сжатия, однако они более требовательны к вычислительным ресурсам. Данные стандарты видеокомпрессии основаны на дискретном косинусном преобразовании (ДКП), что при малых битовых затратах приводит к появлению на восстановленных видеоизображениях характерных блочных искажений. Кроме того, они не позволяют изменять битовую скорость передаваемого закодированного потока в режиме реального времени.

Специалисты в области прикладной теории передачи данных уделяют повышенное внимание разработке новых алгоритмов компрессии видеоинформации на базе дискретного вейвлет-преобразования (ДВП). Однако результаты исследований, содержащиеся в большинстве публикаций по теме сжатия видеоданных с использованием ДВП, на текущий момент не могут быть использованы на практике из-за слишком большой вычислительной сложности.

В связи с вышесказанным актуальными являются как исследования, позволяющие повысить эффективность известных методов компрессии статических и динамических изображений, основанных на ДКП, так и

1 Стандарты ¡БО/ШС 13818-2 и КОЛЕС 14496-2

3

разработка новых алгоритмов кодирования, которые могут быть успешно использованы в системах видеонаблюдения реального времени.

Другой актуальной задачей обработки данных, поступающих от телевизионной системы МРК, является компенсация перемещения видеодатчика для подавления нежелательного дрожания и последующего анализа видеоинформации на предмет наличия в кадре различных объектов, например, движущихся целей.

Цель и задачи диссертационной работы

Целью диссертационного исследования является разработка методов стабилизации и компрессии изображений, ориентированных на применение в системах видеонаблюдения МРК при различных характеристиках используемых в них вычислительных элементов и каналов передачи данных.

Основные задачи, решение которых требуется для достижения поставленной цели, следующие:

- исследование существующих подходов к сжатию динамических и статических изображений на основе различных декоррелирующих преобразований и анализ методов стабилизации видеоизображений;

- разработка 1РЕС-подобного алгоритма контекстного кодирования изображения на основе межблочных статистических связей между коэффициентами ДКП соседних блоков для использования в системах видеонаблюдения с невысокими вычислительными ресурсами;

- синтез алгоритма определения сдвига источника видеосигнала на основе блочного ДКП;

- разработка метода масштабируемого кодирования векторов перемещения блоков видеокадра;

- разработка алгоритма видеокомпрессии на основе иерархического кодирования коэффициентов ДВП и блочной компенсации движения в пространственной области для систем видеонаблюдения МРК, обладающих высокими вычислительными ресурсами;

- реализация предложенных алгоритмов и их оптимизация, создание программных средств для тестирования, оценка эффективности разработанных алгоритмов с помощью тестовых изображений и видеопоследовательностей;

- выработка рекомендаций по практической реализации разработанного видеокодера с использованием мультимедийных цифровых сигнальных процессоров и многопроцессорных элементов.

Методы исследования

В процессе работы над диссертацией в качестве методов исследования использовались методы линейной алгебры, теории вероятностей и математической статистики, теории цифровой обработки и кодирования данных. Экспериментальные исследования проводились с помощью численного моделирования на персональном компьютере в средах разработки Microsoft Visual Studio и MATLAB.

Достоверность результатов

Достоверность научных положений, результатов и выводов подтверждается использованием для их получения общепринятых научных подходов и методов разработки, а также результатами экспериментальных исследований, проведенных с использованием тестовых данных и подтверждающих эффективность разработанных алгоритмов.

Яичный вклад автора

Все предложенные в работе алгоритмы, за исключением алгоритма видеокомпрессии, были реализованы и экспериментально проанализированы лично автором. Аппаратно-программная реализация алгоритма видеокомпрессии на основе ДВП проводилась коллективом исследователей при непосредственном участии автора.

Научная новизна диссертации

Научная новизна диссертации заключается в:

- создании нового метода контекстного кодирования на базе межблочной корреляции между модулями коэффициентов ДКП для использования в JPEG-подобной схеме компрессии, позволяющего повысить характеристики сжатия за счет несущественного повышения вычислительной сложности;

- разработке нового алгоритма определения сдвига видеоизображения, основанного на выделении в кадре характерных блоков с помощью анализа коэффициентов ДКП, который обеспечивает высокую точность даже при небольшом числе рассматриваемых блоков;

- разработке нового алгоритма видеокомпрессии на базе ДВП, который включает метод трехслойной обработки векторов движения, повышающий эффективность кодирования на низких битовых скоростях.

Практическая значимость

Практическая значимость результатов, полученных в диссертационной работе, заключается в том, что разработанные алгоритмы стабилизации и компрессии статических и динамических изображений позво-

ляют повысить эффективность обработки видеоданных как в специализированных системах управления МРК, так и в комплексах видеонаблюдения более широкого профиля.

Результаты диссертационного исследования были использованы в ряде НИР, проводимых в МИЭТ. Разработанные алгоритмы видеокомпрессии внедрены в макетных образцах систем видеонаблюдения в НИИ вычислительных средств и систем управления (ВСиСУ) МИЭТ.

Основные положения, выносимые на защиту

- Алгоритм сжатия изображений на основе контекстного кодирования коэффициентов ДКП с учетом межблочной корреляции, использующий многомодельный арифметический кодер.

- Алгоритм глобальной компенсации движения видеоисточника, использующий векторы перемещения характерных блоков кадра, выбор которых производится на основе анализа коэффициентов ДКП.

- Метод трехслойного кодирования векторов движения, позволяющий повысить эффективность кодирования при низких битовых скоростях.

- Алгоритм компрессии полутоновых видеоизображений на основе двумерного ДВП и блочной компенсации с перекрытием, предназначенный для использования в составе МРК.

Апробация работы

Основные результаты диссертационной работы докладывались и обсуждались на 11-й, 12-й, 13-й и 14-й Всероссийских межвузовских научно-технических конференциях студентов и аспирантов «Микроэлектроника и информатика» (Москва, МИЭТ, 2004-2007 гг.), а также на 4-й Российско-Баварской конференции по биомедицинской инженерии (Москва, МИЭТ, 2008 г.).

Публикации

По теме диссертации опубликовано девять работ (среди них три статьи в ведущих рецензируемых журналах и одна статья в трудах международной конференции); результаты исследований отражены также в пяти отчетах о НИР. Без соавторов опубликовано пять работ.

Структура и объем диссертации

Диссертационная работа состоит из введения, пяти глав, заключения, списка литературы и четырех приложений. Она изложена на 146 страницах (из них 14— приложения), содержит 63 рисунка и 7 таблиц. Список литературы включает 149 источников.

Содержание работы

Во введении обоснована актуальность темы диссертации, сформулированы цель и задачи исследования, показаны научная новизна и практическая значимость полученных результатов, приведены структура и краткое содержание работы.

Первая глава является вступительной. В ней приведены основные понятия теории обработки цифровых изображений. Рассмотрены ключевые идеи методов компрессии, базирующихся на устранении различных видов избыточности исходных данных: временной (межкадровой) избыточности, обусловленной схожестью соседних кадров видеопоследовательности, пространственной (внутрикадровой) избыточности, проявляющейся в сильной коррелированности значений соседних пикселов изображений, и цветовой избыточности.

В большинстве современных алгоритмов видеокомпрессии для устранения временной избыточности используется компенсация межкадрового движения с помощью построения прогнозного кадра на основе одного или нескольких опорных. В качестве опорных кадров могут выступать как предшествующие, так и следующие за текущим кадры. Прогнозный кадр вычитается из текущего кодируемого кадра для получения разностного изображения, которое затем подвергается дальнейшей обработке.

Наиболее распространенным способом избавления от пространственной избыточности является применение ортогональных декоррели-рующих преобразований. Из всех преобразований наибольшую популярность в области сжатия цифровых изображений получили косинусное и вейвлет-преобразование, при этом большинство видеокодеров реального времени основаны на ДКП в силу его вычислительной эффективности и простоты реализации.

При синтезе методов компрессии видеоинформации для телевизионной системы МРК необходимо принимать во внимание характеристики установленных на нем аппаратных элементов. Существенные ограничения на вычислительные ресурсы не позволяют применять сложные алгоритмы с компенсацией движения, поэтому в таких случаях оправдано использование методов независимой обработки видеокадров на базе ДКП, в частности, метода Motion JPEG, в котором каждый кадр сжимается алгоритмом JPEG2. В связи с этим одной из задач диссертационного исследования является разработка метода контекстного кодирования коэффициентов ДКП, повышающего эффективность сжатия статиче-

2 Стандарт ISO/IEC 10918-1

ских изображений в JPEG-подобной схеме компрессии. Кроме того, использование найденных в процессе сжатия видеокадра коэффициентов ДКП для определения его сдвига, вызванного движением видеоисточника, даст возможность выполнять стабилизацию изображения с относительно небольшими вычислительными затратами.

Если производительности аппаратных средств МРК достаточно для реализации более эффективных видеокодеров, целесообразно применять методы кодирования, основанные на компенсации межкадрового движения и ДВП. Они обеспечат лучшее соотношение качество/сжатие, позволят получать вложенный битовый код и менять битовую скорость передачи в реальном времени в соответствии с текущим состоянием канала. В этом случае, помимо синтеза непосредственно алгоритма видеокомпрессии, возникает задача разработки методов компенсации движения, обладающих сравнительно высоким быстродействием и ориентированных на использование ДВП в качестве декоррелирующего преобразования.

Таким образом, диссертационное исследование посвящено синтезу методов кодирования видеоинформации, которые могут применяться как в условиях ограниченных вычислительных ресурсов МРК, так и при использовании высокопроизводительных (в том числе параллельных) вычислительных структур.

Во второй главе рассматривается алгоритм компрессии изображений, основанный на построении контекстного прогноза для модулей коэффициентов ДКП и использовании многомодельного арифметического кодера.

Предложенный в работе метод контекстного кодирования коэффициентов ДКП позволяет увеличить степень сжатия в JPEG-подобной схеме компрессии. Подготовка изображения к кодированию осуществляется аналогично классическому алгоритму JPEG: исходное изображение размера M х L пикселов разбивается на блоки Ат'1 = |a,mj' | ,_0, m = 0,1,..., М/8 -1, / = 0,1,..., ¿/8 -1, каждый из которых обрабатывается с помощью двумерного ДКП: Ym'' = ДКП(Ат'1). Блоки коэффициентов ДКП квантуются некоторой целочисленной матрицей Q= ki j ),7j-o и разворачиваются в 64-элементные векторы

ZmJ = (z0m,/,..., z6f ) в порядке зигзага.

Основная идея предложенного метода заключается в том, что для кодирования ненулевых коэффициентов и длин нулевых серий исполь-

зуется многомодельный арифметический кодер, модель которого определяется на основе контекстного прогноза для кодируемого символа.

Под контекстом кодируемого символа обозначаемым С^,), понимается некоторый набор ранее обработанных (закодированных или декодированных) символов: С(я;)= ,....,sJr), ]х,...,]г < i, где

г > О — конечное число, определяющее порядок контекстной модели.

Контекстным прогнозом символа Я, называется случайная величина и,, представляющая собой функцию / от элементов контекста. Реализация данной величины — значение прогноза и, = )) — используется при выборе статистической модели для кодирования символа.

Пусть 2т,/ = {г"'1 ) — коэффициенты ДКП, промасштабиро-

ванные в результате деления без округления на элементы матрицы квантования (2 и соответствующие блоку с координатами (м, /).

В предложенном методе построение контекстного прогноза для коэф-

/

фициентов 2 ' основано на анализе имеющихся между ними внутри-блочных и межблочных статистических связей. Для составления контекстного прогноза используется корреляция между абсолютными значениями коэффициентов ДКП, а также горизонтальным

* т.1 т,1—1 а >",/ т—1,/

' = г0 - г0 и вертикальным Дг,, = г0 - 20 перепадами

постоянной составляющей. Сам прогноз в этом случае понимается как прогноз модуля коэффициента.

При построении контекстного прогноза помимо коэффициентов из обрабатываемого блока используются коэффициенты двух соседних блоков изображения, т. е. анализируется корреляционная зависимость величины \2к\, к -1,...,63 , от множества «факторов» \Ук, под которыми понимаются перепады постоянной составляющей и модули ранее обработанных коэффициентов верхнего и левого блоков, а также перепады постоянной составляющей и коэффициенты, предшествующие в кодируемом блоке. Контекст формируют факторы из множества 1¥к, наиболее коррелированные с величиной \гк\. Для каждого значения к выбираются г(к) элементов С^ е.ТУк,1 = \,...,г{к), таких, что модули соответствующих

коэффициентов корреляции принимают наибольшие зна-

чения среди всех возможных для данного индекса к значений.

В качестве функции прогноза случайной величины \2к\ используется линейная регрессия на т. е. функция условного математического ожидания

/{с\ ,Ск2,...,с\к^=М jZj.ll С* = С,*,С£ =С2,...,Сф) = С*

к

которая ищется в виде линейной функции от переменных ,..., с*^:

Ег(к) к

м ак,С> ■ (1)

Параметры ак, для (1) традиционно находятся по методу наименьших квадратов решением системы линейных уравнений:

ак,С' ' (2)

Еы соу(С*,С,*)= СОУ(|2*|,С*),* = 1,2,...,/•(*), (3)

где горизонтальная черта обозначает выборочное среднее, соу — выборочную оценку ковариации.

Для всех коэффициентов ДКП число символов в контекстной модели было одним и тем же, г(к) = Я , и подбиралось экспериментально.

Пары {(£"■',и"'') к е {о}иКт-1}, где Кт-' с {1,...,63} —множество

А м I т I

индексов ненулевых элементов вектора Ъ ' , пк' >0 — длина непрерывной серии нулей, непосредственно следующих за проквантованным коэффициентом = 0, сжимаются с помощью много-

модельного арифметического кодера. Выбор статистической модели производится на основе прогноза (1), в котором контекст составляется по величинам проквантованных коэффициентов ДКП. Множество возможных значений прогноза разбивается на интервалы, определяемые набором порогов > каждому из интервалов ставится в соот-

ветствие некоторая модель, описывающая частоты появления символов и в процессе кодирования адаптирующаяся к статистике обрабатываемых данных.

Поскольку для кодирования ненулевых коэффициентов и длин нулевых серий применяются различные статистические модели, использу-

ются два разных набора порогов: t\,t\,.-.,tzMt — для ненулевых коэффициентов, t",t2 —для длин нулевых серий.

Эффективность предложенного алгоритма сжатия изображений оценивалась с помощью семи стандартных тестовых полутоновых изображений размера 512x512 пикселов. Для кодирования ненулевых коэффициентов и длин нулевых серий использовалось по 4 модели, отдельная модель применялась для обработки постоянной составляющей ДКП-блока, т. е. всего использовалось 9 моделей.

В табл. 1 приведены результаты сжатия некоторых тестовых изображений при фиксированном качестве, критерием для которого являлось пиковое соотношение сигнал/шум (PSNR). Под выигрышем в сжатии понимается процент уменьшения длины файла при использовании предложенного контекстного кодирования по сравнению с размером JPEG-файла. Файлы JPEG были получены с использованием свободно распространяемой библиотеки от Independent JPEG Group.

Табл. J. Результаты контекстного кодирования тестовых изображений

Файл PSNR, дБ Размер JPEG, Б Выигрыш в сжатии, %, R = 3 Выигрыш в сжатии, %, R = 5

Barbara 32,54 27645 1,0 1,4

Lena 35,81 19256 5,3 5,6

Peppers 34,83 20086 7,6 7,5

Zelda 37,78 15240 4,5 4,6

При использовании контекстного прогноза на каждый ненулевой проквантованный коэффициент ДКП-блока требуется дополнительные 5 умножений и 5 сложений, т. е. вычислительная сложность алгоритма компрессии повышается несущественно.

В случае ограниченных вычислительных ресурсов МРК применение метода контекстного кодирования для покадрового сжатия поступающего от бортовой системы видеопотока позволит повысить эффективность сжатия и, следовательно, уменьшит нагрузку на канал передачи.

Третья глава посвящена методам глобальной и локальной компенсации движения. В первой ее части рассмотрен алгоритм определения смещения кадра видеопоследовательности, основанный на использовании поля векторов движения. Суть алгоритма заключается в выборе характерных блоков по коэффициентам ДКП, использование которых позволяет повысить точность, а также снизить вычислительные затраты.

У1 щ JY

yr > V / /r J

/ / / f

У / / у

I У )

Рис. 1. Коэффициенты ДКП, участвующие в процессе выбора блоков

Предложенный способ выбора участков изображения позволяет выделять характерные опорные блоки, векторы перемещений которых можно считать достоверными и использовать при дальнейшем определении глобального движения. В роли таких участков выступают блоки размером 8><8 пикселов. Классификация блоков проводится на основе значений коэффициентов ДКП, соответствующих «средним» частотам (см. рис. 1), которые позволяют сделать вывод о том, содержит ли данный участок изображения границы объектов или представляет собой относительно однородную область. Характерными считаются блоки с наибольшими значениями энергии данных коэффициентов.

Чтобы уменьшить вычислительную сложность алгоритма, из всех характерных блоков случайным образом выбираются только Т блоков, для каждого из которых определяется вектор перемещения. Сдвиг всего кадра находится в результате покоординатной медианной фильтрации векторов данных блоков.

Эффективность предложенного алгоритма определения сдвига изображения оценивалась с помощью трех полутоновых видеопоследовательностей (размер кадра— 1024x768 пикселов), записанных при различных погодных условиях. Сдвиг каждого видеокадра относительно предыдущего был получен искусственно и представлял собой случайное целое число пикселов. Векторы перемещения блоков находились с помощью двух алгоритмов: полного перебора и субоптимального алгоритма, на первом этапе которого поиск наиболее похожего блока проводился с шагом в 2 пиксела, на втором этапе — 1 пиксел.

В табл. 2 приведены результаты обработки одной из тестовых последовательностей, включающие:

максимальную ошибку определения сдвига

.), где ^ — число кадров,

Атах =

yf-Vf

Ч

и v

/ —ре-

альный и найденный векторы сдвига кадра;

среднее значение ошибки m = mean

v/"v/

vf= mean 1 *=1,...,10

Ш'

- оценку стандартного отклонения ошибки crv = std (||v/ ~v/||£)-

Как видно из табл. 2, предложенный алгоритм обеспечивает высокую точность определения сдвига при небольшом количестве анализируемых блоков. Помимо выбора характерных блоков, существенную роль также играет способ определения векторов перемещения, поэтому для их нахождения имеет смысл использовать алгоритм полного перебора. В табл. 3 представлены результаты, полученные при определении сдвига с использованием алгоритма полного перебора, но без выделения характерных блоков. Видно, что даже при большом числе анализируемых блоков (200) не удается достичь такой же точности, как при расчете всего по 30 характерным блокам.

Табл. 2. Результаты тестирования алгоритма глобальной компенсации

Число Полный перебор Субоптимальный алгоритм

блоков Г Лтах т crv ^max m crv

30 1 0,003 0,018 19,235 0,932 1,245

50 0 0 0 13,000 0,538 0,955

200 0 0 0 7,616 0,295 1,016

Табл. 3. Точность определения сдвига без выбора характерных блоков

Число Video 1 Video 2 Video 3

блоков Т m <Tv m crv m crv

50 7,701 3,640 5,769 3,980 7,469 4,269

200 8,112 4,649 5,501 4,156 7,486 4,447

Предложенный алгоритм определения сдвига может быть применен в существующих схемах видеообработки для повышения качества сжатия за счет учета глобального движения, а также для стабилизации изображения за счет компенсации дрожания видеоисточника.

Вторая часть третьей главы посвящена «трехслойной» схеме кодирования векторов перемещения, полученных при выполнении блочной компенсации движения.

Информация о найденных векторах, необходимая для построения прогнозного кадра, должна сжиматься без потерь, однако на низких битовых скоростях закодированные векторы могут занимать значительную часть ограниченного канала передачи, не оставляя битового бюджета для кодирования разностного изображения. Предложенный метод позволяет формировать частично вложенный битовый код, что дает возможность перераспределять битовые затраты между кодированием разностного кадра и информацией о перемещении блоков и улучшает соотношение качество/сжатие.

Рис. 2. Поиск вектора движения блока

Идея метода заключается в последовательной обработке трех слоев векторов движения: первый слой является базовым, остальные два слоя — уточняющими. На первом слое определяются векторы перемещения только для четверти блоков видеоизображения, еще четверть блоков обрабатывается на втором слое, а для оставшейся половины блоков векторы движения находятся на третьем слое.

На каждом слое для текущего обрабатываемого блока строится прогнозный вектор урге<1, который определяется с помощью медианной

фильтрации по ранее вычисленным векторам соседних блоков, расположенных в обрабатываемом (для первого слоя) или предыдущих (для второго и третьего) слоях. Вектор урге4 задает положение области поиска

вектора V' (см. рис. 2), по которому находится реальное перемещение блока \ = урге1]+\'.

Вектор у' определяется минимизацией функции Лагранжа / = Д, + Я • , где — искажение, вносимое ошибкой предсказания блока, — количество бит, необходимое для кодирования вектора V1; Л —множитель Лагранжа.

На каждом слое в выходной поток выводятся векторы V', которые кодируются с помощью статистического кодера. Если после кодирования очередного слоя битовый бюджет на кодирование информации о движении не был превышен, обрабатывается следующий слой.

В случае, когда не для всех блоков изображения были определены векторы перемещения, т. е. применялось менее трех слоев, в качестве недостающих векторов используются их предсказанные значения, полученные также с помощью медианной фильтрации по ближайшим известным соседям. Предсказанные векторы не кодируются и не записываются в выходной поток, т. к. декодер располагает всеми необходимыми данными для их восстановления.

В главе также приводится модификация трехслойного алгоритма, сокращающая вычислительную сложность процедуры определения векторов движения. Отличие модифицированной схемы заключается, во-первых, в использовании вектора глобального перемещения кадра, который позволяет учесть движение источника видеосигнала и повысить точность построения прогнозных векторов, и, во-вторых, в уменьшении области поиска на втором и третьем слоях, снижающем число проб и, следовательно, ускоряющем процедуру компенсации движения.

Предложенные методы трехслойного кодирования могут быть использованы в качестве составного элемента в различных алгоритмах видеокомпрессии с блочной компенсацией движения.

В четвертой главе рассмотрен алгоритм сжатия видеоданных, основанный на блочной компенсации движения с перекрытием, трехслойной схеме кодирования векторов перемещения, описанной в третьей главе, и ДВП.

На рис. 3 представлена общая схема обработки поступающего полутонового видеокадра. Алгоритм поддерживает использование ключевых 1-кадров и предсказываемых Р-кадров, в качестве опорного кадра выступает предыдущий восстановленный кадр.

Рис. 3. Общая схема кодирования видеокадра Если кадр должен быть закодирован как 1-кадр, то над ним выполняется ДВП, после чего коэффициенты обрабатываются алгоритмом БРШТ3. Если же текущий кадр является Р-кадром, то сначала с помощью блочной компенсации движения в пространственной области устраняется временная избыточность. Далее на основе найденных векторов перемещения вычисляется разностное изображение, которое также переводится в область ДВП, а коэффициенты кодируются методом БРШТ. Векторы движения обрабатываются с помощью интервального кодера.

Использование ДВП для обработки разностного кадра, полученного после обычной блочной компенсации, не позволяет добиться хорошей эффективности сжатия из-за высокочастотных «всплесков» коэффици-

3 Said A., Pearlman W. A. A New Fast and Efficient Image Codec Based on Set Partitioning in Hierarchical Trees // IEEE Transactions on Circuits and Systems for Video Technology, vol. 6, pp. 243-250, June 1996.

ентов вейвлет-спектра, соответствующих границам блоков. Компенсация в области вейвлет-преобразования, как правило, дает лучшие результаты по сравнению с обычной блочной компенсацией в пространственной области, но на текущий момент она не получила широкого распространения ввиду сложности реализации.

Компромиссом между качеством и эффективностью вычислений является блочная компенсация с перекрытием. Идея данного метода заключается в том, что блочные артефакты могут быть частично сглажены с помощью интерполяции прогнозных значений яркости на основе векторов движения соседних блоков. До того, как блок из опорного кадра будет перемещен на новое место в прогнозном кадре, на него накладывается весовое «окно», перекрывающее восемь соседних блоков (см. рис. 4). В результате прогноз для пиксела из текущего блока зависит от значений яркости четырех пикселов: пиксела из текущего и трех соседних блоков.

Применение перекрытия при построении прогнозного кадра позволяет убрать резкие перепады значений яркости на границах блоков, однако при этом на низких битрейтах могут быть сильно сглажены полезные высокие частоты, что может привести к некоторому снижению качества восстановленных изображений.

В рамках предложенного алгоритма видеокомпрессии была реализована трехслойная схема нахождения и кодирования векторов движения, рассмотренная в третьей главе. Векторам у' с помощью таблицы перекодировки ставятся в соответствие индексы, которые далее сжимаются с помощью интервального кодера. Каждому слою векторов движения соответствует своя модель, т. е. всего используются три модели.

Для кодирования разностного изображения, так же, как и для сжатия ключевого кадра, используется алгоритм БРЮТ. Важная особенность этого алгоритма заключается в том, что на любом этапе декодирования качество отображаемого в этот момент кадра близко к наилучшему для текущего переданного объема информации. Кроме того, БР1НТ генерирует вложенный битовый код и может иметь различные критерии остановки работы: по достижении заданного качества сжатия, по достижении заданного размера сжатого файла, а также «смешанные» критерии.

Г" 1 ..и. У , Чч

-1-1 , »•< 1 • '» V )

^

Окно, наложенное на соседний верхний левый блок

Окно, наложенное на текущий блок

Текущий блок

Соседние блоки Рис. 4. Использование весового окна

Кодирование может быть остановлено и при превышении лимита времени, отведенного на обработку кадра.

Возможность контроля ошибки восстановления кадра в процессе кодирования, которую дает использование ортогонального ДВП, позволяет при необходимости использовать в методе SPIHT RD-оптимизацию: функция Лагранжа J = D + X'-R (здесь D— текущее расхождение между исходным и восстановленным вейвлет-спектрами, R — количество бит, переданное декодеру) может вычисляться как после каждого выведенного в поток бита, так и после кодирования очередного битового слоя. При этом дополнительное ограничение сверху битовых затрат на кодирование I- и Р-кадров конкретными значениями позволит не допустить превышения максимально возможной скорости битового потока при работе на каналах связи с малой пропускной способностью.

В конце четвертой главы рассматриваются некоторые аспекты реализации разработанного видеокодера на основе цифровых сигнальных процессоров (ЦСП) на примере медиапроцессора TMS320DM642 производства Texas Instruments (США). Также показано, что основные вычислительные процедуры видеокодера (компенсация межкадрового движения, ДВП, SPIHT) легко поддаются распараллеливанию— при использовании соответствующих вычислительных структур это позволит организовать процесс обработки видеопотока более эффективно.

В пятой главе обсуждаются полученные результаты экспериментального исследования характеристик разработанного алгоритма видеокомпрессии с трехслойной схемой кодирования векторов движения.

Предложенный алгоритм видеокомпрессии был реализован на языке С в среде разработки Microsoft Visual Studio 2005. Моделирование проводилось на персональном компьютере с процессором Intel Соге 2 Duo 2,66 ГГц. Для оптимизации процедуры компенсации движения применялся набор SIMD-расширений SSE3, для построения прогнозного кадра с перекрытием использовалась целочисленная арифметика. Лифтинг-схема вычисления ДВП, реализованная в видеокодере, позволила сократить время выполнения преобразования в 1,6 раза. Чтобы ускорить работу алгоритма SPIHT, использовалось специальное дерево значимости вейвлет-коэффициентов, кроме того, все динамические списки были заменены на статические. Для обработки видеоизображений применялось 5-уровневое ДВП в биортогональном базисе CDF 9/7. Критерием качества восстановленных тестовых последовательностей являлись покадровые и усредненные значения PSNR.

Tennis: 3 ключевых кадра (2.0 bpp), Х=

На рис. 5 приведены результаты кодирования стандартной тестовой последовательности Tennis (150 кадров размера 352x224 пиксела) с использованием модифицированной трехслойной схемы компенсации движения и разного числа слоев векторов. Поиск векторов проводился

путем полного перебора в квадратных областях с точностью до пиксела, на первом слое область поиска составляла ±15 пикселов (по горизонтали и вертикали), на втором — ±7 пикселов, на третьем — ¿3 пиксела. Кодирование кадров осуществлялось с фиксированным битрейтом (для I-кадра он всегда составлял 2 бита на пиксел), ключевыми были 1-й, а также 90-й и 149-й кадры — кадры, в которых происходила смена сюжета

3.1 0.15 0.2 0.25 0.3 0.35 Средний битрейт, Ьрр Рис. 5. Кодирование последовательности Tennis с разным числом слоев

Flower Garden: 1 ключевой кадр (2.0 Ьрр), Х=60

Из графика видно, что трехслойная схема кодирования позволяет повысить эффективность кодирования: на низких битрейтах оправдано использование только одного слоя; далее, при увеличении доступного битового бюджета, можно переходить к обработке следующих слоев.

На рис. 6 представлены результаты кодирования стандартной тестовой последовательности Flower Garden (150 кадров размера 352*224 пиксела) с использованием базовой (обозначен Wavelet) и модифицированной (обозначен Мод. Wavelet) трехслойных схем компенсации движения, в последнем случае скорость кодирования составила 35 кадров/с.

На этом же рисунке приведен график, полученный для свободно распространяемого видеокодера Xvid версии 1.1.3, соответствующего стандарту MPEG-4. Кодирование производилось с предустановленными настройками, соответствующими режиму Real-time (без В-кадров), и заданием битовой скорости.

0.25 0.3 0.35 0.4 0.45 Средний битрейт, Ьрр Рис. 6. Кодирование последовательности Flower Garden

При использовании модифицированной трехслойной схемы качество восстановленной последовательности падает незначительно (например, на последовательности Flower Garden — не более чем на 0,1 дБ, на последовательности Tennis — 0,2 дБ), при этом скорость выполнения компенсации движения возрастает почти в 3 раза.

Важно отметить, что в предложенном видеокодере битовая скорость была постоянной, тогда как «скачки» битового потока в Xvid достигали 100 % от среднего битрейта, что является неприемлемым для передачи видеоданных в реальном времени по радиоканалу с ограниченной пропускной способностью. Кроме того, разработанный алгоритм позволяет точно и с минимальными задержками регулировать скорость битового потока — данное свойство является критически важным для надежной работы МРК в условиях изменяющейся радиоэлектронной обстановки.

На рис. 6 также представлен график, полученный при кодировании последовательности Flower Garden с использованием модифицированной трехслойной схемы и применением RD-оптимизации не только при поиске векторов, но и в алгоритме SPIHT (обозначен Мод. RD Wavelet). Результаты проведенных экспериментальных исследований подтверждают, что RD-оптимизация повышает эффективность сжатия, однако при этом скорость битового потока перестает быть постоянной и ее сложнее контролировать.

В заключении подводится итог проделанной работы: сформулированы основные выводы, представлены полученные результаты, обозначены перспективы дальнейших исследований.

В приложениях приведены стандартные тестовые изображения и кадры из видеопоследовательностей, которые были использованы при проведении экспериментальных исследований, описание алгоритма SPIHT, а также копия акта о внедрении результатов диссертационной работы.

Основные результаты и выводы

В процессе диссертационного исследования были получены следующие основные результаты.

1. Разработан метод, позволяющий повысить качество сжатия в JPEG-подобной схеме компрессии. В основе данного подхода лежит построение контекстного прогноза для модулей коэффициентов ДКП, выполненного над блоками обрабатываемого изображения. В качестве прогноза используется функция линейной регрессии, коэффициенты которой определяются с учетом межблочных статистических связей. На тестовых изображениях средний выигрыш относительно

JPEG с арифметическим кодированием при фиксированном уровне качества составил 3 %, максимальный — 7,6 %. Алгоритм может быть использован для независимой покадровой обработки видеопоследовательности или кодирования ключевых кадров в видеокомпрессорах, основанных на использовании косинусных преобразований.

2. Разработан алгоритм глобальной компенсации движения, использующий для определения смещения кадра векторы движения характерных блоков размером 8x8 пикселов. Выбор характерных блоков производится на основе анализа коэффициентов ДКП. Проведенное тестирование на реальных видеоданных, полученных при различных погодных условиях, подтвердило эффективность алгоритма— было установлено, что при использовании метода полного перебора для нахождения векторов нулевая ошибка определения сдвига практически всегда достигалась с использованием всего 30 блоков видеокадра размером 1024x768 пикселов, т. е. менее 0,3 % от общего числа блоков изображения.

3. Разработан метод трехслойной блочной компенсации движения, который позволяет генерировать частично вложенный код для поля векторов и перераспределять битовый бюджет между кодированием разностного изображения и информации о движении, что улучшает характеристики сжатия на низких битовых скоростях. Он прост в реализации и может быть встроен в любую схему видеокомпрессии, основанную на блочной компенсации движения. Рассмотрена модификация метода, позволяющая снизить вычислительные затраты на поиск векторов движения за счет уменьшения области поиска на втором и третьем слоях.

4. Разработан алгоритм сжатия видеопотока для системы видеонаблюдения МРК, позволяющий быстро и точно рехулировать битовую скорость в зависимости от состояния канала передачи данных. Алгоритм основан на блочной компенсации движения с перекрытием и иерархическом кодировании коэффициентов ДВП и включает предложенную трехслойную схему кодирования векторов перемещения. Приведены рекомендации по его эффективной реализации на ЦСП и параллельных вычислительных структурах.

5. Проведено компьютерное моделирование разработанного видеокодера, позволившее экспериментально оценить его эффективность. Полученные характеристики сжатия находятся на уровне, соответствующем алгоритмам семейства MPEG-4: по сравнению с видеокодером Xvid максимальный выигрыш в качестве (по PSNR) соста-

вил 1 дБ. При этом выходной поток разработанного кодера в отличие от видеокомпрессоров, основанных на ДКП, имеет постоянную битовую скорость, которая в случае необходимости быстро и точно регулируется. Показано, что при снятии ограничения на постоянство битового потока эффективность сжатия может быть дополнительно повышена за счет использования RD-оптимизации не только при поиске векторов движения, но и при кодировании разностного изображения. Аппаратная реализация синтезированного алгоритма видеокомпрессии позволит успешно использовать его для обработки видеоданных в телевизионной системе МРК.

Результаты, полученные в процессе работы над диссертацией, использовались в ряде научно-исследовательских работ, проводимых в НИИ ВСиСУ МИЭТ, и внедрены в виде алгоритмов обработки видеоданных в макетных образцах специализированных МРК, что подтверждает соответствующий акт внедрения.

Список работ по теме диссертации

1. Безуглова Е. А. Контекстное кодирование коэффициентов дискретного косинусного преобразования с учетом межблочной корреляции // Микроэлектроника и информатика— 2004. 11-я Всероссийская межвузовская научно-техническая конференция студентов и аспирантов: Тезисы докладов. — М.: МИЭТ, 2004. — С. 166.

2. Умняшкин С. В., Безуглова Е. А. Контекстное кодирование коэффициентов дискретного косинусного преобразования на основе межблочной корреляции в JPEG-подобной схеме компрессии // Цифровая обработка сигналов. — № 3. — 2004. — С. 13-17.

3. Коплович Е. А., Умняшкин С. В. Контекстное кодирование коэффициентов дискретного косинусного преобразования с учетом межблочной корреляции // Известия вузов. Электроника. — № 6. — 2004, — С. 78-83.

4. Системы распознавания образов и сопровождения подвижных объектов в сложных условиях: Отчет о НИР / МИЭТ; руководитель С. В. Умняшкин. — № гос. per. 01200303723, инв. №02200402631. — М, 2004.

5. Системы распознавания образов и сопровождения подвижных объектов в сложных условиях: Отчет о НИР / МИЭТ; руководитель С. В. Умняшкин. — № гос. per. 01200303723,

инв. № 02200501612. — М„ 2005.

6. Коплович Е. А. Алгоритм автоматического обнаружения и сопровождения цели в последовательности видеокадров // Микроэлектроника и информатика— 2005. 12-я Всероссийская межвузов-

екая научно-техническая конференция студентов и аспирантов: Тезисы докладов. — M.: МИЭТ, 2005. — С. 175.

7. Коплович Е. А. Особенности реализации алгоритма автоматического сопровождения подвижных объектов для бортовой системы видеонаблюдения И Микроэлектроника и информатика— 2006. 13-я Всероссийская межвузовская научно-техническая конференция студентов и аспирантов: Тезисы докладов. — М.: МИЭТ, 2006. — С. 202.

8. Коплович Е. А. Алгоритм оценки смещения видеокадра на основе выбора характерных блоков с использованием коэффициентов ДКП // Интеллектуальные системы в производстве. — 2006. — № 2(8). — С. 25-30.

9. Коплович Е. А. Использование характерных блоков и поля векторов перемещения для глобальной компенсации движения // Микроэлектроника и информатика— 2007. 14-я Всероссийская межвузовская научно-техническая конференция студентов и аспирантов: Тезисы докладов. — М.: МИЭТ, 2007. — С. 151.

10. Исследование и разработка методов кодирования и передачи динамически меняющихся изображений в системах дистанционного управления перспективными мобильными робототехническими комплексами в экстремальных условиях применения: Отчет о НИР (промежуточ.) / МИЭТ; руководитель В. А. Бархоткин. № гос. per. 01200 709860, инв. № 02200700241. — М., 2007.

11. Исследование и разработка методов кодирования и передачи динамически меняющихся изображений в системах дистанционного управления перспективными мобильными робототехническими комплексами в экстремальных условиях применения: Отчет о НИР (промежуточ.) / МИЭТ; руководитель В. А. Бархоткин. № гос. per. 01200 709860, инв. № 02200700242. — М., 2007.

12. Исследование и разработка методов кодирования и передачи динамически меняющихся изображений в системах дистанционного управления перспективными мобильными робототехническими комплексами в экстремальных условиях применения: Отчет о НИР (промежуточ.) / МИЭТ; руководитель В. А. Бархоткин. № гос. per. 01200 709860, инв. № 05200800112. — М., 2008.

13. Александров A.A., Коплович Е. А., Умняшкин C.B. Алгоритм видеокомпрессии на основе дискретного вейвлет-преобразования с трехслойной схемой кодирования векторов движения // Известия вузов. Электроника. — № 5. — 2008. — С. 69-73.

14.Umnyashkin S., Koplovich Е., Alexandrov A. Layered Motion Compensation for a Low Bit Rate Embedded Wavelet Video Coder // Proceedings of the 4th Russian-Bavarian Conference on Biomedical Engineering. — Moscow: MIET, 2008. — pp. 97-100.

Подписано в печать

Заказ №/<5"/. Уч.-изд. л. ^А Тираж 100 экз. Формат 60x84 1/16.

Отпечатано в типографии ИПК МИЭТ.

124498, Москва, Зеленоград, проезд 4806, д. 5, МИЭТ.

Введение.

Глава 1. Анализ основных подходов к сжатию статических и динамических изображений.

1.1. Понятия и термины.

1.1.1. Математическая модель непрерывного изображения.

1.1.2. Вероятностное описание непрерывных изображений.

1.1.3. Дискретные и цифровые изображения.

1.2. Основные идеи методов сжатия изображений.

1.3. Устранение временной избыточности.

1.3.1. Блочная компенсация движения.

1.3.2. Компенсация в области вейвлет-преобразования.

1.3.3. Глобальная компенсация движения.

1.4. Устранение пространственной избыточности.

1.4.1. Кодирование с предсказанием.

1.4.2. Преобразование изображений.

1.5. Квантование.

1.6. Статистическое кодирование.

1.6.1. Коды переменной длины.

1.6.2. Арифметическое кодирование.

1.7. Оценка качества восстановленных изображений.

1.8. Постановка задачи диссертационного исследования.

Глава 2. Сжатие изображений на основе контекстного кодирования коэффициентов ДКП.

2.1. Классическая схема JPEG.

2.2. Принцип контекстного кодирования.

2.2.1. Понятие контекста.

2.2.2. Использование контекста для кодирования символов.

2.3. Корреляция между коэффициентами ДКП.

2.4. Построение контекстного прогноза.

2.5. Алгоритм контекстного кодирования коэффициентов ДКП.

2.5.1. Выбор модели по значению контекстного прогноза.

2.5.2. Кодирование блока ДКП.

2.6. Анализ эффективности алгоритма сжатия.

2.7. Выводы.

Глава 3. Глобальная и локальная компенсация движения.

3.1. Глобальная компенсация движения на основе векторов перемещения характерных блоков.

3.1.1. Алгоритм определения сдвига изображения.

3.1.2. Результаты моделирования алгоритма.

3.2. Трехслойная схема компенсации движения.

3.2.1. Модифицированная трехслойная схема.

3.3. Выводы.

Глава 4. Алгоритм видеокомпрессии на основе ДВП и блочной компенсации движения для видеосистемы МРК.

4.1. Использование ДВП для сжатия данных.

4.2. Алгоритм сжатия динамических изображений.

4.2.1. Общая схема кодирования.

4.2.2. Преобразование цветового пространства.

4.2.3. Компенсация движения и построение прогнозного кадра.

4.2.4. Кодирование векторов движения.

4.2.5. Обработка разностного изображения.

4.3. Некоторые аспекты реализации алгоритма видеокодирования на вычислительных элементах, используемых в телевизионной системе МРК.

4.3.1. Эффективная реализация видеокодера на основе ЦСП.

4.3.2. Распараллеливание основных этапов сжатия.

4.4. Выводы.

Глава 5. Компьютерное моделирование и экспериментальное исследование характеристик разработанного алгоритма видеокомпрессии.

5.1. Формирование выходного битового потока.

5.2. Оптимизация вычислений.

5.2.1. Компенсация движения.

5.2.2. Использование лифтинг-схемы для вычисления ДВП.

5.2.3. Оптимизация алгоритма SPIHT.

5.3. Результаты кодирования тестовых видеопоследовательностей.

5.4. Выводы.

Перспективным направлением автоматизации в различных областях человеческой деятельности, включая транспортную, промышленную и военную отрасли, является создание мобильных робототехнических комплексов (МРК). Существенным преимуществом МРК является их способность функционировать в экстремальных и опасных для жизни человека условиях: они позволяют без риска для человека перевозить радиоактивные и другие вредные вещества, контролировать обстановку в районах экологических катастроф, проводить аварийно-спасательные работы в атомной энергетике, химической, нефтегазовой и горнодобывающих отраслях, операции по борьбе с терроризмом и действия в условиях военных конфликтов.

Ряд программ, проводимых в США, Западной Европе, Израиле, Японии и России, направлен на разработку и внедрение в промышленных масштабах комплексов, которые дистанционно управляются человеком, находящимся на командном пункте и получающим видеоинформацию от бортовых источников МРК по радиоканалам телекодовой связи. Среди российских разработок в этой области можно отметить следующие комплексы [1]:

- РТК РД — робототехнический комплекс разведки и дезактивации, предназначенный для проведения первоочередных работ при ликвидации последствий радиационных аварий и включающий мобильное транспортное средство с манипулятором, телевизионное и осветительное оборудование, а также передвижной пункт управления;

- КРТ-100М—- робототехнический комплекс, предназначенный для проведения работ при ликвидации последствий аварий преимущественно на открытых площадках и крышах атомных электростанций (АЭС), предприятий ядерного топливного цикла. Мобильный аппарат КРТ-100М снабжен отвалом, осветительным и телевизионным оборудованием, состоящим из двух обзорных полноповоротных видеокамер;

- МРК-27МА.00 — робототехнический комплекс для ликвидации последствий аварий преимущественно в помещениях, с помощью которого можно перемещать предметы и проводить осмотр пространства в аварийной зоне. Подвижный аппарат оснащен тремя телевизионными камерами.

Другим видом дистанционно управляемых комплексов являются беспилотные летательные аппараты (БПЛА), активно используемые для оперативного получения разведывательных данных (в том числе в зоне конфликта), а также точечного уничтожения наземных целей. Из современных российских разработок можно отметить БПЛА ZALA 421-06 и ZALA 421-12 компании «Беспилотные системы» [28]. ZALA 421-06— это БПЛА вертолетного типа, позволяющий проводить разведывательные операции в труднодоступных и опасных для человека местах. Его основными преимуществами являются вертикальный взлет и возможность зависания над объектом. БПЛА ZALA 421-12 с увеличенной продолжительностью полета был разработан для решения задач пограничных подразделений. На его борту размещена стабилизированная в двух осях цветная видеокамера с обзором любой точки нижней полусферы.

Дистанционное управление МРК осуществляется с помощью человеко-машинного интерфейса на основе визуальной информации, поступающей от собственной телевизионной системы подвижного аппарата или установленного навесного оборудования. Получаемая видеоинформация используется как для оценки окружающей обстановки, навигации и формирования управляющих команд оператором, так и для автоматической интерпретации видеоданных, полученных от телевизионных камер, с последующей идентификацией или классификацией объектов, наблюдаемых в контролируемом пространстве. Освобождение оператора от выполнения рутинных действий существенно повышает эффективность управления, однако при использовании автоматизированного (а не автономного) комплекса остается возможность вмешательства специалиста в экстренных или неоднозначных ситуациях. Этим объясняются повышенные требования, предъявляемые к качеству видеоизображения: система передачи видеоданных должна обеспечивать максимально достоверную и полную визуальную информацию при минимальных вносимых искажениях.

Ограниченная пропускная способность существующих радиоканалов связи не позволяет передавать без компрессии большие потоки видеоданных от камер наблюдения. установленных на борту аппаратно-программных комплексов. Это объясняет необходимость синтеза новых методов обработки и кодирования динамически меняющихся изображений, позволяющих адаптироваться к изменению радиоэлектронной обстановки и объему передаваемой информации.

При проектировании МРК выбор того или иного метода компрессии определяется не только его характеристиками сжатия, но и вычислительной сложностью реализации. Часто останавливаются на простейших алгоритмах видеокодирования, подразумевающих независимую покадровую обработку поступающей видеоинформации. Очевидно, что добиться высокой степени сжатия в этом случае не представляется возможным, однако подобный метод компрессии не требует больших вычислительных ресурсов и обеспечивает надежность передачи видеоданных: ошибка, возникшая при трансляции одного кадра, не влияет на корректность восстановления последующих кадров, что минимизирует задержку, возникающую в процессе декодирования при наличии помех в радиоканале. Примером такого подхода является метод Motion JPEG, в котором каждый кадр сжимается алгоритмом JPEG [72].

Распространенные стандарты видеокодирования, такие как MPEG-2 [73], MPEG-4 [74] и Н.264 [79], позволяют добиться лучшего соотношения качество/сжатие, используя хмеханизм компенсации движения, но построение прогнозных кадров, как правило, занимает более половины процессорного времени, затрачиваемого на обработку текущего кадра. Кроме того, данные алгоритмы основаны на дискретном косинусном преобразовании (ДКП), что при малых битовых затратах приводит к появлению на восстановленных видеоизображениях характерных блочных искажений, затрудняющих их визуальное восприятие и, следовательно, не позволяющих человеку-оператору адекватно оценить обстановку. Еще одним недостатком является невозможность изменения битовой скорости закодированного потока в режиме реального времени.

Специалисты в области прикладной теории передачи данных уделяют повышенное внимание увеличению эффективности существующих методов компрессии, стандарты которых определяют лишь формат битового потока и способ его декодирования, а не сами вычислительные процедуры. Кроме того, активно разрабатываются новые алгоритмы сжатия видеоинформации на базе вейвлет-преобразования: примерами исследований в этом направлении могут служить работы таких ученых как John W. Woods [141-143], Deepak S. Turaga и Mihaela van der Schaar [131—133]. Очевидно, что использование вейвлет-кодирования является перспективным направлением и со временем ляжет в основу новых стандартов видеокомпрессии.

Большинство из многочисленных публикаций по теме сжатия видеоданных, однако. либо содержат лишь общее описание методов кодирования, либо в них, наоборот, рассматривается только некоторая часть алгоритма компрессии (например, компенсация межкадрового движения), либо результаты соответствующих исследований на текущий момент не могут быть использованы на практике из-за слишком большой вычислительной сложности.

В связи с вышесказанным крайне актуальными являются как исследования, позволяющие повысить эффективность известных методов компрессии статических и динамических изображений, так п разработка новых алгоритмов кодирования, обладающих невысокой программной и аппаратной сложностью, которые могут быть успешно использованы в различных системах видеонаблюдения.

Способы кодирования, используемые для сжатия видеопотока в реальном времени, отличаются от тех, которые используются для архивного хранения видеоданных. Во-первых, такие алгоритмы должны обеспечивать возможность их реализации с быстродействием, достаточным для обработки видеокадров с нужной частотой. Также желательно, чтобы при необходимости они могли быть легко адаптированы под конкретную архитектуру вычислительного устройства (в том числе многопроцессорного или многоядерного), которое будет использовано в составе программно-аппаратного комплекса. Во-вторых, алгоритм компрессии должен учитывать особенности передачи видеопотока по каналам с переменной и/или ограниченной пропускной способностью, в частности, иметь возможность быстро и гибко регулировать объем генерируемого битового кода.

Другой актуальной задачей обработки данных, поступающих от телевизионной системы МРК, является компенсация перемещения видеодатчика для подавления нежелательного дрожания и последующего анализа видеоинформации на предмет наличия в кадре различных объектов, например, движущихся целей.

Целью диссертационной работы является разработка методов стабилизации и компрессии изображений, ориентированных на применение в системах видеонаблюдения мобильных робототехнических комплексов при различных характеристиках используемых в них вычислительных элементов и каналов передачи данных.

Основные задачи, решение которых требуется для достижения поставленной цели, следующие:

- исследование существующих подходов к сжатию динамических и статических изображений на основе различных декоррелирующих преобразований и анализ методов стабилизации видеоизображений;

- разработка JPEG-подобного алгоритма контекстного кодирования изображения на основе межблочных статистических связей между коэффициентами ДКП соседних блоков для использования в системах видеонаблюдения с невысокими вычислительными ресурсами;

- синтез алгоритма определения сдвига источника видеосигнала на основе блочного ДКП;

- разработка метода масштабируемого кодирования векторов перемещения блоков видеокадра;

- разработка алгоритма видеокомпрессии на основе иерархического кодирования коэффициентов ДВП и блочной компенсации движения в пространственной области для систем видеонаблюдения МРК, обладающих высокими вычислительными ресурсами;

- реализация предложенных методов и их оптимизация, создание программных средств для тестирования, оценка эффективности разработанных алгоритмов с помощью тестовых изображений и видеопоследовательностей;

- выработка рекомендаций по практической реализации разработанного видеокодера с использованием мультимедийных цифровых сигнальных процессоров и многопроцессорных элементов.

В процессе работы над диссертацией в качестве методов исследования использовались методы линейной алгебры, теории вероятностей и математической статистики, теории цифровой обработки и кодирования данных. Экспериментальные исследования проводились с помощью численного моделирования на персональном компьютере в средах разработки Microsoft Visual Studio и MATLAB. Научная новизна диссертации заключается в:

- создании нового метода контекстного кодирования на базе межблочной корреляции между модулями коэффициентов ДКП для использования в JPEG-подобной схеме компрессии, позволяющего повысить характеристики сжатия за счет несущественного повышения вычислительной сложности;

- разработке нового алгоритма определения сдвига видеоизображения, основанного на выделении в кадре характерных блоков с помощью анализа коэффициентов ДКП, который обеспечивает высокую точность даже при небольшом числе рассматриваемых блоков;

- разработке нового алгоритма видеокомпрессии на базе ДВП, который включает метод трехслойной обработки векторов движения, повышающий эффективность кодирования на низких битовых скоростях.

Практическая значимость результатов, полученных в диссертационной работе, заключается в том, что разработанные алгоритмы стабилизации и компрессии статических и динамических изображений позволяют повысить эффективность обработки видеоданных как в рамках специализированных систем управления МРК, так и в комплексах видеонаблюдения более широкого профиля.

Алгоритм видеокомпрессии [2] был разработан в рамках научно-исследовательской работы [5-7]. основанием для проведения которой являлся Государственный контракт от 18 мая 2007 г. № 02.514.11.4024, заключенный Роснаукой с МИЭТ — победителем конкурса на право заключения государственных контрактов на выполнение НИР для государственных нужд в рамках ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2012 годы» (мероприятие 1.4 Программы, II очередь) по лоту 2.2007-4-1.4-00-03 «Кодирование и передача динамически меняющихся изображений».

Разработанные алгоритмы видеокомпрессии внедрены в макетных образцах систем видеонаблюдения в НИИ ВСиСУ МИЭТ.

Апробация работы. Основные результаты диссертационной работы докладывались и обсуждались на 11-й, 12-й, 13-й и 14-й Всероссийских межвузовских научно-технических конференциях студентов и аспирантов «Микроэлектроника и информатика» (Москва, МИЭТ, 2004, 2005, 2006 и 2007 гг.), а также на 4-й Российско-Баварской конференции по биомедицинской инженерии (Москва, МИЭТ, 2008 г.).

Публикации. По теме диссертации опубликовано девять работ [2, 5-8, 16-20, 4143, 134] (среди них три статьи в ведущих рецензируемых журналах [2, 20, 43] и одна статья в трудах международной конференции [134]); результаты исследований отражены также в пяти отчетах о НИР [5—7, 41, 42]. Основные положения, выносимые на защиту:

- алгоритм сжатия изображений на основе контекстного кодирования коэффициентов ДКП с учетом межблочной корреляции, использующий многомодельный арифметический кодер;

- алгоритм глобальной компенсации движения, использующий векторы перемещения характерных блоков, выбор которых производится на основе анализа коэффициентов ДКП;

- метод трехслойного кодирования векторов движения, позволяющий повысить эффективность кодирования при низких битовых скоростях;

- алгоритм компрессии видеоизображений на основе двумерного ДВП и блочной компенсации с перекрытием, предназначенный для использования в составе МРК. Структура диссертации. Первая глава диссертации является вводной. В ней приведены основные понятия теории обработки цифровых сигналов, в частности, статических и динамических изображений. Рассмотрены различные методы устранения пространственной и временной избыточности, применяемые в алгоритмах кодирования видеоданных. Проанализированы недостатки существующих подходов.

Во второй главе детально рассмотрен предлагаемый алгоритм компрессии изображений, основанный на построении контекстного прогноза для модулей коэффициентов ДКП и использовании многомодельного арифметического кодера. Приведены результаты тестирования алгоритма, подтверждающие, что предложенный подход позволяет повысить качество сжатия изображений в .ТРЕО-подобиой схеме компрессии.

Третья глава посвящена методам глобальной и локальной компенсации движения. В первой ее части приводится описание разработанного алгоритма определения сдвига видеоисточника, суть которого заключается в использовании векторов движения части блоков, отобранных с помощью критерия, базирующегося на значениях коэффициентов ДКП. Дано экспериментальное обоснование эффективности предложенного метода.

Во второй части третьей главы рассмотрена трехслойная схема кодирования векторов перемещения и ее модификация, предназначенные для использования в рамках видеокодеров с блочной компенсацией движения.

В четвертой главе описан предложенный метод сжатия видеоданных, основанный на блочной компенсации движения с перекрытием, трехслойной схеме кодирования векторов перемещения, рассмотренной в третьей главе, а также алгоритме сжатия статических изображений путем разделения множества коэффициентов по иерархическим деревьям в области дискретного вейвлет-преобразования. Рассматриваются аспекты практического использования предложенного алгоритма видеокодирования в рамках системы видеонаблюдения МРК, в частности, анализируются возможности эффективной реализации алгоритма на основе современных цифровых сигнальных процессоров, а также распараллеливания основных вычислительных процедур.

В пятой главе обсуждаются полученные результаты экспериментального исследования характеристик разработанного алгоритма видеокомпрессии с трехслойной схемой кодирования векторов движения.

В заключении сформулированы основные результаты, полученные в ходе выполнения диссертационной работы; обозначены перспективы и направления дальнейших исследований.

В приложениях приведены стандартные тестовые изображения и кадры из видеопоследовательностей, которые были использованы при проведении экспериментальных исследований, описание алгоритма SPIHT [118], а также копия акта о внедрении результатов диссертационной работы.

5.4. Выводы

Реализация предложенного алгоритма видеокомпрессии и тестовых программ на языке С, а также создание вспомогательных приложений в МАТЬАВ позволили смоделировать поведение алгоритма при обработке реальных видеоданных и доказать его эффективность.

Разработанный видеокомпрессор показывает хорошие результаты по соотношению качество/битовые затраты: на одной из тестовых последовательностей выигрыш относительно видеокодера Ху1с1 стандарта МРЕО-4 составил 1 дБ, на других разница в качестве была порядка 0,2 дБ (в одном случае в пользу предложенного алгоритма, в другом — в пользу Ху1с1).

Существенным преимуществом разработанного алгоритма по сравнению с видеокодерами, основанными на ДКП (в том числе Хутс!). является возможность точно контролировать скорость битового потока, что особенно важно при передаче видеоданных от бортовой системы МРК в условиях изменяющейся радиоэлектронной обстановки. В частности, предложенный видеокомпрессор позволяет не допускать «скачков» битовой скорости, и, следовательно, избавляет от необходимости использовать буфер для выходного потока, вносящий дополнительную задержку в процесс передачи.

Если допустить неравномерность битового потока, возникающую в результате использования КО-критерия для кодирования разностного изображения, эффективность предложенного метода повышается.

Алгоритм обладает сравнительно большой вычислительной сложностью, однако его аппаратная реализация на современных ЦСП с использованием параллельных структур позволит повысить скорость обработки видеокадров по сравнению с характеристиками видеокодера, полученными в процессе моделирования.

Заключение

В процессе диссертационного исследования были получены следующие основные результаты.

1. Разработан метод, позволяющий повысить качество сжатия в JPEG-подобной схеме компрессии. В основе данного подхода лежит построение контекстного прогноза для модулей коэффициентов ДКП, выполненного над блоками обрабатываемого изображения. В качестве прогноза используется функция выборочной линейной регрессии, коэффициенты которой определяются с учетом межблочных статистических связей. На тестовых изображениях средний выигрыш относительно JPEG с арифметическим кодированием при фиксированном уровне качества составил 3 %, максимальный — 7,6 %. Алгоритм может быть использован для независимой покадровой обработки видеопоследовательности или кодирования ключевых кадров в видеокомпрессорах, основанных на использовании косинусных преобразований.

2. Разработан алгоритм глобальной компенсации движения, использующий для определения смещения кадра векторы движения характерных блоков размером 8x8 пикселов. Выбор характерных блоков производится на основе анализа коэффициентов ДКП. Проведенное тестирование на реальных видеоданных, полученных при различных погодных условиях, подтвердило эффективность алгоритма — было установлено, что при использовании метода полного перебора для нахождения векторов нулевая ошибка определения сдвига достигалась с использованием всего 30 блоков видеокадра размером 1024x768 пикселов, т. е. менее 0,3 % от общего числа блоков.

3. Предложена трехслойная схема компенсации движения, которая может быть встроена в любой видеокодер, основанный на вычислении поля векторов для блоков изображения. Метод позволяет генерировать вложенный код для поля векторов и перераспределять битовый бюджет между кодированием разностного изображения и информации о движении, а также улучшает характеристики сжатия на низких битрейтах. Алгоритм прост в реализации и может быть встроен в любую схему видеокомпрессии, основанную на блочной компенсации движения. Рассмотрена модификация метода, позволяющая снизить вычислительные затраты на поиск векторов движения за счет уменьшения области поиска на втором и третьем слоях.

4. Разработан алгоритм сжатия видеопотока для системы видеонаблюдения МРК, позволяющий быстро и точно регулировать битовую скорость в зависимости от состояния радиоканала передачи. Алгоритм основан на блочной компенсации движения с перекрытием и иерархическом кодировании коэффициентов ДВП и включает предложенную трехслойную схему кодирования векторов перемещения. Приведены рекомендации по его эффективной реализации на ЦСП и параллельных вычислительных структурах.

5. Проведено компьютерное моделирование разработанного видеокодера, позволившее экспериментально оценить его эффективность. Полученные характеристики сжатия находятся на уровне, соответствующем алгоритмам семейства МРЕС-4: по сравнению с видеокодером Ху1с1 максимальный выигрыш в качестве (по PSNR) составил 1 дБ. При этом выходной поток разработанного кодера в отличие от видеокомпрессоров, основанных на ДКП, имеет постоянную битовую скорость, которая в случае необходимости быстро и точно регулируется. Показано, что при, снятии ограничения на постоянство битового потока эффективность сжатия может быть дополнительно повышена за счет использования ЯО-оптггмизации не только при поиске векторов движения, но и при кодировании разностного изображения. Аппаратная реализация синтезированного алгоритма видеокомпрессии позволит успешно использовать его для обработки видеоданных в телевизионной системе МРК.

Разработанный метод видеокодирования имеет множество путей для последующего развития. При наличии достаточной вычислительной мощности эффективность предлагаемого алгоритма компрессии может быть повышена за счет использования двунаправленного предсказания при построении прогнозного кадра (В-кадров); внедрения схемы адаптивной расстановки ключевых кадров и перераспределения битового бюджета между полем векторов движения и разностным изображением, а также между кадрами внутри одной группы в зависимости от состояния канала передачи и характера видеосюжета; применения методов компенсации движения в области вейвлет-преобразования— эти задачи определяют возможные направления дальнейших исследований.

Результаты, полученные в процессе работы над диссертацией, использовались в ряде научно-исследовательских работ, проводимых в НИИ ВСиСУ МИЭТ, и внедрены в виде алгоритмов обработки видеоданных в макетных образцах специализированных МРК (см. копию акта о внедрении результатов в прил. 4).

1. Силы и средства для ликвидации чрезвычайных ситуаций с радиационными по-следствиями // Под ред. Агапова A.M.— М.: Издательство «Комтехпринт», 2000 г., 48 с. (Библиотека Департамента безопасности и чрезвычайных ситуаций Минатома России).

2. Александров А. А., Коплович Е. А., Умняшкин С. В. Алгоритм видеокомпрессии наоснове дискретного вейвлет-преобразования с трехслойной схемой кодирования векторов движения // Известия вузов. Электроника. — №5. — 2008. — С. 69-73.

3. Алпатов Б. А., Бабаян П. В. Оценивание параметров смещения изображения привыделении движущихся объектов // Цифровая обработка сигналов и ее применения. Доклады 8-й междунар. конф. Том 2. — М.: 2006. — С. 375-378.

4. Бабаян П. В. Методы и алгоритмы обнаружения и выделения объектов в информационно-управляющих системах при движущемся датчике изображений // Дисс. на соиск. уч. степ. канд. тех. наук. — Рязань, 2005.

5. Винберг Э. Б. Курс алгебры. — М.: Изд-во «Факториал». 1999. — 528 с.

6. Гонсалес Р., Вудс Р. Цифровая обработка изображений.— М.: Техносфера, 2005. — 1072 с.

7. Грузман И. С., Киричук В. С. и др. Цифровая обработка изображений в информационных системах: Учеб. Пособие. — Новосибирск: Изд-во НГТУ, 2002. — 352 с.

8. Патент 2137194 (РФ). Способ анализа векторов движения деталей в динамических изображениях / Дворкович А. В., Дворкович В. П., Зубарев Ю. Б., Соколов А. ЮЛ Б.И. — 1999.

9. Патент 2182727 (РФ). Способ поиска векторов движения деталей в динамических изображениях / Дворкович А. В., Дворкович В. П., Соколов А. ЮЛ Б.И. — 2002.

10. Дворкович А. В. Разработка и исследование высокоэффективных систем цифровой обработки динамических изображений и оценки ее качества // Дисс. на соиск. уч. степ. д. т. н. — М.: 2007.

11. Красильников H.H. Цифровая обработка изображений.— М.: Вузовская книга, 2001, —320 с.

12. Коплович Е. А. Алгоритм оценки смещения видеокадра на основе выбора характерных блоков с использованием коэффициентов ДКП // Интеллектуальные системы в производстве. — 2006. —№2(8). — С. 25-30.

13. Коплович Е. А., Умняшкин С. В. Контекстное кодирование коэффициентов дискретного косинусного преобразования с учетом межблочной корреляции // Известия вузов. Электроника. — №6. — 2004. — С. 78-83.

14. Лесин В. В., Лисовец Ю. П. Основы методов оптимизации: Учеб. пособие. — М.: Изд-во МАИ, 1998. — 344 с.

15. Малла С. Вэйвлеты в обработке сигналов: Пер. с англ. — М.: Мир, 2005. — 671 с.

16. Материалы сайта www.arturocampos.com/acqsm.html

17. Материалы сайта www.libsdl.org

18. Материалы сайга www.qccpack.sourceforge.net

19. Материалы сайта www.virtualdub.org

20. Материалы сайта www.ijg.org

21. Материалы сайта www.zala.aero

22. Материалы сайта www.xvid.org

23. Нуссбаумер Г. Быстрое преобразование Фурье и алгоритмы вычисления сверток: Пер. с. англ. — М.: Радио и связь, 1985. — 248 е., ил.

24. Пратт У. Цифровая обработка изображений, т. 1,2. — М.: Мир, 1982.

25. Ричардсон Я. Видеокодирование. Н.264 и МРЕС-4 — стандарты нового поколения. — М.: Техносфера, 2005. — 368 с.

26. Методы компьютерной обработки изображений. Под ред. В. А. Сойфера.— 2-е изд., испр. — М.: ФИЗМАТЛИТ, 2003. — 784 с.

27. Стрелков Ф. В., Умняшкин С. В. Контекстное кодирование коэффициентов дискретного косинусного преобразования (ДКП) в .ГРЕО-подобной схеме компрессии. // Цифровая обработка сигналов. — №2 — 2003. — С. 5-10.

28. Сэломон Д. Сжатие данных, изображений и звука.— М.: Техносфера, 2004.— 368 с.

29. Тернер Д. Вероятность, статистика и исследование операций. Под ред. А. А. Рывкина. — М.: Статистика, 1976. — 431 с.

30. Умняшкин С. В. Математические методы и алгоритмы цифровой компрессии изображений с использованием ортогональных преобразований // Дисс. на соиск. уч. степ, д-ра физ.-мат. наук. — М., 2002. — 382 с.

31. Умняшкин С. В. Теоретические основы цифровой обработки и представления сигналов: учеб. пособие. — М.: ИД «Форум»: ИНФРА-М, 2008. — 304 с.

32. Умняшкин С. В. О модификации дискретного косинусного преобразования // Изв. Тул. гос. ун-та. Сер. Математика. Механика. Информатика. Тула: ТулГУ, 1998. Т. 4. Вып. 1. С. 143-147.

33. Системы распознавания образов и сопровождения подвижных объектов в сложных условиях: Отчет о НИР / МИЭТ; руководитель С. В. Умняшкин. — № гос. per. 01200303723, инв. №02200402631. — М., 2004.

34. Системы распознавания образов и сопровождения подвижных объектов в сложных условиях: Отчет о НИР / МИЭТ; руководитель С. В. Умняшкин. — № гос. per. 01200303723, инв. № 02200501612. — М., 2005.

35. Умняшкин С. В., Безуглова Е. А. Контекстное кодирование коэффициентов дискретного косинусного преобразования на основе межблочной корреляции в JPEG-подобной схеме компрессии // Цифровая обработка сигналов. —- №3. — 2004. — С. 13-17.

36. Умняшкин С. В., Космач М. В. Оптимизация кодирования цифровых изображений по методу JPEG // Известия вузов. Электроника. — №4-5. — 2000. — С. 139-141.

37. Andrews Н. С., Hunt В. R. Digital Image Restoration. — Englewood Cliffs (NJ): Prentice Hall, 1977. —23 8 p.

38. Averbuch A., Keller Y. Fast global motion estimation for MPEG-4 video compression, Packet Video 2003, France, April 28-29, 2003.

39. Baglietto P., Maresca M., Migliaro A., Migliardi M. Parallel implementation of the full search block matching algorithm for motion estimation // Application Specific Array Processors, 1995. Proceedings, International Conference on. — 1995, pp. 182-192.

40. Cai W., Adjouadi M. Wavelet-domain shift invariant motion estimation and compensation // Intelligent Multimedia, Video and Speech Processing, 2004. Proceedings of 2004 International Symposium on, 20-22 Oct. 2004. — Page(s): 49-52.

41. Calderbank A. R., Daubechies I., Sweldens W., Boon-Lock Y. Wavelet transforms that map integers to integers // Appl. And Comput. Harmonic Analysis. — 1998. — Vol. 5, №3.—P. 332-369.

42. Ce Zhu, Xiao lin, and Lap-Pui Chau. Hexagon-based search pattern for fast block motion estimation // IEEE Trans. Circuit and Systems for Video Technology. — 2002. — Page(s): 349-355.

43. Chadha N. I., Cuhadar A., Card H. Scalable parallel wavelet transforms for image processing // Electrical and Computer Engineering, 2002. IEEE CCECE 2002. Canadian Conference on. — 2002, pp. 851-856.

44. Cham, W.-K. Development of integer cosine transforms by the principle of dyadic symmetry // Communications, Speech and Vision, IEEE Proceedings, Volume 136, Issue 4, Aug 1989. — Page(s): 276-282.

45. Chen Y., Hung Y., Fuh C. Fast Block Matching Algorithm Based on the Winner-Update Strategy // IEEE Transactions on Image Processing 10 (8), pp. 1212-1222. — 2001.

46. Chen C., Duluk J. F. System and Method for Cross Correlation with Application to Video Motion Vector Estimator // U. S. Patent 5535288. — 1996.

47. Cheng Po-Yuen, Li Jin, Jay Kuo C.-C. Rate control for an embedded wavelet video coder // Circuits and Systems for Video Technology, IEEE Transactions on. Volume 7, Issue 4, Aug. 1997. — Page(s): 696-702.

48. Chou P. A., Lookabaugh T., Gray R. M. Entropy-constrained vector quantization // IEEE Transactions on ASSP, vol.37, No.l, January 1989, pp.31-42.

49. Chun-Ho Cheung, Lai-Man Po. A novel cross-diamond search algorithm for fast block motion estimation // IEEE Trans. Circuits Syst. Video Techn., vol. 12, Dec. 2002, pp. 1168-1177.

50. Cohen A., Daubechies I., Feauveau J.-C. Biorthogonal bases of compactly supported wavelets // Comm. Pure and Appl. Math., vol. 45, pp. 485-560, 1992.

51. Daubechies I., Sweldens W. Factoring wavelet transform into lifting steps // Y. Fourier Anal. Appl. — 1998. — Vol. 4. — P. 247-269.

52. Feil M., Kutil R., Meerwald P., Uhl A. Wavelet Image and Video Coding on Parallel Architectures // Image and Signal Processing and Analysis, 2001. ISPA 2001. Proceedings of the 2nd International Symposium on. — 2001, pp. 24-35.

53. Feil M., Uhl A. Multicomputer Algorithms for Wavelet Packet Image Decomposition // Parallel and Distributed Processing Symposium, 2000. IPDPS 2000. Proceedings. 14th International. — 2000, pp. 793-798.

54. Fowler E., Ahalt S. C. Adaptive vector quantization using generalized threshold replenishment // Proceedings of the IEEE Data Compression Conference, J. A. Storer and M. Cohn, Eds., Snowbird, UT, March 1997, pp. 317-326.

55. Gao X. Q., Duanmu C. J., Zou C. R. Multilevel Successive Elimination Algorithm for Block Matching Motion Estimation // IEEE Transactions on Image Processing 9 (3), pp. 501-504.—2000.

56. Gray R. M. Vector Quantization // IEEE ASSP Magazine — April 1984, pp. 4-29.

57. Gunawan T. S., Tandjung S. S., Nang C. M. An Efficient Parallelization Scheme of Motion Estimation Algorithms on Myrinet-connected Workstations // Sixth International Conference on Control, Automation, Robotic and Vision. — Singapore, 2000.

58. He Dalce, Zhang Wenfang. The Parallel Algorithm of 2-D Discrete Wavelet Transform // Parallel and Distributed Computing, Applications and Technologies, 2003. Proceedings of the Fourth International Conference on. — 27-29 Aug. 2003, pp. 738-741.

59. Fleuer J., Kaup A. Global motion estimation in image sequences using robust motion vector field segmentation. Proc. ACM Multimedia, Nov. 1999, pp. 261-264.

60. Plua Yun, Hu Bo. A new parallel realization method of SPIHT for video compression // TENCON 2004. 2004 IEEE Region 10 Conference. — Volume A, 21-24 Nov. 2004. — Page(s): 343-346 Vol. 1.

61. Huffman D. A. A method for the construction of minimum-redundancy codes // Proceedings of the I.R.E., September 1952, pp. 1098-1102.

62. Hyun-Wook Park, Hyung-Sun Kim. Motion estimation using low-band-shift method for wavelet-based moving-picture coding // Image Processing, IEEE Transactions on, Volume 9, Issue 4, April 2000. — Page(s): 577-587.

63. ISO/IEC 10918-1. Information technology— Digital compression and coding of continuous-tone still images: Requirements and guidelines. 1994.

64. ISO/IEC 13818-2. Information technology Generic coding of moving pictures and associated audio information: Video. 2000.

65. ISO/IEC 14496-2. Information technology Coding of Audio-Visual Objects - Part 2: Visual (MPEG-4 Video). 2004.

66. ISO/IEC 14495-1. Information technology — Lossless and near-lossless compression of continuous-tone still images. 1999.

67. ISO/IEC 15444-1. Information technology— JPEG 2000 image coding system: Core coding system. 2004.

68. ISO/IEC 15444-3. Information technology — JPEG 2000 image coding system: Motion JPEG 2000. 2007.

69. ITU-R Recommendation BT.500-11. Methodology for the subjective assessment of the quality of television pictures. — ITU-R, 2002. — 48 p.

70. ITU-T Rec. H.264. Advanced video coding for generic audiovisual services. 2005.

71. Jo Yew Tham, Surendra Ranganath, Maitreya Ranganath, and Ashraf Ali Kassim. A novel unrestricted center-biased diamond search algorithm for block motion estimation // IEEE Trans. Circuits Syst. Video Technol., 8:369-277, Aug. 1998.

72. Karlekar J., Desai U. B. SPIHT video coder // TENCON *98. 1998 IEEE Region 10 International Conference on Global Connectivity in Energy, Computer, Communication and Control, Volume 1, 17-19 Dec. 1998. — Page(s): 45-48 vol.1.

73. Karunasekera S. A., Kingsbury N. G. A distortion measure for blocking artifacts in images based on human visual sensitivity // Image Processing. IEEE Transactions on, Volume 4, Issue 6, June 1995. — Page(s): 713-724.

74. Koga T., IinumaK., Hirano A., IijimaY., Ishiguro T. Motion-compensated interframe coding for video conferencing. IEEE NTC, pp. 531-534, 1981.

75. Kui Zhang, Josef Kittler. Global motion estimation and robust regression for video coding. Proc.Int'l Conf. Acoustics, Speech, and Signal Processing, Seattle, WA, May 1998: 241-244.

76. Lazar D., Averbuch A. Wavelet-based video coder via bit allocation // Circuits and Systems for Video Technology, IEEE Transactions on. Volume 11, Issue 7, July 2001. —Page(s): 815-832.

77. Lee C. L. Parallel implementation of motion-compensation for HDTV videodecoder // Proceedings of 1997 IEEE International Symposium on Consumer Electronics. — 1997, pp. 51-54.

78. Li R., Zeng B., Liou M. L. A new three-step search algorithm for block motion estimation // IEEE Trans. Circuits Syst. Video Technol., 4:438^142, Aug. 1994.

79. Li Y., Li Xu, Morrison G., Nightinggale C. and Morphett J. Robust panorama from MPEG video. Vol. I, p. 81-84, ICME, 2003.

80. Li Xin. Fast and efficient block motion estimation in the wavelet space // Information Technology: Coding and Computing Computers and Communications., 2003. Proceedings. ITCC 2003. International Conference on, 28-30 April 2003. — Page(s): 488-494.

81. Liu B., Zaccarin A. New fast algorithms for the estimation of block motion vectors // Circuits and Systems for Video Technology, IEEE Transactions on. —Volume 3, Issue 2. — Page(s): 148-157. — 1993.

82. Liu L. K., Feig E. A block-based gradient descent search algorithm for block motion estimation in video coding // IEEE Trans. Circuits Syst.Video Technol., 6:419^123, Aug. 1996.

83. Ma Siwei, Fan Xiaopeng, Gao Wen. Low Complexity Integer Transform and High Definition Coding // Applications of digital image processing. Conference No27, Denver CO, ETATS-UNIS (02/08/2004) 2004, vol. 5558 (2), pp. P2.547-554.

84. Magarey J., Kingsbury N. Motion estimation using a complex-valued wavelet transform // Signal Processing, IEEE Transactions on, Volume 46, Issue 4, April 1998. — Page(s): 1069-1084.

85. Malvar H. S. Low-Complexity length-4 transform and quantization with 16-bit arithmetic // ITU-T SG16, Sept. 2001, Doc. VCEG-N44.

86. Malvar H. S., Hallapuro A., Karczewicz M., Kerofsky L. Low-complexity transform and quantization in H.264/AVC // Circuits and Systems for Video Technology, IEEE Transactions on, Volume 13, Issue 7, July 2003. — Page(s): 598-603.

87. Marcenaro L., Vernazza G., Regazzoni C. S. Image stabilization algorithms for video-surveillance applications. Proc. Int. Conf. on Image Processing, vol. 1, pp. 349-352, 2001.

88. Marino F., Piuri V., Swartzlander E. E. A parallel implementation of the 2-D discrete wavelet transform without interprocessor communications // Signal Processing, IEEE Transactions on. — Volume 47, Issue 11, Nov 1999, pp. 3179-3184.

89. Marpe D., Cycon H. L. Very low bit-rate video coding using wavelet-based techniques // Circuits and Systems for Video Technology, IEEE Transactions on, Volume 9, Issue 1, Feb. 1999. —Page(s): 85-94.

90. Martin G. N. N. Range encoding: an algorithm for removing redundancy from a digitised message. Presented to the Video & Data Recording Conference, Southampton, July 24-27, 1979.

91. Marziliano P., Dufaux F., Winkler S., Ebrahimi T. A no-reference perceptual blur mctric // Proceedings of the International Conference on Image Processing, Vol. 3, Rochester, NY, 2002, pp. 57-60.

92. Marziliano P., Winkler S., Dufaux F., Ebrahimi T. Perceptual Blur and Ringing Metrics: Application to JPEG2000 // Elsevier Signal Processing: Image Communication, vol.19, no.2, pp. 163-172, Feb. 2004.

93. Martucci S. A., Sodagar I., Chiang T., Ya-Qin Zhang. A zerotree wavelet video coder // Circuits and Systems for Video Technology, IEEE Transactions on, Volume 7, Issue 1, Feb. 1997. —Pagc(s): 109-118.

94. Meyer Fr. G., Averbuch A. Fast Adaptive Wavelet Pocket Image Compression, Yale University School of Medicine, Department of Diagnostic Radiology, — 1999. — 31 p.

95. Muijs R., Kirenko I. A no-reference blocking artifacts measure for adaptive video processing // Proceedings of 13th European Signal Processing Conference (EUSIPCO), Sep. 2005.

96. Nasrabadi N. M., King R. A. Image coding using vector quantization: A review // IEEE Trans. On Communication. — 1988. — V. 36. — № 8. — P. 957-971.

97. Nelson M., Gailly J.-L. The Data Compression Book (Second Edition). New York: M&T Books, 1995. — 541 p.

98. Orchard M. T. Sullivan G. J. Overlapped block motion compensation: an estimation-theoretic approach Image Processing // IEEE Transactions on, Volume 3, Issue 5, Sept. 1994. — Page(s): 693-699.

99. Pennebaker W. B., Mitchell J. L. JPEG Still Image Data Compression Standard. New York: Van Nostrand Reinhold, 1992.

100. Po L. M., Ma W. C. A novel four-step search algorithm for fast block motion estimation // IEEE Trans. Circuits Syst. Video Technol., 6:313-317, June 1996.

101. Podilchuk C. I., Jayant N. S., Farvardin N. Three-dimensional Subband Coding of Video // IEEE Transactions on Image Processing, Volume 4, Issue 2, Feb. 1995, pp. 125-139.

102. Rao K. R., Yip P. Discrete Cosine Transform: Algorithms, Advantages, Applications. — Academic Press, Boston. — 1990).

103. Reddy B. S., Chatterji B.N. An FFT-based Technique for Translation, Rotation and Scale-Invariant Image Registration // IEEE Transactions on Image Processing, Volume 5, No. 8. — August, 1996, pp. 1266-1271.

104. Ribas-Corbera J., Shawmin Lei. Rate control in DCT video coding for low-delay communications // Circuits and Systems for Video Technology, IEEE Transactions on. Volume 9, Issue 1, Feb 1999. — Page(s): 172-185.

105. Rinaldo R., Calvagno G. Hybrid vector quantization for multiresolution image coding // IEEE Trans. Image Processing, vol. 6, pp. 753-758, May 1997.

106. Said A., Pearlman W. A. A New Fast and Efficient Image Codec Based on Set Partitioning in Hierarchical Trees // IEEE Transactions on Circuits and Systems for Video Technology, vol. 6, pp. 243-250, June 1996.

107. Sanghyun J., Kikuchi H. A new motion compensation on a wavelet transform domain // Image Processing, 2000. Proceedings. 2000 International Conference on, Volume 3, 10-13 Sept. 2000. — Page(s): 130-133 vol.3.

108. Shan Zhu, Kai-Kuang Ma. A new diamond search algorithm for fast block-matching motion estimation // IEEE Trans. Image Processing, 9:287-290, Feburary 2000.

109. Shizhong Liu, Bovik A. C. Efficient DCT-domain blind measurement and reduction of blocking artifacts // Circuits and Systems for Video Technology, IEEE Transactions on, Volume 12, Issue 12, Dec. 2002. — Page(s): 1139-1149.

110. Steliaros M. K., Martin G. R., Packwood R. A. Parallelisation of Block Matching Motion Estimation Algorithms // Technical Report: CS-RR-320 — 1997.

111. Sullivan G. J., Wiegand T. Rate-distortion optimization for video compression // Signal Processing Magazine, IEEE. — Volume 15, Issue 6, Nov 1998. — Page(s): 74-90.

112. Su J. K„ Mersereau R. M. Motion estimation methods for overlapped block motion compensation Image Processing // IEEE Transactions on, Volume 9, Issue 9, Sept. 2000. —Page(s): 1509-1521.

113. Sullivan G. J. Multi-hypothesis motion compensation for low bit-rate video coding // Proc. IEEE Int. Conf. Acoustics, Speech, Signal Processing, vol. 5, pp. 427-440, 1993.

114. Taubman D., Zakhor Z. Multirate 3-D subband coding of video // IEEE Trans. Image Processing, vol. 3, pp. 572-588, Sept. 1994.

115. TMS320DM642 Video/Imaging Fixed-Point Digital Signal Processor (Rev. L): Datasheet. 29 Jan 2007.

116. Toivonen T., Heikkila J., Silven O. A New Algorithm for Fast Full Search Block Motion Estimation Based on Number Theoretic Transforms // Proceedings of the 9th International Workshop on Systems, Signals, and Image Processing, pp. 90-94. — 2002.

117. Toyokura N., Kawasaki S., Kondo S. Wavelet coefficients motion compensation for image sequence encoding. Circuits and Systems, 1998. IEEE APCCAS 1998. The 1998 IEEE Asia-Pacific Conference on, 24-27 Nov. 1998. — Page(s): 53-56.

118. Turaga D. S., van der Schaar M., Pesquet-Popescu B. Complexity scalable motion compensated wavelet video encoding // Circuits and Systems for Video Technology, IEEE Transactions on, Volume 15, Issue 8, Aug. 2005. — Page(s): 982-993.

119. Turaga D. S., van der Schaar M. Reduced complexity spatio-temporal scalable motion compensated wavelet video encoding // Multimedia and Expo, Proceedings. 2003 International Conference on, Volume 2, 6-9 July 2003. —Page(s): 561-564.

120. Turaga D. S., van der Schaar M. Unconstrained motion compensated temporal filtering (UMCTF) framework for wavelet video coding // Multimedia and Expo, Proceedings. 2003 International Conference on, Volume 2, 6-9 July 2003. — Page(s): 581-584.

121. Umnyashkin S., Koplovich E., Alexandrov A. Layered Motion Compensation for a Low Bit Rate Embedded Wavelet Video Coder // Proceedings of the 4th Russian-Bavarian Conference on Biomedical Engineering. — Moscow: MIET, 2008. — pp. 97100.

122. Vlachos T. Simple method for estimation of global motion parameters using sparse translational motion vector fields // Electronics Letters, Vol. 34, No. 1, 8th January 1998.

123. Wallace G. K. The JPEG still-picture compression standard // Communications of the ACM, vol.34, pp. 30-40, April 1991.

124. Wang H., Mersereau R. Fast Algorithms for the Estimation of Motion Vectors // IEEE Transactions on Image Processing 8 (3), pp. 435-438. — 1999.

125. Wang Z., Bovik A. C., Sheikh H. R. and Simoncelli E. P. Image quality assessment: From error visibility to structural similarity // IEEE Transactions on Image Processing, vol. 13, no. 4, pp. 600-612, Apr. 2004.

126. Wang Y., Wenger S., Wen J., Katsaggelos A. Error Resilient Video Coding Techniques // IEEE Signal Process. Mag., July 2000.

127. Witten R. M., Neal J. G. Cleary. Arithmetic coding for data compression // Communications of the ACM, vol.30, no.6, pp. 520-540, June 1987.

128. Woods J. W., Peisong Chen. Bidirectional MC-EZBC with lifting implementation // Circuits and Systems for Video Technology, IEEE Transactions on, Volume 14, Issue 10, Oct. 2004. —Page(s): 1183-1194.

129. Woods J. W„ Bajic I. V. Domain-based multiple description coding of images and video // Image Processing, IEEE Transactions on, Volume 12, Issue 10, Oct. 2003. — Page(s): 1211-1225.

130. Woods J. W., Lilienfield G. A resolution and frame-rate scalable subband/wavelet video coder // Circuits and Systems for Video Technology, IEEE Transactions on, Volume 11, Issue 9, Sept. 2001. — Page(s): 1035-1044.

131. Xiao F. DCT-based video quality evaluation. Technical report, Stanford University, 2000.

132. Xiaohui Xue, Wen Gao. Context-based statistical model for DCT-based image coder. Proceedings of Picture Coding Symposium— 99. Oregon State Univ. 21-23 April 1999, pp.3 83-385. Corvallis, OR, USA.

133. Yong Sun; Hui Zhang; Guangshu I-Iu. Real-time implementation of anew low-memory SPIHT image coding algorithm using DSP chip // Image Processing, IEEE Transactions on, Volume 11, Issue 9, Sept. 2002. — Page(s): 1112-1116.

134. Yonghong Zeng, Lizhi Cheng, Guoan Bi. Kot A. C. Integer DCTs and fast algorithms // Signal Processing, IEEE Transactions on, Volume 49, Issue 11, Nov 2001.— Page(s): 2774-2782.

135. Zhang X.; Vetro A.; Sun H.; Shi Y-Q. Robust Decoding for Reduced Error Propagation of DC/AC Prediction Errors, Workshop and Exhibition on MPEG-4 (WEMP4), June 2001.

136. Zheng W. X., Quan Z. Y. Image sequence coding using wavelet transform // Digital Signal Processing Workshop Proceedings, 1996., IEEE, 1-4. — Sept. 1996. — Page(s): 97-100.