автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Методы маскирования искажений в видео потоке после сбоев в работе кодека

Московский государственный университет имени М.В. Ломоносова

На правах рукописи

Куликов Дмитрий Леонидович

МЕТОДЫ МАСКИРОВАНИЯ ИСКАЖЕНИЙ В ВИДЕО ПОТОКЕ ПОСЛЕ СБОЕВ В РАБОТЕ КОДЕКА

Специальность 05.13.11 - математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук

Москва - 2009

003467534

Работа выполнена на кафедре автоматизации систем вычислительных комплексов факультета вычислительной математики и кибернетики Московского государственного университета имени М.В. Ломоносова.

Научный руководитель: кандидат физико-математических наук,

доцент

Баяковский Юрий Матвеевич

Официальные оппоненты: доктор физико-математичесих наук,

доцент

Богуславский Андрей Александрович

кандидат физико-математических наук Переберин Антон Валерьевич

Ведущая организация: Государственный научно-исследователь-

ский институт авиационных систем (ГосНИИАС)

Защита состоится «15» мая 2009 г. в Д часов на заседании диссертационного совета Д 501.001.44 при Московском государственном университете имени М.В. Ломоносова по адресу: 119991, ГСП-1, Москва, Ленинские горы, МГУ, 2-й учебный корпус, факультет ВМиК, аудитория 685.

С диссертацией можно ознакомиться в библиотеке факультета ВМиК МГУ. С текстом автореферата можно ознакомиться на официальном сайте ВМиК МГУ http://cs.msu.ru в разделе «Наука» - «Работа диссертационных советов» - «Д.501.001.44»

Автореферат разослан «Aj~L 2009 г.

Ученый секретарь диссертационного совета

профессор

Трифонов Н.П. '

Общая характеристика работы

Объект исследования и актуальность темы. С развитием вычислительных мощностей компьютеров всё большее внимание уделяется цифровой обработке сигналов, особенно видео сигналов. С 1998 года, когда впервые было осуществлено вещание цифрового видео, данная область исследований начала бурно развиваться. Сейчас цифровое видео используется практически везде: оптические носители (CD, DVD, BluRay), спутниковое телевидение, передача видео по компьютерным сетям, в том числе в Интернете, видео на мобильных устройствах. Поскольку зачастую видео сигнал представляет собой большой объем данных, то во всех задачах передачи и обработки видео данных используются видео кодеки для кодирования сигнала. При этом в десятки и сотни раз уменьшается объем данных, но увеличиваются внутренние зависимости, которые приводят к заметным визуальным искажениям в видео, при инверсии или потере даже одного бита закодированной информации.

Поскольку почти все способы передачи и хранения закодированного видео сигнала подвержены влиянию искажений, то актуальной становится задача борьбы как с появлением и влиянием этих искажений на видео (помехоустойчивое кодирование, восстановление кодовых слов), так и с последствиями этих искажений (восстановление видео и маскирование искажений). Маскирование визуальных искажений в видео является наиболее универсальным способом борьбы с последствиями ошибок передачи и хранения закодированной видеоинформации, так как в общем случае не зависит ни от типа видео кодека, ни от типа передачи информации и не накладывает никаких ограничений на сам сигнал.

Предлагаемые методы маскирования искажений в видео предназначены для решения нескольких задач: работа в режиме реального времени для улучшения сигнала во время декодирования, работы в режиме постобработки материала, когда основное внимание уделяется качеству обработки, а не скорости. Предлагаемые методы маскирования демонстрируют лучшее визуальное субъективное и объективное качество по сравнению с другими методами. Также предлагается идея специализированной метрики объективного качества видео для оценки визуальной заметности искажений. В этой работе рассмотрено применение методов для маскирования искажений в основном блочной структуры, какие возникают при работе видео кодеков, хотя также возможно применение разработанных методов без существенных доработок и для улучшения визуального качества видео - удаления царапин, пятен и других нежелательных объектов из видео.

Цели и задачи диссертационной работы. Цель настоящей работы - исследование и разработка методов и построение программных средств маскирования искажений в видео, вызванных ошибками передачи или хранения закодированного видео.

В рамках данной работы необходимо решение следующих задач:

1. Исследование и разработка методов пространственного и временного маскирования искажений в видео. Анализ эффективности разработанных методов по сравнению с существующими.

2. Усовершенствование универсальной метрики для оценки качества изображений/видео с учётом задачи маскирования с целью повышения корреляции значений метрики с экспертной оценкой.

3. Разработка программной системы маскирования искажений в видео.

Научная новизна работы. Разработаны новые методы пространственного маскирования искажений: метод разбиения области на подобласти разных классов с учётом их свойств и метод на основе адаптивных словарей и взвешенного восстановления.

Разработаны новые методы временного маскирования: на основе оценки визуальной заметности непрерывности в видео с использованием нового алгоритма поиска кандидатов и нового подхода к оценке их применимости. В метод на основе оптического потока, базирующийся на идее поиска неодно-родностей поля векторов и использования этой информации на этапе реконструкции.

Предложен новый подход к усовершенствованию метрики объективного качества видео для адаптации метрики БЭШ, позволяющий оценить визуальную заметность специфических искажений, вызванных ошибками передачи закодированного сигнала.

Практическая значимость и реализация. Автором разработаны и реализованы методы, описанные в работе:

1. Метод пространственного маскирования на основе классификации подобластей искажённой области.

2. Метод пространственного маскирования с использованием адаптивных словарей.

3. Метод временного маскирования на основе оценки визуальной заметности искажений вдоль границ области.

4. Метод временного маскирования с использованием оптического потока и поиском неоднородностей поля векторов.

5. Подход к усовершенствованию метрики SSIM для оценки искажений на отдельных кадрах с использованием свойств человеческого глаза и для оценки искажений в видео с использованием анализа векторов движения.

Реализованные методы вошли в программную систему маскирования искажений в видео потоке как части, отвечающие за пространственное и временное маскирование соответственно. Эти части системы маскирования искажений в видео и в изображениях были приобретены компанией-заказчиком RealNetworks для обработки мультимедиа данных.

Метод (1) частично портирован в декодер из набора ffmpeg libavcodec, выбранного на основе сравнительного анализа MPEG-2 декодеров как наилучший для маскирования искажений в результате ошибок передачи.

Адаптированный метод (4) использовался для демонстрации возможностей подходов маскирования при начале работ совместно с Государственным Комитетом по Кинематографии РФ.

Метод (5) реализован в виде динамически подключаемой библиотеки к программной системе автоматической оценки качества видео/изображений MSU Video Quality Measurement Tool1.

Исследования в области разработки методов маскирования искажений при работе кодека были поддержаны грантом РФФИ №07-01-00759-а («Создание субоптимальной системы кодирования видео в рамках международных стандартов кодирования видеосигналов»).

Апробация работы. Результаты работы докладывались и обсуждались на:

• 9-м научно-практическом семинаре «Новые информационные технологии в автоматизированных системах», Москва, 2006;

• 16-й международной конференции по компьютерной графике и машинному зрению «Graphicon-2006», Россия, Новосибирск, 2006;

• 10-м научно-практическом семинаре «Новые информационные технологии в автоматизированных системах», Россия, Москва, 2007;

• 17-Й международной конференции по компьютерной графике и машинному зрению «Graphicon-2007», Россия, Москва, 2007;

1http://www.compression.ru/video/quality_m"easure/video_measurement_tool_en.htm]

« 18-й международной конференции по компьютерной графике и машинному зрению «СгарЫсоп-2008», Россия, Москва, 2008;

• 12-м научно-практическом семинаре «Новые информационные технологии в автоматизированных системах», Россия, Москва, 2009;

• семинаре по компьютерной графике и мультимедиа под руководством Ю.М. Банковского (ф-т ВМиК МГУ);

• Объединённом семинаре по робототехническим системам под руководством А.К. Платонова, Ю.Ф. Голубева и В.Е. Пряничникова (ИПМ им. М.В. Келдыша РАН);

• семинаре кафедры Автоматизации систем вычислительных комплексов факультета ВМиК МГУ под руководством член-корр. РАН Л.Н. Королева.

Публикации. Материалы диссертации опубликованы в 11 печатных работах [1-11], из них 2 статьи в рецензируемых журналах, рекомендованных ВАК [7, 10], 8 статей в сборниках трудов конференций и семинаров [1-5, 8, 9, 11] и 1 тезис доклада [6].

Структура и объем диссертации. Диссертация состоит из введения, четырёх глав, заключения, списка литературы и приложения. Содержание работы изложено на 153 страницах, приложение занимает 11 страниц. Список литературы включает 117 наименований.

Содержание работы

Во введении формулируются цели и задачи диссертации, показывается актуальность, научная новизна и практическая значимость работы. Описывается структура диссертации.

В первой главе описываются причины возникновения ошибок в видео

материале, их типы и влияние на визуальное качество видео. Даётся общая схема работы видео кодека, описываются подходы к обнаружению ошибок и проводится их сравнение. Даётся описание механизмов уменьшения влияния ошибок на видео, основанных как на предотвращении ошибок, так и на методах маскирования или восстановления сигнала. Также в этой главе объясняется разделение методов маскирования на пространственные и временное.

Во второй главе описываются методы пространственного маскирования искажений, в том числе два разработанных метода для работы в режиме реального времени и задач высококачественной постобработки. Проводится сравнительный анализ разработанных и существующих методов при помощи объективных метрик качества и экспертной оценки.

В первой части данной главы описывается постановка задачи пространственного маскирования искажений.

Во второй части данной главы проводится классификация и даётся обзор существующих и используемых методов пространственного маскирования искажений, приводятся основные идеи, лежащие в их основе. Рассматриваются методы маскирования на основе поиска образцов, методы на основе реконструкции и комбинированные методы. Обсуждаются преимущества и недостатки каждого из классов методов.

В третьей части рассматривается разработанный метод пространственного маскирования искажений, основанный на классификации областей изображения и обработке каждого класса специализированным алгоритмом маскирования. Такой подход позволяет повысить скорость работы высококачественных, но вычислительно сложных алгоритмов за счёт их применения только к отдельным областям изображения. Данный метод позиционируется как метод для работы в режиме реального времени на этапе декодирования видео.

Данный метод при работе производит классификацию подобластей обрабатываемого изображения на три класса:

• текстурные области;

• структурные области;

• структурные области с ярко выраженной доминантной границей.

Схема предложенного метода показана на рис. 1.

На вход методу подаётся искажённый кадр и поточечная маска искажений. Сначала производится двухэтапаная классификация известных (не искажённых) областей кадра: на первом этапе на основе анализа дисперсии яркости (цветности) происходит разделение областей на структурные (гладкие области с плавными цветовыми переходами) и прочие, которые на основе анализа силы границ классифицируются на текстурные (области с высокой энергией границ) и структурные с границами.

Далее происходит предсказание типа неизвестной области на основе классифицированных известных соседних подобластей. После этого неизвестные области в соответствии с предсказанным классом обрабатываются одним из алгоритмов: генерация текстуры, маскирование структуры, заполнение вдоль границ.

Рис. 1. Схема предложенного метода на основе классификации

Для предсказания класса неизвестной области по соседним известным областям используются следующие эвристические подходы с анализом соседних областей:

1. Если все соседние области классифицированы как структурные, значит неизвестная область также структурная.

2. Если все соседние области классифицированы как структурные и структурные с границами, при этом хотя бы одно продолжение доминантной границы соседних областей пересекает неизвестную область, то она отмечается как структурная с границами.

3. Если не выполняются предыдущие пункты и среди соседних областей есть текстурная область, то неизвестная область также текстурная.

4. Если не выполняются предыдущие пункты и среди соседних областей есть структурные области и структурные с границами и структурных с границами больше, чем структурных, то искажённая область отмечается как структурная с границами, иначе - структурная.

После этого неизвестные области в соответствии с предсказанным классом обрабатываются одним из алгоритмов маскирования искажений: генерация текстуры, маскирование структуры, заполнение вдоль границ.

Скорость/качество (среднее для б тестовых последовательностей)

о Предложенный • Метод синт<

метод текстур

j

О 0.2 Л 0.4 0.6 0.8 1

Относительное время

Рис. 2. Сравнение разработанного метода на основе классификации с методом непараметрического синтеза текстур

В результате визуальное и объективное качество работы данного метода сравнимо с методом непараметрического синтеза текстуры, который, в свою очередь, обладает более высоким качеством, чем метод маскирования структуры, метод восстановления вдоль границ и метод декомпозиции. При этом разработанный метод обладает более высокой скоростью обработки (см. рис. 2) и предлагается для обработки видео в режиме реального времени.

В четвёртой части даётся описание разработанного метода пространственного маскирования искажений на основе разложения изображения по адаптивному словарю и проведения обратного преобразования для блоков, содержащих как известные, так и неизвестные пиксели, с использованием коэффициентов, найденных для известных частей блока.

На первом шаге происходит построение словаря на основе предыдущих неискажённых кадров видео последовательности. Для этого используется алгоритм построения адаптивных словарей2. Для представления сигнала у <Е Э?п используется словарь (матрица) D £ и стоит задача нахождения

коэффициентов разложения х таких, что ютг ||ж|]о» IIУ ~ ^ Для решения задачи выбирается начальный словарь, например, ДКП, далее происходит итеративная операция адаптации словаря и поиска коэффициентов.

На втором шаге для блоков, содержащих как неизвестные пиксели, так и известные пиксели в количестве выше порогового значения, происходит поиск коэффициентов разложения с использованием построенного на первом шаге

2М. Aharon, М. Elad, A. Bruckstein. K-SVD: An Algorithm for Designing Overcompiete Dictionaries for Sparse Representation // Signal Processing, IEEE Ttansactions on — 2006.— Vol. 54, no. 11 — Pp. 4311-4322.

словаря и только для известных пикселей. Для каждого блока вычисляется степень доверия, обратно пропорциональная точности разложения по словарю. Далее для всех пикселей блока происходит обратное преобразование с найденными коэффициентами. Для того, чтоб избежать отдельных пиксельных выбросов, все поблочные операции происходят для блоков с максимальной степенью наложения.

Данный метод обеспечивает высокое качество обработки по сравнению с анализируемыми известными методами пространственного маскирования и предлагается в качестве метода постобработки видео.

В пятой части рассматриваются вопросы реализации разработанных методов пространственного маскирования искажений.

В шестой части приводятся некоторые результаты проведённого сравнительного анализа разработанных и существующих методов пространственного маскирования искажений. Для данного анализа используются как объективные метрики качества (SSIM), так и экспертная оценка (методика SCACJ3 от ITU-R4). Для анализа с использованием объективных метрик качества видео проводится как анализ высокоскоростных методов маскирования, которые возможно применять для обработки видео в режиме реального времени, так и анализ всех методов для возможного их применения для постобработки видео. На графике, показанном на рис. 3, приведён пример сравнения на основе экспертной оценки. Разработанные методы имеют префикс MSU в названии. Tsyn - метод непараметрического синтеза текстур, ЕхВ1 - поиск экзмепляров с приоритетами, TSPB - блочный синтез текстур, WtBÎ -маскирование при помощи взвешенных сумм.

Результаты второй главы и промежуточных разработок опубликованы в работах [3, 4, 7, 9].

В третьей главе описываются методы временного маскирования искажений в видео, использующие для обработки текущего кадра помимо пространственной информации, также и временную, то есть информацию из предыдущего или в общем случае из опорного кадра. Также предлагается два разработанных метода и проводится сравнительный анализ разработанных и существующих методов.

В первой части описывается постановка задачи временнбго маскирования и её отличие от задачи пространственного маскирования.

Во второй части данной главы проводится классификация и даётся обзор существующих и используемых методов временного маскирования искажений. Приводятся основные идеи, лежащих в основе методов, и рассматриваются результаты их работы. Рассматриваются методы маскирования через

3ITU-T ВТ 500.11.— Methodology for the subjective assessment of the quality of télévision pictures., 2002.

4Раднокоммуникационный сектор Международного Телекоммуникационного Союза, International Telecommunictaion Union

Средняя экспертная оценка

¡Оценка

Название метода

Рис. 3. Экспертная оценка методов пространственного маскирования

сопоставления границ и с помощью реконструкции векторов движения. Обсуждаются преимущества и недостатки каждого из классов методов.

В третьей части даётся описание метода для работы в режиме реального времени и основанного на поиске блоков-кандидатов в опорном кадре для замены искажённых блоков в текущем кадре.

Данный метод работает по следующей схеме: искажённый кадр, предыдущий кадр и маска ошибок подаются на вход гибридному алгоритму маскирования, который выбирает в предыдущем кадре блок-кандидат, с минимальным значением функции ошибки. Далее данный кандидат используется в оценке качества обработки на основе вычисления ошибки вдоль границ блока-кандидата и сравнении с соответствующими ошибками для соседних блоков. Если для данного кандидата получена ошибка, превышающая заданное пороговое значение, то используется другой алгоритм временного маскирования с меньшей ошибкой вдоль границ, который в общем случае производит результат более низкого визуального качества, но при этом данный результат обладает более низкой заметностью границ вдоль блоков. После этого вновь производится оценка величины ошибки вдоль границ. Если и в этом случае ошибка превышает заданное пороговое значение, это означает, что временные методы не могут обеспечить необходимого визуального качества (например, из-за смены сцены, либо из-за превышения длины вектора движения размера области поиска кандидатов) и в этом случае используется пространственный алгоритм восстановления для данного блока.

В четвёртой части рассматривается метод временного маскирования искажений, основанный на анализе оптического потока и реконструкции векторов движения. На рис. 4 показана схема предложенного метода.

Рис. 4. Схема метода временного маскирования на основе анализа оптического потока

Искажённый кадр, предыдущий кадр и маска ошибок подаются на вход алгоритму построения оптического потока. Данный алгоритм находит вектор движения для каждого пикселя из окрестности неизвестной области. Для построения оптического потока может использоваться любой алгоритм, обладающий приемлемой точностью, в том числе и алгоритмы, основанные на первоначальном приближении векторов для каждого пикселя при помощи вектора для блока пикселей, который доступен декодеру. В предложенном методе для построения оптического потока используется метод Лукаса-Кана-де. Это двухкадровый дифференциальный метод, в основе которого лежит предположение о неизменности или слабом изменении интенсивности или цвета пикселя между двумя кадрами. Т.е. выполняется условие:

1(х, у, Ь) = 1(х + 6х,у + 6у, Ь + бЬ),

(1)

где 1{х,у,Ь) - яркость пикселя с координатами (х,у) в момент времени Далее правая часть уравнения (1) может быть представлена при помощи ряда Тейлора:

1{х + 5х,у + 6у,1 + б1)=1(х,у,г) + —6х + ^8у + ^бЬ + .... (2)

Откуда следует, что:

д£5х

дх Ы + ду И 04 Й ~ '

Что приводит к следующему уравнению:

где Ух,Уу - х,у -компоненты скорости оптического потока 1{х, у, £), а — 91

8х> ду

и Ц - производные изображения в точке (х, у, ¿) в соответствующих направлениях.

Для решения этого уравнения с двумя неизвестными необходимо ввести дополнительные ограничения на оптический поток. Таким ограничением может являться следующее - поток ('Ух, Уу) можно считать постоянным в окне т х т пикселей, где т > 1, нумеруя пиксели 1 ...п, п = т2, получается следующая переопределённая система уравнений:

4 К

« = -4

или

(4)

(5)

(6)

" Ух '

Л.

(7)

Ау = -Ъ.

Для решения используется метод наименьших квадратов:

АТА1? = Ат(-Ь) 1? = (АТА)~1 Ат(-Ь)

Е4, £4Л. 1 ~ Е 4Л. ] I. _ £44

Для ускорения работы метода вычисления производных проводится для разных разрешений - сначала для грубого приближения, затем производятся уточнения. На выходе алгоритма получается оптический поток. Для поставленной задачи необходимо вычислить оптический поток только вблизи границы неизвестной области.

Далее полученное поле векторов фильтруется с целью отсечения ошибочно найденных векторов. Для фильтрации применяется анализ векторов как на основе ошибок компенсации

6=

так и на основе расстояний между кластерами векторов

(8)

л/(™>? ~ ту?)2 + (ту? - ту])' ¿69(<),|С,|>1 у _

Е 1

¿60(»),|СЯ>1

После этого ошибочные вектора заменяются на взвешенную сумму правильно найденных соседей, где весами служат значения, обратно пропорциональные ошибкам компенсации:

new _

j'ee(0,&<i

(10)

После фильтрации происходит поиск неоднородностей (разрывов) векторного поля. Для найденных векторов производится оценка степени доверия. Далее для пар векторов с высокой степенью доверия проводится сравнительный анализ на разницу в расстоянии между векторами

Далее осуществляется интерполяция найденных разрывов на внешней границе искажённой области внутрь области, после чего производится реконструкция векторов движения в соответствии с найденными и интерполированными неоднородностями. После реконструкции векторов движения для каждого пикселя искажённой области происходит компенсация движения, при которой каждый пиксель текущего кадра внутри области заменяется на пиксель опорного кадра в соответствии с вектором движения. Данный метод предлагается использовать для постобработки видео.

Пятая часть посвящена вопросам реализации разработанных методов временного маскирования искажений.

В шестой части приводятся некоторые результаты проведённого сравнительного анализа разработанных и существующих методов временного маскирования искажений. Для данного анализа используются как объективные метрики качества (БЭШ), так и экспертная оценка (методика БАМУЩ5 от

Оба разработанных метода показывают как высокое объективное качество по сравнению с другими анализируемыми методами, так и высокую экспертную оценку. На графике, показанном на рис. 5, разработанные методы имеют префикс MSU в названии.

sSteinmann V. Sunna P. Wyckens E Kozamernik, F. SAMVIQ—A New EBU Methodology for Video Quality Evaluations in Multimedia // SMPTE motion imaging journal.— 2005.— Vol. 114, no. 4— Pp. 152-160. и EBU-UER BNP 056 : SAMVIQ - Subjective Assessment Methodology for Video Quality.

еЕвропейский Вещательный Союз, European Broadcating Union

и расстояние в цветовом пространстве

Pcoior(mvi,mvj) = 11{х,у) - I(x + 1,у)\ > ¿W-

(12)

EBU6).

Сравнение методов временного маскирования

о

Е 0,002

о о

. 0,01 о о

| 0,008

S S

0,002

о---

-й-ВМА ^-МЕ

bus coastguard flower football stefan waterfall

Название видеопоследовательности

-o-OBMA -o-SAA -ж-MDBM —t—STB MA

-a-RMVI -x-DMVI -3-MSU_SBMA-a-MSU OF

Рис. 5. Сравнение методов временного маскирования с помощью объективной метрики

Результаты третьей главы и промежуточных разработок опубликованы в работах [1, 5, 6, 8, 10].

В четвёртой главе даётся классификация подходов к измерению качества видео, описываются используемые метрики качества. Проводится анализ метрик качества для задачи маскирования искажений и предлагается подход для адаптации метрики объективного качества БЭШ с целью повышения корреляции с экспертными оценками для данной задачи.

В первой части описывается постановка задачи и даётся обзор методов измерения качества видео. Рассматриваются как объективные, так и субъективные методы. Среди методов с использованием объективных метрик качества видео рассматриваются методы с исходной видео последовательностью и без исходной видео последовательности. Также описывается связь между объективными и экспертными тестами.

Во второй части Приводятся результаты анализа адекватности распространённых метрик качества РЯЖ и БЭШ. Показываются недостатки данных метрик.

В третьей части проводится анализ недостатков существующих подходов и предлагается идея усовершенствования метрики ББШ для оценки искажений в пространственной области на основе объединения метрики с оценкой, использующей спектральный анализ и функцию чувствительности глаза к контрасту, для того, чтобы, скорректировать значения метрики с учётом свойств глаза. Для этого предлагается при оценке близости двух изображений в метрике учесть дополнительные факторы, влияющие на процесс

восприятия человеком изображения, а именно: маскирующие свойства фона и различную восприимчивость человеческого глаза в зависимости от характеристик самого изображения, а не только разницы между изображениями, также предлагается учитывать ещё и гладкость блоков.

В четвёртой части предлагается идея усовершенствования метрики ББШ для оценки искажений во временной области. Для этого используется анализ векторов движения в маскированной области, при этом учитывается как отклонения векторов, так и ошибка компенсации. Предложено при оценке степени близости двух видео последовательностей с использованием метрики ЭБШ дополнительно оценивать постоянство характеристик маскируемой области на основе анализа силы отклонения векторов в исследуемых блоках по отношению к опорному кадру для исходной и обработанной видео последовательности.

Результаты четвёртой главы опубликованы в работе [11].

В заключении описываются основные результаты работы.

В приложении А описываются используемые подходы к оценке качества видео при помощи объективных метрик и при помощи экспертных оценок на основе методик БСАСЛ от 1Ти-Й и ЯАМУК^ от ЕВИ

В приложении Б описываются результаты практического применения разработанных методов в реальных кодеках. Объясняется выбор кодека для модификации. Также даётся описание проведённого сравнительного анализа, результатов работы исходного кодека и модифицированного и приводятся результаты данного анализа. Подробное описание метода тестирования и выбора кодека приведено в работе [2].

В приложении В описываются общая схема программной системы маскирования искажений в видео на основе разработанных методов.

Основные результаты работы состоят в следующем:

1. Разработаны два метода пространственного маскирования искажений: на основе классификации подобластей неизвестной области и с использованием адаптивных словарей со взвешивающими коэффициентами. Разработанные методы обеспечивают более высокое качество обработки по сравнению с известными методами.

2. Разработаны два метода временного маскирования с использованием нескольких кадров: на основе функции поиска кандидатов и оценки степени искажений вдоль границ области и метод с использованием оптического потока и поиска неоднородностей поля векторов. Разработанные методы обеспечивают более высокое качество обработки, чем известные методы.

3. Предложен и практически применён подход к усовершенствованию объективной метрики качества видео, повышающий корреляцию значений метрики с экспертной оценкой.

4. На основе предложенных методов разработана и реализована программная система для восстановления видео с использованием алгоритмов маскирования искажений.

Список публикаций

[1] Д. Куликов, Д. Ватолин. Обнаружение и заполнение статических инородных областей в видео на примере удаления логотипов и сбоев при ошибках передачи // материалы девятого научно-практического семинара «Новые информационные технологии в автоматизированных системах». - Москва: Март 2006. - С. 13-23.

[2] Д.Л. Куликов, Д.С. Ватолин. Оценка качества работы видео декодеров стандарта MPEG-2 при работе в ненадежной среде передачи данных // Труды конференции Graphicon-2006. — Новосибирск, Академгородок: 1-4 Июля 2006. - С. 367-370.

[3] Д. Куликов, Д. Ватолин. Метод пространственного заполнения испорченных областей видео при ошибках в работе кодека /'/ Материалы десятого научно-практического семинара «Новые информационные технологии в автоматизированных системах». — Москва: 2007. — С. 38-45.

[4] К.Н. Стрельников, Д.Л. Куликов, А. С. Лукин. Построение и применение модели зерна пленки на основе спектральных образцов // Труды конференции Graphicon-2007. — Москва, Россия: 23-27 Июня 2007. — С. 248-252.

[5] Dmitriy Kulikov. Spatio-Temporal Error Concealment Scheme Using Hybrid Algorithm with Postprocessing // Proceedings Graphicon-2008. — Moscow: June 2008.-Pp. 106-110.

[6] Sergey Putilin, Dmitriy Kulikov. Low-Complexity Video Watermarking Using Mean Block Luminance Quantization // Proceedings Graphicon-2008.— Moscow: June 2008,- P. 302.

[7] К. Стрельников, Д. Куликов. Система моделирования окружения управляемой камеры на основе анализа и обработки видеоданных // Программные продукты и системы. — 2008. — Т. 3. — С. 66-69.

[8] Д. Л. Куликов. Временной метод маскирования искажений в видео на основе обработки оптического потока // Программные системы и инструменты. Тематический сборник. — 2008. — Т. 9. — С. 63-73.

[9] Д. Л. Куликов. Метод удаления искажений в видео на основе адаптивных словарей // Материалы 1-ой Межвузовской научно-практический конференции студентов, аспирантов и молодых учёных «Новые технологии и инновационные разработки». — Тамбов: Издательство Чеснокова А. В., 2008. - С. 9-13.

[10] Д. Л. Куликов. Пространственно-временной алгоритм маскирования искажений в видео при ошибках передачи // Вестник компьютерных и информационных технологий. — 2009. — Т. 1. — С. 8-14.

[11] Д. Л. Куликов. Модификация объективной метрики качества БЭШ для оценки искажений при временном маскировании // Материалы двенадцатого научно-практического семинара «Новые информационные технологии в автоматизированных системах». — Москва: Московский государственный институт электроники и математики, 2009. — С. 3-8.

Напечатано с готового оригинал-макета

Издательство ООО "МАКС Пресс" Лицензия ИД N 00510 от 01.12.99 г. Подписано к печати 08.04.2009 г. Формат 60x90 1/16. Усл.неч.л. 1,0. Тираж 100 экз. Заказ 169. Тел. 939-3890. Тел./факс 939-3891 119992, ГСП-2, Москва, Ленинские горы, МГУ им. М.В. Ломоносова, 2-й учебный корпус, 627 к.

Введение

Глава 1. ПРИЧИНЫ ВОЗНИКНОВЕНИЯ ИСКАЖЕНИЙ

В ВИДЕО, ИХ ТИПЫ И МЕТОДЫ БОРЬБЫ С НИМИ

1.1. Причины возникновения искажений.

1.1.1. Устройство кодека.

1.1.2. Ошибки при передаче данных по сети.

1.2. Типы ошибок и искажения, к которым они приводят

1.2.1. Типы ошибок.

1.2.2. Влияние ошибок на визуальное качество видео

1.3. Методы борьбы с искажениями

1.3.1. Механизмы борьбы с ошибками для разных типов данных

1.3.2. Обнаружение ошибок в видео

1.3.3. Методы маскирования искажений и восстановления сигнала.

Глава 2. МЕТОДЫ ПРОСТРАНСТВЕННОГО МАСКИРОВАНИЯ ИСКАЖЕНИЙ.

2.1. Постановка задачи.'.

2.2. Обзор методов пространственного маскирования

2.2.1. Методы на основе поиска образцов

2.2.2. Методы на основе реконструкции

2.2.3. Комбинированные методы

2.2.4. Сравнение методов поиска образцов, методов реконструкции и комбинированных методов

2.3. Предложенный метод на основе классификации подобластей

2.3.1. Общая схема метода.

2.3.2. Классификация областей.

2.3.3. Предсказание класса неизвестной области

2.3.4. Маскирование текстурных областей.

2.3.5. Маскирование структурных областей с границами

2.3.6. Маскирование структурных областей

2.3.7. Сравнение с методом синтеза текстур и методом на основе классификации

2.4. Предложенный метод на основе адаптивных словарей

2.4.1. Общая схема метода.

2.4.2. Построение адаптивного словаря

2.4.3. Разложение кадра по словарю

2.4.4. Вычисление степеней доверия

2.4.5. Заполнение неизвестных областей.

2.5. Вопросы реализации

2.5.1. Метод маскирования на основе классификации

2.5.2. Метод маскирования с адаптивными словарями

2.6. Сравнительный анализ предложенных и существующих методов

2.6.1. Анализ методов для работы в режиме реального времени с помощью объективных метрик качества

2.6.2. Анализ методов для работы в режиме постообработки с помощью объективных метрик качества

2.6.3. Анализ качества методов с помощью экспертной оценки

Объект исследования и актуальность темы. С развитием вычислительных мощностей компьютеров всё большее внимание уделяется цифровой обработке сигналов, особенно видео сигналов. С 1998 года, когда впервые было осуществлено вещание цифрового видео, данная область исследований начала бурно развиваться. Сейчас цифровое видео используется практически везде: оптические носители (CD, DVD, BluRay), спутниковое телевидение, передача видео по компьютерным сетям, в том числе в Интернете, видео на мобильных устройствах. Поскольку зачастую I видео сигнал представляет собой большой объем данных, то во всех задачах передачи и обработки видео данных используются видео кодеки для кодирования сигнала. При этом в десятки и сотни раз уменьшается объем данных, но увеличиваются внутренние зависимости, которые приводят к заметным визуальным искажениям в видео, при инверсии или потере даже одного бита закодированной информации.

Поскольку почти все способы передачи и хранения закодированного видео сигнала подвержены влиянию искажений, то актуальной становится задача борьбы как с появлением и влиянием этих искажений на видео (помехоустойчивое кодирование, восстановление кодовых слов), так и с последствиями этих искажений (восстановление видео и маскирование искажений). Маскирование визуальных искажений в видео является наиболее универсальным способом борьбы с последствиями ошибок передачи и хранения закодированной видеоинформации, так как в общем случае не зависит ни от типа видео кодека, ни от типа передачи информации и не накладывает никаких ограничений на сам сигнал.

Предлагаемые методы маскирования искажений в видео предназначены для решения нескольких задач: работа в режиме реального времени для улучшения сигнала во время декодирования, работы в режиме постобработки материала, когда основное внимание уделяется качеству обработки, а не скорости. Предлагаемые методы маскирования демонстрируют лучшее визуальное субъективное и объективное качество по сравнению с другими методами. Также предлагается идея специализированной метрики объективного качества видео для оценки визуальной заметности искажений. В этой работе рассмотрено применение методов для маскирования искажений в основном блочной структуры, какие возникают при работе видео кодеков, хотя также возможно их применение без существенных доработок и для улучшения визуального качества видео - удаления царапин, пятен и других нежелательных объектов.

Цели и задачи диссертационной работы. Цель настоящей работы -исследование и разработка методов и построение программных средств маскирования искажений в видео, вызванных ошибками передачи или хранения закодированного видео.

В рамках данной работы необходимо решение следующих задач:

1. Исследование и разработка методов пространственного и временного маскирования искажений в видео. Анализ эффективности разработанных методов по сравнению с существующими.

2. Усовершенствование универсальной метрики для оценки качества изображений/видео с учётом задачи маскирования с целью повышения корреляции значений метрики с экспертной оценкой.

3. Разработка программной системы маскирования искажений в видео.

Научная новизна работы. Разработаны новые методы пространственного маскирования искажений: метод разбиения области над подобласти разных классов с учётом их свойств и метод на основе адаптивных словарей и взвешенного восстановления.

Разработаны новые методы временного маскирования: на основе оценки визуальной заметности непрерывности в видео с использованием нового алгоритма поиска кандидатов и нового подхода к оценке их применимости и метод на основе оптического потока, базирующийся на идее поиска неоднородностей поля векторов и использования этой информации на этапе реконструкции.

Предложен новый подход к усовершенствованию метрики объективного качества видео для адаптации метрики SSIM, позволяющий оценить визуальную заметность специфических искажений, вызванных ошибками передачи закодированного сигнала.

Практическая значимость и реализация. Автором разработаны и реализованы методы, описанные в работе:

1. Метод пространственного маскирования на основе классификации подобластей искажённой области.

2. Метод пространственного маскирования с использованием адаптивных словарей.

3. Метод временного маскирования на основе оценки визуальной заметности искажений вдоль границ области.

4. Метод временного маскирования с использованием оптического потока и поиском неоднородностей поля векторов.

5. Подход к усовершенствованию метрики SSIM для оценки искажений на отдельных кадрах с использованием свойств человеческого глаза и для оценки искажений в видео с использованием анализа векторов движения.

Реализованные методы вошли в программную систему маскирования искажений в видео потоке, как части, отвечающие за пространственное и временное маскирование соответственно. Эти части системы маскирования искажений в видео и в изображениях были приобретены компанией-заказчиком RealNetworks для обработки мультимедиа данных.

Метод (1) частично портирован в декодер из набора ffmpeg libavcodec, выбранного на основе сравнительного анализа MPEG-2 декодеров как наилучший для маскирования искажений в результате ошибок передачи.

Адаптированный метод (4) использовался для демонстрации возможностей подходов маскирования при начале работ совместно с Государственным Комитетом по Кинематографии РФ.

Метод (5) реализован в виде динамически подключаемой библиотеки к программной системе автоматической оценки качества видео/изображений MSU Video Quality Measurement Tool

Исследования в области разработки методов маскирования искажений при работе кодека были поддержаны грантом РФФИ Ж)7-01-00759-а («Создание субоптимальной системы кодирования видео в рамках международных стандартов кодирования видеосигналов»).

Апробация работы. Результаты работы докладывались и обсуждались на:

• 9-м научно-практическом семинаре «Новые информационные тех

1http://wrww. compression.ru/video/qualitymeasure/videomeas urementtoolen.html нологии в автоматизированных системах», Москва, 2006;

• 16-й международной конференции по компьютерной графике и машинному зрению «Graphicon-2006», Россия, Новосибирск, 2006;

• 10-м научно-практическом семинаре «Новые информационные технологии в автоматизированных системах», Россия, Москва, 2007;

• 17-й международной конференции по компьютерной графике и машинному зрению «Graphicon-2007», Россия, Москва, 2007;

• 18-й международной конференции по компьютерной графике и машинному зрению «Graphicon-2008», Россия, Москва, 2008;

• 12-м научно-практическом семинаре «Новые информационные технологии в автоматизированных системах», Россия, Москва, 2009;

• семинаре по компьютерной графике и мультимедиа под руководством Ю.М. Баяковского (ф-т ВМиК МГУ);

• Объединённом семинаре по робототехническим системам под руководством А.К. Платонова, Ю.Ф. Голубева и В.Е. Пряничникова (ИПМ им. М.В. Келдыша РАН);

• семинаре кафедры Автоматизации систем вычислительных комплексов факультета ВМиК МГУ под руководством член-корр. РАН JI.H. Королева.

Публикации. Материалы диссертации опубликованы в 11 печатных работах [1-11], из них 2 статьи в рецензируемых журналах, рекомендованных ВАК[7, 10], 8 статей в сборниках трудов конференций и семинаров [1-5, 8, 9, 11] и 1 тезис доклада [6].

11

Структура и объем диссертации. Диссертация состоит из введения, четырёх глав, заключения, списка литературы и приложения. Содержание работы изложено на 153 страницах, приложение занимает 11 страниц. Список литературы включает 117 наименований.

4.5. Заключение

В данной главе дано подробное описание существующих подходов к измерению качества видео сигнала, в частности качества работы методов и алгоритмов обработки. Предложена классификация этих подходов: объективные метрики и экспертные оценки, объективные метрики можно классифицировать на подходы с использованием исходной видео последовательности и без использования. Также в этой главе дана оценка адекватности объективных метрик качества PSNR и SSIM применительно к задаче маскирования искажений.

Предложен подход к усовершенствованию метрики SSIM для более адекватной оценки искажений для пространственных методов маскирования с учётом свойств визуальной системы человека, в частности функции чувствительности глаза к контрасту и маскирующих свойств фона.

Предложен подход адаптации метрики SSIM к искажениям в межкадровой области для оценки качества работы методов временного маскирования на основе анализа гладкости векторного поля между кадрами при помощи механизма векторов движения. Предложенные подходы повысили степень корреляции между значениями метрики и экспертной оценкой при сравнении с метрикой PSNR и исходной метрикой SSIM.

1. Д. Л. Куликов, Д. Ватолин. Оценка качества работы видео деко- деров стандарта MPEG-2 при работе в ненадежной среде передачи данных // Труды конференции Graphicon-2006. — Новосибирск, Академгородок: 2006. —1-4 Июля. — 367-370.

2. К.И. Стрельников, Д.Л. Куликов, А. Лукин. Построение и применение модели зерна пленки на основе спектральных образцов // Труды конференции Graphicon-2007. — Москва, Россия: 2007. — 23-27 Июня. - 248-252.

3. Dmitriy Kulikov. Spatio-Temporal Error Concealment Scheme Using Hybrid Algorithm with Postprocessing // Proceedings Graph-icon-2008. - Moscow: 2008. — June. — Pp. 106-110.

4. Sergey Putilin, Dmitriy Kulikov. Low-Complexity Video Watermarking Using Mean Block Luminance Quantization // Proceedings Graph-icon-2008. — Moscow: 2008. — June. — P. 302.

5. К. Стрельников, Д. Куликов. Система моделирования окружения управляемой камеры на основе анализа и обработки видеоданных // Программные продукты и системы. — 2008. — Т. 3. — 66-69.

6. Д. Л. Куликов. Временной метод маскирования искажений в видео на основе обработки оптического потока // Програмные системы и инструменты. Тематический сборник. — 2008. — Т. 9. — 63-73.

7. Д. Л. Куликов. Пространственно-временной алгоритм маскирования искажений в видео при ошибках передачи // Вестник компьютерных и информационных технологий. — 2009. — Т. 1. — 8-14.

8. Д. Ватолин, А. Ратушняк, М. Смирнов, В. Юкин. Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео. — Диалог-МИФИ, 2002.

9. ITU-T Recommendation H.261, Video Codec for Audiovisual Services at px64 kbits, 1993. — Mar.

10. ITU-T Draft Recommendation H.263, Video Coding for Low Bitrate Communication,, 1997. — Dec.

11. ISO/IEC DIS 13818-2, Information Technology - Generic Coding of Moving Pictures and Associated Audio Information - Part 2: Video, 1994.

12. Iain E. Richardson. H.264 and MPEG-4 Video Compression: Video Coding for Next Generation Multimedia. — 1 edition. — Wiley, 2003. — August.

13. Draft ITU-T recommendation and final draft international standard of joint video specification (ITU-T Rec. H.264/ISO/IEC 14 496-10 AVC). Joint Video Team (JVT) of ISO/IEC MPEG and ITU-T VCEG, JVTG050, 2003.

14. T. Wiegand, G.J. Sullivan, G. Bjontegaard, A. Luthra. Overview of the H.264/AVC video coding standard // Circuits and Systems for Video Technology, IEEE Transactions on. — 2003. — July. — Vol. 13, no. 7. — Pp. 560-576.

15. Э. Таненбаум. Компьютерные сети. — Питер, 2007.

16. Д. Грис. Конструирование компиляторов для цифровых вычислительных машин, Под ред. Ю. М. Баяковского, В. Штаркмана. — Москва: Издательство «Мир», 1975.

17. R. W. Conway, W. L. Maxwell. CORC - the Cornell computing language // CACM. - 1963. - June. - Vol. 6. - Pp. 317-321.

18. R. W. Conway, W. L. Maxwell. PL/C. A high perfomance subset of PL/1. TR-70-55: Tech. rep.: Computer Science Dept, Cornell Univ, 1970.

19. D. Freeman. Error correction in CORC: the Cornell computing language: Ph.D. thesis / Cornell Univ. — 1963.

20. H. L. Morgan. Spelling correction in system programs // С ACM.— 1970.-Feb.-Vol . 1 3 . - P p . 90-94.

21. A. Albanese, J. Blomer, J. Edmonds et al. Priority encoding transmission // SFCS '94: Proceedings of the Proceedings 35th Annual Symposium on Foundations of Computer Science. — Washington, DC, USA: . IEEE Computer Society, 1994. - Pp. 604-612.

22. H. Ohta, T. Kitami. A cell loss recovery method using FEC in ATM networks // IEEE Journal on Selected Areas in Communications. — Vol. 9. — 1991. — December. — Pp. 1471-1483.

23. C. Perkins, O. Hodson, V. Hardman. A survey of packet loss recovery techniques for streaming audio // IEEE Network.— 1998.— Sep/Oct. - Vol. 12. - Pp. 40-48.

24. O.J. Wasem, D.J. Goodman, С A. Dvorak, E.G. Page. The effect of waveform substitution on the quality of PCM packetcommunica-tions / / IEEE Transactions on Acoustics, Speech and Signal Process ing. - Vol. 36. — 1988. — Mar. — Pp. 342-348.

25. P. Lauber, R. Sperschneider. Error Concealment for Compressed Digi tal Audio / / Proc. of the 111th AES Conv. — 2001. — Preprint 5460.

26. S. Quackenbush, P.F. Driessen. Error Mitigation in MPEG-4 Audio Packet Communication Systems. / / Proc. of the 115th AES Conv.— 2003. —Preprint 5981.

27. H. Ofir, D. Malah. Packet Loss Concealment for Audio Streaming Based on the GAPES Algorithm / / Proc. of the 118th AES Conv.— 2005. — Preprint 6334.

28. Andreas Flows, Markos Avlonitis, Panayiotis Vlamos. Frequency-do main stochastic error concealment for wireless audio applications / / Mob. Netw. Appl. — 2008. - Vol. 13, no. 3-4. - Pp. 357-365.

29. N. Ohta. Packet Video: Modeling and Signal Processing. — Artech House, 1994.

30. Dean Sklar Charles Wang, Diana Johnson. Forward Error-Correc tion Coding / / The Aerospace Corporation magazine of advances in aerospace technology. — Winter 2001/2002. — Vol. 3, no. 1.

31. S. Lin, Jr. D. J. Costello. Error Control Coding: Fundamentals and Applications, second edition. — Prentice Hall: Englewood Cliffs, NJ, 2004.

32. Hong H. Yu. Error detection using data hiding for robust wireless multimedia communications // SPIE proceedings series / Ed. by M. Atiquz-zaman, M. Hassan. — Vol. 5245. — SPIE, 2003. — Pp. 35-45.

35. К. M. Rose, A. Heiman. Enhancement of one-dimensional variable-length DPCM images corrupted by transmission errors // IEEE Trans. Commun. — 1989. - Vol. 37. - Pp. 372-379.

36. Generic coding of moving pictures and associated audio information: Video. ISO/IEC ISO/IEC 13818-2:, 1996.

37. S. Wenger, T. Stockhammer. An overview on the H.26L NAL concept. - 2002. - Feb.

38. E Delp P Salama, N Shroff. Error Concealment in Encoded Video / / IEEE Journal on Selected Areas in Communications. — 2000. — 06. — Vol. 18, no. 6 . - Pp. 1129-114.

39. Q.F. Zhu, Y. Wang, L. Shaw. Coding and cell-loss recovery in DC- T-based packet video / / IEEE Trans. Cir. Syst. Video Technol, Spe cial Issue on Packet Video. — 1993. — June. — Vol. Vol. 3, no. 3. — Pp. 248-258.

41. MM. Oliveira, B. Bowen, R. McKenna, Y.S. Chang. Fast digital im age inpainting / / Proc. International Conf. on Visualization, Imaging and Image Processing. — Marbella, Spain: 2001. — Pp. 261-266.

42. M. Bertalmio, A. L. Bertozzi, G. Sapiro. Navier-Stokes, Fluid Dynam ics, and Image and Video Inpainting / / Proc. IEEE Computer Vision and Pattern Recognition (CVPR). — Hawaii: 2001. — December.

43. W. Kwok, H. Sun. Multi-directional interpolation for spatial error con cealment / / Consumer Electronics, IEEE Transactions on. — 1993. — Vol. 39, no. 3. - Pp. 455-460.

44. W. Zhu, Y. Wang. A comparison of smoothness measures for error concealment in transform coding / / Proc. SPIE Conf. Visual Commun. and Image Proc. — Taipei, Taiwan: 1995.

45. Huifang Sun, Senior Member, Wilson Kwok. Concealment of Damaged Block Transform Coded Images Using Projections onto Convex Sets // IEEE Trans. Image Processing. - 1995. - Vol. 4. - Pp. 470-477.

46. A. Criminisi, P. Perez, K. Toyama. Region filling and object removal by exemplar-based image inpainting // Image Processing, IEEE Transactions on. — 2004. — Vol. 13, no. 9. —Pp. 1200-1212.

47. Lin Liang, Ce Liu, Ying-Qing Xu et al. Real-time texture synthesis by patch-based sampling // A CM Trans. Graph.— 2001. —July. — Vol. 20, no. 3. - Pp. 127-150.

48. Andre Каир, Katrin Meisinger, Til Aach. Frequency selective signal extrapolation with applications to error concealment in image communication // Int. J. Electron. Commun.— 2005. —June.— Vol. 59.— Pp. 147-156.

49. Alexei A. Efros, Thomas K. Leung. Texture Synthesis by Non-Parametric Sampling // ICCV '99: Proceedings of the International Conference on Computer Vision-Volume 2. — Washington, DC, USA: IEEE Computer Society, 1999. — P. 1033.

50. S. S. Hemami, Т. H. Y. Meng. Transform coded image reconstruction exploiting interblock correlation // Image Processing, IEEE Transactions on. - 1995. — Vol. 4, no. 7. — Pp. 1023-1027.

51. Iddo Drori, Daniel Cohen-Or, Hezy Yeshurun. Fragment-based image completion // A CM Trans. Graph. — 2003. — July. — Vol. 22, no. 3. — Pp. 303-312.

52. M. Bertalmio, L. Vese, G. Sapiro, S. Osher. Simultaneous structure and texture image inpainting // Image Processing, IEEE Transactions on. - 2003. - Vol. 12, no. 8. — Pp. 882-889.

53. S. D. Rane, G. Sapiro, M. Bertalmio. Structure and texture filling-in of missing image blocks in wireless transmission and compression applications // Image Processing, IEEE Transactions on. — 2003. — Vol. 12, no. 3 .—Pp. 296-303.

54. Tanaphol Thaipanich, Wu, Jay Kuo. Low-Complexity Mobile Video Error Concealment Using OBMA. — 2007. — December.

55. T. Thaipanich, Ping-Hao Wu, C. J. Kuo. Low-complexity video error concealment for mobile applications using OBMA // Consumer Electronics, IEEE Transactions on.— 2008.— Vol. 54, no. 2.— Pp. 753-761.

56. Ajit S. Bopardikar, Odd I. Hillestad, Andrew Perkis. Temporal concealment of packet-loss related distortions in video based on Structural Alignment // In Proceedings of the Eurescom summit.— Heidelberg, Germany: 2005.— April.

57. Tien-Ying Kuo, Sheng-Hui Li. Hybrid temporal-spatial error concealment technique for video communications // Multimedia and Expo, 2004. ICME '04. 2004 IEEE International Conference on. - Vol. 3. -2004.- Pp. 1743-1746 Vol.3.

58. Y. Chen, Y. Ни, О. Au et al. Video Error Concealment Using Spatio-Temporal Boundary Matching and Partial Differential Equation // Multimedia, IEEE Transactions on. — 2008. — Vol. 10, no. 1. — Pp. 2-15.

59. М. Е. Al-Mualla, N. Canagarajah, D. R. Bull. Error concealment using motion field interpolation // Image Processing, 1998. ICIP 98. Proceedings. 1998 International Conference on. — 1998. — Pp. 512-516 vol.3.

60. Che S. Chen, Mei J. Chen, Chin H. Huang, Shih С Sun. Motion Vector Based Error Concealment Algorithms // PCM '02: Proceedings of the Third IEEE Pacific Rim Conference on Multimedia. — London, UK: Springer-Verlag, 2002. - Pp. 425-433.

61. Suh J- W, Ho Y-S. Error Concealment Based on Motion Vector Recovery Using Optical Flow Fields // IEICE Trans Commun. — 2003. — April.-Vol. Vol. L.E86-B, no. No. 4 . - P p . 1383-1390.

62. Jae-Won Suh, Yo-Sung Ho. Motion vector recovery using optical flow // Consumer Electronics, 2000. ICCE. 2000 Digest of Technical Papers. International Conference on. — 2000. — Pp. 234-235.

63. M. Bertalmio, G. Sapiro, V. Caselles, Ballester C. Image Inpainting // Proceedings SIGGRAPH 2000, Computer Graphics Proceedings, Annual Conference Series / Ed. by K. Akeley. — Reading, MA: Addison-Wesley, 2000. — Pp. 417-424.

64. Luminita A. Vese, Stanley J. Osheri. Modeling textures with total variation minimization and oscillating patterns in image processing // Journal of Scientific Computing. — 2003. — Vol. 19. — Pp. 553-572. \

65. Leonid I. Rudin, Stanley Osher, Emad Fatemi Nonlinear total varia tion based noise removal algorithms / / Phys. D. — 1992. — Vol. 60, no. 1-4. - Pp. 259-268.

66. Yves Meyer. Oscillating Patterns in Image Processing and Nonlinear Evolution Equations. — ser. AMS Univ. Lecture Series, 2002. — Vol. 22.

67. K. Karu, A. K. Jain, R. M. Bolle. Is there any texture in the image? / / Pattern Recognition, 1996., Proceedings of the 13th International Con ference on. - Vol. 2. - 1996. - Pp. 770-774 vol.2.

68. David J. Heeger, James R. Bergen. Pyramid-based texture analy sis/synthesis / / SIGGRAPH '95: Proceedings of the 22nd annual con ference on Computer graphics and interactive techniques. — New York, NY, USA: ACM, 1995. - Pp. 229-238.

69. E.P. Simoncelli, J. Portilla. Texture Characterization via Joint Statis tics of Wavelet Coefficient Magnitudes. — 1998. — Pp. I: 62-66.

70. C. Ballester, M. Bertalmio, V. Caselles et al. Filling-in by joint in terpolation of vector fields and gray levels / / Image Processing, IEEE Transactions on.— 2001. —Vol. 10, no. 8. — Pp. 1200-1211.

71. T. Chan, J. Shen. Local inpainting models and TV inpainting / / SIAM J. Appl. Math. — 2001 . - Vol. 62:3.—Pp. 1019-1043.

72. J. M. Ogden, E. H. Adelson, J. R. Bergen, P. J. Burt. Pyramid-based computer graphics / / RCA Engineer. — 1985. — Vol. 30, no. 5. — Pp. 4-15.

73. G. Davis, S. Mallat, M. Avellaneda. Adaptive greedy approximations // Constructive Approximation.— 1997.— March. — Vol. 13, no. l . - P p . 57-98.

74. Joel A. Tropp. Greed is good: Algorithmic results for sparse approximation // IEEE Trans. Inform. Theory.— 2004.— Vol. 50.— Pp. 2231-2242.

75. Allen Gersho, Robert M. Gray. Vector quantization and signal compression. — Norwell, MA, USA: Kluwer Academic Publishers, 1991.

76. Timothy, Chang Rong-Chi. Super-resolution inpainting // Journal of Zhejiang University - Science A.— 2005. —June. — Vol. 6, no. 6.— Pp. 487-491.

77. S. Shirani, F. Kossentini, R. Ward. A concealment method for video communications in an error-prone environment // Selected Areas in Communications, IEEE Journal on. — 2000. — Vol. 18, no. 6. — Pp. 1122-1128.

78. Плагин для Photoshop от компании Akvis. Интернет-ресурс: http://akvis.com/en/retoucher/index.php.

79. J. Zhang, J. F. Arnold, M. R. Frater. A cell-loss concealment technique for MPEG-2 coded video // Circuits and Systems for Video Technology, IEEE Transactions on. — 2000. — Vol. 10, no. 4. - Pp. 659-665.

80. Проект FPmpeg. Интернет-ресурс: http://ffmpeg.mplayerhq.hu/.

81. В. D. Lucas, Т. Kanade. An Iterative Image Registration Technique with an Application to Stereo Vision // IJCAI81. — 1981. — Pp. 674-679.

82. R. Duda, P.E. Hart, D.G. Stork. Pattern Classification.— 2nd edition. — Wiley-Interscience, 2001.

83. S. Simonyan, K. Grishin, D. Vatolin. Confidence Measure for Block- -Based Motion Vector Field // Proc. Graphicon-2008. — Moscow: 2008.-June.-Pp. 110-113.

84. Jinghong Zheng, Lap-Pui Chau. A motion vector recovery algorithm for digital video using Lagrange interpolation // Broadcasting, IEEE Transactions on. — 2003. — Vol. 49, no. 4. — Pp. 383-389.

85. Donghyung Kim, Sanghyup Cho, Jechang Jeong. A Motion Vector Recovery Algorithm for Temporal Error Concealment using Optical Flow in H.264 Video Coding // Multimedia and Expo, 2006 IEEE International Conference on. — 2006. — Pp. 1713-1716.

86. Библиотека Open Computer Vision Library. Интернет-ресурс: http://sourceforge.net/projects/opencvlibrary/.

87. ITU-T ВТ 500.11. — Methodology for the subjective assessment of the quality of television pictures., 2002.

88. VQEG. — Final report from the VQEG on the validation of objective models of video quality assessment., 2000.

89. ITU-T J.149.— Method for specifying accuracy and cross-calibration of Video Quality Metrics (VQM).

90. Steinmann V. Sunna P. Wyckens E Kozamernik, F. SAMVIQ—A New EBU Methodology for Video Quality Evaluations in Multime dia / / SMPTE motion imaging journal— 2005.— Vol. 114, no. 4.— Pp. 152-160.

91. EBU-UER BNP 056 : SAMVIQ - Subjective Assessment Methodology for Video Quality.

92. Marcus J. Nadenau, David Alleysson, Murat Kunt. Human Vision Models for Perceptually Optimized Image Processing—A Review, / / submitted to Proc. of the IEEE. — 2000. — September.

93. Zhou Wang, Alan C. Bovik, L. Lu. Why is image quality assessment so difficult? / / Proc. IEEE Int. Conf. Acoust., Speech, and Signal Pro cessing. — Vol. 4. — Orlando, FL: 2002. - May. — Pp. 3313-3316.

94. Bernd Girod. What's wrong with mean-squared error? / / Digital im ages and human vision. — 1993. — Pp. 207-220.

95. Zhou Wang, A. C. Bovik, H. R. Sheikh, E. P. Simoncelli. Image qual ity assessment: from error visibility to structural similarity / / Im age Processing, IEEE Transactions on.— 2004.— Vol. 13, no. 4.— Pp. 600-612.

96. М. Н. Pinson, S. Wolf. A new standardized method for objectively measuring video quality // IEEE Transactions on broadcasting. — 2004. — September. - Vol. 50, no. 3. — Pp. 312-322.

97. P. Marziliano, F. Dufaux, S. Winkler, T. Ebrahimi. Perceptual blur and ringing metrics: application to JPEG2000 // Signal Processing: Image Communication.— 2004. — February. — Vol. 19, no. 2.— Pp. 163-172.

98. J. Mannos, D. Sakrison. The effects of a visual fidelity criterion of the encoding of images // Information Theory, IEEE Transactions on. — 1974.- Vol. 20, no. 4 . - Pp. 525-536.

99. H. Rushmeier, G. Ward, C. Piatko et al. Comparing Real and Synthetic Images: Some Ideas About Metrics // Sixth Eurographics Workshop on Rendering. — Dublin, Ireland: 1995. — Pp. 82-91.

100. Ajeetkumar Gaddipatti, Raghu Machiraju, Roni Yagel. Steering Image Generation with Wavelet Based Perceptual Metric // Computer Graph-ics Forum (Eurographics). — 1997. — September. — Vol. Volume 16, no. Number 3 Conference. — Pp. 241-251(11).

101. Gaurav Sharma, Wencheng Wu, Edul N. Dalai. The CIEDE2000 color-difference formula: Implementation notes, supplementary test data, and mathematical observations // Color Research & Application. — 2004. — February. — Vol. 30, no. 1. - Pp. 21-30.

102. M. R. Luo, G. Сиг, B. Rigg. The development of the CIE 2000 colour-difference formula: CIEDE2000 // Color Research & Application.— 2001.- Vol. 26, no. 5 . - Pp. 340-350.

103. Система автоматической оценки качества видео/изображений MSU Video Quality Measurement Tool. Интернет-ресурс: http://www.compression.ru/video/ quali-ty_measure/video_measurement_tool_en.html.