автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Программная система для преобразования частоты кадров цифровых видео сигналов

На правах рукописи

ци-з-""

Гришин Сергей Викторович

Программная система для преобразования

частоты кадров цифровых видео сигналов

05.13.11 - Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук

1 2 Г'Г*П

Москва - 2009

003482888

Работа выполнена на кафедре автоматизации систем вычислительных комплексов факультета вычислительной математики и кибернетики Московского государственного университета имени М.В. Ломоносова.

Научный руководитель:

кандидат физико-математических наук, старший научный сотрудник факультета ВМК МГУ имени М.В. Ломоносова, Ватолин Дмитрий Сергеевич

Официальные оппоненты:

Ведущая организация:

доктор физико-математических наук Галактионов Владимир Александрович

кандидат физико-математических наук Лереберин Антон Валерьевич

Учреждение Российской академии наук Институт вычислительной математики и математической геофизики Сибирского отделения РАН

Защита состоится «_4_» декабря 2009г. в 11 часов на заседании диссертационного совета Д 501.001.44 при Московском государственном университете имени М.В. Ломоносова, расположенном по адресу: 119991, ГСП-1, Москва, Ленинские горы, МГУ, 2-й учебный корпус, факультет ВМиК, аудитория 685.

С диссертацией можно ознакомиться в библиотеке факультета ВМиК МГУ. С текстом автореферата можно ознакомиться на официальном сайте ВМиК МГУ http://cs.msu.ru в разделе «Наука» - «Работа диссертационных советов» - «Д 501.001.44».

Автореферат разослан « » ноября 2009г.

Ученый секретарь диссертационного совета

профессор Трифонов Н.П.

Общая характеристика работы

Актуальность работы. Преобразование частоты кадров (ПЧК) используется при необходимости изменения частоты смены кадров видео сигнала. Такая необходимость возникает в нескольких случаях.

Во-первых, для преобразования между стандартами видео. Наиболее типичным примером является воспроизведение видео с частотой кадров 25 кадров/с на телевизоре с частотой вертикальной развёртки 100 кадр/с и более. Другим примером является необходимость преобразования между двумя широко распространёнными системами телевидения - PAL и NTSC. Система PAL является основной системой цветного телевидения в Европе (кроме Беларуси, Франции и России), Азии, Австралии и ряде стран Африки и Южной Америки. NTSC принята в качестве стандартной системы цветного телевидения в США, Канаде, Японии и ряде стран Северной и Южной Америки. В первой используются частоты 25 и 50 кадров/с, во второй - 30 и 60 кадров/с.

Во-вторых, ПЧК можно использовать при декодировании сжатого видео для восстановления первоначального временного разрешения видео сигнала или повреждённых/потерянных кадров. При кодировании видео с высокими степенями сжатия многие видео кодеки уменьшают разрешение данных не только в пространстве, но и во времени. Иначе говоря, вместо кодирования исходных 30 кадров/с, частота кадров может быть уменьшена до 15 кадров/с. Однако, при воспроизведении видео на стороне декодера весьма желательно получить исходную частоту кадров. Для этого необходим механизм восстановления, в качестве которого может быть использован алгоритм ПЧК.

Кроме этого, ПЧК можно использовать для улучшения визуального качества видео. Частота кадров для видео, снятого например, с мобильного телефона или веб-камеры, составляет, как правило, 15 кадров/с. В этом случае дискретная природа видео (прерывистое движение) заметна для глаз, если в кадре присутствуют движущиеся объекты. Визуальное качество видео может быть значительно повышено путём увеличения частоты кадров.

Существующие алгоритмы ПЧК, обеспечивающее приемлемое визуальное качество, требуют больших вычислительных затрат, что не позволяет их использовать в режиме реального времени и, тем самым, сильно ограничивает их область применения. Помимо этого, недостатком этих алгоритмов является неприемлемый уровень артефактов на видео сценах со сложным движением, характер которого не описывается используемой моделью движения. Таким образом, задача разработки алгоритма ПЧК, необладающего указанными недостатками, является современной актуальной задачей.

Цель диссертационной работы. Целью данной работы является исследование существующих и разработка нового алгоритма преобразования частоты кадров, допускающего его использование в режиме реального време-

ни, а также имеющего уровень артефактов преобразованного видео сигнала ниже или на уровне современных аналогов.

Достижение поставленной цели осуществляется за счет решения следующих задач:

1. Разработка унифицированного критерия точности информации о движении, позволяющего оценивать соответствие векторов движения направлению и скорости реального движения в видео потоке.

2. Исследование существующих и разработка нового алгоритма оценки движения в видео потоке, вычислительно экономного и имеющего более высокую по сравнению с аналогами точность в ровных областях кадра.

3. Исследование существующих и разработка нового алгоритма повышения точности информации о движении, ориентированного для применения в видео сценах со сложным движением.

4. Разработка и реализация программной системы для преобразования частоты кадров видео потока.

Научная новизна. В рамках работ над алгоритмом ПЧК были предложены следующие новые алгоритмы и идеи:

• алгоритм оценки движения (ОД), имеющий более высокую по сравнению с общепризнанными аналогами точность векторов движения в ровных областях и на краях движущихся объектов, при этом вычислительная сложность алгоритма находится на уровне аналогов;

• унифицированный критерий точности информации о движении, который позволяет оценивать степень соответствия найденных параметров движения скорости и направлению реального движения в каждой области кадра;

• алгоритм повышения точности имеющейся информации о движении, позволяющий значительно снизить уровень визуальных артефактов в случаях больших областей в неверно найденными векторами движения, что нехарактерно для современных аналогов с близкой вычислительной сложностью;

• алгоритм поиска и обработки наложений в видео потоке, имеющий более высокую по сравнению с аналогами точность поиска областей наложений и позволяющий находить векторы движения в областях наложений;

Практическая значимость. Все алгоритмы, разработанные в рамках работ над ПЧК, являются новыми и демонстрируют результаты на уровне или выше современных аналогов.

Разработанный алгоритм оценки движения показывает преимущество над наиболее известными и общепризнанными методами E3DRS и FAME по визуальному и объективному (метрика PSNR) критериям. Преимущество предложенного метода подтверждено его использованием в ПЧК, где он также продемонстрировал лучший визуальный и объективный результат. На ранних этапах работы над алгоритмом проводились в рамках контракта с компанией SAIT (Samsung Advanced Institute of Technology) в лаборатории Компьютерной графики и мультимедиа при факультете ВМиК МГУ.

Метод фильтрации векторного поля является универсальным и может быть применён в любых алгоритмах обработки и сжатия видео, использующих информацию о движении. Эффективность разработанного метода подтверждена его использованием в алгоритмах автоматической сегментации и ПЧК. В обоих случаях использование фильтрации векторов позволило заметно повысить интегральное качество работы алгоритма. Прирост качества в обоих случаях подтвержден визуально.

Предложенный метод оценки степени доверия (унифицированный критерий точности информации о движении) найденным векторам движения является частью алгоритма фильтрации векторов, и также универсален. Он может использоваться независимо от алгоритма фильтрации в методах сжатия и обработки видео с целью повышения эффективности использования в них информации о движении. Эффективность разработанного критерия подтверждена на практике использованием его в рамках алгоритма фильтрации векторов в ПЧК.

Предложенный метод поиска и обработки наложений является улучшением алгоритма, предложенного Инсом в 2005 году. Улучшение заключается в повышении точности поиска наложений и добавления метода вычисления векторов движения в областях наложений. Улучшенный алгоритм позволяет добиться более высокого визуального качества за счет уменьшения числа неверно найденных наложений, а также может быть использован в задаче ПЧК благодаря наличию информации о движении для областей наложений.

Разработанный на базе указанных методов алгоритм ПЧК является новым и демонстрирует объективное (по метрике PSNR) и субъективное (согласно экспертной оценке) преимущество над современными аналогами, имея при этом значительно меньшую вычислительную сложность. Схема потока данных алгоритма позволяет использовать параллельную обработку данных, что позволяет добиться более высокой скорости обработки при аппаратной реализации. Работы над этим алгоритмом, включая методы фильтрации векторов и критерия точности информации о движении, проводились в рамках

контрактов с компаниями Samsung Advanced Institute of Technology (SAIT), Real Networks Corp. и Broadcom Corp.

Все разработанные алгоритмы реализованы на языке C/C++ и имеют демонстрационные приложения для ОС Windows.

Апробация работы. Результаты работы докладывались и обсуждались

на:

• 16-й международной конференции по компьютерной графике и машинному зрению «Graphicon-2006», Россия, Новосибирск, 2006;

• 9-м научно-практическом семинаре «Новые информационные технологии в автоматизированных системах», Россия, Москва, 2006;

• 17-й международной конференции по компьютерной графике и машинному зрению «Graphicon-2007», Россия, Москва, 2007;

• 10-м научно-практическом семинаре «Новые информационные технологии в автоматизированных системах», Россия, Москва, 2007;

• 18-й международной конференции по компьютерной графике и машинному зрению «Graphicon-2008», Россия, Москва, 2008;

• международной научной конференции студентов, аспирантов и молодых учёных «Ломоносов-2008»;

• 12-м научно-практическом семинаре «Новые информационные технологии в автоматизированных системах», Россия, Москва, 2009;

• объединенном семинаре но робототехническим системам ИПМ им. М.В. Келдыша РАН, МГУ им. М.В. Ломоносова, МГТУ им. Н.Э. Баумана, ИНОТиИ РГГУ, Россия, Москва, 2009;

Публикации. По теме диссертации имеется 11 публикаций, из них 1 статья в рецензируемом журнале [А1], 6 статей в сборниках трудов конференций [А2, A3, A4, А5, А6, А7], 3 статьи в сборниках тезисов и статей [А8, А9, А10] и 1 статья в сетевом журнале [All],

Структура и объем диссертации. Диссертация состоит из введения, пяти глав, заключения, приложения и списка литературы. Содержание работы изложено на 164 страницах, приложение занимает 7 страниц. Список литературы включает 61 наименование.

Содержание работы

Во Введении обоснована актуальность диссертационной работы, сформулирована цель и аргументирована научная новизна исследований, показана практическая значимость полученных результатов, представлены выносимые на защиту научные положения, описана структура диссертации.

В первой главе представлено описание задачи преобразования частоты кадров (ПЧК), введены основные параметры и термины, рассмотрены три основные под-задачи, определившие архитектуру разработанной программной системы: оценка движения, обработка наложений и маскирование артефактов.

Во второй главо описана задача оценки движения для блочных методов, представлено описание и анализ существующих алгоритмов оценки движения. Описан разработанный алгоритм оценки движения, превосходящий существующие аналоги по объективному качеству и не уступающий им по скорости работы. Представлен сравнительный анализ предложенного алгоритма с существующими подходами с использованием общепринятой методики сравнения на основе метрики PSNR.

В первом параграфе главы рассмотрена постановка задачи оценки движения для блочных методов. Основная идея блочных методов заключается в разбиении кадра на блоки и поиске вектора движения для каждого блока. Поиск осуществляется на основе функции соответствия (меры близости) блоков рассматриваемой пары кадров, примером такой функции является SAD (Sum of Absolute Differences):

SAD(Sij, v, h,t2) = £ II(p, h) - I(p + v, t2)I,

psBij

SAD{Bij,v,t\,t2) - значение SAD, вычисленное для пары кадров 1(h) и I(t<i), блока. Bij кадра 1(h) и вектора v.

Во втором параграфе данной главы представлено описание основных классов блочных методов: методы шаблонного поиска, методы иерархического поиска, методы на основе наборов кандидатов, а также комбинированные методы. Детально рассмотрены некоторые общепризнанные алгоритмы: 3DRS, E3DRS и FAME.

В третьем параграфе описан предложенный алгоритм оценки движения. Новый алгоритм сочетает многие приемы FAME (инерционные кандидаты, мера активности движения, адаптивная стратегия уточнения векторов) с переменным разрешением векторного поля и модифицированной функцией соответствия блоков, призванной повысить точность поиска векторов в ровных областях.

Предложенный метод ОД производит разбиение блоков в тех областях, где это необходимо. При разбиении блок делится на 4 равных под-блока и поиск векторов движения производится для каждого из под-блоков. Этот процесс может повторятся и для под-блоков. Анализируются условия необходимости и успешности разбиения. Первое условие определяет блоки, для которых будет выполнено разбиение на под-блоки и поиск вектора для каждого из под-блоков. Второе условие проверяется, чтобы определить дает ли разбиение улучшение точности векторного поля в данном блоке.

Модифицированная функция соответствия блоков вычисляется по формуле:

F^B,v,t,t- l) =SAD (B,v,t,t~ l) -a(f(v)),

где a(f(v)) - значение, зависящее от числа совпадений вектора v с векторами блоков из локальной окрестности текущего блока. Значение a(f(v)) позволяет скорректировать значение SAD в сторону уменьшения для векторов, которые часто встречаются в локальной окрестности текущего блока, за счет этого повышается точность результирующего векторного поля в ровных областях, где вектора в соседних блоках часто совпадают, а значения SAD (без какой-либо коррекции) не являются хорошим критерием для поиска векторов.

В четвертом параграфе главы представлены результаты сравнительного анализа E3DRS и FAME с разработанным алгоритмом. В сравнении был использован тестовый набор, состоящий из 15 видео последовательностей. Сравнение было проведено по двум методикам: стандартной для методов оценки движения и методике, используемой для сравнения алгоритмов преобразования частоты кадров. Первая методика (методика 1) позволяет оценить точность приближения исходных кадров видео последовательности скомпенсированными, т.е. способность алгоритма оценки движения находить минимум функции соответствия для каждого блока кадра, что важно для применений в области сжатия. Для оценки способности алгоритма оценки движения находить истинные векторы движения, что особенно важно в преобразовании частоты кадров, использовалась вторая методика (методика 2, см. рис. 1).

Вдоль вертикальной оси графика на рис. 1 отложена разница средних значений PSNR методов по сравнению с результатом E3DRS. Легко видеть, что разработанный алгоритм (РАОД) продемонтрировал лучший результат.

Результаты второй главы опубликованы в работах [А8, А10].

В третьей главе описана задача обработки наложений, дана классификация типов наложений, описаны существующие подходы с анализом их положительных и отрицательных характеристик, описан базовый алгоритм, на основе которого построен предложенный метод обработки наложений и представлен сравнительный анализ разработанного алгоритма с существующими

Рис. 1. Разница У-РБИЯ для последовательностей тестового набора относительно результата ЕЗОШЗ: методика 2

с использованием методики на основе метрики РЗИИ.

В первом параграфе главы дано определение понятия наложение и представлена классификация наложений.

Во втором параграфе описаны нескоторые существующие подходы к обработке наложений, проанализированы их достоинства и недостатки.

В третьем параграфе описан базовый метод, на основе которого был разработан предложенный алгоритм.

В четвертом параграфе описывается разработанный алгоритм. Усовер-шенстование базового подхода, предложенного Инсом в 2005 году, заключается в добавлении нескольких этапов для повышения точности поиска наложений на исходных кадрах, разработке спецального метода уточнения маски наложений для интерполированных кадров и алгоритма для вычисления векторов движения в областях наложений. Повышение точности поиска наложений достигается за счет снижения числа ложных срабатываний, которое достаточно велико у базового методав в областях со сложным движением, где часто присутствует большое число неверно найденных векторов.

Число ложных срабатываний уменьшается благодаря анализу значений разработанной меры доверия векторам блоков, лежащих в областях наложений: считается, что наложение в блоке отсутствует, если значение меры доверия вектору в данном блоке выше порога, что говорит о том, что в данном блоке вектор движения был найден достаточно точно. Кроме этого для повышения точности поиска наложений анализируются значения ошибок компенсации для найденных векторов наложений между следующей или предыдущей парой кадров, пара кадров определяется типом наложения. Если значение ошибки компенсации выше порога, вычисляемого адаптивно для каждого блока, то признак наложения сбрасывается в данном блоке, посколь-

Разница ср. зн. Y-PSNR (dB) по последовательностям

' ! 1 1 I 1 k-U-Ц. '

т |

/S t /Л \ J/i

' ! L^ Т i ^^tX. г T \

\ > \

j /

-»-MVF based - —\

---- Базовый алгоритм -е-Без обработки наложений -•■Предложенный алгоритм

m

сд CL

I

>-

I п

а.

и

я zx s

crew flower foreman mar matrix mi mobile mother nba schumache®tefan table tennis

Последовательность

Рис. 2. Изменение качества ПЧК при включении обработки наложений для нескольких алгоритмов обработки наложений

ку вектор был вычислен недостаточно точно. На завершающем этапе маска наложений подвергается морфологической фильтрации.

В пятом параграфе данной главы представлены результаты сравнительного анализа алгоритмов обработки наложений. Тестовый набор видео последовательностей совпадает с набором, использованным при сравнении алгоритмов оценки движения. Эффективность алгоритмов обработки наложений оценивалась на примере их использования в ПЧК. Измерение качества ПЧК было произведено для двух вариантов: без использования и с использованием обработки наложений с помощью одного из методов. В качестве алгоритма ПЧК был использован разработанный метод. В сравнении участвовали следующие алгоритмы: MVF based (предложен Пелаготти в 2001 году), базовый алгоритм и предложенный алгоритм. Результат данного сравнения представлен на рис. 2.

Легко видеть, что обработка наложений методом MVF based и базовым алгоритмом привела к понижению качества ПЧК, в то время, как использование разработанного алгоритма позволило добиться положительного изменения качества (заключенного между ветвями «Предложенный алгоритм» и «Без обработки наложений») на большинстве последовательностей тестового набора.

Результаты третьей главы опубликованы в работах [А7, А2].

В четвертой главе рассматривается задача пост-обработки информации о движении, представлены описание и анализ существующих алгоритмов. Описан разработанный унифицированный критерий точности информации о

движении в видео потоке (мера доверия векторам движения), на основе которого построен новый алгоритм пост-обработки информации о движении, который может применяться в большинстве систем обработки цифрового видео. Приведены результаты анализа эффективности разработанного метода пост-обработки на примере его использования в трех алгоритмах преобразования частоты кадров: двух базовых и предложенном.

В первом параграфе главы описаны некоторые существующие методы пост-обработки информации о движениии проанализированы их характеристики.

Во втором параграфе описан унифицированный критерий точности (мера доверия) £(В, и, ¿1,^2) векторов движения, он вычисляется по формуле:

{(В, V,¿1,42) = тах(ш1 • С:(В, V, Ь, *2) + ш2 • С2(В, 4), о).

Чем выше значение £(В,?7), тем выше точность найденного вектора. Первая компонента Су{В, V, ¿1^2) меры зависит от ошибки компенсации Р(В, V, ¿1,42) вектора г> в блоке В. Вторая компонента С2(В, ¿) меры определяется характером векторного поля в локальной окрестности текущего блока. Ее значение тем выше, чем больше в локальной окрестности блока В векторов, близких к вектору V. Значения веса и)1 вычисляется адаптивно для каждого блока и зависит от дисперсии значений яркости этого блока: чем она выше, тем значение и)1 ближе к 1. Таким образом, для блоков с сильно выраженной текстурой первая компонента будет учитываться с большим весом, и наоборот, в ровных областях в первую очередь будет учитываться вторая компонента. Такой способ вычисления меры доверия векторам делает ее универсальной в смысле применимости как в текстурированных, так и в ровных областях кадра.

В третьем параграфе данной главы описан первый этап разработанного алгоритма повышения точности информации о движении - метод фильтрации информации о движении исходных кадров, который применяется к векторным полям, вычисленным на этапе оценки движения. Фильтрация выполняется иерархически от максимального к минимальному размеру блоков, поэтому алгоритм получил название иерархической фильтрации (ИФ). По аналогии с оценкой движения производится анализ условий необходимости и успешности разбиения блоков, однако в данномслучае в условиях участвует мера доверия векторам. На основе меры доверия также определяются блоки с неверно найденными векторами, для которых производится поиск более точных векторов, и, в случае неудачи этого поиска, выполняется попытка разбиения.

Алгоритм ИФ является универсальным и может быть использован не только в задаче ПЧК, но и во многих других задачах обработки цифровых

видео сигналов.

В четвертом параграфе описывается второй этап разработанного алгоритма пост-обработки информации о движении - метод фильтрации информации о движении интерполированных кадров. Данный алгоритм предназначен непосредственно для использования в задаче ПЧК. Фильтрация выполняется в два этапа: инициализация векторного поля и фильтрация. На этапе инициализации производится вычисление векторного минимального разрешения для интерполированного кадра (ИК): вектор движения вычисляется для каждого блока максимального размера на ИК. На этапе фильтрации производится поиск всех блоков минимального размера на ИК, вектора движения в которых имеют меру доверия ниже порога. Затем для таких блоков выполняется поиск (на основе меры доверия) более точного вектора. Для блоков, в которых не удалось найти достаточно точных векторов движения, производится попытка обработки наложений. Обработка наложений осуществляется согласно разработанному алгоритму, описанному в 3-й главе диссертации.

Таким образом, на данном этапе обработка производится для двух размеров блоков: минимального и максимального, поэтому этот алгоритм получил название псевдо-иерархической фильтрации (ПИФ). Обработка блоками максимального размера позволяет повысить точность векторного поля в ровных областях, в то время как, обработка на уровне блоков минимального размера повышает точность векторного поля на границих объектов и в детализованных областях.

В пятом параграфе данной главы проводится анализ эффективности разработанных алгоритмов фильтрации векторного поля. Оценка эффективности была произведена для нескольких алгоритмов ПЧК: разработанного алгоритма (РАПЧК), метода MCA (Motion-Compensated Averaging) и DM (Dynamic Median). Качество ПЧК было измерено для всех алгоритмов ПЧК в двух вариантах: без использования и с использованием фильтрации векторных полей.

По оси ординат графика на рис. 3 отложена разница результата с использованием фильтрации и без нее (Б.Ф.) для каждого алгоритма ПЧК. Для разработанного алгоритма изменение качества было измерено для варианта только с ИФ (РАПЧК+ИФ) и варианта с фильтрацией ВП исходных и интерполированных кадров (РАПЧК+ИФ+ПИФ). Легко видеть, что использование фильтрации положительным образом повлияло на результаты всех алгоритмов ПЧК.

Результаты четвертой главы опубликованы в работах [А9, А6, А1].

В пятой главе даны описание и анализ существующих алгоритмов преобразования частоты кадров, описан новый алгоритм, разработанный на базе методов, описанных в предыдущих главах, а также других инновационных подходов и идей. Представлены результаты сравнительного анализа разрабо-

Разница ср. зн. У-РБМЗ (дБ) по последовательностям

Рис. 3. Изменение объективного качества ПЧК (У-РЭШ!) при использовании фильтрации информации о движении

тайного алгоритма ПЧК с 10 существующими подходами.

В первом параграфе главы представлены ретроспектива области ПЧК и обзор методов маскирования артефактов. Гибридные методы ПЧК рассмотрены на примере алгоритма из работы Жанга 2008 года, который использует двустороннюю оценку движения с вычислением векторов движения на пиксельном уровне и обработку наложений.

Во втором параграфе главы описан новый алгоритм преобразования частоты кадров. Подробно описывается способ взаимодействия всех разработанных методов в рамках разработанного алгоритма. На основе данного алгоритма реализована программная система, упрощенная схема которой представлена на рис. 4.

В третьем параграфе представлены результаты сравнительного анализа разработанного алгоритма ПЧК с 10 существующими подходами, который включает визуальное сравнение, сравнение по общепризнанной методике на основе РЭХН, сравнение на основе экспертной оценки и сравнение по скорости обработки.

Результат сравнения по общепризнанной методике всех методов, кроме гибридных, продемонстрирован на рис. 5. По вертикальной оси отложена разница результата каждого метода по сравнению с результатом БМ. Разработанный алгоритм тестировался в режиме переменного размера блоков 4x4-16x16. Легко видеть, что он продемонстрировал лучший результат на большинстве последовательностей.

Результаты экспертного сравнения, проведенного по методике вАМУЩ

Поиск областей наложений

Для каждого £ Вычисление векторного поля интерполированного / интерполированного кадра кадра (и к) "

Оценка движения и пост-обработка векторов Обработка наложений тт« Маскирование артефактов

Рис. 4. Упрощенная блок-схема разработанной системы ПЧК

-»-DM

Dynapel -^-FR

---MCA

^"РАПЧК -e— Retlmer -▼-ТА -в-Twixtor

ags bus crew flowerforeman mar matrix ml mobile mother nbschumachetefan table tennis

Последовательность

Рис. 5. Разница У-РЭЖ для последовательностей тестового набора относительно результата БМ

Результат экспертного сравнения

_ 9 8.57 .................

i:*-—- ......-

s в —^т----------------------------------------------------------------------

S s ------AS0---------------------

о* —^Н...............шш.................3.36............................................—

........■ ... ■ в .....................

III■■

а

и Эталон MSU Twixtor Dynapel Retimer

Название метода

Рис. 6. Результат сравнения по методике SAMVIQ

(Subjective Assessment Method for Video Quality Evaluation), продемонтриро-ваны на рис. 6.

Результаты экспертной оценки подтвердили результат сравнения с использованием Y-PSNR, однако преимущество разработанного алгоритма по сравнению с методом Twixtor больше сравнении по методике SAMVIQ. Это лишний раз подтверждает несовершенство метрики PSNR (согласно которой результаты РАПЧК и Twixtor практически одинаковы).

Результаты сравнения доказали, что разработанная система позволяет добиться лучшего визуального качества (средняя экспертная оценка), объективное качество (по метрике PSNR) - немного выше уровня существующих аналогов, при этом скорость системы в несколько раз выше скорости работы ближайших по качеству аналогов.

Результаты пятой главы опубликованы в работах [А2, All, A3, A4, А5, А1].

В Заключении описываются основные результаты работы.

В приложении А представлены таблицы, содержащие результаты сравнений алгоритмов оценки движения, обработки наложений, пост-обработки информации о движении и преобразования частоты кадров.

В приложении Б приведены визуальные примеры работы алгоритмов ПЧК на последовательностях foreman и table.

Основные результаты работы заключаются в следующем:

1. Разработан новый унифицированный критерий точности информации о движении в видео потоке, который может успешно использоваться во многих системах обработки цифрового видео,

2. Разработан новый алгоритм для вычисления информации о движении в видео потоке, превосходящий существующие аналоги по объективному

качеству, и не уступающий им по скорости работы.

3. Разработан новый алгоритм для повышения точности найденной информации о движении в видео потоке, который может с успехом применяться в большинстве систем обработки цифрового видео.

4. На основе разработанных алгоритмов создана программная система преобразования частоты кадров видео потока, не уступающая по визуальному и объективному качеству известным аналогам, но намного превосходящая их по скорости работы.

Список публикаций

[Al] C.B. Гришин, Д.С. Ватолин. Быстрый алгоритм преобразования частоты кадров // Программные продукты и системы,— 2009. — Июнь. - Т. 2. - С. 159-163.

[А2] C.B. Гришин, Д. С. Ватолин. Алгоритм N-кратного увеличения частоты кадров видео на основе пиксельной компенсации движения с обработкой наложений // Труды конференции Graphicon-2006. — Новосибирск, Академгородок, Россия: 2006. —Июль. — С. 112-119.

[A3] C.B. Гришин, Д.С. Ватолин. Алгоритм преобразования частоты кадров на основе интерполяции скомпенсированных кадров // Материалы девятого научно-практического семинара "Новые информационные технологии в автоматизированных системах". — Москва: 2006.— Март. - С. 32-46.

[A4] C.B. Гришин, Д.С. Ватолин. Быстрый алгоритм построения промежуточных кадров для многоракурсных стерео дисплеев // Материалы десятого научно-практического семинара "Новые информационные технологии в автоматизированных системах". — 2007. — С. 31-37.

[А5] C.B. Гришин, Д.С. Ватолин. Метод повышения эффективности временной сегментации видео на сценах с медленным движением // Труды конференции Graphicon-2007. — Москва, Россия: 2007.— Июнь.— С. 253-256.

[А6] К. Simonyan, S. Grishin, D. Vatolin. Confidence Measure for Block-Based Motion Vector Field 11 Proc. Graphicon-2008. - Moscow: 2008,-June.-Pp. 110-113.

[А7] C.B. Гришин, К. А. Симонян, Д. С. Ватолин. Алгоритм вычисления параметров наложений для задачи преобразования частоты кадров цифровых видеосигналов // Материалы двенадцатого научно-практического семинара "Новые информационные технологии в автоматизированных системах". — Москва: 200.9. — Март. — С. 19-29.

[А8] К. Симонян, С. Гришин, Д. Ватолин. Адаптивный метод оценки движения в видео // Сборник статей молодых ученых факультета ВМиК МГУ.- 2008.-Т. 5.-С. 112-119.

[А9] К. Симонян, С. Гришин. Метрика доверия векторам движения видео потока // Сборник тезисов XV Международной научной конференции студентов, аспирантов и молодых учёных "Ломоносов-2008 ". — 2008.-Апрель.-С. 79.

[А10] C.B. Гришин, Д.С. Ватолин, A.C. Лукин и др. Обзор блочных методов оценки движения в цифровых видео сигналах // Тематический сборник "Программные системны и инструменты", — 2008.—Декабрь.— Т. 9.-С. 50-62.

[All] C.B. Гришин, Д.С. Ватолин. Обзор методов преобразования частоты кадров видео // Сетевой журнал «Компьютерная графика и мультимедиа».— 2006.— № 2. http://www.cgm.computergraphics.ru/ conteiit/view/111.

Напечатано с готового оригинал-макета

Издательство ООО "МАКС Пресс" Лицензия ИД N 00510 от 01.12.99 г. Подписано к печати 28.10.2009 г. Формат 60x90 1/16. Усл.печл. 1,0. Тираж 100 экз. Заказ 588. Тел. 939-3890. Тел./факс 939-3891 119992, ГСП-2, Москва, Ленинские горы, МГУ им. М.В. Ломоносова, 2-й учебный корпус, 627 к.

Введение

Глава 1. Архитектура системы преобразования частоты кадров

1.1. Постановка задачи преобразования частоты кадров

1.2. Специфика задачи и архитектура системы.

1.3. Выводы.

Глава 2. Оценка движения.

2.1. Задача оценки движения

2.1.1. Постановка задачи оценки движения для блочных методов.

2.2. Обзор алгоритмов оценки движения.

2.2.1. Базовые методы

Алгоритм полного перебора

Алгоритмы шаблонного поиска

Алгоритмы иерархического поиска

Алгоритмы, использующие векторы-кандидаты

2.2.2. Комбинированные методы

Алгоритм E3DRS

Алгоритм FAME.

2.3. Разработанный алгоритм оценки движения

2.3.1. Обработка блока.

Формирование набора векторов-кандидатов

Обработка набора векторов кандидатов.

Уточнение

2.3.2. Обработка под-блоков.

Условие необходимости разбиения блока

Условие успешности разбиения блока.

2.4. Сравнительный анализ алгоритмов оценки движения

Можно говорить о двух революциях в телевидении. Первая началась в 1954 году, когда впервые было начато вещание цветного телевизионного сигнала. В течение последующих 30 лет черно-белое вещание практически прекратилось. Вторая революция началась в 1998, когда было начато вещание цифрового видео. На данный момент цифровое видео широко распространено, в основном благодаря спутниковому, кабельному и домашнему телевидению, а па территории США аналоговое вещание видео планируется прекратить уже в 2009 году. Наиболее распространёнными вариантами использования цифрового видео сегодня являются цифровые фото и видео камеры, различные типы оптических носителей (VCD, DVD, Blu-Ray), телевизоры на жидких кристаллах (ЖК), цифровые проекционные системы и плазменные панели. И, наконец, последним витком эволюции цифрового видео можно считать рост популярности его использования в интернете и мобильных устройствах, вплоть до сотовых телефонов. Абсолютно во всех этих случаях используются алгоритмы обработки и сжатия видео.

Широкое распространение цифрового видео обусловило появление большого количества форматов, отличающихся друг от друга многими параметрами. Одним из таких параметров являются временное разрешение или частота кадров. Этот параметр определяет скорость смены кадров при воспроизведении видео и измеряется в кадрах в секунду. Как показывает практика, человеческий глаз очень чувствителен к этой характеристике видео. При малых значениях скорости кадров (<15 кадров/с) человек может различать отдельные кадры в потоке, т.е. становится заметна на глаз дискретная природа видео. При просмотре такого видео в течение продолжительного периода времени могут появиться неприят

I 1 ные ощущения, например головная боль. В телевизорах с диагональю экрана 72 см и выше при смене кадров с частотой 50 кадров/с становится заметно мерцание изображения, что может приводить к утомлению глаз и к ухудшению зрения. Эти факты говорят о том, что частота кадров является крайне важной характеристикой видео и средства для ее изменения весьма востребованы.

Актуальность работы. Преобразование частоты кадров (ПЧК) используется при необходимости изменения частоты смены кадров видео сигнала. Такая необходимость возникает в нескольких случаях.

Во-первых, для преобразования между стандартами видео. Наиболее типичным примером является воспроизведение видео с частотой кадров 25 кадров/с на телевизоре с частотой вертикальной развёртки 100 кадр/с и более. Другим примером является необходимость преобразования между двумя широко распространёнными системами телевидения - PAL и NTSC. Система PAL является основной системой цветного телевидения в Европе (кроме Беларуси, Франции и России), Азии, Австралии и ряде стран Африки и Южной Америки. NTS С принята в качестве стандартной системы цветного телевидения в США, Канаде, Японии и ряде стран Северной и Южной Америки. В первой используются частоты 25 и 50 кадров/с, во второй - 30 и 60 кадров/с.

Во-вторых, ПЧК можно использовать при декодировании сжатого видео для восстановления первоначального временного разрешения видео сигнала или повреждённых/потерянных кадров. При кодировании видео с высокими степенями сжатия многие видео кодеки уменьшают разрешение данных не только в пространстве, но и во времени. Иначе говоря, вместо кодирования исходных 30 кадров/с, частота кадров может быть уменьшена до 15 кадров/с. Однако, при воспроизведении видео на стороне декодера весьма желательно получить исходную частоту кадров.

Для этого необходим механизм восстановления, в качестве которого может быть использован алгоритм ПЧК.

Кроме этого, ПЧК можно использовать для улучшения визуального качества видео. Частота кадров для видео, снятого например, с мобильного телефона или веб-камеры, составляет, как правило, 15 кадров/с. В этом случае дискретная природа видео (прерывистое движение) заметна для глаз, если в кадре присутствуют движущиеся объекты. Визуальное качество видео может быть значительно повышено путём увеличения частоты кадров.

Существующие алгоритмы ПЧК, обеспечивающее приемлемое визуальное качество, требуют больших вычислительных затрат, что не позволяет их использовать в режиме реального времени и, тем самым, сильно ограничивает их область применения. Помимо этого, недостатком этих алгоритмов является неприемлемый уровень артефактов на видео сценах со сложным движением, характер которого не описывается используемой моделью движения. Таким образом, задача разработки алгоритма ПЧК, необладающего указанными недостатками, является современной актуальной задачей.

Цель диссертационной работы. Целью данной работы является исследование существующих и разработка нового алгоритма преобразования частоты кадров, допускающего его использование в режиме реального времени, а также имеющего уровень артефактов преобразованного видео сигнала ниже или на уровне современных аналогов.

Достижение поставленной цели осуществляется за счет решения следующих задач:

1. Разработка унифицированного критерия точности информации о движении, позволяющего оценивать соответствие векторов движения направлению и скорости реального движения в видео потоке.

2. Исследование существующих и разработка нового алгоритма оценки движения в видео потоке, вычислительно экономного и имеющего более высокую по сравнению с аналогами точность в ровных областях кадра.

3. Исследование существующих и разработка нового алгоритма повышения точности информации о движении, ориентированного для применения в видео сценах со сложным движением.

4. Разработка и реализация программной системы для преобразования частоты кадров видео потока.

Научная новизна. В рамках работ над алгоритмом ПЧК были предложены следующие новые алгоритмы и идеи:

• алгоритм оценки движения (ОД), имеющий более высокую по сравнению с общепризнанными аналогами точность векторов движения в ровных областях и на краях движущихся объектов, при этом вычислительная сложность алгоритма находится на уровне аналогов;

• унифицированный критерий точности информации о движении, который позволяет оценивать степень соответствия найденных параметров , движения скорости и направлению реального движения в каждой области кадра;

• алгоритм повышения точности имеющейся информации о движении, позволяющий значительно снизить уровень визуальных артефактов в случаях больших областей в неверно найденными векторами движения, что нехарактерно для современных аналогов с близкой.вычислительной сложностью;

• алгоритм поиска и обработки наложений в видео потоке, имеющий более высокую по сравнению с аналогами точность поиска областей наложений и позволяющий находить векторы движения в областях наложений;

Практическая значимость. Все алгоритмы, разработанные в рамках работ над ПЧК, являются новыми и демонстрируют результаты на уровне или выше современных аналогов.

Разработанный алгоритм оценки движения показывает преимущество над наиболее известными и общепризнанными методами E3DRS и FAME по визуальному и объективному (метрика PSNR) критериям. Преимущество предложенного метода подтверждено его использованием в ПЧК, где он также продемонстрировал лучший визуальный и объективный результат. На ранних этапах работы над алгоритмом проводились в рамках контракта с компанией SAIT (Samsung Advanced Institute of Technology) в лаборатории Компьютерной графики и мультимедиа при факультете ВМиК МГУ.

Метод фильтрации векторного поля является универсальным и может быть применён в любых алгоритмах обработки и сжатия видео, использующих информацию о движении. Эффективность разработанного j метода подтверждена его использованием в алгоритмах автоматической сегментации и ПЧК. В обоих случаях использование фильтрации векторов позволило заметно повысить интегральное качество работы алгоритма. Прирост качества в обоих случаях подтвержден визуально.

Предложенный метод оценки степени доверия (унифицированный критерий точности информации о движении) найденным векторам движения является частью алгоритма фильтрации векторов, и также универсален. Он может использоваться независимо от алгоритма фильтрации в методах сжатия и обработки видео с целью повышения эффективности использования в них информации о движении. Эффективность разработанного критерия подтверждена на практике использованием его в рамках алгоритма фильтрации векторов в ПЧК.

Предложенный метод поиска и обработки наложений является улучшением алгоритма, предложенного Инсом в 2005 году. Улучшение заключается в повышении точности поиска наложений и добавления метода вычисления векторов движения в областях наложений. Улучшенный алгоритм позволяет добиться более высокого визуального качества за счет уменьшения числа неверно найденных наложений, а также может быть использован в задаче ПЧК благодаря наличию информации о движении для областей наложений.

Разработанный на базе указанных методов алгоритм ПЧК является новым и демонстрирует объективное (по метрике PSNR) и субъективное (согласно экспертной оценке) преимущество над современными аналогами, имея при этом значительно меньшую вычислительную сложность. Схема потока данных алгоритма позволяет использовать параллельную обработку данных, что позволяет добиться более высокой скорости обработки при аппаратной реализации. Работы над этим алгоритмом, включая методы фильтрации векторов и критерия точности информации о движении, проводились в рамках контрактов с компаниями Samsung Advanced Institute of Technology (SAIT), Real Networks Corp. и Broadcom Corp.

Все разработанные алгоритмы реализованы на языке C/C++ и имеют демонстрационные приложения для ОС Windows.

Апробация работы. Результаты работы докладывались и обсуждались на:

• 16-й международной конференции по компьютерной графике и машинному зрению «Graphicon-2006», Россия, Новосибирск, 2006;

• 9-м научно-практическом семинаре «Новые информационные технологии в автоматизированных системах», Россия, Москва, 2006;

• 17-й международной конференции по компьютерной графике и машинному зрению «Graphicon-2007», Россия, Москва, 2007;

• 10-м научно-практическом семинаре «Новые информационные технологии в автоматизированных системах», Россия, Москва, 2007;

• 18-й международной конференции по компьютерной графике и машинному зрению «Graphicon-2008», Россия, Москва, 2008;

• международной научной конференции студентов, аспирантов и молодых учёных «Ломоносов-2008»;

• 12-м научно-практическом семинаре «Новые информационные технологии в автоматизированных системах», Россия, Москва, 2009;

Публикации. По теме диссертации имеется 11 публикаций, из них 1 статья в рецензируемом журнале [1], 6 статей в сборниках трудов конференций [2-7], 3 статьи в сборниках тезисов и статей [8-10] и 1 статья в сетевом журнале [11].

Структура и объем диссертации. Диссертация состоит из введения, пяти глав, заключения, приложения и списка литературы. Содержание работы изложено на 164 страницах, приложение занимает 7 страниц. Список литературы включает 61 наименование.

Основные результаты работы состоят в следующем:

1. Разработан новый унифицированный критерий точности информации о движении в видео потоке, который может успешно использоваться во многих системах обработки цифрового видео.

2. Разработан новый алгоритм для вычисления информации о движении в видео потоке, превосходящий существующие аналоги по объективному качеству, и не уступающий им по скорости работы.

3. Разработан новый алгоритм для повышения точности найденной информации о движении в видео потоке, который может с успехом применяться в большинстве систем обработки цифрового видео.

4. На основе разработанных алгоритмов создана программная система преобразования частоты кадров видео потока, не уступающая по визуальному и объективному качеству известным аналогам, но намного превосходящая их по скорости работы.

Благодарности

Автор выражает благодарность научному руководителю Д.С. Вато-лину за содействие, полезные советы и идеи, в процессе научной работы, заведующему лабораторией Компьютерной Графики и Мультимедиа при факультете ВМК МГУ Ю.М. Банковскому за помощь и поддержку в процессе подготовки данной работы. Автор особенно признателен выпускнику факультета ВМК К.А. Симоняну за помощь в разработке и реализации алгоритма оценки движения, а также активное участие в обсуждении идей и алгоритмов, ставших основой результатов данной работы. Также хочу поблагодарить весь коллектив лаборатории Компьютерной Графики и Мультимедиа за дружескую атмосферу, особенно Д.Л. Куликова и К.Н. Стрельникова за личный пример и моральную поддержку, без которых завершение данной работы откладывалось бы еще ни раз.

Заключение

1. С.В. Гришин, Д. С. Ватолин. Быстрый алгоритм преобразования частоты кадров // Программные продукты и системы. — 2009. — Июнь. — Т. 2. - С. 159-163.

2. С. В. Гришин, Д. С. Ватолин. Алгоритм N-кратного увеличения частоты кадров видео на основе пиксельной компенсации движения с обработкой наложений // Труды конференции Graphicon-2006. — Новосибирск, Академгородок, Россия: 2006. — Июль. — С. 112-119.

3. С. В. Гришин, Д. С. Ватолин. Быстрый алгоритм построения промежуточных кадров для мпогоракурсных стерео дисплеев // Материалы десятого научно-практического семинара "Новые информационные технологии в автоматизированных системах". — 2007. — С. 31-37.

4. С.В. Гришин, Д. С. Ватолин. Метод повышения эффективности временной сегментации видео на сценах с медленным движением // Труды конференции Graphicon-2007. — Москва, Россия: 2007. — Июнь. С. 253-256.

5. К. Simonyan, S. Grishin, D. Vatolin. Confidence Measure for Block-Based Motion Vector Field // Proc. Graphicon-2008. — Moscow: 2008. —June. —Pp. 110-113.

6. К. Симонян, С. Гришин, Д. Ватолин. Адаптивный метод оценки движения в видео // Сборник статей молодых ученых факультета ВМиК МГУ. 2008. - Т. 5. - С. 112-119.

7. К. Симоняи, С. Гришин. Метрика доверия векторам движения видео потока // Сборник тезисов XV Международной научной конференции студентов, аспирантов и молодых учёных "JIomoho-сов-2008 ". 2008. — Апрель. — С. 79.

8. С.В. Гришин, Д. С. Ватолин, А. С. Лукин и др. Обзор блочных методов оценки движения в цифровых видео сигналах // Тематический сборник "Программные системы и инструменты".— 2008.— Декабрь. — Т. 9. С. 50-62.

9. С. В. Гришин, Д. С. Ватолин. Обзор методов преобразования частоты кадров видео // Сетевой журнал «Компьютерная графика и мультимедиа».— 2006.— № 2. http://www.cgm. computergraphics.ru/content/view/lll.

10. R. L. Lagendijk, М. I. Sezan. Motion compensated frame rate conversion of motion pictures // Proc. of the IEEE International Conference on Acoustics, Speech, and Signal Processing. — Vol. III. — San Francisco, CA, USA: 1992.-March.—Pp. 453-456.

11. S. Zhu, К. K. Ma. A new diamond search algorithm for fast blockmatch-ing motion estimation // IEEE Trans. Image Processing.— Vol. 9.— 2000. — February. — P. 287-290.

12. F. Lopes, M. Ghanbari. Hierarchical motion estimation with spatial transforms // Proceedings of IEEE International Conference on Image Processing. — Vol. 2. — Vancouver, ВС, Canada: 2000. — Pp. 558-561.

13. Tae Gyoung Ahn, Yong Ho Moon, Jae Ho Kim. Fast Full-Search Motion Estimation Based on Multilevel Successive Elimination Algorithm // IEEE Transactions on Circuits and Systems for Video Technology. — Vol. 14. — 2004. — November. Pp. 1265- 1269.

14. Xuan Jing, Lap-Pui Chau. An Efficient Three-Step Search Algorithm for Block Motion Estimation // IEEE Transactions on Multimedia. — Vol. 6. — 2004. — June. — Pp. 435 438.

15. G. de Haan, P.W.A.C Biezen, H. Huijgen, O.A. Ojo. TYue Motion Estimation with 3-D Recursive Search Block-Matching // IEEE Transactions on Circuits and Systems for Video Technology. — Vol. 3. — 1993. — October. — Pp. 368-388.

16. S. Olivieri, L. Albani, G. de Haan. A low-complexity motion estimation algorithm for H.263 video coding // Proc. Philips Conf. on Digital Signal Processing. — Veldhoven (NL): 1999. — November.— P. paper 17.3.

17. P. I. Hosur, К. K. Ma. Motion vector field adaptive fast motion estimation // IEEE Transactions on Image Processing. — 2001. — February. — Pp. 242-251.

18. A.M. Tourapis, С. Au Oscar, L. Liou Ming. Predictive Motion Vector Field Adaptive Search Technique (PMVFAST) Enhancing Block Based Motion Estimation // Optimization Model 1.0, in ISO/IEC JTC1/SC29/WG11 MPEG2000/M6194. — 2001. — Pp. 883-892.

19. A.M. Tourapis, O.C. Au, M.L. Liou. Highly efficient predictive zonal algorithms for fast block-matching motion estimation // IEEE Transactions on Circuits and Systems for Video Technology. — Vol. 12. — 2002. October. — Pp. 934-947.

20. K.K. Ma, P.I. Hosur. Performance Report of Motion Vector Field Adaptive Search Technique (MVFAST): Tech. rep. — Noordwijkerhout, NL: ISO/IEC JTC1/SC29/WG11 MPEG99/m5851, 2000.-March.

21. Ishfaq Ahmad, Weiguo Zheng, Jiancong Luo, Ming Liou. A Fast Adaptive Motion Estimation Algorithm // IEEE Transactions on Circuits and Systems for Video Technology.— Vol. 16.— 2006. —March.— Pp. 420-438.

22. S. Ince, J. Konrad. Geometry-based estimation of occlusions from video frame pairs // Proc. IEEE Int. Conf. Acoustics Speech Signal Processing. Vol. 2. - 2005. - Pp. 11/933- 11/936.

23. A. Pelagotti, G. de Haan. High quality picture rate up-conversion for video on TV and PC // Proceedings of IEEE ICIP'2001.- 1999,-Pp. 375-378.

24. A. Pelagotti, G. de Haan. A New Algorithm for High Quality Video Format Conversion // Proceedings of the International Conference on Image Processing. — Thessaloniki, Greece: 2001. — October. — Pp. 375-378.

25. Y.-K. Chen, A. Vetro, H. Sun, S. Y. Kung. Frame-rate up-conversion using transmitted true motion vectors // Proc. IEEE Second Workshop on Multimedia Signal Processing. — 1998. — December. — Pp. 622-627.

26. Soo-Chul Han, John W. Woods. Frame-rate Up-conversion Using Transmitted Motion and Segmentation Fields for Very Low Bit-rate Video Coding // IEEE International Conference on Image Processing. — Vol. 1. 1997. — October. - Pp. 747-750.

27. Ravi Krishnamurthy, John W. Woods, Piere Moulin. Frame Interpolation and Bidirectional Prediction of Video using Compactly-Encoded Optical Flow Fields and Label Fields // IEEE Trans. Circ. Syst. Video Tech. Vol. 9. - 1999. - August. - Pp. 713-726.

28. K. Hariharakrishnan, D. Schonfeld. Fast object tracking using adaptive block matching // IEEE Transactions on Multimedia. — Vol. 7. — 2005. Pp. 853-859.

29. Martial Hebert Andrew Stein. Local detection of occlusion boundaries in video // British Machine Vision Conference.— Vol. 1,— 2006.— September. P. 407-416.

30. Andrew Stein, Martial Hebert. Combining Local Appearance and Motion Cues for Occlusion Boundary Detection // British Machine Vision Conference. — 2007. — September.

31. Shan Liu, Jong Won Kim, C.-C. Jay Kuo. Non-Linear Motion-Compensated Interpolation for Low Bit Rate Video // Proceedings of SPIE, the1.ternational Society for Optical Engineering. — San Diego, CA: 2000. — July. Pp. 203-213.

32. Emilio Antunez. Low-cost Temporal Interpolation of Video Frames // Image Communication II. — 2002. — May.

33. R. Castagno, P. Haavisto, G. Ramponi. A Method for Motion Adaptive Frame Rate Up-Conversion // Proc. IEEE Transactions on circuits and Systems for Video Technology. — Vol. 6. — 1996. — October.

34. Byung-Tae Choi, Sung-Hee Lee, Sung-Jea Ко. New frame rate up-con-version using bi-directional motion estimation // Consumer Electronics, IEEE Transactions on. — 2000. — Vol. 46, no. 3. — Pp. 603-609.

35. M. E. Al-Mualla. Motion field interpolation for frame rate conversion // Circuits and Systems, 2003. ISCAS '03. Proceedings of the 2003 International Symposium on. — Vol. 2. — 2003. — Pp. II-652-II-655 vol.2.

36. P. J. Burt, E. H. Adelson. The laplacian pyramid as a compact image code // IEEE Trans. Communications.— Vol. 31.— 1983.—April.— Pp. 532-540.

37. Bo-Won Jeon, Gun-Ill Lee, Sung-Hee Lee, Rae-Hong Park. Coarse-to-fine frame interpolation for frame rate up-conversion using pyramid structure // Consumer Electronics, IEEE Transactions on.— 2003.— Vol. 49, no. 3. Pp. 499-508.

38. О. А. О jo, G. DeHaan. Robust motion-compensated video upconver-sion // Proc. IEEE Transactions on. Consumer Electronics. — Vol. 43. — 1997. — November. — Pp. 1045-1056.

39. P. Haavisto, J. Juhola, Y. Neuvo. Fractional frame rate up-conversion using weighted median filters // Consumer Electronics, IEEE Transactions on. — 1989. — Vol. 35, no. 3. — Pp. 272-278.

40. Dong- Wook Kim, Jin- Tae Kim, In-Ho Ra, Yeon-Sung Choi A new video interpolation technique based on motion-adaptive subsampling // Consumer Electronics, 1999. ICCE. International Conference on. — 1999. — Pp. 370-371.

41. G. J. Tonge. Image processing for higher definition television // IEEE Trans. Circuits and Systems.— Vol. CAS-34.— 1987.— November. — Pp. 1385-1398.

42. G. de Haan, P. W.A.C Biezen, H. Huijgen, O.A. О jo. Graceful Degradation in Motion Compensated Field-Rate Conversion // Signal Processing of HDTV. Elsevier: 1994. - Pp. 249-256.

43. Tien-ying Kuo, Jong Won Kim, C.-C. Jay Jay Kuo. Motion-Compensated Frame Interpolation Scheme for H.263 Codec // ISCAS 99.— Vol. 4. — Orlando, FL, USA: 1999. July. - Pp. 491-494.

44. E. Kumar, M. Biswas, T.Q. Nguyen. Global Motion Estimation in Frequency and Spatial Domain // IEEE International Conference on Speech, Acoustics, and Signal Processing. — Vol. 3. — 2004. — March. — Pp. iii 333-6.

45. Tao Chen. Adaptive temporal interpolation using bidirectional motion estimation and compensation // Proc. of International Conference on Image Processing. — Vol. 2. — 2002. — Pp. II-313-II-316 vol.2.

46. Sung-Hee Lee, Yoon-Cheol Shin, Seungjoon Yang et al. Adaptive motion-compensated interpolation for frame rate up-conversion // Consumer Electronics, IEEE Transactions on. — Vol. 48. — 2002. — Pp. 444-450.'

47. J. Zhai, K. Yu, J. Li, S. Li. A low complexity motion compensated frame interpolation method // Proc. ISCAS. — Vol. 5. — 2005. — May. — P. 4927-4930.

48. T. Y. Кио, С. C. J. Kuo. Complexity reduction for overlapped block molion compensation (OBMC) // Proc. SPIE Visual Communication and Image Processing. — Vol. 3024. — 1997. — February. — Pp. 303-314.

49. Video Coding for Low Bit Rate Communication, ITU-T Recommendation H.263 Version 2. 1998.

50. Generic coding of Audio-Visual Objects (Part 2: Visual), ISO/IEC JTC1/SC29/WG11 N2553.- 1998.

51. Yi-Xiong Zhang, Wei-Dong Wang, Peng Liu, Qing-Dong Yao. Frame rate up-conversion using multiresolution critical point filters with occlusion refinement // Journal of Zhejiang University Science A. — 2008. — December.- Vol. 9, no. 12.—Pp. 1621-1630.

52. Y. Shinagawa, K.L. Kunii Unconstrained automatic image matching using multiresolutional critical-point filters // IEEE Trans, on Pattern Anal. Machine Intell. — Vol. 20. 1998. — Pp. 994-1010.

53. Д Ватолин, А Ратушняк, M Смирное, В Юкин. Методы сжатия данных, Под ред. О. Голубев, — М.: ДИАЛОГ-МИФИ, 2002.

54. F. Kozamemik, V. Steinmann, P. Sunna, E. Wyckens. SAMVIQ: A new EBU Methodology for Video quality evaluations in multimedia // SMPTE motion imaging journal — 2005.— Vol. 114, no. 4.— Pp. 152-160.

55. F. Kozamemik, P. Sunna, E. Wyckens, D. I. Pettersen. Subjective Quality of Internet. Video Codecs.: Tech. rep.: European Broadcasting Union, 2005.