автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Реконструкция изображений на основе пространственно-временного анализа видеопоследовательностей

На правах рукописи

ДАМОВ МИХАИЛ ВИТАЛЬЕВИЧ

РЕКОНСТРУКЦИЯ ИЗОБРАЖЕНИЙ НА ОСНОВЕ ПРОСТРАНСТВЕННО-ВРЕМЕННОГО АНАЛИЗА ВИДЕОПОСЛЕДОВАТЕЛЬНОСТЕЙ

05.13.01 - Системный анализ, управление и обработка информации (космические и информационные технологии)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

1 9 МАЙ 2011

Красноярск - 2011

4847201

Работа выполнена в Государственном образовательном учреждении высшего профессионального образования «Сибирский государственный аэрокосмический университет имени академика М.Ф. Решетнева», г. Красноярск

Научный руководитель: кандидат технических наук, доцент

Фаворская Маргарита Николаевна

Официальные оппоненты: доктор технических наук, доцент

Лапко Василий Александрович

кандидат технических наук, доцент Соловьев Николай Владимирович

Ведущая организация Учреждение РАН Институт

вычислительного моделирования СО РАН, г. Красноярск

Защита состоится 03 июня 2011 года в 14.00 часов на заседании диссертационного совета Д 212.249.02 при Сибирском государственном аэрокосмическом университете имени академика М.Ф. Решетнева по адресу: 660014, г. Красноярск, пр. им. газеты «Красноярский рабочий», 31

С диссертацией можно ознакомиться в научной библиотеке Сибирского государственного аэрокосмического университета имени акад. М.Ф. Решетнева

Автореферат разослан 29 апреля 2011 года

Ученый секретарь диссертационного совета С^-Дг-;

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. В сфере профессионального кино и телевидения широко востребованными задачами являются реконструкция оригинальной отснятой видеопоследовательности (компенсация примитивной наложенной графики) и улучшение видеопоследовательности (компенсация изображения произвольного объекта сцены малого размера, удаление царапин, пятен). Методы реконструкции изображений также могут применяться для улучшения спутниковых фотографий и данных лазерной локации. Первые работы в области реконструкции видеопоследовательностей появились в середине 2000-х гг. в Massachusetts Institute of Technology, University of California (США), Universite de Technologic de Compiegne (Франция), Delft University of Technology (Нидерланды), Soongsil University (Южная Корея). Позже аналогичные работы стали появляться в России: в Вычислительном центре РАН (г. Москва), Институте систем обработки изображений РАН (г. Самара), МГУ, МФТИ, С.-ПбГУ. Следует отметить вклад российских ученых, таких как чл.-корр. РАН, д.ф.-м.н. К.В. Рудаков, д.т.н. В.П. Пяткин, д.т.н. JI.M. Местецкий, д.т.н. В.В. Сергеев, к.т.н. А.А. Лукьяпица и другие. Однако до сих пор существуют проблемы как теоретического, так и практического характера, связанные как правило, сложными случаями реконструкции реальных видеопоследовательностей (при аппроксимации движения в кадре объектов интереса в кадре, стыковке оригинального и реконструированного материала, синтезе фоновой текстуры), а также с большими вычислительными затратами.

Целью диссертационной работы является повышение качества обработки и повторного использования оригинального видеоматериала в системах видеоредактирования и видеоархивах.

Для реализации поставленной цели необходимо решить следующие задачи.

1. Провести анализ методов, алгоритмов и систем локализации и компенсации областей искусственно наложенной графики и объектов малого размера, используемых при реконструкции видеопоследовательности.

2. Разработать модели локализации и реконструкции изображения искусственно наложенной графики, артефактов изображения и объектов малого размера в сложных статических и динамических сценах.

3. Разработать способ выбора методов наложения текстурных фрагментов для компенсации фона сцены или объекта с признаками движения и без признаков движения на основе нейросетевого подхода.

4. Усовершенствовать алгоритм локализации искусственно наложенной графики, артефактов изображения в пространственно-временной области.

5. Создать алгоритм реконструкции изображения под искусственно наложенной графикой, артефактами и объектами сцены малого размера, основанный на анализе обобщенных параметров.

6. Разработать программное обеспечение для реконструкции видеопоследовательности в областях искусственно наложенной графики, артефактов изображения и объектов малого размера.

7. Провести экспериментальные исследования эффективности разработанных алгоритмов на тестовых выборках.

Область исследования. Работа выполнена в соответствии с пунктами 5 «Разработка специального математического и программного обеспечения систем анализа, оптимизации, управления, принятия решений и обработки информации» и 12 «Визуализация, трансформация и анализ информации на основе компьютерных методов обработки информации» паспорта специальностей ВАК (технические науки, специальность 05.13.01 -системный анализ, управление и обработка информации).

Методы исследования. При выполнении диссертационной работы использовались методы теории моделирования, теория анализа и синтеза, теория обработки информации, методы линейной алгебры, методы объектно-ориентированного программирования.

Научная новизна диссертационной работы состоит в следующем:

1. Разработана модель локализации и реконструкции искусственно наложенной графики в видеопоследовательностях, позволяющая восстанавливать пикселы фона под искусственно наложенной графикой, артефактами изображения и объектами сцены малого размера, предполагающая учет параметров текстуры в пространственно-временных окрестностях зон компенсации.

2. Разработан метод реконструкции текстуры, позволяющий выбирать способ реконструкции текстуры и восстанавливать области пропущенных пикселов в зависимости от наличия движения в сцене и анализа окружающей текстурной области, позволяющий выбрать способ реконструкции с применением нейросетевого подхода.

3. Создан алгоритм реконструкции изображения в ограниченной пространственно-временной области, основанный на различных подходах к текстурной реконструкции на основе анализа обобщенных текстурных параметров, признаков движения окрестностей зон компенсации, параметров цветности в компенсируемых областях.

Практическая значимость. Предложенные в диссертационной работе методы и алгоритмы ориентированы на практическое применение в программном обеспечении подготовки эфира и телевизионных трансляций, программно-аппаратных комплексов видеоредактирования, работы в видеоархивах, а также может использоваться для анализа данных полученных аэрофотосъемкой, спутниковой фотографией, лазерной локацией и другими системами датчиков, данные которых можно представить в виде последовательностей изображений. В рамках диссертационного исследования создано специализированное экспериментальное программное обеспечение для реконструкции видеопоследовательностей.

Реализация результатов работы: программа «Комплекс распознавания номерных знаков транспортных средств (Gatekeeper) зарегистрирована в Реестре программ для ЭВМ г. Москва, 22 апреля 2004 г. (свидетельство №2004610994), программа «Видеоредактор» зарегистрирована в Реестре программ для ЭВМ г. Москва, 25 марта 2010 г. (свидетельство №2010612230). Получен акт о передаче алгоритмического и программного обеспечения для редактирования видеопоследовательностей и разделения их на сцены для дальнейшего использования в ООО «ДИИП» (г. Санкт-Петербург) от 20 апреля 2010 года. Получен акт об использовании результатов диссертационных исследований в учебный процесс Сибирского государственного аэрокосмического университета.

Апробация работы. Основные положения и результаты диссертации докладывались и обсуждались на всероссийской конференции «Актуальные проблемы космонавтики» (Красноярск, 2008, 2009 г.), международной научной конференции «Решетневские чтения» (Красноярск, 2008, 2009 г.), международной научно-технической конференции «Кибернетика и высокие технологии XXI века» (Воронеж, 2008 г.), всероссийской научной конференции студентов, аспирантов и молодых ученых «Наука. Технологии. Инновации (Новосибирск, 2008, 2009 г.), межрегиональная научно-практической конференции «Молодежь Сибири - науке России» (Красноярск, 2008, 2010 г.), международной конференции и выставке «Цифровая обработка сигналов и ее применение» (Москва, 2008, 2009, 2011 г.), всероссийской научно-практической конференции «Теоретические и прикладные вопросы современных информационных технологий» (Улан-Удэ, 2009 г.), всероссийская научно-практической конференции-конкурсе «Технологии Microsoft в теории и практике программирования» (Томск, 2010 г.), всероссийской научной конференции молодых ученых «Теория и практика системного анализа» (Рыбинск, 2010 г.), Всероссийской научно-практической конференции студентов, аспирантов и молодых ученых с международным участием «Молодежь и современные информационные технологии» (Томск, 2011 г.).

Публикации. По результатам диссертационного исследования опубликовано 20 печатных работ, из них 4 статей (3 статьи в изданиях, рекомендованных ВАК), 14 тезисов докладов, 2 свидетельства, зарегистрированных в Российском реестре программ для ЭВМ.

Структура работы. Работа состоит из введения, трех глав, заключения, списка литературы и приложения. Основной текст диссертации содержит 109 страниц, изложение иллюстрируется 16 рисунками и 20 таблицами. Библиографический список включает 134 наименования.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность работы, сформулирована цель и поставлены задачи исследования, показана научная новизна и практиче-

екая ценность выполненных исследований, представлены основные положения, выносимые на защиту.

В первой главе рассмотрены основные методы и алгоритмы для реконструкции видеопоследовательностей, приведена классификация известных методов, а также проанализированы характеристики систем видеоредактирования и плагины реконструкции видеопоследовательностей.

В настоящее время для реконструкции видеопоследовательностей используются несколько типов методов, сравнительная характеристика которых приведена в табл. 1.

Таблица 1

Сравнительная характеристика методов компенсации изображений

объектов малого размера

Категории методов восстановления Описание

Пространственный метод: - метод текстурного анализа, - метод пикселного анализа Используется информация из соседних областей восстанавливаемого кадра сцены

Временной метод: - метод оптического потока, - метод динамических текстур Используется информация из соседних кадров сцены

Комбинированный метод (любая комбинация временных и пространственных методов) Используется информация, как с соседних областей восстанавливаемого кадра, так и информация из соседних кадров сцены

Наиболее эффективными алгоритмами компенсации малых объектов в сцене видеопоследовательности являются комбинации пространственно временных методов восстановления. Простейший пространственный алгоритм компенсации малых объектов интерполирует информацию с соседних областей кадра или использует методы размывания. Простейший временной алгоритм отслеживает движение в сцене видеопоследовательности, рассчитывает смещение сцены между кадрами и компенсирует малый объект сцены, используя информацию с соседних кадров. Для даипьтх способов характерна высокая заметность участка компенсации, поэтому для повышения эффективности используется разбиение видеопоследовательности на сцены, пространственный анализ сцены, интерполяционные и статистические методы. Некоторые из этих методов получили свое развитие в различных системах видеоредактирования как коммерческих, так и свободно распространяемых. Сравнительная характеристика некоторых наиболее известных систем приведена в табл. 2.

Как видно из табл. 2, существующие на рынке системы, в основном, поддерживают функциональность восстановления видеопоследовательностей в качестве дополнительной функции и крайне ограниченно. Это связано с большим разнообразием типов видеопоследовательностей высокой вычислительной стоимостью задачи, трудностью классификации сложных случаев и разработки алгоритмов для их обработки. Таким образом, разра-

бохка методов и алгоритмов реконструкции видеопоследовательностей имеет широкую практическую значимость и является актуальной в системах видеоредактирования и электронных видеоархивах.

Таблица 2

Сравнительная характеристика систем восстановления _видеопоследовательностей _

Система Описание

LowryProcess (США) Программно-аппаратный комплекс автоматизированного цифрового восстановления старых пленок от царапин, пятен и т.д. на базе графических процессоров

VirtualDubMod (США) Программный комплекс автоматизированной обработки видео с поддержкой плагинов (в комплекте плагин ^оаюау для размывания логотипов)

Adobe Premiere (США) Программный комплекс автоматизированной обработки видео с поддержкой плагинов (в комплекте плагин удаления полупрозрачной компьютерной графики)

Adobe AfterEffects (США) Программный комплекс автоматизированной обработки видео с поддержкой плагинов (в комплекте плагин распознавания и компенсации движения в кадре)

Sony Vegas (США) Программный комплекс автоматизированной обработки видео с поддержкой плагинов

Behold TV (Россия) Программно-аппаратный комплекс приема и обработки ТВ-сигнала с поддержкой плагинов (в комплекте плагины удаления, выделения логотипов, вставки собственного логотипа).

Во второй главе диссертации приведена расширенная классификация объектов реконструкции - изображений искусственно наложенной графики, естественных повреждений ранее оцифрованного видеоносителя, малых объектов сцены переднего плана по выбору пользователя. Также разрабатывается математическая модель реконструкции фона в сценах видеопоследовательности различного вида с применением пространственной и временной обработки, представлены условия и ограничения метода реконструкции видеопоследовательности. Разработан пространственно-временной метод, учитывающий обобщенные параметры текстуры, и алгоритм реконструкции изображения в ограниченной пространственно-временной области.

Расширенная классификация объектов реконструкции приведена в работе [17]. Такая классификация позволяет выбрать коэффициенты локализации. В табл. 3 представлены ограничения на реконструируемое изображение.

Процесс компенсации изображения в ограниченной пространственной области представим в виде следующих этапов: I этап. Локализация и отслеживание объектов интереса:

- предварительный выбор объектов интереса;

- пространственно-временное отслеживание объектов, подвергаемых компенсации (объектов интереса).

II этап. Пространственная обработка сцены видеопоследовательности:

- расчет гладкости, изотропности, структурности текстуры в окрестностях объектов интереса;

- выбор метода восстановления с помощью правил интеллектуальной системы текстурной реконструкции;

- реконструкция текстуры выбранным методом (размывание, текстурная мозаика, синтез текстуры).

III этап. Временная обработка сцены видеопоследовательности:

- определение движения объектов в сцене;

- коррекция кадра с учетом движения объектов в сцене.

IV этап. Оценка точности реконструкции изображения объекта.

Таблица 3

Ограничения и условия метода реконструкции видеопоследовательности

Ограничение Критерий

Вид компенсируемого объекта Наложенная компьютерная графика, артефакты, изображения объектов малого размера

Размер компенсируемого объекта Не более 1% площади кадра (объекты сцены), не более 10% площади кадра (прочее)

Зоны предполагаемого расположения искусственно наложенной графики Допустимы

Контрастность изображения объекта Хорошая

Вид видеопоследовательности Без ограничений

Длина видеопоследовательности Без ограничений

Длина сцены Более 10 кадров

Тип движения в сцене Равномерный и прямолинейный

Фон Текстурный или однородный

Математическая модель предварительной обработки имеет вид:

PPR =< {ОГ), ЮПлоП, {о:Г) > (1)

где 0РРН - оператор перевода изображения к полутоновому представлению; 0^PR - оператор разделения видеопоследовательности на сцены; 0,ГЛ - оператор оценки временных параметров сцены; 0РРЯ - оператор оценки пространственных параметров сцены.

Оператор перевода изображения 0'ь рк представляет кадр в виде функции с заданным количеством уровней яркости с помощью стандартных формул перевода в цветовые пространства. Количество уровней яркости выбирается из гистограммы или задается человеком:

Q = lim count(/[/J * 0), i = 0..и, (2)

и-ко

где Q - действительное количество уровней яркости в изображении; I -гистограмма изображения при и—>со; п - возможное количество уровней яркости в изображении. Оператор разделения видеопоследовательности на сцены Оррк выполняет оценку видеопоследовательности и выделение гра-

ниц сцены. Оператор оценки временных параметров сцены 0,р/к оценивает наличие движения в сцене, определяет вектора движения и их достоверность с помощью известных методов оценки движения с необходимым числом параметров в зависимости от наличия сложных случаев движения в сцене. Оператор оценки пространственных параметров сцены О,™ определяет обобщенные параметры текстур окрестностей пропущенных пикселов в кадре на основе признаков Р. Харалика.

Модель локализации изображений объектов интереса запишем как

ЮС=<{0™%{01а?%{0™с}>, (3)

где - оператор локализации искусственно наложенной графики в

сценах; - оператор локализации искажений изображения вследствие повреждения видеоносителя (царапин, пятен и т.д.); 01°с - оператор отслеживания объектов интереса малого размера в сценах видеопоследовательности. Локализация искусственно наложенной графики выполняется на основе анализа перепадов яркости изображения сцены и изображений внедренной графики. Повреждения видеоносителя (в силу ярко выраженного геометрического характера) можно локализовать с помощью преобразования Хафа. Изображения объектов интереса малого размера, которые следует удалить из сцены, указываются человеком.

Модель реконструкции изображений объектов интереса имеет вид: КЕС =< {0^}, {0™% {0™% {0^с}, {0^с} >, (4)

где: - оператор определения сложных случаев движения в сцене;

оператор выбора метода пространственной реконструкции кадра; О'',1'' - оператор пространственной реконструкции кадра; - оператор временной коррекции реконструкции кадра; Осг - оператор постобработки кадра; - оператор оценки результатов реконструкции кадра. На основе оператора определения сложных случаев движения в сцене выполняется выбор количества параметров для определения движения в сцене и соответственно выбор метода определения движения в сцене. Пространственная реконструкция кадра выполняется одним из известных методов. Оператор выбора метода пространственной реконструкции кадра с использованием нейросетевого подхода учитывает обобщенные параметры текстуры пропущенных пикселов в кадре. Оператором временной коррекции кадра выполняется реконструкция и коррекция пропущенных пикселов кадра, учитывая смещение объектов сцены между кадрами, путем переноса известных точек соседних кадров в область пропущенных пикселов реконструируемого кадра. Оператор пост-обработки кадра 0^ГЕС выполняет коррекцшо цвета кадра с помощью размывающего

и медианного фильтра. Оператор оценки результатов реконструкции кадра выполняет оценку с помощью системы метрик, учитывающих количество правильно восстановленных пикселов по отношению к общему количеству пикселей, а также значения признаков Р. Харалика текстуры в окрестности пропущенных пикселов и восстановленной текстуры. Таким образом, модели (1), (3), (4) являются основой для последующего формирования алгоритмов локализации и реконструкции.

Для локализации областей наложенной графики в кадре вычислим характеристики островершинности функции яркости 1(х, у) РМ;\

РМ,=кр

1-

0, ~ х1-1) • (у, ~ >',-1)

■р,2

\

1

/

(5)

где кр - коэффициент местоположения; - коэффициент вытянутости; кь -коэффициент прозрачности; ((хм, >',-1, 0) - Р()) - координаты диа-

гонали прямоугольного параллелепипеда, ограничивающего пик яркости области IV, при этом (х,ч, у,.О, {хь у,) - координаты двух соседних минимумов функции яркости; Р, - значение функции в пике яркости; И, - объем, ограниченный основанием области Ж и поверхностью функции яркости:

К>^\\1(х,у)сП¥. (6)

(С

Тогда максимальная мера островершинности в кадре и ее координаты определятся как:

РМт!а(х,у) ~ тах(РМ,{х,у)), М..п, (7)

где: п - количество найденных вершин. Используя алгоритм распространения волны, найдем границу области, внутри которой будет находиться наиболее высокая вершина. Найденная граница будет ограничивать область интереса с изображением искусственно наложенной графики.

Для локализации структур повреждений в виде царапин или эллипсоидного вида используем следующий алгоритм:

Шаг 1. Выявление на текущем кадре предполагаемых областей повреждений по методу пороговой сегментации или адаптивной пороговой сегментации.

Шаг 2. Определение формы областей: необходимо оставить только такие области, которые имеют эллипсоидный вид или вид, близкий к прямой линии, с использованием преобразования Хафа. Угол наклона и местоположение таких областей в кадре могут быть произвольными.

Шаг 3. Маркировка выделенных областей, построение прямоугольников, описывающих такие области, определение их геометрических размеров и относительных координат. При этом прямоугольник может вырождаться в отрезок прямой линии.

Шаг 4. Наблюдение поведения маркированных областей в течение последующих кадров. Если их местоположение постоянно или изменяется

незначительно, то считается, что маркированные области являются повреждениями и к ним необходимо применить процедуру реконструкции.

Алгоритм выполняется для каждого кадра, поскольку предсказать появление повреждений в общем случае невозможно. Только при наличии старой кинопленки с повреждениями, геометрически локализованными преимущественно в одной области, можно усилить алгоритм предсказанием областей появления повреждений.

Предположим, что локализация и отслеживание небольших объектов переднего плана, которые подлежат удалению из сцены, первоначально выполнены человеком. В этом случае необходимо найти их изображения на последующих кадрах сцены. Примем, что в некотором кадре объект интереса выделен геометрической фигурой (прямоугольником, эллипсом или более сложной фигурой), контур объекта задается множеством РЛ, где элемент множества рг, - точка (пиксел) заданного контура объекта с координатами (х['г, у ГУ Далее уточняем контур объекта с помощью методов поиска особенных точек и анализа контуров в окрестности заданного объекта. Вычисленный контур объекта обозначим как множество РС, где элемент множества рс, - точка (пиксел) вычисленного контура объекта с координатами (хГ, У Г)- Определим множество погрешностей Е:

= ^Г-хГУ + (уГ-УГ)2 (12)

Для остальных кадров отслеживание, коррекция и проверка контура объекта интереса выполняется переносом заданного контура объекта интереса РК в следующий кадр с учетом смещения между кадрами:

ГРГ -ГРГ Л. у

хи+1 тх&/ ^

Уи+1=Уи+Уу

где: , - координаты г'-й точки заданного контура объекта интереса на следующем (/+1)-м кадре сцены; х^, - координаты г'-й точки заданного контура объекта интереса на текущем/-м кадре сцены; хду, у^ -

координаты вектора смещения между кадрами, полученного методом Лу-каса-Канаде или другим методом отслеживания движения в кадре.

Скорректируем контур объекта РС в новом кадре с помощью методов нахождения контуров. Если результат выражения (12) не превышает найденного порога для всех элементов множества Е, то объект интереса был отслежен успешно, и можно продолжать отслеживание в следующих кадрах. В противном случае требуется запросить новый контур объекта интереса.

Для выбора методов реконструкции текстуры в областях пропущенных пикселов важны такие параметры текстуры, как гладкость, структурность, изотропность, и параметры окрестности области пропущенных пикселов, а именно: размер области реконструкции, стабильность окрестности

и отсутствие сложных случаев (сложное изменение фона). Запишем решающее правило в виде функции первого порядка:

ДВД БТ, ЛБ, ЕБ, 38)=ц>о+м?118+-н>2$Т+и>3К5+ъ>4Е8+ м>5ББ (14) где 1Б - изотропность; БТ- структурность; ЯБ - гладкость; ЕБ - размер области пропущенных пикселов; - стабильность сцены и отсутствие сложных случаев; ..., м>5- весовые коэффициенты.

Для аппроксимации функции решающего правила, которая представляет собой многочлен первого порядка, используем полносвязную однослойную искусственную нейронную сеть (ИНС), обучение которой позволит получить весовые коэффициенты функции решающего правила:

м

wSTJ + RS ■

w^.j+ES-

WES,j +

(15).

П3 = /ас(1,(/ас№-1

;■=<>

+ SS■wSSJ)wj¡D¡;)),

где: /ас - активационная функция (сигмоидного типа); 1Б - изотропность; БТ - структурность; ЯБ - обобщенная гладкость; ЕБ - размер области пропущенных пикселов; - стабильность сцены и отсутствие сложных слу-

веса синапсов от соответствующих

чаев; н\,

"К,]' "'"К,/' vvSS,j

входных параметров до у-ых нейронов скрытого слоя; у - номер нейрона в скрытом слое; ОБ - выход ИНС; \Vj.os - вес синапса, соединяющего у-й нейрон скрытого слоя и выход ИНС; I - количество нейронов в скрытом слое.

Для определения типа текстуры также используем нейросетевой подход, при этом будем полагать, что текстура в окрестности области пропущенных пикселов является текстурой одного типа. Для определения гладкости ЯБ, структурности БТ, изотропности 1Б текстуры используем полносвязную многослойную ИНС:

Г' < гк-\ г \

Wrsj, wESJ>

wf

RS = fai

V

/-1

^ \ f1С ¡=-0

У - í"ai M

UwVJ-\g(R)wRoJ +

log:

— w

L e"J

"oy.lí

wh

(16)

ГДQfac ~ активационная функция (сигмоид); к — количество нейронов в нулевом скрытом слое ИНС; у - номер нейрона в нулевом скрытом слое; I -количество нейронов в первом скрытом слое ИНС; i - номер нейрона в первом скрытом слое ИНС; U- однородность текстуры; Я - гладкость текстуры; е - относительная энстропия текстуры; L - количество уровней яркости изображения текстуры; wu

вующих входных параметров до у-х нейронов нулевого скрытого слоя; и^д; - вес синапса, соединяющего у-й нейрон нулевого скрытого слоя и г'-й нейрон первого скрытого слоя ИНС; и^,- - вес синапса, соединяющего г'-й нейрон первого скрытого слоя и выход ИНС;

1 /V1 Г б А Л Л

£/« ЕЛс Е,, Щ.и ' (1?)

ч/=0 \У=0 ) )

— веса синапсов от соответст-

ST = fa,

где /ас — активационная функция (сигмоид); к - количество нейронов в нулевом скрытом слое ИНС; у - номер нейрона в нулевом скрытом слое; I -количество нейронов в первом скрытом слое ИНС; г - номер нейрона в первом скрытом слое ИНС; т - порядок центрального момента текстуры; цт- центральный момент т-го порядка; Ь - количество уровней яркости; и^ - вес соответствующего входного синапса; - вес синапса, соединяющего у-ый нейрон нулевого скрытого слоя и г-й нейрон первого скрытого слоя ИНС; мгу1 - вес синапса, соединяющего г-й нейрон первого скрытого слоя и выход ИНС;

/-1 ( к-1 / 2Х Х/Д£/с

/=о и=о

IV,,

+ М2с

И',.,,

(18)

где: к - количество нейронов в нулевом скрытом слое ИНС; у - номер нейрона в нулевом скрытом слое; / - количество нейронов в первом скрытом слое ИНС; г - номер нейрона в первом скрытом слое ИНС; ис - однородность; Мс - максимум вероятности; ес - энтропия; Ц2с - момент второго порядка разности элементов;

, м., — веса синапсов от соответ-

ствующих входных параметров до соответствующих нейронов нулевого скрытого слоя; ¡,ц - вес синапса, соединяющего /-й нейрон нулевого скрытого слоя и г-й нейрон первого скрытого слоя ИНС; и-у - вес синапса, соединяющего г'-й нейрон первого скрытого слоя и выход ИНС. £/с, Мс, ес„ (¿2с — параметры, полученные из анализа матрицы яркостной смежности.

Исследования показали, что для реконструкции текстуры в установленных граничных условиях целесообразно использовать методы, указанные в табл. 4.

Таблица 4

Класс методов Наименование Диапазон выхода ИНС

Размывание Анизотропное размывание Изотропное размывание 0-49 50-99

Текстурная мозаика Анизотропная мозаика Изотропная мозаика 100-149 150-199

Текстурный синтез Статистические методы Суперпозиция текстур 200-249 250-299

При размывании пропущенные пикселы текстуры реконструируются путем смешивания яркостной и цветовой информации окружающей области. При анизотропном размывании реконструируются небольшие области пропущенных пикселов с помощью гауссовой пирамиды. При изотропном размывании реконструируются области большего размера. В этом случае каждому известному пикселу текстуры, направлению текстуры или градиента, границы объектов сцены и тому подобное присваиваются весовые значения. Приведем формулу для изотропного размытия в упрощенном виде только для яркости:

где п - количество пикселей артефакта; 1аг1 - полученная яркость пропущенного пиксела; 7} - яркость 7-го известного пиксела, а также анизотропного размытия:

(20)

где - весу'-го известного пиксела. Возможно также применение гауссова размытия и медианного фильтра.

Методы из категории текстурной мозаики используются в случае удачной сегментации элемента текстуры, далее называемого текстоном. Их преимуществом является более быстрая и точная работа относительно остальных методов. Методы категории текстурного синтеза используются в случае, когда определить тип текстуры не представляется возможным. Статистические методы текстурного синтеза используют синтез на основе гистограммы и белого шума. В этом случае осуществляется выбор соседних пикселов (в соответствии с вероятностью их нахождения в этой позиции) без смешивания цветовой и яркостной информации. Для текстурного синтеза также может использоваться суперпозиция текстур в случае реконструкции ландшафтных текстурных изображений. В случае, когда ИНС классифицирует текстуру как принадлежащую одновременно к нескольким классам, можно выделить отдельные составляющие текстуры, например, изотропную текстуру и текстуру средней гладкости.

Рассмотрим временную реконструкцию сцены. Предположим, что для сцены видеопоследовательности с признаками движения реконструируемая область является прямоугольной и имеет координаты верхнего левого угла и правого нижнего кадра (х,, у,, хъ, уь) с линейными размерами (с!л = хь - х,; йу= уь - уПусть объекты в целом движутся в одном направлении, характер движения - равномерный и прямолинейный. Будем называть такой вид аппроксимации линейным. Методы определения движения в сцене позволяют определить для каждого кадра направление и величину движения у\) каждой точки кадра между парой смежных кадров. Имея такую информацию, мы получаем возможность вычислить номер кадра относительно текущего кадра, из которого будет браться информация для восстановления.

Реконструируемая область в общем случае имеет прямоугольный вид, поэтому номер кадра п определяем как минимальный - такой, где точка уже находится за пределами области реконструкции п = тш^/х,, при этом смещение точки замены относительно г'-го кадра будет равно х1П - п ■ ху; у!п - п -уу, а координаты новой точки определяются как:

II х1-п-ху

Л-п-Уу.

где ; - текущии кадр; п ~ смещение кадра, г-н - предыдущий кадр, содержащий информацию для реконструкции; [х„ у,] - реконструируемая точка, [*>> УЛ ~ реконструированная точка, значение по координатам содержит цвет, [х{.№уип] - точка на предыдущем кадре, используемая для реконструкции. Минимально необходимое количество кадров для линейной аппроксимации движения равно 2.

В случае, если движение в кадре недостаточно точно аппроксимируется смещением точки по прямой, предлагается оценить аппроксимацию движения точки в виде поворота на некоторый угол. Чтобы получить, угол поворота а, координаты центра вращения (хс, >>,:) и радиус вращения Я, необходимо координаты точек интереса (х,-, у,), (х,-.и уи), (х,.2, на трех последовательных кадрах сцены, подставить в систему уравнений и решить ее:

{.х,-хс)2+{у,-уе)2=В2-,

(22)

(х,_2 -хс) + (;уг_2 - ус) -Я . Через скалярное произведение векторов получим угол поворота точ-

ки между двумя последовательными кадрами:

а = агссоэ

- Ус Ъ>1-\ -Ус)

(23)

{у, - Ус)2 7(*м-*с)2+0'м-л)г Тогда перенос известной точки (пиксела) с соседнего кадра в реконструируемый кадр с аппроксимацией движения между кадрами поворотом на некоторый угол выражается аффинным преобразованием:

•8-Х,

(24)

где X - матрица однородных координат реконструируемой точки в кадре; Т - матрица переноса системы координат в центр вращения; И' - матрица вращения точки; п - смещение в кадрах; в - матрица переноса системы координат в первоначальное положение; X' - матрица однородных координат точки в соседнем кадре, которая используется для реконструкции.

В матричном виде выражение (21) имеет вид:

V "1 0 0" соБа эта 0" 1 0 0"

х = Уг ;Т= 0 1 0 -з'та со я ОТ 0 0 1 0

_ 1_ Л Ус 1 0 0 1 -*е -Ус 1_

Х'=

(25)

Минимально необходимое количество кадров для расчета параметров при аппроксимации движения поворотом равно 3. В случае масштабирования области интереса в реконструируемом кадре предлагается найти центр области масштабирования и оценить коэффициент масштабирования. Коэффициент масштабирования к может быть оценен из отношения длин векторов смешения между последовательными сериями кадров, где под серией кадров понимается последовательная пара кадров:

. _ а/ ки-1 - *,-,./-1} + 1 - У и-1}

(26)

где (хф уц), уиц), У<-ш), (*у-ь Уцл) ~ координаты точек интереса, образующие вектора смещения; г - номер некоторого кадра в серии; ] -номер некоторой серии; к — коэффициент Масштабирования. Предположим, что коэффициент масштабирования постоянен для нескольких последовательных кадров. Тогда перенос известной точки (х,_ь >'/.1) принадлежащей некоторому кадру в точку у,) в реконструируемом кадре при масштабировании будет осуществляться по формуле:

( "

Х'=Т ПК -в-Х, (27)

V ¿=1 /

где X - матрица однородных координат реконструируемой точки в кадре; Т - матрица переноса системы координат в центр вращения; К - матрица масштабирования; п — смещение в кадрах; в — матрица переноса системы координат в первоначальное положение; X1 - матрица однородных координат точки в соседнем кадре, которая используется для реконструкции. В матричном виде выражение (24) запишется как:

' 1 0 0" "1 0 0 1 0 0"

т= 0 1 0 ;к = к 1 0 0 1 0 (28)

*м .Ум 1 0 к 1 -Ум 1

Минимально необходимое количество серий кадров при аппроксимации движения масштабированием - две, в каждой серии должно быть минимум два кадра, то есть в случае наличия одного и того же кадра в двух сериях минимально необходимое количество кадров - три, если одинаковых кадров в сериях нет, то четыре. При аппроксимации движения любого типа (линейной, поворотом или масштабирования) для уточнения траектории движения объектов в кадре рекомендуется использовать число кадров больше минимально необходимого.

Рассмотрим критерии, позволяющие выбирать необходимый способ аппроксимации движения точек между кадрами (табл. 5).

Таблица 5

Критерии применения видов аппроксимации движения_

Вид аппроксимации движения Критерий

Линейная аппроксимация Угол между большинством векторов движения в окрестности пропущенных пикселов стремится к нулю.

Аппроксимация поворотом Угол между большинством векторов движения в окрестности пропущенных пикселов больше нуля.

Аппроксимация масштабированием Большое количество пересекающихся векторов движения в центре системы координат масштабирования

Таким образом, формулы (21), (24), (27) позволяют несколькими способами аппроксимировать движение объектов в кадре, что повышает точность временной реконструкции как динамических, так и статических сцен видеопоследовательности.

Разработан алгоритм реконструкции изображений в пространственно-временной области (шаги 2-5 - пространственная обработка):

Шаг 1. Выбор следующего кадра для реконструкции.

Шаг 2. Вычисление текстурных признаков в окрестности пропущенных пикселов.

Шаг 3. Вычисление гладкости, структурности, изотропности текстуры окрестности области пропущенных пикселов с помощью искусственной нейронной сети.

Шаг 4. Выбор пространственного метода реконструкции текстуры с использованием полученных значений размера области пропущенных пикселов, а также гладкости, структурности, изотропности текстуры в окрестности области пропущенных пикселов с учетом информации о стабильности сцены.

Шаг 5. Реконструкция текстуры в области пропущенных пикселов выбранным методом.

Шаг 6. Вычисление особенных точек кадра.

Шаг 7. Выбор модели аппроксимации движения в кадре, вычисления векторов движения в кадре.

Шаг 8. Уточнение результата пространственной реконструкции переносом известных пикселов из соседних кадров в область пропущенных пикселов реконструируемого кадра в соответствии с выбранной моделью аппроксимации движения.

Шаг 9. Сохранение кадра после реконструкции.

Шаг 10. Если конец видеопоследовательности, то конец алгоритма, иначе переход на шаг 1.

Третья глава посвящена вопросам разработки приложений реконструкции изображений и видеопоследовательностей на основе разработанных методов и алгоритмов, приведена структурная схема экспериментальной программы локализации и компенсации изображений объектов, представлены методика и результаты тестирования разработанных методов.

Экспериментальная программа позволяет выполнять реконструкцию видеопоследовательности путем компенсации искусственно наложенной компьютерной графики и объектов сцены малого размера (табл. 6). Программа позволяет реконструировать видеопоследовательности в соответствии с ограничениями в табл. 3 (рис. 2). В модуле предварительной обработки происходит бинаризации изображения, отслеживание движения и разделение видеопоследовательности на сцены. В модуле локализации происходит нахождение в кадре искусственно наложенной компьютерной графики для компенсации. В модуле компенсации происходит пикселная и текстурная компенсация искусственно наложенной компьютерной графики и объектов сцены малого размера. В ходе тестирования экспериментальные результаты локализации объекта интереса оценивались от 0 до 1. Было выделено три случая: - объект признавался локализованным с единичной достоверностью в случае, если границы найденной области совпадали с границами объекта интереса с разбросом менее 5%; — объект интереса признавался нелокализованным (локализованным с нулевой достоверностью) в случае, если разброс найденной области превышал 15% по какому либо измерению; - объект признавался частично локализованным в случае, если найденная область находилась в границах или частично совпадала с областью объекта интереса. В этом случае достоверность оценивалась как отношение площадей найденной области и общей площади объекта интереса. Также оценивалась степень ложного срабатывания - обнаружение фрагментов оригинальной сцены в качестве объектов интереса (табл. 7).

Таблица 6

Разработанные программные модули и их назначение

Название модуля Функциональная характеристика

1. Модуль организации интерфейса с пользователем Обеспечивает взаимодействие с пользователем и координирует работу всех модулей

2. Модуль контекста Обеспечивает хранение и управление контекстом реконструкции видеопоследовательности

3. Модуль предварительной обработки Осуществляет приведение изображения к полутоновому представлению, отслеживание движения в кадре и разделение видеопоследовательности на сцены

4. Модуль локализации Осуществляет нахождение в кадре искусственно наложенной компьютерной графики для компенсации

5. Модуль компенсации Осуществляет пикселную и текстурную компенсацию искусственно наложенной компьютерной графики и объектов сцены малого размера

6. Модуль редактирования медиапотоков Осуществляет поддержку операций базового редактирования видеопоследовательностей

7. БД видеопоследовательностей Обеспечивает хранение информации об обработанных видеопоследовательностях

Рис. 2. Структурная схема экспериментальной программы компенсации видеопоследовательностей

Для повышения достоверностей экспериментально определены коэффициенты кг, кь, кр в формуле (5) для различных типов искусственно наложенной графики (кг в зависимости от формы объекта интереса изменяется от 1 для телевизионного логотипа до 16,2 для бегущей строки; кь изменяется от 0,5 до 1,5 в зависимости от цвето-яркостных характеристик объекта интереса; кр изменяется от 1 в центре кадра до 2 в углах кадра.

Таблица 7

Оценка локализации объектов интереса_

Статические сцены

Текстовый Статический Динамиче- Артефакт

блок логотип ский логотип

А, % В,% А, % В,% А, % В,% А. % В,%

Анимация 99 1,7 98 1,5 95 4,5 99 3,1

Худ. фильмы 98 1Д 95 1,2 93 2,9 99 0,9

Концертное видео 80 1,2 75 1,3 80 3,4 99 0,9

Студийное видео 90 1,9 87 1,8 85 3,9 99 0,9

Динамические сцены

Текстовый Статический Динамиче- Артефакт

блок логотип ски« логотип

А, % В,% А, % В,% А, % В,% А, % В,%

Анимация 99 2,0 99 2,0 95 4,2 98 3,9

Худ. фильмы 99 1,5 99 1,5 93 2,4 98 1,4

Концертное видео 97 1,6 97 1,6 80 2,9 98 1,4

Студийное видео 98 2,1 98 2,1 85 3,5 98 1,4

* А - достоверность; В - ложные срабатывания

Достоверность экспериментальных результатов реконструкции оценивалась как отношение верно восстановленных пикселов фона к общему количеству пикселов в области объекта интереса (табл. 8). Для исследований использовались видеоматериалы различного разрешение и типа (художественный фильм, анимация, студийные съемки, концертное видео).

Таблица 8

Оценка реконструкции объектов интереса__

Тексто- Статический Динамичес- Артефакт Объект

вый блок логотип кий логотип сцепы

Статические сцены

Размывание

Анимация 0,88 0,84 0,75 0,90 -

Худ. фильмы 0,83 0,85 0,71 0,93 -

Концертное видео 0,77 0,72 0,60 0,93 -

Студийное видео 0,80 0,73 0,65 0,90 -

Аппроксимация движения равномерно и прямолинейно

Анимация 0,89 0,85 0,79 0,90 0,69

Худ. фильмы 0,82 0,83 0,81 0,90 0,78

Концертное видео 0,78 0,73 0,70 0,90 0,70

Студийное видео 0,80 0,75 0,71 0,90 0,78

Аппроксимация движения прямолинейно, поворотом и масштабированием

Анимация 0,95 0,91 0,82 0,92 0,81

Худ. фильмы 0,94 0,87 0,83 0,92 0,82

Концертное видео 0,80 0,76 0,71 0,92 0,68

Студийное видео 0,81 0,78 0,73 0,92 0,71

Динамические сцены

Размывание

Анимация 0,70 0,72 0,60 0,85 -

Худ. фильмы 0,72 0,75 0,62 0,88 -

Концертное видео 0,65 0,66 0,57 0,88 -

Студийное видео 0,68 0,70 0,59 0,85 -

Аппроксимация движения равпомерпо и прямолппейно

Анимация 0,92 0,93 0,86 0,97 0,84

Худ. фильмы 0,95 0,97 0,90 0,97 0,89

Концертное видео 0,85 0,88 0,83 0,97 0,81

Студийное видео 0,87 0,91 0,87 0,97 0,85

Аппроксимация движения прямолинейно, поворотом и масштабированием

Анимация 0,98 0,98 0,95 0,98 0,91

Худ. фильмы 0,96 0,96 0,94 0,98 0,93

Концертное видео 0,85 0,83 0,79 0,98 0,75

Студийное видео 0,90 0,91 0,81 0,98 0,87

В заключении сформулированы основные результаты и выводы, полученные в диссертационной работе.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

1. Разработана модель локализации и реконструкции изображения искусственно наложенной графики, артефактов изображения и объектов малого размера в сложных статических и динамических сценах, позволяющая использовать различный набор методов локализации объектов интереса и реконструкции текстурной поверхности сцены или объекта с признаками и без признаков движения в рамках указанных ограничений.

2. Разработан масштабируемый способ выбора методов компенсации фона сцены или объекта с признаками движения и без признаков движения на основе нейросетевого подхода, позволяющий дополнять набор методов компенсации после переобучения ИНС.

3. Усовершенствован алгоритм локализации искусственно наложенной графики, артефактов изображения в пространственно-временной области на основе математической меры островершинности и преобразования Хафа. Предложена модификация меры островершинности для двумерной функции яркости коэффициентами геометрического положения, геометрической формы, поправки яркости и рассчитаны их значения для искусственно наложенной графики различных типов.

4. Создан масштабируемый пространственно-временной алгоритм реконструкции изображения под искусственно наложенной графикой, артефактами и объектами сцены малого размера, учитывающий обобщенные параметры текстуры, получаемые с помощью ИНС из текстурных признаков и признаков яркостной матрицы смежности. Для устранения артефактов пространственной реконструкции алгоритм позволяет использовать набор из трех моделей аппроксимации движения.

5. Разработана экспериментальная программная система восстановления видеопоследовательности, позволяющая выполнять локализацию артефактов изображения, искусственно наложенной графики и выбирать значения коэффициентов локализации; выполнять отслеживание объектов сцены малого размера на переднем плане; выполнять реконструкцию фона или объектов сцены в сложных условиях движения, используя одну или несколько моделей аппроксимации движения объектов в кадре.

6. Модифицирована библиотека KLT: An Implementation of the Kanade-Lucas-Tomasi Feature Tracker с целью использования в современных средствах разработки (Visual Studo С#) для трех моделей движения.

7. Эксперименты показали, что предложенные модели и алгоритмы обладают достаточной достоверностью локализации и реконструкции объектов интереса.

Таким образом, разработанные методы и алгоритмы позволяют автоматизировать сложные функции реконструкции изображений, видеопоследовательностей, архивных видеозаписей и, тем самым, повысить качество систем видеоредактирования и видеоархивов.

Основные положения и результаты диссертационной работы представлены в следующих работах автора (знаком * обозначены работы, опубликованные в издании, включенном в список изданий, рекомендованных ВАК для опубликования результатов диссертационных исследований):

1. *Дамов, М.В. Построение изображения сцены совмещением последовательных кадров. / М.В. Дамов, А.Г. Зотин // Вестник Сибирского

государственного аэрокосмического университета имени академика М.Ф. Решетнева. - Вып. 5(31), Красноярск, 2010. с. 212-216.

2. * Дамов, М.В. Восстановление фона в областях кадра с объектами малого размера в видеопоследовательности. / М.В. Дамов // Вестник Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева. - Вып. 1(27), Красноярск, 2010. с. 52-56.

3. * Дамов, М.В. Методы поиска движения в видеопоследовательностях. / М.Н. Фаворская, А.И. Пахирка, A.C. Шилов, М.В. Дамов // Вестник Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева. - Вып. 1(22) в 2 частях, Ч. 2, Красноярск, 2009. с. 69-74.

4. Дамов, М.В. Программа редактирования видеопоследовательностей «Видеоредактор» (VEditor). Свидетельство №2010610994. Зарегистрирована в Реестре программ для ЭВМ г. Москва, 25 марта 2010 г.

5. Дамов, М.В. Интеллектуальная система реконструкции видеопоследовательностей // В трудах I всероссийской научной конференции молодых ученых «Теория и практика сис темного анализа», в 2 т., Т.1, Рыбинск, 2010. с. 150-157.

6. Дамов, М.В. Программный комплекс интеллектуальной реконструкции видеопоследовательностей // В материалах VII Всероссийской научно-практической конференции-конкурсе «Технологии Microsoft в теории и практике программирования», Томск, 2010, с. 82-86.

7. Favorskaya М., Zotin A., Damov М. Intelligent Inpainting System for Texture Reconstruction in Videos with Text Removal // Proceedings of International Congress on Ultra Modern Telecommunications and Control Systems ICUMT2010, Moscow. Russia. 2010. pp. 867-874.

8. Дамов, М.В. Восстановление области кадра видеопоследовательности при помощи текстурного заполнения // В материалах всероссийской научной конференции студентов, аспирантов и молодых ученых «Наука. Технологии. Инновации (НТИ-2009», в 2 ч., Ч. 2, Новосибирск, 2009 год. с. 45-46.

9. Дамов, М.В. Реализация детектора особенных точек изображения видеопоследовательности для многоядерных систем // В материалах всероссийской научно-практической конференции «Теоретические и прикладные вопросы современных информационных технологий», в 2 ч., Ч. 2, Улан-Удэ, 2009. с. 481-483.

10. Дамов М.В. Локализация и компенсация искусственно наложенных текстовых областей в видеопоследовательности // В материалах XI международной конференции «Цифровая обработка сигналов и ее применение», Москва, 2009 г. с. 474-476.

11. Дамов М.В. Пространственный метод локализации изображений логотипов в видеопоследовательностях. // В материалах всероссийской научной конференции студентов, аспирантов и молодых ученых «Наука.

Технологии. Инновации (НТИ-2008)», в 7 ч., Ч 1, Новосибирск, 2008. с. 191-193.

12. Дамов М.В. Визуальный метод локализации и реконструкции повреждений видеоносителей // М.Н. Фаворская, М.В. Дамов / В материалах IX международной научно-технической конференции «Кибернетика и высокие технологии XXI века», в 2 т., Т.1, Воронеж, 2008. с. 192-197.

13. Дамов, М.В. Идентификация ограниченного набора образов на основе ассоциативных нейронных сетей. / М.Н. Фаворская, А.Г. Зотин, Н.Д. Торгашин, М.В. Дамов // Вестник Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева. - Вып. 5, Красноярск, 2004. с. 109-116.

14. Дамов, М.В. Программа «Комплекс распознавания номерных знаков транспортных средств (Gatekeeper) //А.Г. Зотин, М.В. Дамов / Свидетельство №2004235394. Зарегистрирована в Реестре программ для ЭВМ г. Москва, 22 апреля 2004 г.

Реконструкция изображения на основе пространственно-временного анализа видеопоследовательностей

Отпечатано в отделе копировальной и множительной техники СибГАУ 660014 г. Красноярск, пр. им. газеты «Красноярский рабочий», 31

Дамов Михаил Витальевич

Автореферат

Подписано к печати 28.04.2011 года Формат 60x84/16. Бумага писчая. Печ. л. 1.0 Тираж 100 экз. Заказ № f€¿

ВВЕДЕНИЕ.

Глава 1. Анализ существующих методов, алгоритмов и систем реконструкции видеопоследовательностей.

1.1 Анализ методов и алгоритмов уточнения положения объектов малого размеров в видеопоследовательности.

1.2 Анализ существующих методов реконструкции видеопоследовательностей.

1.2.1 Методы временной реконструкции видеопоследовательностей.

1.2.2. Пространственные методы реконструкции кадров видеопоследовательности.

1.3 Разделение видеопоследовательности на сцены.

1.4. Анализ существующих систем видеоредактирования.

1.5 Выводы по главе.

Глава 2. Реконструкция текстурного фона видеопоследовательности под искусственно наложенной графикой и объектами малого размера.

2.1 Классификация объектов реконструкции.

2.2 Математические модели локализации и реконструкции.

2.3 Ограничения и этапы метода реконструкции видеопоследовательности.

2.4 Локализация и отслеживание объектов реконструкции.

2.4.1 Локализация искусственно наложенной графики.

2.4.2. Нахождение артефактов изображения в видеопоследовательности

2.4.3. Отслеживание объектов видеоредактирования малого размера.

2.5 Пространственная обработка сцены.

2.5.1. Выбор методов реконструкции.

2.5.2 Определение гладкости текстуры.

2.5.3 Определение структурности текстуры.

2.5.4 Определение изотропности текстуры.

2.6 Временная обработка сцены.

2.6.1 Выбор метода определения движения от параметров реконструируемой области.

2.6.2 Временная коррекция пространственного восстановления текстуры

2.7 Оценка точности восстановления текстуры.

2.8. Алгоритм реконструкции изображения в ограниченной пространственно-временной области.

2.9. Выводы по главе.

Глава 3. Построение экспериментального программного обеспечения реконструкции видеопоследовательностей.

3.1 Структурная схема экспериментального программного обеспечения реконструкции видеопоследовательностей.

3.2 Описание модулей экспериментальной системы реконструкции видеопоследовательностей.

3.3 База данных обработанных видеопоследовательностей экспериментального программного обеспечения реконструкции.

3.4 Результаты обучения искусственной нейронной сети.

3.5 Реализация модулей программного обеспечения для многоядерных и многопроцессорных систем.

3.6 Результаты экспериментальных исследований.

3.7 Выводы по главе.

Актуальность работы. В сфере профессионального; кино- и телевидения широко востребованными, задачами» являются; реконструкция: оригинальной отснятой; видеопоследовательности* (компенсация примитивной наложенной, графики) и улучшение видеопоследовательности; (компенсация изображения произвольного объекта сцены малого размера, удаление царапин, пятен). Методы реконструкции изображений также могут применяться для улучшения спутниковых фотографий и данных лазерной локации. Первые работы в области; реконструкции видеопоследовательностей появились в середине 2000-х гг. в Massachusetts Institute of Technology, University of California (GUIA), Université de Technologie de Gompiegne (Франция), Delft University of Technology (Нидерланды), Soongsil University (Южная Корея): Позже аналогичные работы стали появляться- в России: в Вычислительном центре РАН (г. Москва), Институте систем обработки изображений РАН (г. Самара), МГУ, МФТИ, С.-ПбГУ. Следует отметить вклад российских ученых, таких: как, чл.-корр. РАН, д.ф.-м.н. К.В. Рудаков, д.т.н. В.П. Пяткин, д.т.н. Л.М. Местецкий, д.т.н. В.В. Сергеев, к.т.Н: А.А. Лукьяница и другие. Однако до сих пор существуют проблемы; как теоретического, так и практического характера, связанные как правило, сложными случаями реконструкции- реальных видеопоследовательностей (при аппроксимации движения в кадре объектов интереса в кадре, стыковке оригинального и реконструированного материала, синтезе: фоновой текстуры), а также с большими вычислительными затратами.

Целью диссертационной работы является повышение качества обработки и повторного использования оригинального видеоматериала в системах видеоредактирования и видеоархивах.

Для реализации поставленной цели необходимо решить следующие задачи.

1. Провести анализ методов, алгоритмов и систем локализации и компенсации областей искусственно наложенной графики и объектов малого размера, используемых при реконструкции-видеопоследовательности.

2. Разработать модели локализации и реконструкции изображения искусственно наложенной графики, артефактов изображения и объектов^ малого размера в сложных статических и динамических сценах.

3. Разработать способ выбора методов наложения текстурных фрагментов для компенсации фона сцены или объекта с признаками движения и без признаков движения на основе нейросетевого подхода.

4. Усовершенствовать алгоритм локализации искусственно наложенной графики, артефактов изображения в пространственно-временной области.

5. Создать алгоритм реконструкции изображения под искусственно наложенной графикой, артефактами и объектами сцены малого размера, основанный на анализе обобщенных параметров.

6. Разработать программное обеспечение для реконструкции видеопоследовательности в областях искусственно наложенной графики, артефактов изображения и объектов малого размера.

7. Провести экспериментальные исследования эффективности разработанных алгоритмов на тестовых выборках.

Область исследования. Работа выполнена в*соответствии с пунктами 5 «Разработка специального математического и программного обеспечения систем анализа, оптимизации, управления, принятия решений- и обработки информации» и 12 «Визуализация, трансформация и анализ информации на основе компьютерных методов обработки информации» паспорта специальностей ВАК (технические науки, специальность 05.13.01 -системный анализ, управление и обработка информации).

Методы исследования. При выполнении диссертационной работы использовались методы теории моделирования, теория анализа" и синтеза, теория обработки информации, методы линейной алгебры, методы объектно-ориентированного программирования.

Научная.новизна диссертационной работы состоит в следующем:

1. Разработана модель локализации и реконструкции искусственно наложенной графики в видеопоследовательностях, позволяющая восстанавливать пиксели фона под искусственно наложенной графикой, артефактами изображения и объектами сцены малого размера, предполагающая учет параметров текстуры в пространственно-временных окрестностях зон компенсации.

2. Разработан метод реконструкции текстуры, позволяющий выбирать способ реконструкции текстуры и восстанавливать области пропущенных пикселей в зависимости от наличия движения в сцене и анализа окружающей текстурной области, позволяющий выбрать способ реконструкции с применением нейросетевого подхода.

3. Создан алгоритм реконструкции изображения в ограниченной пространственно-временной- области, основанный на различных подходах к текстурной реконструкции на основе анализа обобщенных текстурных параметров, признаков движения окрестностей зон компенсации, параметров-цветности в компенсируемых областях.

Практическая значимость. Предложенные в диссертационной работе методы и алгоритмы ориентированы на практическое применение в программном обеспечении подготовки эфира и телевизионных трансляций, программно-аппаратных комплексов- видеоредактирования, работы в видеоархивах, а также может использоваться для анализа данных полученных аэрофотосъемкой, спутниковой фотографией, лазерной локацией и другими системами датчиков, данные которых можно представить в виде последовательностей изображений. В рамках диссертационного исследования создано специализированное экспериментальное программное обеспечение для реконструкции видеопоследовательностей.

Реализация результатов работы: программа «Комплекс распознавания номерных знаков транспортных средств (Gatekeeper) зарегистрирована в Реестре программ для. ЭВМ г. Москва, 22 апреля 2004 г. свидетельство- №2004610994), программа «Видеоредактор» зарегистрирована в Реестре программ для ЭВМ г. Москва, 25 марта 2010 г. (свидетельство №2010612230). Получен акт о передаче алгоритмического и программного обеспечения для редактирования видеопоследовательностей и разделения их на сцены для дальнейшего использованиям ООО «ДИИП» (г. Санкт-Петербург) от 20 апреля 2010 года. Получен акт об использовании результатов диссертационных исследований в учебный процесс Сибирского государственного аэрокосмического университета.

Апробация работы. Основные положения и результаты диссертации докладывались и обсуждались на всероссийской конференции «Актуальные проблемы космонавтики» (Красноярск, 2008, 2009 г.), международной научной конференции «Решетневские чтения» (Красноярск, 2008, 2009 г.), международной научно-технической конференции «Кибернетика и высокие технологии XXI века» (Воронеж, 2008 г.), всероссийской научной конференции студентов, аспирантов и молодых ученых «Наука. Технологии. Инновации (Новосибирск, 2008, 2009. г.), межрегиональная научно-практической конференции «Молодежь Сибири — науке России» (Красноярск, 2008, 2010* г.), международной конференции и выставке «Цифровая обработка сигналов и ее применение» (Москва, 2008, 2009, 2011 г.), всероссийской научно-практической конференции «Теоретические и прикладные вопросы современных информационных технологий» (Улан-Удэ, 2009 г.), всероссийская научно-практической конференции-конкурсе «Технологии Microsoft в теории-и практике программирования» (Томск, 2010 г.), всероссийской научной конференции молодых ученых «Теория и практика системного анализа» (Рыбинск, 2010 г.), Всероссийской научно-практической конференции студентов, аспирантов и молодых ученых с международным участием «Молодежь и современные информационные технологии» (Томск, 2011 г.).

Публикации. По результатам диссертационного исследования опубликовано 20 печатных работ, из них 4 статей (3 статьи в изданиях, рекомендованных ВАК, 14 тезисов докладов, 2 свидетельства, зарегистрированных в Российском реестре программ для ЭВМ.

Структура работы. Работа состоит из введения, трех глав, заключения, списка литературы и приложения. Основной текст диссертации содержит 109 страниц, изложение иллюстрируется 16 рисунками и 20 таблицами. Библиографический список включает 134 наименования.

Основные результаты и выводы диссертационного исследования:

1. Разработана модель локализации и реконструкции изображения искусственно наложенной графики, артефактов изображения и объектов малого размера в сложных статических и динамических сценах, позволяющая использовать различный набор методов локализации объектов интереса и реконструкции текстурной поверхности сцены и ли объекта с признаками и без признаков движения в рамках указанных ограничений.

2. Разработан масштабируемый способ выбора методов компенсации фона сцены или объекта с признаками движения и без признаков движения на основе нейросетевого подхода, позволяющий дополнять набор методов компенсации после переобучения ИНС.

3. Усовершенствован алгоритм локализации искусственно наложенной графики, артефактов изображения в пространственно-временной области на основе математической меры островершинности и преобразования Хафа. Предложена модификация меры островершинности для двумерной функции яркости коэффициентами геометрического положения, геометрической формы, поправки яркости и рассчитаны их значения для искусственно наложенной графики различных типов.

4. Создан масштабируемый пространственно-временной алгоритм реконструкции изображения под искусственно наложенной графикой, артефактами и объектами сцены малого размера, учитывающий обобщенные параметры текстуры, получаемые с помощью ИНС из текстурных признаков и признаков яркостной матрицы смежности. Для устранения артефактов пространственной реконструкции алгоритм позволяет использовать набор из трех моделей аппроксимации движения.

5. Разработана экспериментальная программная система восстановления видеопоследовательности, позволяющая выполнять локализацию артефактов изображения, искусственно наложенной графики и выбирать значения коэффициентов локализации; выполнять отслеживание объектов сцены малого размера на переднем плане; выполнять реконструкцию фона или объектов сцены в сложных условиях движения, используя одну или несколько моделей аппроксимации движения объектов в кадре.

6. Модифицирована библиотека KLT: An Implementation of the Kanade-Lucas-Tomasi Feature Tracker с целью использования в современных средствах разработки (Visual Studo С#) для трех моделей движения.

7. Эксперименты показали, что предложенные модели и алгоритмы обладают достаточной достоверностью локализации и реконструкции объектов интереса.

Таким образом, разработанные методы и алгоритмы позволяют автоматизировать сложные функции реконструкции изображений, видеопоследовательностей, архивных видеозаписей, и тем самым повысить качество систем видеоредактирования и видеоархивов.

ЗАКЛЮЧЕНИЕ

В диссертационной работе исследовалась задача повышения качества видеопоследовательностей удалением объектов интереса; а< именно: артефактов изображения, возникших вследствие повреждения видеоносителя (царапин, пятен и т.д.), искусственно наложенной графики (логотипов телевизионных каналов, субтитров, бегущей строки, изображений информационных плашек и т.д.), малых объектов переднего плана сцены (столбов, деревьев, рекламных щитов и т.д.).

Был проведен анализ методов и алгоритмов обработки видеопоследовательностей, методов и алгоритмов локализации объектов интереса и реконструкции видеопоследовательностей: Методы обработки видеопоследовательностей включают в себя получение текстурной информации - гладкости, структурности, изотропности текстуры; информации о движении объектов в сцене; разделения видеопоследовательности на сцены. Методы локализации объектов интереса построены на учете яркостных, цветовых, геометрических, позиционных различий объектов интереса и полезного содержания видеопоследовательности. Для локализации изображения искусственно наложенной графики применяется мера островершинности с коэффициентами учета положения, прозрачности, яркости, размера объекта интереса. Для локализации артефакта изображения применяется преобразование Хафа. Изображение объекта сцены малого размера первоначально задается человеком и в дальнейшем отслеживается с помощью известных методов слежения за контурами.

При реконструкции видеопоследовательности применяется три основных подхода: пространственный — при котором информация для реконструкции берется с того же самого кадра; временной - при котором информация для восстановления берется с соседних кадров сцены; и комбинированный подход, совмещающий в себе пространственный и временной подходы.

В диссертационной работе предлагается модель обработки видеопоследовательности в сложных статических и динамических сценах для восстановления пикселов фона с учетом текстурных параметров в пространственно-временной окрестности области пропущенных пикселов. Модель обработки состоит из модели предварительной подготовки, модели локализации объектов интереса, модели реконструкции статических и динамических сцен видеопоследовательности.

Для реконструкции- и синтеза текстуры кадра из текстурных фрагментов в пространственно-временной окрестности области пропущенных пикселов разработан метод, позволяющий выбрать способ синтеза текстуры с учетом текстурных признаков и движения в сцене. Для окрестности каждого пикселя кадра вычисляются текстурные признаки Р. Харалика, которые в дальнейшем анализируются с применением искусственной нейронной сети (ИНС) с обратным распространением ошибки, чтобы получить обобщенные текстурные параметры гладкости, структурности и изотропности. При дальнейшей обработке искусственная нейронная сеть дает рекомендацию по выбору метода реконструкции текстуры с учетом обобщенных параметров текстуры, размера области пропущены пикселов, движения в сцене.

Для локализации изображений искусственно наложенной графики и артефактов изображения^ предлагается" усовершенствование алгоритма локализации объектов интереса с помощью вычисления меры островершинности функции яркости кадра с учетом поправочных коэффициентов положения объекта интереса в кадре, яркости и прозрачности объекта интереса и его размера. Для артефактов изображения усовершенствование заключается в модификации алгоритма преобразования Хафа алгоритмов маркировки и выбора областей интереса в кадре.

На основе предложенных модели и методов создан алгоритм реконструкции фона видеопоследовательности в ограниченной пространственно-временной области путем удалений изображений искусственно наложенной графику артефактов изображения, объектов сцены малого размера. В алгоритме применяются как пространственный подход к реконструкции при синтезе текстуры фона выбранным способом при помощи ИНС, так и временной подход переносом пикселов и регионов с соседних кадров видеопоследовательности с использованием трех моделей аппроксимации движения в кадре (равномерное прямолинейное, поворот, масштабирование).

На основе предложенных методов разработано экспериментальное программное обеспечение локализации объектов интереса и реконструкции видеопоследовательностей. Программное обеспечение представляет собой модульное приложение, состоящее из отдельных программных модулей, которые позволяют решать задачи предварительной подготовки, локализации объектов интереса и реконструкции фона и объектов сцены видеопоследовательности. Программное обеспечение состоит из семи модулей: модуль организации интерфейса с пользователем, модуль предварительной- обработки, модуль локализации, модуль реконструкции, модуль редактирования медиапотоков, а также модуль «база данных обработанных видеопоследовательностей» и файл конфигурации искусственной нейронной сети (ИНС). Программное обеспечение позволяет осуществлять реконструкцию видеопоследовательностей в сложных условиях движения статических и динамических сцен набором пространственных (размывание, текстурное заполнение, текстурных синтез) и временных методов реконструкции (три модели аппроксимации движения объектов сцен видеопоследовательности).

Проведено тестирование модулей как по отдельности, так и в совокупности на различных типах видеопоследовательностей (художественные фильмы, анимация, концертное видео, студийное видео) в различных статических и динамических сценах для различных видов реконструируемых областей (текстовый блок, статический и динамический логотип телевизионного канала, артефакт изображения, объект сцены малого-размера). Экспериментальные исследования показали, что применение синтеза текстур и трех моделей аппроксимации движения объектов в сцене повышает достоверность реконструкции изображения до 90% и выше, что на 20% выше по сравнению с реконструкцией размыванием.

1. Анисимов Б.В., Курганов В.Д., Злобин В.К. Распознавание и цифровая обработка изображений: учебное пособие для студентов ВУЗов. -М.: Высшая школа, 1983. 295 с.

2. Боланте Э. Adobe After Effects: уроки. — М: Триумф, 2007. — С. 832.

3. Бутаков В.А., Островский В.И., Фадеев И.Л. Обработка изображений на ЭВМ. М.: Радио и связь, 1987, 239 с.

4. Введение в контурный анализ: приложения к обработке изображений и сигналов / Я.А. Фурман, A.B. Кревецкий, А.К. Передреев, A.A. Роженцов, Р.Г. Хафизов, И.Л. Егошина, А.Н. Леухин; под редакцией Я.А. Фурмана. М.: Физматлит, 2003 - 592 с.

5. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2005. 1072 с.

6. Дамов М. В. Анализ объектов в изображении. // В материалах VII Всероссийской научной конференции, посвященной памяти Генерального конструктора ракетно-космических систем М.Ф. Решетнева «Решетневские чтения» / Красноярск, СибГАУ, 2003. С. 266.

7. Дамов М.В. Восстановление видеопоследовательностей. // Материалы V всероссийской конференции «Актуальные проблемы космонавтики» / Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева. Красноярск, 2009 г.

8. Дамов М.В. Классификация текстур на основе нейронных сетей при реконструкции видеопоследовательности // В материалах 13-й международной конференции «Цифровая обработка сигналов и ее применение», М. В 2 т. Т. 1, 2011. С. 294-297.

9. Дамов М.В. Локализация и компенсация искусственно наложенных текстовых областей в видеопоследовательности // В материалах

10. XI международной конференции «Цифровая обработка сигналов и ее применение», Москва, 2009 г. с. 474-476.

11. Дамов М.В. Построение изображения сцены совмещением последовательных кадров. / М.В. Дамов, А.Г. Зотин // Вестник Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева. Вып. 5(31), Красноярск, 2010. с. 212-216.

12. Дамов М.В. Программа «Комплекс распознавания номерных знаков транспортных средств (Gatekeeper) //А.Г. Зотин, М.В. Дамов / Свидетельство №2004235394. Зарегистрирована в Реестре программ' для ЭВМ г. Москва, 22 апреля 2004 г.

13. Дамов M.B. Программный комплекс интеллектуальной ■. реконструкции видеопоследовательностей // В материалах VII Всероссийской научно-практической конференции-конкурсе «Технологии Microsoft в теории и практике программирования», Томск, 2010, с. 82-86.

14. Дамов М.В. Пространственный метод локализации изображений логотипов в видеопоследовательностях // В материалах всероссийской научной конференции молодых ученых «Наука. Технологии. Инновации. НТИ-2008», ч. 1, в 7 ч., Новосибирск, 2008. с.191 - 193.

15. Жарких A.A. Двухэтапный алгоритм выделения контуров на изображении. // Вестник МГТУ. т. 12, №2. М., 2009. С.202-205.

16. Зотин А.Г. Алгоритмы идентификации и распознавания номеров автомобильных транспортных средств, тезисы / А.Г. Зотин, М.В. Дамов // В материалах конференции «Технологии Microsoft в информатике и программировании» / НГУ. Новосибирск, 2004. -с. 100-102.

17. Карпенко A.C. Методы обработки биомедицинских изображений / A.C. Карпенко, К.В. Чирков // В материалах IX международной научно-технической конференции «Физика и радиоэлектроника в медицине и экологии». Владимир, 2010. С. 260-263.

18. Лукьяница A.A. Проблемы обработки изображений в системах мониторинга // A.A. Лукьяница, А.Г. Шишкин / ProSystem CCTV. М., 2007. - №1 (25). - С.42-51.

19. Лукьяница A.A., Шишкин А.Г. Цифровая обработка видеопоследовательностей. М.: Издательство «Ай-Эс-Эс Пресс», 2009. -518с.

20. Льюис Л. Идентификация систем. Теория для пользователя. М.: Наука, 1991.-432 с.

21. Медведева Е.В. Сегментация цифровых биомедицинских изображений / Е.В. Медведева, Е.Е. Курбатова // В материалах IXмеждународной научно-технической конференции «Физика и радиоэлектроника в медицине и экологии». Владимир, 2010. С. 320-324.

22. Методы компьютерной обработки изображений / Под редакцией В.А. Сойфера. М.: Физматлит, 2003. 784 с.

23. Прэтт У. Цифровая обработка изображений. М.: Мир, 1982 -Книга 1 - 312 с.

24. Рутковская Д., Пилиньский М., Рутковский JI. Нейронные сети, генетические алгоритмы и нечеткие системы. М.: Горячая линия - Телеком, 2006.-452 с.

25. Сойфер В.А. Компьютерная обработка изображений. Часть II. Методы и алгоритмы // Соросовский образовательный журнал, №3, 1996. с. 110-121

26. Фаворская М.Н. Алгоритмы реализации оценки движения в системах видеонаблюдения / М.Н. Фаворская, A.C. Шилов // Системы управления и информационные технологии / ИПУ РАН, ВГТУ, № 3.3(33), Воронеж, 2008. с. 408-412.

27. Фаворская М.Н. Методы распознавания изображений и видеопоследовательностей: монография / Сибирский государственный аэрокосмический университет имени академика М.Ф. Решетнева, Красноярск, 2010. 176 с.

28. Форсайт Д.А., Понс Ж. Компьютерное зрение: Современный подход.: Пер. с англ. М: Издательский дом «Вильяме», 2004 - 928 с.

29. Фурман Я.А., Юрьев А.Н., Яншин В.В. Цифровые методы обработки и распознавания бинарных изображений. Красноярск, издательство Краснярского университета, 1992. - 248 с.

30. Хайкин С. Нейронные сети: полный курс. М.: Издательский дом «Вильяме», 2006. - 1104 с.

31. Хомяк A. MAGiX Movie Edit Pro 12. Электронный ресурс. -Электрон, дан. Режим доступа: http://www.ixbt.com/divideo/magix.shtml -Загл. с экрана.

32. Шапиро Л., Стокман Дж. Компьютерное зрение. М.: Бином, 2006.752 с.

33. Шидловский Е.Ю. Цифровая обработка биомедицинских изображений / Е.Ю. Шидловский, К.В. Чирков // В материалах IX международной научно-технической конференции «Физика и радиоэлектроника в медицине и экологии». Владимир, 2010. С. 258-260.

34. Шульга Л. А. Новый биометрический подход для автоматического анализа изображений сосудистой системы сетчатки глаза / Л.А. Шульга, C.B. Саакян, Д.А. Складнев // В сборнике «Компьютерные исследования и моделирование». Т.2, №2, 2010. С. 189-197.

35. Яковлев A.B. Методы анализа и синтеза текстур / Муром, ин-т Владимир, гос. ун-та Муром, 1999 - 24 с ; Библиогр. 12 назв. - Рус, Деп. в ВИНИТИ 02.12.99 № 3589-В99.

36. Ярославский Л.П. Введение в цифровую обработку изображений. М.: Советское радио, 1979.- 312с.

37. Adobe AfterEffects. Электронный ресурс. Электрон, дан. -Режим доступа: http://ru.wikipedia.org/wiki/AdobeAfterEffects - Загл. с экрана.

38. Adobe Premier Pro CS 5. Электронный ресурс. Электрон, дан. -Режим доступа: http://help.adobe.com/enUS/premierepro/cs/using/index.html -Загл. с экрана.

39. Ardizzone Е., Capra A., La Cascia М. Using temporal texture for context-based video retrieval. Journal of Visual Languages and Computing. Vol. 11,2000. pp. 241-252.

40. Beholder. Электронный ресурс. Электрон, дан. - Режим доступа: http://www.beholder.ru/ - Загл. с экрана.

41. Brodatz P. Textures: A Photographic Album for Artists and Designers. -New York: Dover Publications, 1966. 112 c.

42. Chan A., Vasconcelos N. Mixtures of dynamic textures. Proceedings of the International conference on computer vision, vol. 1, Beijing, China 2005. pp. 641-647.

43. Chang I-C., Hsu C.-W. Video Inpainting Based on Multi-Layer Approach. Proceedings of 2009 APSIPA Annual Summit and Conference. Sapporo, Japan, 2009. pp. 200-207

44. Chiew T.-K., Hilll P., Bull D.R., Canagarajah C.N. Robust global motion estimation using the Hough transform for real time video coding. Proceedings of Picture Coding Symposium, 2004

45. Chung K. L., Chen Т. C., Yan W. M. New memory and computation-efficient hough transform for detecting lines. // Pattern Recognition, vol. 37, 2004, pp. 953-963.

46. Cohen M. F. Shade J., Hiller S., Deussen O. Wang Tiles for image and texture generation. Proceedings of ACM SIGGRAPH, vol. 22, issue 3, 2003.pp. 277-286.

47. Cozar J.R., Guil N., Gonzlez-Linares J.M., Zapata E.L. Video Cataloging Based On Robust Logotype Detection. Proceedings of IEEE International Conference on Image Processing (ICIP 2006), Atlanta, USA, 2006. pp. 3217-3220.

48. Doretto G., Cremens D., Favaro P., Soatto S. Dynamic texture segmentation. Proceedings of the International conference on computer vision, France, Nice, 2003. pp. 1236-1242.

49. Doretto G., Ghiuso A., Soatto S., Wu Y.N. Dynamic textures. International journal on computer vision. Vol. 51, 2003. pp. 91-109.

50. Esen E., Soysal M., Ates Т.К., Saracoglu, A., Aydin Alatan, A. A fast method for animated TV logo detection. Proceedings on International workshop on content-based multimedia indexing. London, 2008. pp. 236-241.

51. Fadeev A. Frigui H. Dominant Texture Descriptors for image classification and retrieval. Proceedings of 15th IEEE international conference image processing, San Diego, USA, 2008, pp. 989-992.

52. Fujita K., Nayar S.K. Recognition dynamic texture using impulse responses of state variables. Proceedings of the International workshop for texture analysis and synthesis. Nice, 2003. pp. 31-36.

53. Gedda M. Computer Assisted Image Analysis. Lectures. Lecture 10 -Object descriptors. Uppsala, 2010. 12 pages.

54. Glowacz A., Glowacz W. Shape Recognition of Film Sequence with Application of Sobel Filter and Backpropagation Neural Network. HumanComputer Systems Interaction. Berlin, 2009, vol. 60, pp. 505-516.

55. Graphic Design Free Resources all graphic design freebies from tutorials, tips and tricks, free images, etc. Электронный ресурс. - Электрон.дан. Режим доступа: http://www.designfreebies.org/category/free-images/textures/ - Загл. с экрана.

56. Han J., Zhou К., Wei L.-Y., Gong M., Bao H.,,Guo B: Fast example-based surface texture synthesis via discrete optimization. The Visual Computer. Vol. 22, issue 9, 2006. pp. 918-925.

57. Haralick R., Shanmugam K., Dinstein I. Texture features for image classification. IEEE Trans, on System, Man and Cybernatic, 1973.

58. Harris C., Stephens M. A combined corner and edge detection. In Proceedings of The Fourth Alvey Vision Conference, 1988. pp. 147D151.

59. Ke Y., Sukthankar R. PCA-SIFT: A More Distinctive Representation for Local Image Descriptors. In Proceedings IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Washington, pp. 506-513, 2004.

60. Kitchen L., Rosenfeld A. Gray-level corner detection. In: Pattern Recognition Letters, 1982. v. 1, pp. 95-102.

61. Kopf L, Fu C-W., Cohen-Or D., Deussen O., Lischinski D., Wong T.-T. Solid Texture Synthesis from 2D Exemplars. Proceedings of SIGGRAPH, vol. 26, issue 3, 2007.

62. Lee K.-H., Lee S.-H., Ко S.-J. Digital image stabilizing algorithms based on bit-plane matching. IEEE Transactions on Consumer Electronics, Vol. 44, No. 3, pp. 617-622, 1998.

63. Lefebvre S., Hoppe H. Appearance-Space Texture Synthesis. Proceedings of SIGGRAPH, vol. 25, issue 3, 2006. pp. 541-548.

64. Litvin A., Konrad J., Karl W.C. Probabilistic Video Stabilization Using Kalman Filtering and Mosaicking. Proceedings of SPIE Conference on Electronic Imaging, 2003.

65. Liu H., Wang W., Bi X. Study Of Image Inpainting Based On Learning. Proceedings of the International Multiconference of Engineers and Computer Scientists. Vol. II. Hong Kong, 2010. pp. 1442-1445.

66. Liu Y., Wang J., Xue S., Tong S., Kang S. В., Guo B. Texture Splicing. Proceedings of the 17th Pacific Conference on Computer Graphics and Application, Jedu, Korea, 2009. Vol. 28, num. 7, pp. 925-932.

67. Logoaway Filter. Электронный ресурс. Электрон, дан. - Режим доступа: http://www.videohelp.com/tools/VirtualdubLogoawayfilter - Загл. с экрана.

68. Lowe D. Distinctive Image Features from Scale-invariant Keypoints. In: International Journal of Computer Vision, v. 60, pp. 91-110, 2004.

69. Lowry Digital. Электронный ресурс. Электрон, дан. - Режим доступа: http://www.lowrydigital.com/index.html - Загл. с экрана.

70. Lu X., Wang W., Zhuoma D.A Fast Image Inpainting Algorithm Based on TV Model. Proceedings of the International Multiconference of Engineers and Computer Scientists. Vol. II. Hong Kong, 2010. pp. 1457-1460.

71. Ma C., Wei L.-Y., Guo В., Zhou K. Motion Field Texture Synthesis, In proceedings SIGGRAPH Asia, 2009.

72. Ma C., Wei L.-Y., Tong X. Discrete Element Texture Synthesis. Technical report MSR-TR-2010-107, Microsoft, 2010, 8 pages.

73. Meinhardt-Llopis, E. Edge detection by selection of pieces of level lines. Proceedings of 15th IEEE Ыегпайопад conference image processing, San Diego, USA, 2008, pp. 613 616.

74. Mertes J., Marranghello N., Pereira A. Implementation of Filters for Image Pre-processing for Leaf Analyses in Plantations. Computational Science -ICCS 2008. Berlin, vol. 5102, pp. 153-162.

75. Mikolajczyk K., Tuytelaars Т., Schmid C., Zisserman A., Matas J., Schaffalitzky F., Kadir Т., Gool L. Van. A comparison of affine region detectors. In: International Journal of Computer Vision, v. 65, pp. 43-72, 2006.

76. Morimoto C.H., Chellappa R. Automatic digital image stabilization. Proceedings of IEEE International Conference on Pattern Recognition, 1996.

77. Nieto P., Cozar J.R., Gonzalez-Linares, J.M., Guil, N. A TV-logo classification and learning system. Proceedings of international conference image processing, San Diego, USA, 2008, pp. 2548-2551.

78. Pelletier S., Cooperstock J.R. Efficient image restoration with the Huber-Markov prior model. Proceedings of 15th IEEE international conference image processing, San Diego, USA, 2008, pp. 513 516.

79. Piciarelli C., Foresti G. L. Surveillance-oriented event detection in video streams. // IEEE Intelligent Systems, 2010. Preprint.

80. Pnevmatikakis E.A., Maragos P. An inpainting system for automatic image structure texture restoration with text removal. Proceedings of 15th IEEE international conference image processing, San Diego, USA, 2008, pp. 2616-2619

81. Qaiser N., Hussain M. Texture Recognition by Fusion of Optimized Moment Based and Gabor Energy Features. Proceedings of IJCSNS, Vol. 8 No. 2, 2008, pp. 264-270.

82. Ramana Reddy B.V., Radhika Mani M., Subbaiah K.V. Classification Method using Wavelet Transforms Based on Gaussian Markov Random Field. International Journal of Signal and Image Processing, Vol. 1, 2010 pp. 35-39.

83. Rares A., Reinders M.J.T., Biemond J. Complex event classification in degraded image sequences. // Proceedings of 8th IEEE International conference on image processing,Thessaloniki, 2001.

84. Rares A., Reinders M.J.T., Biemond J. Image Sequence Restoration in the Presence of Pathological Motion and Severe Artifacts. Proceedings of ICASSP 2002 (IEEE), Orlando, USA, 2002.

85. Rares A., Reinders M.J.T., Biemond J. Restoration of Films Affected by Partial Color Artefacts. Proceedings of EUSIPCO 2002, Toulouse, France, 2003.

86. Rares A., Reinders M.J.T., Biemond J. Statistical analysis of pathological motion areas. // Proceedings of the IEE Seminar on Digital Restoration of Film and Video Archives, London, 2001. pp. 140-146

87. Roosmalen P.M.B. van. High-Level Analysis of Image Sequences. // Technical Report for INA Paris (Institut National de l'Audiovisuel), 1999.

88. Santos A.R., H.Y. Kim. Real-Time Opaque and Semi-Transparent TV Logos Detection. Proceedings 5th International Information and Telecommunication Technologies Symposium (I2TS), Cuiab, 2006.

89. Shen D.-F., Chiu C.-W., Huang P.-J. Modified laplacian filter and intensity correction technique for image resolution enhancement. IEEE International Conference on Multimedia and Expo. Toronto. Canada, 2006. pp.457-460.

90. Sheng Y., Labate, D., Easley, G.R., Krim, H. Edge detection and processing using shearlets. Proceedings of 15th IEEE internationaA conference image processing, San Diego, USA, 2008, pp. 1148 1151.

91. Soatto S., Doretto G., Wu Y.N. Dynamic textures. Proceedings of the International conference on computer vision. Vancouver, Canada, 2001. pp. 439446.

92. Sony Vegas. Электронный ресурс. Электрон, дан. — Режим доступа: http://ru.wikipedia.org/wiki/SonyVegas - Загл. с экрана.

93. SzeK.-W., LamK.-M., Qiu G. Scene cut detection using the colored pattern appearance model. Proceedings of the International Conference Image Processing. Vol. 2, 1017 vol. 3, 20.

94. Szummer M. Temporal texture modeling. Technical report 346, MIT,1995.

95. Tang J., Zhanga X., Denga Y., Dua Y., Chen Z. Texture decomposition with particle swarm optimization method. // Computational Materials Science, vol. 38, 2006, pp. 395-399.

96. Tissainayagam P., Suter D. Object tracking in image sequence using point features. // Pattern recognition, 2005, vol. 38, pp. 105-113.

97. Tommasinb Т., Fusiello A., Trucco E., Roberto V. Making good features to track better. Proceedings IEEE Computer Society Conference on Computer Vision Pattern Recognition, 1998, c. 145-149.

98. Vegas 10 Pro Videoediting. Электронный ресурс. Электрон, дан. - Режим доступа: http://www.sonycreativesoftware.com/vegaspro/videoediting -Загл. с экрана.

99. VirtuaDubMod. Электронный ресурс. Электрон, дан. - Режим доступа: http://ru.wikipedia.org/wiki/VirtualDubMod - Загл. с экрана.

100. VirtuaDubMod. Электронный ресурс. Электрон, дан. - Режим доступа: http://virtualdubmod.sourceforge.net/ - Загл. с экрана.

101. Volegov D.B., Gusev V.V., Yurin D.V. Straight line detection on images via hartley transform, fast hough transform. In 16-th International Conference on Computer Graphics and Application GraphiCon'2006, Novosibirsk, Russia, 2006.

102. Volegov D.B., Yurin D.V. Rough image registration via found straight lines. In 16-th International Conference on Computer Graphics and Application GraphiCon'2006, Novosibirsk, Russia, 2006.

103. Wei L.-Y., Han J., Zhou К., Bao H., Guo В., Shum H.-Y. Inverse Texture Synthesis. Proceedings of ACM SIGGRAPH. Vol. 27, issue 2, 2008. Article No.: 52.

104. Wexler, Y., Shechtman, E., Irani, M., 2007. Space-timecompletion of video. IEEE Transactions on Pattern Analysis and Machine Intelligence, No. 29 (3), pp. 463-476.

105. Yang Y., Newsam S. Comparing sift descriptors and gabor texture features for classification of remote sensed imagery. Proceedings of 15th IEEE International Conference «Image Processing», 2008, pp. 1852-1855.

106. Yilei X.; Roy-Chowdhury A.K. Efficient motion estimation under varying illumination. Proceedings of 15th IEEE international conference image processing, San Diego, USA, 2008, pp. 1992 1995.

107. Yu G., Li Z., Suyu W., Lansun S. A Novel Scene Cut Detection Method in H.264/AVC Compression Domain. Chinese Journal of Electronics, Vol. 18, No. 4, Oct. 2009, pp. 695-699.

108. Zhang J.-Y., Chen Y., Huang X.-X. Edge Detection of Images Based on Improved Sobel Operator and Genetic Algorithms. Proceedings of Internetional conference «Image analisys and signal processing», Taizhou, 2009. pp. 31-35/

109. Zharkikh A.A. Two stage algorithm of contour allocation in the image. Proceedings in Conference «Pattern Recognition and Image analysis: New Information Technologies», Yoshkar-Ola, v.3, p.47-50, 2007.

110. Zhou K., Du P., Wang L., Matsushita Y., Shi J., Guo B., Shum H.-Y. Decorating Surfaces with Bidirectional Texture Functions. IEEE Transactions on Visualization and Computer Graphics. Vol. 11, issue 5, 2005. pp. 519-528.

111. Zhou K., Huang X., Wang X., Tong Y., Desbrun M., Guo B., Shum H.-Y. Mesh Quilting For Geometric Texture Synthesis. Proceedings of ACM SIGGRAPH, Vol. 25 Issue 3, 2006, pp. 690-697.