автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Разработка и исследование алгоритмов определения геометрических преобразований кадров видеопоследовательности и их применение к задачам стабилизации, сопровождения и селекции движущихся объектов

Слынько Юрий Вячеславович

РАЗРАБОТКА И ИССЛЕДОВАНИЕ АЛГОРИТМОВ ОПРЕДЕЛЕНИЯ

ГЕОМЕТРИЧЕСКИХ ПРЕОБРАЗОВАНИЙ КАДРОВ ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ И ИХ ПРИМЕНЕНИЕ К ЗАДАЧАМ СТАБИЛИЗАЦИИ, СОПРОВОЖДЕНИЯ И СЕЛЕКЦИИ ДВИЖУЩИХСЯ ОБЪЕКТОВ

Специальность 05.13.17 - «Теоретические основы информатики»

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук

00344Э12Э

Москва - 2008

003449129

Работа выполнена в ОАО «МАК «Вымпел», Кафедра информационных систем МФТИ (ГУ)

кандидат технических наук, доцент Лагуткин Владимир Николаевич доктор физико-математических наук, профессор

Бернштейн Александр Владимирович, Институт Системного Анализа РАН кандидат технических наук, доцент Алешин Владимир Петрович, Научно-исследовательский институт прецизионного приборостроения

Ведущая организация НТЦ «Модуль», г Москва

Защита состоится «28» октября 2008г в 1530 на заседании диссертационного совета Д 212 156 04 Московского физико-технического института (ГУ) по адресу 141700, г Долгопрудный, Московская обл , Институтский переулок, д 9 , Новый корпус, 204 ауд

С диссертацией можно ознакомиться в библиотеке Московского Физико-Технического Института (ГУ)

Автореферат разослан А сентября 2008г

Ученый секретарь

диссертационного совета Д 212 156 04 кандидат технических наук, доцент

Научный руководитель Официальные оппоненты

^wj Л П Куклев

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Задачи автоматической обработки видеоизображений принадлежат к числу наиболее востребованных задач современной математики и кибернетики К ним относятся задачи сжатия и улучшения качества изображений, обнаружения и сопровождения объектов, построения трехмерных моделей наблюдаемых картин, распознавания образов и принятия решений на основе полученной информации

Такие задачи решаются в системах видеонаблюдения, системах мониторинга и обнаружения опасных ситуаций, робототехнике - начиная от бытовых приложений и заканчивая космической техникой Методы компьютерного зрения используются в протоколах передачи и стандартах хранения видеоинформации В последнее время алгоритмы компьютерного зрения активно применяются в медицине

Видеопоток характеризуется большим количеством информации при сравнительно низкой стоимости оборудования Этим обусловлена возрастающая популярность видеокамер как универсальных измерительных инструментов для эффективного решения многих практических задач

Зачастую съемка производится подвижным носителем (например, камера установлена на автомобиле, вертолете или другой нестационарной платформе) В таких ситуациях необходима стабилизация изображения Она целесообразна как для улучшения восприятия изображения оператором, так и в качестве предварительного шага для большей части алгоритмов компьютерного зрения, рассчитанных на работу со стационарным кадром

Другой важной задачей обработки изображений, тесно связанной с задачей стабилизации, является задача сопровождения выделенных объектов Эта задача актуальна для систем видеонаблюдения и мониторинга, применяемых для контроля периметра, в милицейских системах наблюдения и

т д

Еще одна область применения алгоритмов компьютерного зрения -селекция движущихся целей Она актуальна в космической и авиационной отраслях для наблюдения и контроля подстилающей поверхности Целью диссертационной работы является создание и исследование алгоритмов определения геометрических трансформаций кадров видеопоследовательности и их применение к задачам стабилизации и построения мозаики, а также алгоритмов сопровождения объектов и селекции движущихся целей

Задачами диссертационного исследования являются

1 Разработка, реализация и исследование методов реального времени совместного сопровождения и оконтуривания объектов в условиях существенной априорной неопределенности

2 Создание, реализация и анализ алгоритма реального времени оценки геометрических искажений кадров видеопоследовательности в применении к задачам стабилизации и построения панорамных изображений

3 Создание, реализация и исследование алгоритма реального времени определения качества видеопоследовательности

4 Создание и испытание экспериментального прототипа комплекса видеонаблюдения и программного обеспечения для него

5 Разработка и реализация алгоритма селекции движущихся целей при авиационном или космическом наблюдении, а также анализ точности и границ его применимости

Методы исследования. Для достижения поставленной цели в диссертационной работе используются методы теории вероятностей, теории случайных процессов, теории принятия решений, вычислительной математики, а также имитационного моделирования и физического эксперимента Основные положения, выносимые на защиту:

1 Решающее правило для задачи совместного сопровождения и оконтуривания объектов в условиях существенной априорной неопределенности на основе критерия максимального правдоподобия

2 Алгоритм оценки геометрических искажений кадров видеопоследовательности на основе объединения трех основных существующих подходов с оценкой качества (доверительной области) решения на каждом шаге алгоритма и его применение к решению задач стабилизации и построения панорамных кадров

3 Критерий качества видеопоследовательности на основе разработанных метрик с классификацией методами нейронных сетей

4 Алгоритм селекции движущихся целей при авиационном или космическом наблюдении, а также характеристики его применимости и оценка качества

Научная новизна:

1 Выведен аналитический вид функции правдоподобия для задачи одновременного сопровождения и оконтуривания

2 Разработана численная схема поиска максимума функции правдоподобия в многомерном пространстве

3 Выведена зависимость качества (доверительной области) принятия решения при оценке сдвига изображения корреляционным методом

4 Выведены аналитические зависимости точности оценок параметров геометрических преобразований при различных преобразованиях изображений

5 Введены новые метрики для изображений, позволяющие осуществлять оценку качества видеопоследовательности

6 Разработан метод селекции движущихся целей при авиационном и космическом наблюдении и найдены границы его применимости

Практическая ценность и реализация результатов. Результаты работы внедрены и используются в ОАО «МАК «Вымпел» при разработке моделирующего комплекса в рамках ОКР «Фронтон», НИР «Палаццо» и при выполнении работ по проекту «ИРИНА», о чем свидетельствует соответствующие акты внедрения Результаты работы реализованы в «Программно - алгоритмическом комплексе стабилизации и улучшения качества видеоизображений, получаемых информационными средствами космического базирования», зарегистрированном в реестре программ для ЭВМ №2007614534 Кроме того, результаты диссертационной работы использовались в учебном процессе на Кафедре информационных систем МФТИ (ГУ) при ОАО «МАК «Вымпел»

Апробация результатов работы. Основные результаты диссертации докладывались и обсуждались на

• Международной конференции ELMAR-2008, Задар, Хорватия

• Международной конференции "GraphiCon", (2008г , Москва)

• Международных конференциях «Цифровая обработка сигналов и ее применение» (2006г, 2008г, Москва)

• Научно-техническом семинаре молодых ученых «Проблемы обнаружения и сопровождения космических объектов в околоземном космическом пространстве» (2007г, Москва)

• Военно-научной конференции (2007г, Тверь)

• Выставках «Высокие технологии - XXI» (2007 - 2008гг, Москва)

• Выставке «МАКС» (2007г, Москва)

• Научных конференциях МФТИ (2002 - 2007гг , Долгопрудный) Публикации. По теме диссертации опубликовано 16 научных работ Три из них [1 - 3] в рецензируемых журналах, утвержденных в перечне ВАК Список публикаций приведен в конце автореферата

Структура и объем диссертационной работы. Диссертация состоит из введения, пяти глав, заключения, списка литературы, включающего 56 наименований Работа изложена на 133 страницах и содержит 47 рисунков и 10 таблиц

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность работы, сформулирована основная цель, научная новизна и практическая значимость результатов, приведено краткое описание структуры диссертации

В первой главе приводится описание алгоритма оценки геометрических преобразований кадров видеопоследовательности

В данной работе рассматривались несколько моделей геометрических преобразований, из которых следует, прежде всего, выделить аффинные и проективные

Оценка сдвига по сжатым кадрам

Выделение окон наибольшей информативности

Определение сдвигов каждого из окон

Объединение информации по каждому из окон

Рис. 1. Структура алгоритма определения геометрических преобразований

Для решения задачи определения геометрических искажений синтезирован алгоритм, основанный на объединении трех основных существующих подходов методе оптического потока, методе характерных точек и прямом методе на основе яркости точек кадра

Структура решения задачи показана на Рис 1 Сначала находится сдвиг кадра с использованием пирамиды сжатых кадров Затем на кадре исходного размера находятся наиболее информативные участки, и определяется сдвиг по каждому из них Далее информация о сдвиге каждого из информативных окон объединяется для получения полного вектора параметров преобразования

Ключевым здесь является метод определения сдвига с оценкой доверительной области, который используется как для определения сдвига по пирамиде сжатых кадров, так и для оценки сдвига отдельных окон

Оценка сдвига производится путем минимизации функции невязки двух входных кадров F(t) и F(t — 1), относящихся к моментам времени t и t-\

XIF, * (dx,dy) = ~ Е»!),*, ? . m

' ' S(M)Uj>EMitlxA) l-W

а само преобразование - в виде

Q = (dx,dy) = arg mm X , 2 (dx,dy),

1 '

где Q = (dx,dy) - сдвиги вдоль обеих осей, D - область возможных сдвигов, по которой проводится поиск, M(dx,dy) - область, по которой проводится вычисление невязки между кадрами (например, область, для которой точки (i,j) и (i + dx,j + dy) принадлежат F(t-1) и F(t) соответственно, т е область пересечения кадров), S(M) - площадь области M(dx,dy) (число точек)

Доверительная область, в которой лежит минимум функции X , fl){dx,dy), обусловленная шумом

5 = X

т, - -

(Г, Г){с1х,,с1\\)<т

X

N „

, + В а],

щ.

Хтп = лип X

ЫхёуУаО

та ~ ,, г1, = Б{М (йх,(1у)),

лг,

В - порог, определяющий доверительную вероятность ошибки

По данной доверительной области считается ковариационная матрица ошибок оценивания сдвига каждого окна, которая потом используется при вычислении полного преобразования кадра из сдвигов отдельных окон методом наименьших квадратов

Предложенный алгоритм был протестирован на большом количестве модельных и реальных видеопоследовательностей (в том числе и из популярных общедоступных баз данных)

Был проведен отдельный физический эксперимент по оценке сдвига кадров видеопоследовательности напрямую Точность экспериментальной оценки составила 0 1 пиксель Предложенный алгоритм дал результаты в пределах погрешности эксперимента

Табл. 1 Характеристики алгоритма определения геометрических преобразований

й-

о

а §

к

а и о

о са

о — " §

и ~

¥ сч

а х

ч °

о ^

а &

«

о ю

С- )Ята

2 I3

го т-

« Щ £

п га Д

""в и

3 2 га

,н н и Н

55 га о, [—

-о ю а _. д га

л а ^ м

4 Ю о

5 о ж ^

- ч 6

га а э

о. о

- 3 Л Я

«5 Й ¿>

^ й в Сч

я

V Ч о

ч

и -

о, я

с ч

о "

^ и к к

£ В

о е

я а

Й 3

о ч

Н о

^

и

К са Ч

о «

3 я л

га Л

га о, и

Я

я

<и ч и

ч

о &

с о

О о * 2

«

к

я я

и ч и

ч

и &

с о

05

я

_ я

га га

£ а я о и о, л 5 я ь Э 13

о я га

я л а

9- т О О о га Н х 5

о х

Я 3

н #

§ I

СО Рц В

2 Я о и га

0 03

50

0 034

10

02

715

<0 1

1600x900

Сравнение с другими описанными в литературе алгоритмами и коммерческими продуктами показало, что предложенный алгоритм имеет преимущество по скорости работы, надежности и величине максимального определяемого сдвига

Основные характеристики разработанного алгоритма приведены в Табл 1

Проведено теоретическое исследование точности алгоритмов оценки геометрических преобразований

Для этого функция корреляции С{с1х,<!у) - являющаяся основой функции невязки - аппроксимируется функцией Гаусса

С(<1х, йу) = —Апе 2й1 , И)

где а и А - параметры, характеризующие изображение Тогда ошибка определения сдвига будет

2а21п » а, —1- в 2 а

Ап ¡2а, 2Ша <УР Ап-а, V Ап " V А4п '

(6)

где

стс=^2а2рп + (0 5Т)2 ,

Т7 - среднее значение модуля дискретной производной (т е разности яркости между соседними пикселями), ор - уровень шума в пикселе, ал - количество

точек в окне суммирования

При размытии изображения с гауссовским ядром -

1

С(с1х,ёу)=-^е 2СТг (7)

2Л"(7Г

- ошибка определения сдвига будет

4жо1{а2 + 2<Тг)2У<г + (0 5^/4^<7г)2

Апа2

График зависимости минимума этой ошибки при а = 2 и Л = 10 приведен на Рис 2

0 45

04

г 0 35

О 25

а 02

О 15

О 1

о 0 05

20 40 60 80 100 120 140 160 Количество точек в окне суммирования

200

Рис. 2. Зависимость оптимального ядра размытия аг от количества точек п

Во второй главе описано применение алгоритма определения геометрических преобразований для решения задач стабилизации и построения панорамных кадров

Задача стабилизации решается путем отображения входных кадров, преобразованных в соответствии с параметрами, обратными к оцененным

Панорамные кадры (Рис 3) строятся на основе оцененных параметров преобразований (преимущественно проективных) с использованием сферической геометрии

Ш* I

!

м

Рис. 3. Пример построения панорамного изображения с использованием аффинных преобразований. Сверху - кадры исходной последовательности, снизу - кадр мозаики.

Для качественного решения указанных задач должны быть решены и другие задачи: определение качества видеопоследовательности (для исключения ситуаций, когда сама постановка задачи определения геометрических искажений некорректна) и разделение полных преобразований кадров на шумовые и управляемые (для компенсации только шумовых колебаний).

Следует разделить полное преобразование на преобразование, осуществляемое оператором за счет управления оптической осью и положением камеры от шумовых колебаний для качественного отображения стабилизированного изображения.

Для решения задачи разделения полных преобразований на управляемые и шумовые предложены алгоритмы: аппроксимации параметрическими функциями, фильтрации эмпирически заданными функциями и путем минимизации критерия качества.

Как показало исследование, общепринятые методы сглаживания и фильтрации в данном случае дают неудовлетворительный результат Наилучшим является метод минимизации критерия качества, т к в него могут быть включены все желаемые свойства алгоритма

Для повышения устойчивости предложенного алгоритма разработан критерий качества видеопоследовательности, который позволяет детектировать случаи, в которых задача определения геометрических искажений становится некорректной К ним относятся

1 Смена сцены

2 Отсутствие полезного сигнала (при наличии или отсутствии шума)

3 Высокий уровень помех

4 Некоторые другие - например, съемка с большим зумом при быстром перемещении камеры приводит к сильным «смазам» изображения и слишком большим смещениям

Табл. 2 Характеристики алгоритма определения качества видеопоследовательности_

Скорость работы (кадров в сек) Pentium М 1700МГц 160

Вероятность пропуска / вероятность ложного детектирования для задачи детектирования смены сцены 0 2% /<0 01%

Вероятность пропуска / вероятность ложного детектирования для задачи детектирования шумовых кадров при отсутствии полезного сигнала <0 01%/<0 01%

Вероятность пропуска / вероятность ложного детектирования для задачи детектирования шумовых кадров в присутствии полезного сигнала <0 01%/0 01%

Вероятность пропуска / вероятность ложного детектирования для задачи детектирования чересстрочной развертки <0 01%/<0 01%

Для обнаружения таких ситуаций использован общепринятый подход Сначала для очередного кадра считаются некоторые интегральные метрики, а потом по ним производится классификация В качестве метрик выбраны

1 - площадь доверительной области минимума функции невязки

2 Х„, - значение невязки в минимуме

3 Нс1 - хг -критерий разности гистограмм

Первые две метрики вычисляются методами, описанными в первой главе, и являются наиболее информативными для данной задачи

В качестве алгоритма классификации использована трехслойная нейронная сеть Ее обучение произведено методом обратного распространения

Характеристики алгоритма определения качества

видеопоследовательности приведены в Табл 2

В третьей главе описаны алгоритмы сопровождения выбранных объектов и определения их контура

В качестве базового использован описанный выше алгоритм определения геометрических преобразований, примененный к выделенному объекту на кадре

Для случаев существенной априорной неопределенности разработан метод одновременного сопровождения и оконтуривания на основе максимизации функции правдоподобия Этот алгоритм создан для решения задачи сопровождения при отсутствии априорной информации о форме и размерах объекта, а также о поведение фона

Разработанный алгоритм заключается в поиске максимума функции правдоподобия Кадр момента времени г состоит из конечного количества частей - пикселей (для ускорения алгоритма можно использовать части, состоящие из нескольких пикселей, далее будет использоваться термин «часть») Будем считать, что каждая часть полностью принадлежит либо

14

объекту, либо фону Первоначальный выбор объекта осуществляется оператором (либо сторонним алгоритмом обнаружения объектов) и заключается в выборе части /0, которая заведомо принадлежит объекту

Функция правдоподобия для данной задачи, те принадлежности всех частей кадра к объекту или фону, имеет вид

JU) = П />('е object)Y\ p(i £ object),

IE I 1С / i'J

где i - номер части в кадре, / - множество частей, принадлежащих объекту, p(i е object) - вероятность того, что часть ; принадлежит объекту

Оценка функции правдоподобия проводится с использованием функции невязки, аналогичной использованной в предыдущей главе Функции невязки (как функцию сдвига (dx,dy)) для каждой части и всего объекта выражаются следующим образом

С, (Л, dy) = £ {F, (/, к) - /v, (/ - dx, k-dyj)1 ,

I UP,

(10)

S(dx,dy) = YC,(dx,dy),

i e/

где Pt - пиксели, принадлежащие части i

Вероятности p{i e object) вычисляются как вероятности того, что минимумы С, и S совпадают Тогда

p(ie object) = J jp,(dx,dy)pF(dx,dy)d(dx)d(dy)

(И)

где р^х^у) и рь(с!х^у) - вероятности того, что значение сдвига части или объекта равны (с1х^у)

Эти вероятности могут быть оценены из оценок функций невязок, используя их приближение функциями Гаусса

Для решения задачи поиска максимума функции правдоподобия разработана следующая схема контур объекта вычисляется одним из

стандартных алгоритмов кластеризации, а затем рекуррентно уточняется, используя функцию правдоподобия

Задачей алгоритма кластеризации является нахождение первого приближения контура объекта Кластеризация ведется по сдвигам отдельных частей -те вычисляется множество сдвигов всех частей и делится на две группы, одна из которых соответствует объекту, а вторая - фону

В качестве алгоритма кластеризации были использованы два хорошо известных алгоритма на основе матрицы сходства и метод К-средних

Задав начальное разбиение кадра на объект и фон, находим локальный максимум функции правдоподобия методом последовательных приближений

Для этого вычислим функцию невязки S{dx,dy) для объекта по контуру I Затем для каждой части найдем вероятности p(i е object) и p(i € object). Если p(i е object) > p(i <£ object), то часть принадлежит объекту, иначе - фону (это следует из критерия максимизации функции правдоподобия) Таким образом, строится новый контур объекта Итерация повторяется (т е для нового контура вычисляется S(dx,dy) итд) Когда контур I перестанет изменяться-это будет означать, что достигнут локальный максимум, и итерации следует прекратить

Результаты алгоритма сопровождения методом максимального правдоподобия приведены на Рис 4

Помимо метода максимального правдоподобия предложены несколько алгоритмов оконтуривания и сопровождения, показавших хорошие результаты в отдельных типовых случаях

Алгоритм оконтуривания по цвету позволяет определить контур и отсопровождать объект, цвет которого существенно отличается от цвета фона

Рис. 4. Результаты работы алгоритма. Квадратами обозначены части, определенные как принадлежащие объекту. В верхнем ряду представлены результаты работы алгоритма на синтетических кадрах. В среднем -сопровождение человека на нестационарном фоне. В нижнем -сопровождение лодки на водной поверхности с яркими информативными бликами при перемещающейся камере. На изображениях нижнего ряда видно, что определились как части объекта даже удочки и антенны.

Алгоритмы оконтуривания по контрастности и методом определения границ позволяет определить контур и отсопровождать контрастный объект на менее контрастном фоне.

В четвертой главе описан метод селекции движущихся целей при авиационном и космическом наблюдении.

Под задачей селекции движущихся целей здесь подразумевается задача обнаружения точечных движущихся объектов на фоне подстилающей поверхности Данная задача решалась для случаев наблюдения с авиационных или космических носителей при наблюдении в направлении надира

В работе используется следующая структура алгоритма селекции движущихся целей

1 Построение оценки фона для текущего кадра на основе нескольких предыдущих

2 Обеление кадра с использованием оценки фона

3 Выделение на обеленном кадре отметок

4 Обнаружение связанных траекторий

Алгоритмы выделения отметок и объединение их в траектории не рассматривались, а использовались готовые

Для построения оценки фона использован метод авторегрессии, модифицированный для работы с нестационарным фоном заданного характера и использующий алгоритм определения геометрических искажений, описанный в первой главе

Обеленный кадр вычисляется по формуле

где /% - выбираемые специальным образом предыдущие кадры, ак -коэффициенты, вычисляемые из критерия

К||= ,

(12)

к

Н = агётт(2Х)2}

(13)

(14)

где [л] - корреляционная матрица к -ых кадров, [а] - коэффициенты ак, а \р\ - коэффициенты корреляции к -го кадра и текущего

Для правильного выбора кадров в линейной комбинации определяется сдвиг Г предыдущих кадров относительно текущего (где Т - длина временного окна) методом, описанным в первой главе, и в подставляются «сдвинутые» кадры Т к сдвиг - нецелая величина, то для достижения хорошего результата в линейную комбинацию (12) для каждого момента времени вместо одного кадра подставляются четыре, сдвинутые относительно текущего на целое число пикселей, ближайшее к вычисленному

Для борьбы с ложными отметками, появляющимися на траектории реальной отметки и вызванными ею, был использован нелинейный метод сигнальной компенсации Он заключается в удалении из кадров /\у изображений обнаруженных объектов и пересчете задачи с такими измененными кадрами

Разработанный алгоритм показал результаты, близкие к предельным (см Табл 3) Тестирование проводилось на основе имитаторов изображения поверхности Земли и облачного слоя, а также имитатора светимости возможных целей Оба имитатора разработаны сотрудниками Кафедры информационных систем МФТИ (ГУ) при ОАО «МАК «Вымпел» при активном участии автора данной работы

Табл. 3 Характеристики алгоритма СДЦ

Уровень остаточных шумов обеленного кадра в (шумах матрицы фотоприемника) 1 1

Минимальный уровень обнаружимого сигнала (в шумах матрицы фотоприемника) 30

Точность определения сдвига (СКО в пикселях) 0 08

Исследованы предельные границы применимости предложенных методов и показано, что алгоритмы эффективны в широком диапазоне условий наблюдения В частности, исследовалось снижение характеристик обнаружения за счет сферичности Земли (задача решалась в приближении плоской Земли) и

19

за счет наличия ветра. Показано, что предложенные алгоритмы в типичных условиях наблюдения показывают качество работы, близкое к оптимальному.

В пятой главе описан состав и схема экспериментальной установки.

Она может быть использована как прототип рабочей системы видеонаблюдения, которая позволяет улучшать качество изображений за счет их стабилизации и увеличения разрешения, объединение нескольких оптических потоков от инфракрасных камер и камер видимого диапазона, слежение за объектом и создание панорамных изображений.

Блок еидеонаблюдения

Рис. 5. Структура экспериментального прототипа

Установка разрабатывалась и создавалась соискателем совместно с коллективом Кафедры информационных систем МФТИ (ГУ) при ОАО «МАК «Вымпел».

Установка состоит из двух камер - видимого и инфракрасного диапазона, управляемого подвеса, устройств беспроводной передачи информации и другой аппаратуры.

Программное обеспечение (см. Рис. 6) позволяет, помимо выполнения вышеизложенных функций, отображать в реальном времени выходные видеопотоки, текущие параметры системы, а также выполнять команды оператора по контролю за состоянием системы, направление оптической оси сенсоров, степенью увеличения и т.д. Многозадачный подход позволяет

20

эффективно использовать многоядерность современных центральных процессоров.

Рис. 6. Блок-схема программного обеспечения экспериментальной

установки. Прямоугольниками обозначены отдельные процессы.

Овалами с косой штриховкой обозначены блоки, выполненные

полностью автором представленной работы на основе описанных здесь алгоритмов.

В заключении приводятся основные результаты и выводы диссертационной работы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

I. Разработан алгоритм определения геометрических трансформаций кадров видеопоследовательности. Под геометрическими трансформациями подразумеваются различные модели преобразований, включая аффинные и проективные. В основе

предложенного алгоритма лежит объединение трех основных существующих на сегодняшний день подходов с постоянным контролем качества принятия решений и точности оценок на каждом шаге алгоритма Это позволило создать алгоритмы, обеспечивающие высокую робастность на широком классе видеопоследовательностей, работающие в реальном времени на современных неспециализированных вычислительных средствах

2 Алгоритм определения геометрических преобразований успешно использован для решения задач стабилизации изображений и построения мозаики

3 Как необходимое дополнение к задаче определения геометрических трансформаций, получены решения следующих задач разделение движения камеры на управляемое и шумовое и определение качества видеопоследовательности

4 На основе алгоритма определения геометрических трансформаций создан комплекс методов и алгоритмов сопровождения объектов Выведено решающее правило на основе критерия максимального правдоподобия для оценки смещения объекта одновременно с оценкой его контура и размера Предложенный метод обеспечивает высокую точность и надежность в условиях высокой априорной неопределенности

5 Создан целый спектр алгоритмов сопровождения и оконтуривания для различных типичных ситуаций Они показали высокое быстродействие и надежность

6 Алгоритм сопровождения объектов на видеопоследовательности использован для управления направлением оптической оси фотоприемника для слежения за объектом

7 Разработанная модификация алгоритма определения геометрических преобразований использована для решения задачи селекции движущихся целей для задач авиационного или космического наблюдении Исследованы границы его применимости Разработанный алгоритм показал характеристики, близкие к предельным

8 Спроектирована и создана экспериментальная установка комплекса реального времени обработки изображений с возможностью удаленного контроля и передачи видеоинформации Разработанное программное обеспечение позволяет в реальном времени на современных неспециализированных вычислительных средствах под управлением многозадачной операционной системы выводить на экран все результаты обработки входных видеоизображений, контролировать параметры системы оператором, а также проводить автоматическое управление устройствами, в частности, осуществлять слежение за объектом Данная система может быть рассмотрена как прототип системы видеонаблюдения для милицейских и военных целей, а также для гражданских охранных и других систем видеонаблюдения

СПИСОК РАБОТ, ОПУБЛИКОВАННЫХ ПО ТЕМЕ ДИССЕРТАЦИИ

1 Ю В Счынько, В Н Лагуткин, А П Лукьянов Разработка и исследование робастных алгоритмов реального времени оценивания параметров геометрических преобразований кадров видеопоследовательностей // Радиотехника и электроника, 2007, том 52, №3, С 351-357

2 А Е Кочесса, В НЛагуткин, А П Лукьянов, ЮВ Слынько Комплекс алгоритмов оценки и компенсации геометрических линейных искажении входной информации, полученной при неизвестных динамических изменениях системы координат наблюдателя // Вопросы радиоэлектроники, сер PTJI, 2004, вып 1 С 58-72

3 ЮВ Слынько Селекция движущихся целей при авиационном наблюдении с построением трехмерной карты облачного слоя // Вопросы радиоэлектроники, сер PTJ1, 2006, вып 1 С 107-122

4 Ум V Slynko Maximum likelihood appioach to the problem of simultaneous contouring and tracking // Proceedings of ELMAR-2008, 10-12 September 2008, Zadar, Croatia VI P 121-124

5 Ю В Слынько, А П Лукьянов, В H Лагуткин Гибридный подход к решению задачи оценивания геометрических искажений кадров видеопоследовательностей // Доклады конф Цифровая обработка сигналов и ее применение, 2006, Вып VIII - 2, С 437-440

6 Ю В Счынько Определение смены сцены и шумоподобности кадров видеопоследовательности // Доклады конф Цифровая обработка сигналов и ее применение, Вып X - 2, С 422-425

7 А Е Кочесса, Ю В Слынько, В Н Лагуткин, А П Лукьянов Программно-алгоритмический комплекс стабилизации и улучшения качества видеоизображений, получаемых информационными средствами

космического базирования свидетельство об официальной регистрации программ для ЭВМ №2007614534 от 26 октября 2007г

8 Технический отчет по проекту "ИРИНА» / 2007 г, ОАО «МАК «Вымпел»

9 ЮВ Слынько, ЕН Подкорытов Алгоритм компенсации нестационарного мешающего фона с целью обнаружения движущихся точечных объектов II Труды XLV научной конференции МФТИ "Современные проблемы фундаментальных и прикладных наук", 2002, Ч 1 С 49

10 Ю В Сльшько Синтез алгоритма фильтрации нестационарного фона при авиационном наблюдении // Труды XLVI научной конференции МФТИ "Современные проблемы фундаментальных и прикладных наук", 2003, Ч 1 С 67

11Ю В Слынько Алгоритм оценки и компенсации геометрических линейных искажении входных видео изображений // Труды XLVII научной конференции МФТИ "Современные проблемы фундаментальных и прикладных наук", 2004, Ч 1, С 61-63

12 ЮВ Слынько Обзор принципов первичной обработки изображений человеческим глазом применительно к вопросам компьютерного зрения // Труды XLVIII научной конференции МФТИ "Современные проблемы фундаментальных и прикладных наук", 2005, Ч 1, С 87-88

13 ЮВ Счынько Методы построения алгоритма классификации и оценки качества видеопоследовательности // Труды XLIX научной конференции МФТИ "Современные проблемы фундаментальных и прикладных наук", 2006,4 1, С 106-107

14 Ю В Счынько Построение 3D картины по движению и селекция движущихся целей при авиационном наблюдении // Труды 32 Военно-

научной конференции, 2007, ч 2, кн 2 Инв 51470 ФГУ «2 ЦНИИ МО РФ»

15 ЮВ Слынько Исследование влияния предобработки видеопоследовательности на эффективность алгоритмов оценивания // Труды XLX научной конференции МФТИ "Современные проблемы фундаментальных и прикладных наук", 2007, Ч 1 , С 130-132

16ЮВ Слынько, АЕ Колесса Селекция движущихся целей на фоне движущейся подстилающей поверхности ТД 27404, 2008, ОАО «МАК «Вымпел», с 50-54

Заказ № 156/09/08 Подписано в печать 17 09 2008 Тираж 70экз Уел пл 1,5

/ - О ООО "Цифровичок", тел (495) 797-75-76, (495) 778-22-20 ' ,' \v\vw с/г ги , е-тси! т/о@с/г ги

Введение.

1 Оценка геометрических преобразований.

1.1 Введение.

1.2 Оценка, геометрических преобразований.

1.2.1 Общая структура алгоритма.

1.2.2 Определение сдвига с оценкой качества.

1.2.3 Определение сдвига по пирамиде сжатых кадров.

1.2.4 Выделение информативных областей.

1.2.5 Определение сдвига отдельного окна.

1.2.6 Вычисление полного преобразования кадра.

1.2.7 Анализ и результаты.

1.3 Учет особых явлений на изображении.

1.3.1 Учет тяжелых хвостов распределений.

1.3.2 Учет соседних пикселей.

1.4 Теоретическое исследование характеристик алгоритма.

1.5 Выводы.

2 Стабилизация и построение панорамных кадров.

2.1 Введение.

2.2 Стабилизация.

2.3 Разделение геометрических преобразований на управляемые и шумовые.

2.3.1 Аппроксимация движения параметрическими функциями и низкочастотная фильтрация.

2.3.2 Эмпирический метод.

2.3.3 Минимизация критерия качества.

2.4 Определения качества видеопоследовательности.

2.4.1 Алгоритм детектирования шумоподобных кадров и смены сцены для общего случая.

2.4.2 Детектирование особых случаев шума.

2.4.3 Детектирование чересстрочной развертки.

2.4.4 Отсеивание смазанных кадров.

2.4.5 Анализ и результаты.

2.5 Построение панорамного кадра.

2.6 Выводы.

3 Сопровождение движущихся объектов.

3.1 Введение.

3.2 Базовый алгоритм сопровождения.

3.3 Алгоритмы оконтуривания.

3.3.1 Оконтуривание по цвету.

3.3.2 Оконтуривание по контрастности.

3.3.3 Оконтуривание методом выделения границ.

3.3.4 Временная фильтрация.

3.3.5 Постобработка контура.

3.3.6 Алгоритмы обнаружения и сопровождения на основе контуров объектов.

3.4 Алгоритм сопровождения методом максимального правдоподобия.

3.4.1 Оценка функции максимального правдоподобия.

3.4.2 Поиск максимума правдоподобия.

3.4.3 Фильтрация.

3.4.4 Слабообусловленная задача.

3.4.5 Возможные модификации.

3.5 Алгоритм оценки шума.

3.6 Алгоритм управления приводом камеры.

3.7 Анализ и результаты.

3.8 Выводы.

4 Селекция движущихся целей.

4.1 Введение.

4.2 Алгоритм авторегрессии.

4.3 Сигнальная компенсация.

4.4 Анализ и результаты.

4.5 Границы применимости.

4.6 Выводы.

5 Экспериментальная установка и программная реализация.

5.1 Введение.

5.2 Описание экспериментальной установки.

5.3 Программная реализация.

5.4 Функциональные возможности.

5.5 Выводы.

Выводы.

Актуальность темы. Задачи автоматической обработки видеоизображений принадлежат к числу наиболее востребованных задач современной математики и кибернетики. К ним относятся задачи сжатия и улучшении качества изображений, обнаружения и сопровождения объектов, построения трехмерных моделей наблюдаемых картин, распознавания образов и принятия решений на основе полученной информации.

Такие задачи решаются в системах видеонаблюдения, системах мониторинга и обнаружения опасных ситуаций, робототехнике - начиная от бытовых приложений и заканчивая космической техникой. Методы компьютерного зрения используются в протоколах передачи и стандартах хранении видеоинформации. В последнее время алгоритмы компьютерного зрения активно применяются в медицине.

Видеопоток характеризуется большим количеством информации при сравнительно низкой стоимости оборудования. Этим обусловлена возрастающая популярность видеокамер как универсальных измерительных инструментов для эффективного решения многих практических задач.

При современном уровне развития компьютерной и видеотехники становится возможным создание систем, обрабатывающих видеопоследовательности в реальном времени на таком уровне качества, при котором становится целесообразно уделять им большое внимание. В частности, пропускная способность современных каналов сети Интернет позволяет передавать по ним видео в реальном времени. Однако для такой передачи оно должно быть сжато весьма сложно устроенным алгоритмом сжатии. В задачах видеонаблюдения и контроля программные средства позволяют в автоматическом режиме оценивать ситуацию и выдавать предупреждения оператору обо всех подозрительных ситуациях. В задачах робототехники возможно создание роботов и автоматов с очень сложным поведением, вплоть до стыковки космических аппаратов.

Но, несмотря на такой прогресс, количество нерешенных задач намного превышает количество решенных. Например, подавляющее большинство интеллектуальных систем видеонаблюдения использует стационарные камеры, алгоритмы сжатия изображений дают значительное снижение качества видео, а системы автоматического управления на автомобилях или самолетах до сих пор лишь помогают оператору управлять, но не берут управление на себя. Ну, а уровень обработки изображений человеческим глазом до сих пор остается не досягаем для современных систем компьютерного зрения.

Зачастую съемка производится подвижным носителем (например, камера установлена на автомобиле, вертолете или другой нестационарной платформе). В таких ситуациях необходима стабилизация изображения. Она целесообразна как для улучшения восприятия изображения оператором, так и в качестве предварительного шага для большей части алгоритмов компьютерного зрения, рассчитанных на работу со стационарным кадром.

Другой важной задачей обработки изображений, тесно связанной с задачей стабилизации, является задача сопровождения выделенных объектов. Эта задача актуальна для систем видеонаблюдения и мониторинга, применяемых для контроля периметра, в милицейских системах наблюдения и т.д.

Еще одна область применения алгоритмов компьютерного зрения -селекция движущихся целей. Она актуальна в космической и авиационной отраслях для наблюдения и контроля подстилающей поверхности. Целью диссертационной работы является создание и исследование алгоритмов определения геометрических трансформаций кадров видеопоследовательности и их применение к задачам стабилизации и построения мозаики, а также алгоритмов сопровождения объектов и селекции движущихся целей.

Задачами диссертационного исследования являются:

1. Разработка, реализация и исследование методов реального времени совместного сопровождения и оконтуривания объектов в условиях существенной априорной неопределенности.

2. Создание, реализация и анализ алгоритма реального времени оценки геометрических искажений кадров видеопоследовательности в применении к задачам стабилизации и построения панорамных изображений.

3. Создание, реализация и исследование алгоритма реального времени определения качества видеопоследовательности.

4. Создание и испытание экспериментального прототипа комплекса видеонаблюдения и программного обеспечения для него.

5. Разработка и реализация алгоритма селекции движущихся целей при авиационном или космическом наблюдении, а также анализ точности и границ его применимости.

Методы исследования. Для достижения поставленной цели в диссертационной работе используются методы теории вероятностей, теории случайных процессов, теории принятия решений, вычислительной математики, а также имитационного моделирования и физического эксперимента. Основные положения, выносимые на защиту:

1. Решающее правило для задачи совместного сопровождения и оконтуривания объектов в условиях существенной априорной неопределенности на основе критерия максимального правдоподобия.

2. Алгоритм оценки геометрических искажений кадров видеопоследовательности на основе объединения трех основных существующих подходов с оценкой качества (доверительной области) решения на каждом шаге алгоритма и его применение к решению задач стабилизации и построения панорамных кадров.

3. Критерий качества видеопоследовательности на основе разработанных метрик с классификацией методами нейронных сетей.

4. Алгоритм селекции движущихся целей при авиационном или космическом наблюдении, а также характеристики его применимости и оценка качества. Научная новизна:

1. Выведен аналитический вид функции правдоподобия для задачи одновременного сопровождения и оконтуривания.

2. Разработана численная схема поиска максимума функции правдоподобия в многомерном пространстве.

3. Выведена зависимость качества (доверительной области) принятия решения при оценке сдвига изображения корреляционным методом.

4. Выведены аналитические зависимости точности оценок параметров геометрических преобразований при различных преобразованиях изображений.

5. Введены новые метрики для изображений, позволяющие осуществлять оценку качества видеопоследовательности.

6. Разработан метод селекции движущихся целей при авиационном и космическом наблюдении и найдены границы его применимости.

Практическая ценность и реализация результатов. Результаты работы внедрены и используются в ОАО «МАК «Вымпел» при разработке моделирующего комплекса в рамках ОКР «Фронтон», НИР «Палаццо» и при выполнении работ по проекту «ИРИНА», о чем свидетельствует соответствующие акты внедрения.

Результаты работы реализованы в «Программно - алгоритмическом комплексе стабилизации и улучшения качества видеоизображений, получаемых информационными средствами космического базирования», зарегистрированном в реестре программ для ЭВМ №2007614534 от 27 октября 2007г.

Кроме того, результаты диссертационной работы использовались в учебном процесса на Кафедре информационных систем МФТИ (ГУ) при ОАО «МАК «Вымпел».

Апробация результатов работы. Основные результаты диссертации докладывались и обсуждались на:

• Международных конференциях «Цифровая обработка сигналов и её применение» (2006г., 2008г., Москва).

• Научно-техническом семинаре молодых ученых «Проблемы обнаружения и сопровождения космических объектов в околоземном космическом пространстве» (2007г., Москва).

• Военно-научной конференции (2007г., Тверь).

• Выставках «Высокие технологии - XXI» (2007 - 2008гг, Москва).

• Выставке «МАКС» (2007г., Москва).

• Научных конференциях МФТИ (2002 - 2007гг., Долгопрудный). Публикации. По теме диссертации опубликовано 16 научных работ. Три из них [1 - 3] в рецензируемых журналах, утвержденных в перечне ВАК.

По теме диссертационной работы опубликованы следующие работы:

1. Ю.В. Слынько, В.Н. Лагуткин, А.П. Лукьянов. Разработка и исследование робастных алгоритмов реального времени оценивания параметров геометрических преобразований кадров видеопоследовательностей. // Радиотехника и электроника, 2007, том 52, №3, С. 351-357.

2. А.Е.Колесса, В.Н.Лагуткин, А.П.Лукьянов, Ю.В. Слынько. Комплекс алгоритмов оценки и компенсации геометрических линейных искажении входной информации, полученной при неизвестных динамических изменениях системы координат наблюдателя. // Вопросы радиоэлектроники, сер PTJI, 2004, вып. 1. С. 58 - 72.

3. Ю.В. Слынько. Селекция движущихся целей при авиационном наблюдении с построением трехмерной карты облачного слоя. // Вопросы радиоэлектроники, сер. PTJI, 2006, вып. 1. С. 107 - 122.

4. Yuriy Slynko. Maximum likelihood approach to the problem of simultaneous contouring and tracking. // Proceedings of ELMAR-2008, in press.

5. Ю.В. Слынъко, А.П. Лукьянов, B.H. Лагуткин. Гибридный подход к решению задачи оценивания геометрических искажений кадров видеопоследовательностей. // Доклады конф. Цифровая обработка сигналов и ее применение, Вып. VIII - 2, С. 437-440.

6. Ю.В. Слынъко Определение смены сцены и шумоподобности кадров видеопоследовательности. // Доклады конф. Цифровая обработка сигналов и ее применение, Вып. X - 2, С. 422-425.

7. А.Е. Колесса, Ю.В. Слынъко, В.Н. Лагуткин, А.П. Лукьянов Программно-алгоритмический комплекс стабилизации и улучшения качества видеоизображений, получаемых информационными средствами космического базирования: свидетельство об официальной регистрации программ для ЭВМ №2007614534 от 26 октября 2007г.

8. Технический отчет по проекту "ИРИНА». / 2007 г., ОАО «МАК «Вымпел».

9. Ю.В. Слынъко, Е.Н. Подкорытов. Алгоритм компенсации нестационарного мешающего фона с целью обнаружения движущихся точечных объектов. // Труды XLV научной конференции МФТИ "Современные проблемы фундаментальных и прикладных наук", 2002, Ч. 1. С. 49.

10.Ю.В. Слынъко. Синтез алгоритма фильтрации нестационарного фона при авиационном наблюдении. // Труды XLVI научной конференции МФТИ "Современные проблемы фундаментальных и прикладных наук", 2003, 4.1. С. 67.

11 .Ю.В. Слынъко. Алгоритм оценки и компенсации геометрических линейных искажении входных видео изображений. // Труды XLVII научной конференции МФТИ "Современные проблемы фундаментальных и прикладных наук", 2004, 4.1, С. 61-63.

У1.Ю.В. Слынъко. Обзор принципов первичной обработки изображений человеческим глазом применительно к вопросам компьютерного зрения. // Труды XLVIII научной конференции МФТИ "Современные проблемы фундаментальных и прикладных наук", 2005, Ч. 1, С. 87-88.

13.Ю.В. Слынъко. Методы построения алгоритма классификации и оценки качества видеопоследовательности. // Труды XLIX научной конференции МФТИ "Современные проблемы фундаментальных и прикладных наук", 2006, Ч. 1, С. 106-107.

14.Ю.В. Слынъко. Построение 3D картины по движению и селекция движущихся целей при авиационном наблюдении. // Труды 32 Военно-научной конференции, 2007, ч.2, кн. 2. Инв. 51470. ФГУ «2 ЦНИИ МО РФ».

15 .Ю.В. Слынъко Исследование влияния предобработки видеопоследовательности на эффективность алгоритмов оценивания. // Труды XLX научной конференции МФТИ "Современные проблемы фундаментальных и прикладных наук", 2007, Ч. 1., С. 130 - 132.

16.Ю.В. Слынъко, А.Е. Колесса Селекция движущихся целей на фоне движущейся подстилающей поверхности: ТД 27404, 2008, ОАО «МАК «Вымпел», с. 50-54.

Структура и объем диссертационной работы. Диссертация состоит из введения, пяти глав, заключения, списка литературы, включающего 55 наименований. Работа изложена на 133 страницах и содержит 47 рисунков и 10 таблиц.

Выводы

1. Разработан алгоритм определения геометрических трансформаций кадров видеопоследовательности. Под геометрическими трансформациями подразумеваются различные модели преобразований, включая аффинные и проективные. В основе предложенного алгоритма лежит объединение трех основных существующих на сегодняшний день подходов с постоянным контролем качества принятия решений и точности оценок на каждом шаге алгоритма. Это позволило создать алгоритмы, обеспечивающие высокую робастность на широком классе видеопоследовательностей, работающие в реальном времени на современных неспециализированных вычислительных средствах.

2. Алгоритм определения геометрических преобразований успешно использован для решения задач стабилизации изображений и построения мозаики.

3. Как необходимое дополнение к задаче определения геометрических трансформаций, получены решения следующих задач: разделение движения камеры на управляемое и шумовое и определение качества видеопоследовательности.

4. На основе алгоритма определения геометрических трансформаций создан комплекс методов и алгоритмов сопровождения объектов. Выведено решающее правило на основе критерия максимального правдоподобия для оценки смещения объекта одновременно с оценкой его контура и размера. Предложенный метод обеспечивает высокую точность и надежность в условиях высокой априорной неопределенности.

5. Создан целый спектр алгоритмов сопровождения и оконтуривания для различных типичных ситуаций. Они показали высокое быстродействие и надежность.

6. Алгоритм сопровождения объектов на видеопоследовательности использован для управления направлением оптической оси фотоприемника для слежения за объектом.

7. Разработанная модификация алгоритма определения геометрических преобразований использована для решения задачи селекции движущихся целей для задач авиационного или космического наблюдении. Исследованы границы его применимости. Разработанный алгоритм показал характеристики, близкие к предельным.

8. Спроектирована и создана экспериментальная установка комплекса реального времени обработки изображений с возможностью удаленного контроля и передачи видеоинформации. Разработанное программное обеспечение позволяет в реальном времени на современных неспециализированных вычислительных средствах под управлением многозадачной операционной системы выводить на экран все результаты обработки входных видеоизображений, контролировать параметры системы оператором, а также проводить автоматическое управление устройствами, в частности, осуществлять слежение за объектом. Данная система может быть рассмотрена как прототип системы видеонаблюдения для милицейских и военных целей, а также для гражданских охранных и других систем видеонаблюдения.

1. S. Negahdaripour, S. Lee. Motion Recovery from 1.age Sequences Using First-Order Optical Flow Information. // IEEE Workshop Visual Motion. - Oct. 1991. - P. 132-139.

2. Berthold K.P. Horn, Brian G. Schunck. Determining Optical Flow. // Artificial Intelligence, 17, pp. 185-203, 1981.

3. B. Lucas, T. Kanade An Iterative Image Registration Technique with an Application to Stereo Vision. // Proc. of 7th International Joint Conference on Artificial Intelligence (IJCAI), pp. 674-679.

4. Stephen L. Keeling, Wolfgang Ring. Medical Image Registration and Interpolation by Optical Flow with Maximal Rigidity. // journal of Mathematical Imaging and Vision, Volume 23, Issue 1 (July 2005).

5. P. Stumpf. Uber die Abhangigkeit der visuellen Bewegungsrichtung und negativen Nachbildes von den Reizvorgangen auf der Netzhaut. // Zeitschrift fur Psychologie, 1911, V59, P. 321-330.

6. R. Chipolla, Y. Okamoto, Y. Kuno. Robust Structure from Motion Using Motion Parallax. //Int'l Conf. Computer Vision. May 1993. - P. 374382.

7. F. Lustman, O.D. Faugeras, G. Toscani. Motion and Structure from Motion from Point and Line Matching. // Proc. First Int'l Conf. Computer Vision, P. 25-34, London, 1987.

8. A. Censi, A. Fusiello, V. Roberto. Image stabilization by features tracking // Image Analysis and Processing, 1999. Proceedings. International Conference on Volume , Issue , 1999 Page(s):665 667

9. В. K. P. Horn, E. J. Weldon, Jr. Direct methods for recovering motion. I I International Journal of Computer Vision, 2:51-76, 1988.

10. Дж. Дэннис, Р. Шнабелъ. Численные методы безусловной оптимизации и решения нелинейных уравнений. / Пер. с англ. М: Мир, 1988

11. Й. Абаффи, Э. Спендикато. Математические методы для линейных и нелинейных уравнений. Проекционные ABS-алгоритмы. М: Мир, 1996.

12. Alex Rav-Acha, Shmuel Peleg. Restoration of Multiple Images with Motion Blur in Different Directions. // IEEE Computer Society Conference on Computer Vision and Pattern Recognition, proceedings of the conference, 2000.

13. Richard Szeliski, Heung-Yeung Shum. Creating Full View Panoramic Image Mosaics and Environment Maps. // Microsoft Research, 1997.

14. П.В.Г. Репин, В.Н. Лагуткин. Спектральный метод компенсации смещений и повышения разрешения изображений при обработке последовательности смещающихся цифровых кадров. // Радиотехника и электроника, том 45, №11, с 1359-1364.

15. Ю.Репин В.Г., Тартаковский Г.П. Статистический синтез. М: Советское радио, 1977.

16. Л Ван Трис. Теория обнаружения, оценок и модуляции. М: Советское радио, 1977.

17. Fatih Porikli. Achieving Real-Time Object Detection and Tracking Under Extreme Conditions. // JRTIP-2006.

18. C. Wren, A. Azarbayejani, T. Darell, and A. Pentland. Pfinder: Realtime tracking of the human body. // IEEE Trans. Pattern Anal. Machine Intell., vol. 19, pp. 780-785, 1997.

19. Y. Boykov andD. Huttenlocher. Adaptive bayesian recognition in tracking rigid objects. // Proc. IEEE Conf. on Computer Vision and Pattern Recognition, Hilton Head, SC, vol. II, 2000, pp. 697-704.

20. M. Isard and I. Blake. Condensation conditional density propagation for visual tracking. // Intl. J. of Computer Vision, vol. 29, 1998, pp. 528.

21. N. Bouaynaya, W. Qu, and D. Schonfeld. An online motion-based particle filter for head tracking applications. // Proc. of the IEEE International Conference on Acoustics, Speech, and Signal Processing, Philadelphia, 2005.

22. D. Comaniciu, V. Ramesh, and P. Meer. Real-time tracking of non-rigid objects using mean shift. // Proc. IEEE Conf. on Computer Vision and Pattern Recognition, Hilton Head, SC, vol. 1, 2000, pp. 142-149.

23. Chong-Wah Ngo, Ting-Chuen Pong, Hong-Jiang Zhangz & Roland T. Chin. Motion-based Video Representation for Scene Change Detection. // International Journal of Computer Vision. Volume 50, Issue 2 (November 2002).

24. Jong Wan Jang and II Kyun Oh. Performance Evaluation of Scene Change Detection Algorithms. // APCC/OECC '99. Vol.2.3e.Xiaoquan Yi and Nam Ling. Fast Pixel-Based Video Scene Change Detection. // ISC AS 2005. Vol. 4.

25. Georgios Akrivas, Nikolaos. D. Doulamis, Anastasios. D. Doulamis and Stefanos. D. Kollias. Scene Detection Methods for MPEG Encoded Video Signals. // MELECON 2000. Vol. 2.

26. Serkan Kiranyaz, Kerem Caglar, Bogdan Cramariuc and Moncef Gabbouj. Unsupervised Scene Change Detection Techniques In Feature Domain Via Clustering And Elimination. // IWDC 2002, Capri, Italy.

27. Edmundo Saez, Jose /. Benavides, Nicolas Guil. Reliable real time scene change detection in MPEG compressed video. // ICME '04. Vol. 1.

28. H.B. Lu, Y.J. Zhang, Y.R. Yao. Robust Gradual Scene Change Detection. // ICIP 99. Vol.3.

29. Смирнов H.B. Теория вероятностей и математическая статистика. Избранные труды. М.: Наука 1970г.

30. Heung-Yeung Shum and Richard Szeliski. Panoramic Image Mosaics. // Microsoft Research. Technical Report. MSR-TR-97-23.

31. Hieu T. Nguyen and Arnold W.M. Smeulders. Fast Occluded Object Tracking by a Robust Appearance Filter. // IEEE Transaction on pattern analysis and machine intelligence, V. 26, N. 8, August 2004.

32. Д Форсайт, Ж. Понс. Компьютерное зрение. Современный подход. Вильяме, 2004.

33. J. Canny. A Computational Approach to Edge Detection. // IEEE Trans, on Pattern Analysis and Machine Intelligence, 8(6), pp. 679-698 (1986).4S.Serra J. Image Analysis and Mathematical Morphology. // Vol. 2. N. Y.: Academic Press, 1988. 480 p.

34. Методы компьютерной обработки изображений. / Под ред. В.А. Сойфера. М.: Физматлит, 2003.

35. Левин Б.Р. Теоретические основы статистической радиотехники. Кн. 1. М.: Сов. радио, 1968.51 .Алейник С.В. Приближенная плотность распределения суммы квадратов зависимых гауссовских случайных величин. // Радиотехника, 1999, №1. С. 53-55.

36. W.H. Press et al. Numerical Recipes in C. Cambridge university press. 1992.

37. Ф. Уоссермен. Нейрокомпьютерная техника: Теория и практика. М.: «Мир», 1992.

38. Пругло А.В., Равдин С. С. Алгоритм объединения изображений различных спектральных диапазонов с использованием пирамидального разложения. // Вопросы радиоэлектроники. 2006, вып 1.