автореферат диссертации по приборостроению, метрологии и информационно-измерительным приборам и системам, 05.11.16, диссертация на тему:Информационно-измерительная система видеослежения за подвижными объектами на основе пространственных дескрипторов

На правах рукописи

ООбиэ*' —

АУН САМЕР

ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНАЯ СИСТЕМА ВИДЕОСЛЕЖЕНИЯ ЗА ПОДВИЖНЫМИ ОБЪЕКТАМИ НА ОСНОВЕ ПРОСТРАНСТВЕННЫХ ДЕСКРИПТОРОВ

Специальность 05.11.16 - Информационно-измерительные и управляющие системы (в приборостроении)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

0 4 0КТ2012

Казань 2012

005052795

Работа выполнена в Федеральном государственном бюджетном образовательном учреждении высшего профессионального образования (ФГБОУ ВПО) «Казанский национальный исследовательский технический университет им. А.Н. Туполева - КАИ» (КНИТУ-КАИ) на кафедре «Автоматизированные системы обработки информации и управления» (АСОИУ)

Научный руководитель: Шарнин Леонид Михайлович, доктор технических наук, профессор, зав. кафедрой АСОИУ КНИТУ-КАИ

Официальные оппоненты: Прохоров Сергей Антонович, доктор технических

наук, профессор, зав. кафедрой «Информационные системы и технологии» Самарского государственного аэрокосмического университета им. С.П. Королева (национального исследовательского университета) Насыров Ильгиз Кутдусович, доктор технических наук, профессор, зав. кафедрой «Конструирование и производство микроэлектронной аппаратуры» КНИТУ-КАИ

Ведущее предприятие: Открытое акционерное общество «Опытно-

конструкторское бюро «Сокол»», г. Казань

Защита состоится «16» октября 2012 г. в 16 часов на заседании диссертационного совета Д 212.079.06 при КНИТУ-КАИ по адресу: 420015, г. Казань, ул. Толстого, 15 (учебное здание № 3, ауд. 216).

С диссертацией можно ознакомиться в библиотеке КНИТУ-КАИ.

Электронный вариант автореферата размещен на сайте Министерства образования и науки РФ (referat_vak@mon.gov.ru) и на сайте КНИТУ-КАИ (www.kai.ru).

Отзывы на автореферат в двух экземплярах, заверенных печатью организации, просим высылать по адресу: 420111, г. Казань, ул. К. Маркса, д. 10, КНИТУ-КАИ, на имя ученого секретаря диссертационного совета.

Автореферат диссертации разослан «15» сентября 2012 г.

Ученый секретарь диссертационного совета

Бердников А.В.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. В настоящее время построение информационно-измерительных систем видеослежения, обрабатывающих визуальную информацию видеокамер (ВК) для измерения угловых координат и местоположения подвижных объектов имеет большой интерес в широком спектре деятельности человека таких, как медицина, машиностроение, аэрокосмическая область, в сфере игровых развлечений и т.п.

Сложность и многоаспектность данной задачи возрастет из-за непрерывного повышения требований к динамике объекта, к точности измерения и инвариантности от внешних факторов, и подтверждается наличием значительного количества научных работ, центров и лабораторий, занимающих разработкой систем компьютерного зрения для различных применений. Среди работ, посвященных вопросам видеослежения и оценке параметров подвижных объектов, выделяются работы таких ученых, как Б.А. Алпатов, A.M. Бочкарев, Д.А Форсайт, В.А. Сойфер, С.А. Прохоров, D. Comaniciu, S. Wang, W. Pratt. Среди предприятий на территории Российской федерации, занимающих вопросами компьютерного зрения и видеослежения, перечисляются компании ЗАО «Институт информационных технологий» и ЗАО «Научно-технический центр» «Модуль». Среди научных учреждений: кафедра автоматики и информационных технологий в управлении Рязанского государственного радиотехнического университета и кафедра технической кибернетики Самарского государственного аэрокосмического университета им. С.П. Королева (национальный исследовательский университет).

Одна из наиболее сложных и актуальных задач в области компьютерного зрения заключается в автоматическом обнаружении наличия объекта интереса на изображениях видеопоследовательности со сложной динамической сценой, и оценка таких параметров объекта, как местоположение, скорость, направление, в реальном масштабе времени. Сложность этих задач значительно увеличивается при рассмотрении объектов, движущихся в значительном пространстве наблюдения, вынуждающих автоматическое слежение за ними по изображениям видеопоследовательностей (видеослежение) и в пространстве перемещения (сопровождение).

Среди причин сложности задач автоматического видеослежения за движущимися объектами встречаются: проективное преобразование; изменение освещенности сцены наблюдения; отсутствие априорной информации о модели объекта и о модели его движения. Несмотря на наличие чрезвычайно большого количества работ, посвященного задачам области компьютерного зрения таким, как обнаружение наличия объектов, и их распознавание, большинство известных методов рассматривают неподвижные объекты на статических изображениях и показывают высокую вычислительную сложность и недостаточную робастность к геометрическим преобразованиям. Исследование возможности применения таких методов для обнаружения подвижных объектов

на изображениях видеопоследовательности является актуальной задачей при разработке систем видеослежения.

В последнее десятилетие были разработаны методы обнаружения и распознавания на основе внешности объектов (appearance-based), использующие для описания объектов их локальные ключевые точки (КТ) в аналогии с подходами распознавания, встроенными в системе человеческого восприятии. Эти методы показали беспрецедентно удовлетворительные робастность и инвариантность к геометрическим преобразованиям и изменению освещенности. Однако основным недостатком этих методов является их вычислительная сложность, что мешает их применение в задачах слежения за объектами в реальном масштабе времени.

Вследствие выше рассмотренных обстоятельств разработка эффективных методов обнаружения объектов на изображениях видеопоследовательности и увеличение робастности существующих методов с целью проектирования информационно-измерительных систем видеослежения за движущимися объектами являются важными и необходимыми задачами для развития человеческого общества, и представляют собой актуальные научно-исследовательские задачи.

Объект исследования - автоматизированные системы сопровождения и видеослежения за движущимися объектами с использованием поворотной видеокамеры.

Предмет исследования - методы и алгоритмы обнаружения, видеослежения и измерения параметров движущихся объектов на изображениях видеопоследовательности, показывающие инвариантность и робастность к геометрическим преобразованиям.

Целью диссертационной работы является разработка методов, моделей и алгоритмов видеослежения за движущимися объектами с повышенными, быстродействием и робастностью к геометрическим преобразованиям.

Научная задача диссертации - совершенствование существующих и разработка новых элементов информационно-измерительной системы видеослежения за подвижными объектами, функционирующей в реальном масштабе времени, улучшение ее метрологических, эксплуатационных и экономических характеристик.

Поставленная научная задача исследования решается в следующих основных направлениях:

> Анализ существующих методов обнаружения и определения параметров движущихся объектов на изображениях.

> Исследование и разработка инвариантных и робастных к аффинному преобразованию методов и алгоритмов, позволяющих устойчиво обнаружить объекты и оценивать их параметры на статических изображениях и в кадрах видеопоследовательности;

> Исследование способов осуществления этих алгоритмов в режиме реального времени;

> Разработка алгоритмов управления движением наклонно-поворотной платформы, обеспечивающих автоматическое слежение за движущимся объектом;

> Компьютерное моделирование процесса обнаружения и слежения за движущимся объектом и процесса вычисления его параметров;

> Разработка инструментальных средств построения автоматизированной системы слежения, работающей в реальном масштабе времени.

Методы исследования. Для достижения поставленной цели в диссертационной работе используются теория вероятностей, теория случайных процессов, теория распознавания образов, теория вычислительной математики, параллельное программирование, теория оценки параметров, теория компьютерного зрения, теория систем автоматического управления, а также методы имитационного компьютерного моделирования, физического эксперимента и оптимальной фильтрации.

При выполнении диссертационной работы используются следующие программные обеспечения:

> Среда разработки и имитационного моделирования динамических систем Simulink-Matlab; пакеты обработки изображения и видеосигнала в среде Matlab;

> Среда разработки Microsoft Visual Studio С++;

> Библиотеки алгоритмов компьютерного зрения OpenCV;

> Библиотеки выделения ключевых точек SIFT-алгоритма на центральном процессоре «VLFeat» и на графическом процессоре «SIFTGPU»;

> Библиотека параллельного вычисления на графических процессорах на основе языка CUDA.

Научная новизна работы. В процессе проведения исследования получены следующие новые научные результаты:

1. Разработан метод сопоставления изображений на основе пространственных дескрипторов ключевых точек известного SIFT- алгоритма, позволяющих ускорить этап вычисления в 40 раз и уменьшить размерность от 128 до 60 по сравнению с SIFT-дескриптором, при этом увеличивается его производительность;

2. Впервые разработан и исследован метод выделения областей изображения на основе пирамиды разностей Гауссианов и нормализации участков изображения, увеличивающий робастность сопоставления изображений к изменению ракурса до 80 градусов, и позволяющий разделить однородные области изображения на несколькие с определенными геометрическими характеристиками;

3. Разработана методика видеослежения на основе сопоставления пространственных дескрипторов SIFT-KT, которая адаптирует множество КТ объекта слежения с учетом результатов сопоставления в предыдущих кадрах видеопоследовательности;

4. На основе предложенного метода сопоставления изображения с использованием пространственных дескрипторов разработаны программные комплексы сопоставления изображений и слежения за объектами в среде Matlab и в среде Microsoft Visual Studio С++;

5. Предложена модификация для обновления вектора состояния объекта слежения на этапе коррекции в фильтре Калмана, обеспечивающая уменьшение погрешностей оценивания местоположения объекта слежения;

6. Разработан вариант алгоритма сопоставления пространственных, дескрипторов в программном обеспечении, исполняемый на графическом процессоре. Получен коэффициент ускорения вычисления в пределах 20 по сравнению с исполнением на центральном процессоре компьютера.

Основные положения, выносимые на защиту

1. Метод сопоставления изображений на основе пространственных дескрипторов ключевых точек SIFT-алгоритма;

2. Метод выделения областей изображения, опирающийся на пирамиду разностей Гауссианов и нормализацию участков изображения

3. Аналитические выражения для погрешностей измерения координат объекта в системе слежения;

4. Методика видеослежения за объектами на основе пространственных дескрипторов и обновления модели объекта слежения;

5. Результаты компьютерного моделирования и экспериментального исследования системы сопровождения подвижных объектов.

Практическая ценность новых научных результатов

Работа доведена до разработки инженерных методик систем слежения и сопровождения, которые охватывают методологические, информационные, математические, технические и программные обеспечения.

Практическая ценность работы состоит в том, что разработанный метод сопоставления изображений на основе пространственных дескрипторов улучшает быстродействие алгоритма видеослежения и позволяет адаптировать модель объекта в ходе слежения без значительных временных затрат.

Практическая особенность разработанных программных обеспечений в средах разработки Matlab и Microsoft Visual Studio С++ заключается в возможности их использования для слежения за разными объектами, выполняющих некоторые условия обнаружения.

Результаты исследования диссертационной работы могут послужить основой для развития новых систем компьютерного зрения таких, как системы распознавания объектов и стабилизации изображения.

Апробация результатов.

Основные положения диссертационной работы докладывались и обсуждались на следующих конференциях:

• Всероссийская научно-практическая конференция «Проблемы перехода к устойчивому развитию многопрофильных городов», г. Нижнекамск, 2010 г.;

• XXII всероссийская межвузовская научно-техническая конференция, Казанское высшее военное командное училище «Электромеханические и внутрикамерные процессы в энергетических установках, струйная акустика и диагностика, приборы и методы контроля природной среды, веществ, материалов и изделий», г. Казань, 2010 г.;

• XVIII, XIX, XX Международные молодежные научные конференции «Туполевские чтения», г. Казань, 2010, 2011, 2012 гг.;

• Региональная научно-техническая конференция «Информационные технологии и их приложения», Казань, 2011;

• X Международная Четаевская конференция «Аналитическая механика, устойчивость и управление», г. Казань, 2012 г.

Реализация результатов работы.

Разработанные в данной работе методы, алгоритмы и программные обеспечения подходят для организации, занимающихся разработкой систем компьютерного зрения. Основные результаты диссертационной работы используются в учебном процессе на кафедре «Автоматизированные системы обработки информации и управления» ФГЪОУ ВПО «Казанский национальный исследовательский технический университет им. А.Н. Туполева-КАИ».

Публикации. Основные результаты диссертационной работы опубликованы в 13 печатных работах, в том числе в 5 статьях, из них 2 статьи в периодических изданиях, рекомендованных ВАК, и в 8 тезисах докладов.

Структура и объем работы. Диссертация состоит из введения, четырех глав с выводами, заключения, списка использованной литературы из 113 наименований и приложения. Основная часть диссертации изложена на 176 страницах машинописного текста, содержит 59 рисунков и 8 таблиц.

СОДЕРЖАНИЕ ДИССЕРТАЦИОННОЙ РАБОТЫ

Во введении обоснована актуальность исследуемой проблемы, сформулирована цель диссертационной работы, определены задачи исследования, отражена научная новизна и практическая значимость работы, кратко изложено содержание диссертации.

В первой главе диссертации, имеющий обзорный характер, рассматриваются принципы и методы построения систем обнаружения и видеослежения за движущимися объектами, обеспечивающих измерение параметров объекта слежения (ОСл). Представлены основные определения в области обнаружения объектов на изображениях видеопоследовательности и слежения за ними. Рассмотрены наиболее встречаемые трудности задачи

обнаружения объекта такие, как: геометрические преобразования, изменение освещенности и сложность окружающей среды, шум на изображениях, сложное движение объекта, сложные формы объекта, частичное и полное перекрытие и требования к обработке в реальном масштабе времени. Проводился обзор параметров и характеристик различных компонентов системы слежения. Особое внимание удалялось характеристикам видеокамеры.

Рассмотрены наиболее известные в литературе способы представления объектов в задачах обнаружения и видеослежения такие, как представление на-основе формы объекта с использованием . пунктов, примитивных геометрических форм, силуэта и контура объекта и представление на основе наружности с использованием эталонного изображения или гистограмм. Принимается решение об использовании метода видеослежения на основе обнаружения объекта, представленного с использованием ключевых точек известного вШТ-алгоритма. Показано, что основным недостатком БЦ-Т-алгоритма является его вычислительная сложность. В качестве объекта слежения выбирается автомобиль.

Проведен сравнительный анализ характеристик аппаратных платформ вычисления, используемых для осуществления систем компьютерного зрения. Определилось преимущество использования графических процессоров по критериям «производительность-стоимость» и требуемого уровня знаний разработчика.

Во второй главе представлены математическая формулировка задачи сопоставления изображений, математические модели, лежащие в основе процесса измерения координат объекта с использованием видеокамеры, и аналитические выражения абсолютных погрешности их измерения. Представлены также основные математические модели движения, которые подходят для описания движения объекта слежения в плоскости, и позволяют уточнить измерения координат объекта. Рассмотрены методики проведения экспериментов и исследования производительности методов сопоставления изображений и видеослежения, и также этапы разработки программных обеспечений для осуществления этих методов.

В задачах видеослежения за наземными автомашинами целесообразно устанавливать видеокамера на высоте Нс, как показано на рис. 1, чтобы, во-первых, избежать возможных прямых засветок объектива ВК яркими источниками света (солнце, фары машин и другие) и, во-вторых, обеспечить удобные условия для работы алгоритмов обнаружения и видеослежения.

Обозначения на рис. 1: р0 - прямая дальность до ОСл; рхг — горизонтальная дальность до ОСл, т.е., проекция прямой дальности на горизонтальную плоскость системы координат (СК) Я ¡у; вР, уР — углы места и азимута направления на объект соответственно в мировой СК вс, у/с — показания датчиков углов поворота наклонно-поворотной платформы.

чрбъект

IV ^ Ис 2с

Рис. 1. Установка видеокамеры в задаче слежения за автомашинами

В результате задачи обнаружения объекта вычисляется местоположение объекта в плоскости изображения относительно центра изображения в пикселях (Л'ду, Ыур). На основе этих значений вычисляются угловые координаты объекта в сферическом представлении по уравнениям (1) и (2):

Nyr,Kx

** = огс,8со,0с-адзш0е;- (1)

где Л^, N¡-5 - половина количества пикселей фотодатчика по горизонтали и вертикали соответственно; А- координат ОСл в плоскости изображения по отношению к его центру, принимающие положительные значения вниз и направо; Кх, Ку — постоянные коэффициенты пересчета ошибок сопровождения (в пикселях изображения) в углы рассогласования (радианах). Эти коэффициенты перепишутся в уравнении (3) в зависимости от размера пикселя датчика изображения, который, в общем случае, имеет квадратную форму, т.е. коэффициенты Кх, Ку будут равными.

У

К, = -

(3)

где Их, Ьу - размеры пикселя приемника по горизонтали и вертикали соответственно, измеряется в миллиметрах; / — фокусное расстояние, измеряется в миллиметрах.

Математическая формулировка задачи сопоставления изображений для видеослежения за объектами заключается в следующем: пусть имеется Со -

множество КТ, выделенных на эталонном изображении объекта слежения 10 и составляющих модель объекта, и £>0 - множество дескрипторов КТ множества С0:

Со = {й = ■■ е,6 я4.'' = ;

где N0 - число КТ в С7о; К- размерность дескриптора КТ.

На тестовом изображении 1) выделяется множество (7/ из КТ и

построится множество их дескрипторов О/'.

с. = & = = е = ;

После исполнения алгоритма сопоставления множеств дескрипторов О0 и £>/ вычисляется соответствующая КТ из С/, возможно не правильная, для всех КТ из С?0. Поэтому целесообразно убрать слабые, по некоторому критерию подобия, соответствия и сохранить соответствия с высоким критерием подобия. Таким образом, в результате сопоставления получаются подмножества КТ ИЗ Со и из (7/, которые соответствуют друг другу. Из этих подмножеств определяется множество правильных соответствий с заданным соседством е (в пикселях) при некотором геометрическом преобразовании в виде:

где М/() - функция сопоставления, которая определяет для каждой КТ g¡ ее соответствующую КТ gj■, Тг() - функция геометрического преобразования изображения 10 в изображение 1Г, определяемая автоматически или вручную.

Значение е определяется главным образом в зависимости от точности определения геометрического преобразования 7>().

В третьей главе разрабатывается метод сопоставления изображений, опирающий на построение пространственных дескрипторов (ПрДск) ключевых точек 81РТ-алгоритма объекта слежения. Исследуется производительность этого метода в задаче сопоставления изображений, представляющей собой основу разработанной информационно-измерительной системы видеослежения за движущимися объектами.

В соответствии с принципами и методиками построения систем слежения за движущимися объектами, представленными в первой главе, предлагаемая структурно-функциональная схема системы сопровождения в данной диссертационной работе показана на рис. 2.

* Модель движения

Топография среды

Рис. 2. Структурно-функциональная схема системы слежения за подвижными объектами

Для выполнения задачи обнаружения объекта разработан метод сопоставления изображений на основе пространственных дескрипторов. Пространственный дескриптор (ПрДск) опирается на описании геометрических отношений соседних КТ вокруг изучаемой КТ. Каждая КТ gt описывается отношением наиболее ближайших Nnn КТ в полярной системе координат, связанной с КТ, начало которой находится в а направление оси Y

определяется ориентацией 0i5 как показано на рис. 3 (в). С целью улучшения производительности сопоставления ПрДск может дополняться информацией об интенсивности изображения или о значении пирамиды (DoG - Difference of Gaussians) в ключевой точке. В дальнейшем фиксируется компромиссное значение Nnn = 10, которое обеспечивает увеличение быстродействия сопоставления без ухудшения его производительности.

Видеокамера

Пользователь

Устройство управления

Видеос. гежение

Сопоставление признаков

Описание ключевых точек

Выделение ключевых точек изображения

объекта

Модель объекта

Фильтрация траектории

Параметры камеры

Модуль взаимодействия с пользователем

Динамическое слежение

• Ч J ■

Вычисление углов рассогласования

Угловые координаты камеры

Вычисление координат объекта

Соседняя КТ

&(Х|, У|, О; вь ОоОД

120 140 160 180

(а) соседство КТ

й(Хь Уь 8ь ОовО Изучаемая КТ

(в) пространственное отношение

Рис. 3. Ключевые точки в пространственном дескрипторе Для обеспечения инвариантности к изменению масштаба КТ, т.е. масштаба изображения, необходимо нормализировать полярные радиусы и масштабы соседних точек делением на масштаб о]. Дополнительно, значения Бой нормализуется по отношению к значению ГЗоО изучаемой КТ. В результате этого пространственный дескриптор имеет вид табл. 1.

_Табл. 1 Массив пространственного дескриптора

КТ

Оы

Щ

Кц/сг,

Д>

а\!о\

ООк,

п&1

Щ.2

Ра

05/а;

вг-в,

ОСк

пиз

Пв4

'ПЙ

ng6

П07

П89

где ng - обозначает соседнюю КТ. Составляющие этого дескриптора определяются

Лио1<Х

од/сг,

БСгмю

п®10

следующих уравнений:

с использованием

N---

СТ1

7Т

1 = гагг' —

- йов, ' Ъов.

(7)

Вычислительная сложность построения ПрДск равна:

0(ЛЬ + 0(7\01оёгШ) + 1 ШппЫ0 « 0( 1 тппЫ0) (8)

Две ключевых точки (или две строчки й?( и 4 из двух множеств дескрипторов Бь Б2 соответственно) считаются пространственно соответствующими, когда выполняются следующие неравенства, которые отображают ограничения на перемещение соседней точки при локальном аффинном преобразовании с учетом максимального наклона на 60 градусов:

• Неравенство (9) учитывает изменение нормализированного расстояния КТ при максимальном наклоне на 60 градусов, т.е. это расстояние увеличивает или уменьшается в 2 раза. Максимальное изменение происходит, когда сегмент, соединяющий исследуемую КТ и соседней КТ перпендикулярно оси наклона. Изменение нормализированного расстояния КТ, находящихся на оси наклона, равно нулю.

^со5(б(Г)*0,5, (9)

где верхний индекс обозначает принадлежность КТ дескриптору с1; или с^.

• Неравенство (10) учитывает изменение нормализированного полярного угла соседней КТ. Максимальное изменение происходит, когда сегмент, соединяющий исследуемую КТ и соседней КТ, отклоняется по 45 градусов от оси наклона. Отметим, что нормализированный полярный угол соседних КТ, находящих на осях системы координат, связанной с КТ, не изменяется.

Ъ»=\Ц*-Р*\< 25° (Ю)

• Неравенство (11) учитывает изменение нормализированного масштаба соседней КТ. Изменение масштаба увеличивается с увеличением расстояния соседней КТ от исследуемой КТ. Экспериментальные исследования показали хорошие результаты сопоставления при ограничении его на 20 процентов.

с„ = 1-^<0,2 (П)

аы

• Неравенство(12) учитывает максимальное изменение нормализированного угла ориентации соседней КТ. Изменение угла ориентации зависит от угла наклона, а также от локальной текстуры изображения. Экспериментальные исследования показали хорошие результаты сопоставления при ограничении его на 25 градусов.

(12)

• Неравенство (13) учитывает максимальное нормализованное изменение значения пирамиды Вов в пределах 30 процентов, что учитывает неравномерное изменение освещенности вокруг КТ.

-иОоО,,

=—'<=0,3 (13)

Из отклонений в уравнениях (9) по (13) вычисляется нормализированное отклонение двух дескрипторов и 4 с использованием метрики манхэттенского расстояния:

5с„=Р-0,5

+ к + си + <4, + еы

25 0,2 25 0,3

Scu может иметь значение от 0 при полном совпадении до 5 при максимальном наклоне на 50 градусов.

Поиск минимальных значений Scu приводит к нахождению всех правильных соответствий между соседними КТ, количество которых равно MN (со значением с 0 до N„„) и определяет качество соответствия двух КТ. На этом этапе можно вычислить критерий качества сопоставления этих двух КТ (г-ой и j-ou) с использованием следующего показателя качества:

(15) .

Таким образом, исследуется все возможные соответствия между КТ эталонного изображения и КТ тестового изображения. Для каждой КТ поиск соответствий остановится после нахождения одного соответствия с числом Msг больше 8. После окончания полного поиска соответствий построится массив баллов соответствий с размером N0xNt. В ячейках этого массива накапливаются значения критерия SctJ для данного соответствия (g, против gj) и также для всех Msг соседних КТ. Поэтому значения ячейки отвечают за правильность соответствия. Каждой КТ эталонного изображения соответствует одна срока массива, представляющая собой распределения вероятности правильного соответствия.

Проведение полного поиска соответствий приводит к высокой вычислительной сложности. Поэтому предлагается ограничить пространство поиска соответствия КТ g, с использованием следующих ограничений без значительной потери обобщенности алгоритма:

• Соотношение масштаба изучаемых кандидатских КТ из G, к масштабу Siне превышает 4 и не меньше 1/4, т.е. размер изображения ОСл увеличивается или уменьшается максимально в 4 раза (уравнение (16)). Влияние такого ограничения на производительность сопоставления невелико, поскольку при таком изменении масштаба многие КТ SIFT-алгоритма исчезнут.

1 а Р,-а\

4 <Tj max (^,<7,) l10-*

• Соотношение значения DoG изучаемых кандидатских КТ из GI к значению DaGgi выполняет условие (17):

е _ \DoG(gl)-DoG{g$ ^

" max(|DoG(^)|,|DoG(gy)|) '

Вычислительная сложность алгоритма сопоставления КТ задается по уравнению:

No (л^ (е + Nm (20)))) « o(N0N,N'l) (18)

Для исследования производительности предложенного метода сопоставления в данной диссертации проводится сравнительный анализ с дескрипторами SIFT- алгоритма. На рис. 4 (а) показаны количества правильно сопоставленных КТ между изображением журнала в переднем положении и его

изображением при изменении ракурса от 10 до 60 градусов соответственно. Показано, что при таком диапазоне изменения ракурса ПрДск позволяет найти больше правильных соответствий, чем БИТ-дескриптора при увеличении ракурса. При этом он также позволяет уменьшить вычислительную сложность (времена исполнения) на 25%, как показывает рис. 4 (б). Напомним, что этот выигрыш обеспечивается главным образом процессом построения дескрипторов.

(а) количество правильных соответствий (б) время исиолнения

Рис. 4. Сравнения производительности SIFT и пространственного дескрипторов при изменении ракурса Производительность предложенного дескриптора исследовалась и утверждалась также на изображениях набора данных тестирования из 8 множеств из 6 изображений разных сцен. Этот набор был использован для оценки производительности различных детекторов и дескрипторов в задаче сопоставления изображений при различных возмущениях таких, как геометрические преобразования, изменение освещенности, размытие изображения. Каждое множество содержит одно фронтальное изображение вместе с 5 преобразованными изображениями и соответствующими матрицами преобразования.

Предлагаемый выше метод сопоставления имеет параллельный характер, т.е., любой дескриптор КТ d, изображения 10 можно сопоставить отдельно с любым дескриптором КТ dj изображения Поэтому целесообразно воспользоваться многоядерным графическим

процессором для ускорения сопоставления. В данной работе используется графический

процессор NVidia Geforce GTX 470. в результате осуществления этого метода на графическом процессоре

Spatial matching execution time on CPU versus GPU

View angle [deg]

Рис. 5. Время сопоставления ПрДск на графическом процессоре

получен выигрыш в пределах 20 раз, как показывает рис. 5.

В задаче видеослежении за подвижным объектом необходимо учесть недостаток, связанный с тем, что окно слежения включает КТ и объекта и фона. Для устранения этого недостатка разработана методика видеослежения, которая учитывает движение ОСл и адаптирует его модель с помощью накопления информации об участии КТ окна слежения вокруг ОСл в его обнаружении через кадры. Таким образом, можно забывать те КТ объекта, которые не обладают высокой оценкой участия, т.е. не обладают высокой значимостью для задачи сопоставления. Кроме этого проводится адаптация размера окна слежения с учетом коэффициента масштабирования.КТ через кадры.

Для исследования инвариантности и робастности задачи видеослежения за объектом к геометрическим преобразованиям проведены несколько экспериментов на тестовых видеофайлах. Размеры скользящего окна слежения составляют 101x101 пикселей.

Первый тестовый видеофайл показывает дорожное движение, снятое с использованием фиксированной видеокамеры с разрешением 640x424 пикселей. Оператор выбирает ОСл (машину) на изображении. В этой видеопоследовательности выбранный ОСл подвергается перемещению, частичным перекрытием и изменением освещенности и фона.

Слежение за машиной продолжалось без разрыва, а отклонение местоположения обнаружимого объекта от его линейной траектории не превышает два пикселя. Слежение исследовалось в двух режимах: слежение с окном обнаружения и слежение с обнаружением на полном изображении. При этом проводилось сравнение времени исполнения алгоритма слежения между SIFT -дескриптором и ПрДск. в первом режиме ПрДск уменьшает время слежения от ЗЗмс до 23мс, т.е. улучшение быстродействия на 30 процентов (рис. 6 (а)), а во втором режиме ПрДск уменьшает время в два раза (рис. 6 (б)).

0.04 0.038 0.038 _ 0.034 0 032 § 0.03 0.028 0 026 0.024 0.022

Processing ome for SIFT and Spabai descnptors

Processing time for SIFT and Spatial descriptors

---SIFT descriptor

s "у/

Frame index

(а) время слежения за объектом с окном обнаружения

(б) время обнаружения объекта на полном изображении

Рис. 6. Сравнение времени исполнения задачи слежения при использовании SIFT и пространственного дескрипторов В задачах видеослежения часто учитывается невеликое изменение масштаба объекта и интенсивности изображения через кадры, что позволяет

увеличить ограничения в уравнениях (16) и (17) и, следовательно, значительно ускоряется задача обнаружения ОСл.

Разработанный метод выделения областей изображения на основе пирамиды разностей Гауссианов (БоО) опирается на выделение изолиний значений ОоО вокруг экстремумов пирамиды Г>оО. Эти изолинии имеют, в общем случае, вид эллипса, который нормализуется в круг для компенсации искажения изображения вследствие изменения ракурса.

На рис. 7 сравниваются количества правильных соответствий и погрешности сопоставления для трех сочетаний детектора/дескриптора признаков; БШТ-КТ/ БШТ-дескриптор; 81РТ-КТ/ПрДск; предложенный метод обнаружения областей изображений на основе пирамиды По С и БШТ-дескриптор нормализованного участка. Для углов наклона выше 60-и градусов предложенный метод позволяет найти значительно больше правильных соответствий со значительно лучше погрешностями, чем остальные.

Number of matches versus tût angle

Matching Precision versus Ш angle

View angle [deg]

(а) количество правильных соответствий

view angle [deg]

(б) погрешность сопоставления

Рис. 7. Производительность метода выделения областей изображения на основе пирамиды DoG

В четвертой главе рассматривается задача компьютерного моделирования и проектирования системы сопровождения подвижных объектов на основе разработанной методики видеослежения.

На рис. 8 представлены основные компоненты разработанной системы сопровождения. Поворотная видеокамера (ВК) SONY EVI-D100 типа PTZ (Pan, Tilt, Zoom) управляется через последовательный порт. Персональный компьютер снабжен картой видеозахвата с аналоговым входом для сбора видеосигнала, последовательным портом типа RS232 для управления видеокамеры и графическим процессором Nvidia Geforce GTX 470 для исполнения алгоритмов видеослежения за движущимися объектами на основе ключевых точек и пространственных дескрипторов.

Для моделирования системы движения видеокамеры предполагается, что каналы управления по осям панорамирования и наклона изолированы и можно их рассматривать отдельно друг от друга. Это предположение оправдается тем

фактом, что ВК EVI-100P статически сбалансирована по конструкции, и имеет низкую инерцию.

Video cable )0 video ^--__

Видеосигнал I inPul <XS)wa i -

to VIDEO

VISCA cable

to

RS-232C

ОЮ

to VISCA IN

Последовательный порт

SONY EVI-D100P DC IN 12V

Карта видеозахвата

GTX470

Computer

Рис. 8. Схема подключения видеокамеры к компьютеру Моделирование и идентификация параметров каналов управления скоростью движения ВК проводились экспериментально с использованием пакета идентификации систем в среде Matiab с разными реальными данными команды скорости Qd на входе, и углов вращения на выходе. При этом эти эксперименты учитывают ступенчатые и колебательные возмущения. Из-за ограниченной скорости передачи данных к ВК (9600 битов/сек), период дискретизации равен 0,05 сек, как показывает рис. 9. Для идентификации параметра модели были разработаны основные процедуры управления ВК. tk - время на момент k_toUt

ПК -EVI-D100 ■

Отправка пакета Tscadl~5,2 мс

Подготовка

пакета Тр = 11 мс

Получение пакета Тке,»= 11,5 мс

'СМР

Отправка пакета Ts«id2=9,3 мс

6,4 мс

toui - время сбора углового местоположения « 28 мс

¡tcMD - время установления скорости =15,7 мс

Рис. 9. Схема сбора данных для идентификации Для уменьшения влияния шума измерения и неточности определения времени измерения в операционной системе Windows полученные измерения подвергаются этапу передискретизация для восстановления измерения угла вращения с периодом дискретизации 0.01сек с использованием сплайнового алгоритма интерполяции. В результате процесса идентификации получена следующая модель с коэффициентом совпадения выше 95%:

T¡P + l

К = 0,93, Т„ = 0,043 сек, 7; = 0,005сек ,

(19)

где - время запаздывания, учитывающее времена передачи отправления команды и получения измерения; Т) - постоянная времени модели.

Наиболее простым и распространенным на практике регулятором является пропорционально-интегральный (ПИ) регулятор с низкой вычислительной сложностью. Передаточная функция ПИ-регулятора в дискретном предоставлении имеет вид:

(20)

н„(г) = х.

т, 2(1-

-)

Компьютерное моделирование системы движения ВК в среде МаНаЬ позволило определить настройку ПИ-контроллеров, обеспечивающую стабильную реакцию, со следующими значениями: Кр =7, 7} =0,8сек

При этом получаются показатели устойчивости: запас по амплитуде От = 7с1В; запас по фазе Рт = 82 градусов.

На рис. 10 показаны реакции управления на ступенчатые воздействия по осям панорамирования и наклона, где время срабатывания равно 0,6 сек.

Г50 — -60

!,о

;; 1 20 1.6 Г « 0

! У ...../ ' ■ • » -:;«.гео

...........? "Т :.......... : / —иезн-еа .....................у Г............

............... .............../ !

' 0.2 0^4 0 ; -6 •10 ................../.......

у

(а) по оси панорамирования

(б) по оси наклона

Рис. 10. Реакция системы сопровождения на ступенчатые воздействия Производительность полученных котроллеров исследовались также при линейно изменяющихся входных воздействиях, т.е. с постоянной скоростью вращения. Результаты показали углы рассогласования меньше 0,2 градусов.

В четвертой главе рассматриваются и исследуются также некоторые модели движения ОСл на горизонтальной плоскости. Для проведения компьютерного моделирования генерируется истинная траектория со следующими параметрами:

> постоянная линейная скорость V = 20 м/сек;

> угловая скорость изменяется в соответствии с табл. 2;

единица

Время 0+5 5-гб 6+ 15 > 15 сек

Угловая скорость 0 3 0 -1 рад./сек

> погрешность измерения угла наклона: 5вр =

> Период вычисления Т = 0,04 мс.

д<//р= 0,1 градусов;

В модели прямолинейного движения с равномерной скоростью (ПДРС) нет уравнения измерения скоростей движения, и обновление состояния измерением местоположения не способно быстро исправить направление движения, как показывает рис. 11 (а) и (в).

True trajecoüy and estimated: linear speed = 20m/s

Correction ot speed: True trajecotry and estimated linear speed = 20nVs

(в) увеличение правой части (a)

10 45 50 55 60 65 X-axis [m]

(г) обновление направления (д) увеличение правой вектора скорости части (б)

Рис. 11. Фильтрация местоположения объекта с моделью ПДРС Поэтому предлагается в данной работе исправить направление вектора скорости движения его вращением углом ¥ так, чтобы оно совпадало с направлением отрезка, соединяющего два последовательных обновленных местоположений, как показывает рис. 11 (г). При этом период обновления измерения местоположения равен Tm = NT хТ, где NT = 5. Таким образом, этап обновления вектора состояния ФК добавляется уравнением (21):

*F = tan*

'■О.к *О.к-И,

-0.к-1

COS*? sin

— sin cos4'

-ОМ-1 co,t-1

(б) модифицированная модель ПДРС 50.-——----—

Новое направление

Направление Вектора скорости

Estimation error Mean = 4.5m, RMSE =

-150 -100 -50 0

X-axis {ml

(а) траектории движении

50

где хок, 20,к~ координаты объекта на момент к.

Модифицированная модель ПДРС позволила уменьшить среднее значение погрешностей оценивания от 4,5м до 2,1м, и уменьшить среднеквадратическую погрешность от 6,5м до 2,6м. Это можно обнаружить при сравнении последних участков траектории на рис. 11 кривых (а) и (б).

Такой же подход исправления вектора скорости используется в модели углового движения с равномерной скоростью (УДРС) для измерения неизвестной угловой скорости в соответствии с уравнением (22).

n = -

NtxT

На рис. 12 (а) и (б) показаны абсолютные и относительные погрешности оценивания местоположения объекта соответственно. Очевидно, что предложенная модификация моделей ПДРС (МСУ) и УДРС (СТ) позволила значительно уменьшить погрешностей оценивания при поворотах и быстрее следить за прямолинейными участками траектории по сравнению с моделью ПДРС (СУ).

Range estimation error

Range estimation relative error

5 10

Time [s]

(а) абсолютная погрешность (а) относительная погрешность

Рис. 12. Погрешность оценивания местоположения ОС л

В приложениях приведены основные сведения о ВК SONY EVI-D100P, аппаратно-программная архитектура графических процессоров и схемы имитационной модели системы сопровождения объектов в среде Simulink.

Основные результаты работы

В процессе проведения исследования получены следующие новые научные результаты:

1. Разработанный метод сопоставления изображений, опирающийся на разработку пространственных дескрипторов SIFT-ключевых точек, позволяет по сравнению с SIFT-дескриптором увеличить быстродействие этапа построения дескрипторов в 40 раз и уменьшить их размерность от 128 до 60. В итоге увеличивается быстродействие сопоставления' на 25%, а малая размерность пространственного дескриптора позволяет уменьшить объем требуемой памяти для их сохранения и время их передачи;

2. Разработанный метод выделения участков изображения на основе пирамиды разностей Гауссианов увеличивает робастность сопоставления изображений к изменению ракурса до 80 градусов. Он также позволяет разделить однородные области изображения на несколькие с определенными геометрическими характеристиками;

3. Разработанная методика видеослежения на основе сопоставления пространственных дескрипторов SIFT-ключевых точек уменьшает

вычислительную сложность на 30% по сравнению с ЗГРТ-дескриптором и исполняется в реальном масштабе времени при количестве ключевых точек, не превышающем 100;

4. Предложенная адаптация множества КТ объекта слежения на основе результатов сопоставления КТ в предыдущем кадре улучшит производительность слежения. Низкая вычислительная сложность пространственных дескрипторов позволяет при адаптации перестроить модель объекта повторно в ходе слежения без значительных временных затрат;

5. Предложенная модификация на модель прямолинейного движения с равномерной скоростью обеспечивает уменьшение погрешностей оценивания местоположения объекта слежения, особенно при больших периодах обновления измерений;

6. Разработанное программное обеспечение, исполняющее метод сопоставления изображений на графическом процессоре обеспечивает коэффициент ускорения вычисления выше 20 по сравнению с вариантом, исполняемый на центральном процессоре компьютера. Этот вариант является необходимым для того, чтобы исполнить задачу видеослежения за объектами в реальном масштабе времени при обнаружении на полном изображении.

Список публикаций по теме диссертации

Статьи в ведущих рецензируемых научных журналах н изданиях:

1. Аун С. Гибридная информационно-измерительная система местоположения беспилотных летательных аппаратов / С. Аун, X. Альбитар, Л.М. Шарнин // Вестник КГТУ им. А.Н. Туполева. — Казань: Изд-во Казан, гос. техн. ун-та, 2010. — Вып.4. — С. 69-77.

2. Аун С. Информационно-измерительная система слежения за движущимися объектами / С. Аун, Л.М. Шарнин, А.П. Кирпичников // ВЕСТНИК Казанского технологического университета. - Казань: КНИГУ, 2011. — Т. 14. №16.-С. 224-232.

Статьи в сборниках и материалах научно-технических конференций.

3. Аун С. Дескриптор пространственного распределения ключевых точек для сопоставления изображений / С. Аун, Л.М. Шарнин // Региональная научно-техническая конференция «информационные технологии и их приложения». 01 июля 2011 г.-Казань: Изд-во Казан, гос. техн. ун-та, 2011.-С. 237-243.

4. Аун С. Повышение инвариантности сопоставления изображений с использованием пирамиды разностей Гауссианов / С. Аун, Л.М. Шарнин // Всероссийская научно-техническая конференция, посвященная 40-летию института технической кибернетики и информатики «Проблемы и перспективы развития информационных технологий». 10 февраля 2012 г. -Казань: Изд-во Казан, гос. техн. ун-та, 2012. - С 79-84.

5. Аун С. Погрешность измерения координат объектов на основе видеослежения и сопоставления изображений / С. Аун, Л.М. Шарнин // X Международная Четаевская конференция «Аналитическая механика,

устойчивость и управление». 12-16 июня 2012 г. - Казань: Изд-во Казан, гос. техн. ун-та, 2012. - Том 4. - С. 3-10.

Тезисы в сборниках и материалах научно-техническнх конференциях

6. Аун С. Способ визуального слежения за объектами в реальном масштабе времени / С. Аун, Л.М. Шарнин // всероссийская научно-практическая конференция. «Проблемы перехода к устойчивому развитию многопрофильных городов». Нижнекамск, 23 апреля 2010 г. - Казань: Изд-во Казан, гос. техн. ун-та, 2010. - С. 184-185.

7. Аун С. Гибридная инерциальная навигационная система беспилотных летательных аппаратов / С. Аун // XXII всероссийская межвузовская научно-техническая конференция, «Электромеханические и внутрикамерные процессы в энергетических установках, струйная акустика и диагностика, приборы и методы контроля природной среды, веществ, материалов и изделий». 17-19 мая 2010 г. - Казань: Изд-во «Отчество», 2010 - Ч 1 - С 209-211.

8. Аун С. Система визуального сервоуправления / С. Аун, Л.М. Шарнин // Международная молодежная научная конференция «XVIII Туполевские чтения». КГТУ им. Туполева, 26-28 мая 2010 г. - Казань: Изд-во Казан, гос. техн. ун-та, 2010. - Том IV. - С. 649-650.

9. Аун С. Оптико-электронная система слежения за движущимися объектами с их распознаванием / А.И. Карпов // Международная молодежная научная конференция «XVIII Туполевские чтения». КГТУ им. Туполева. 26-28 мая

2010 г. - Казань, 2010. - Том V. - С. 35-36.

10.Аун С. Система слежения за движущимися объектами на основе ключевых точек / С. Аун, Л.М. Шарнин // Международная молодежная научная конференция «XIX Туполевские чтения». КГТУ им. Туполева, 26-28 мая

2011 г.-Казань, 2011.-Том III.-С. 11-13.

11.Аун С. Адаптивное построение модели объекта в системе слежения за движущимися объектами / С. Аун, Л.М. Шарнин // XII Международная научно-техническая конференция «Проблемы техники и технологий телекоммуникаций». 21 - 24 ноября 2011 г. - Казань, 2011. - С. 45-46.

12. Аун С. Измерение параметров аффинного преобразования изображений на графическом процессоре / С. Аун, Л.М. Шарнин // международная научно-практическая конференция «междисциплинарный подход в образовании и экономике». Нижнекамск, 20 апреля 2012 г. - Казань, 2012. - С. 117-120.

13.Аун С. Моделирование и идентификации поворотной видеокамеры для осуществления системы сопровождения движущихся объектов / С. Аун, Л.М. Шарнин // Международная молодежная научная конференция «XX Туполевские чтения». КНИТУ-КАИ, 22-24 мая 2012 г. - Казань, 2012 - 4 с.

формат 60 *84 1/16. Бумага офсетная. Печать офсетная.

Печ. л. 1,5. Усл. печ. л. 1,4. Уч.-изд. л. 1,3. _Тираж 100. Заказ А133._

Типография КНИТУ-КАИ. 420111, Казань, К. Маркса, 10

Список используемых сокращений.

Введение.

Актуальность исследования.

Объект исследования.

Предмет исследования.

Целью диссертационной работы.

Научная задача диссертации.

Методы исследования.

Научная новизна работы.

Основные положения, выносимые на защиту.

Практическая ценность новых научных результатов.

Апробация результатов.

Реализация результатов работы:.

Публикации.

Структура и объем работы.

1. Гпава 1: Современное состояние систем видеослежения и постановка задачи исследования.

1.1. Информационно-измерительные системы видео сопровождения.

1.1.1. Общие этапы системы видеосопровождения.

1.1.2. Области применения и трудности систем видеослежения.

1.1.3. Классификация систем видеосопровождения.

1.1.4. Общая структурная схема системы видеосопровождения.

1.2. Требования и характеристики ИИС видеослежения.

1.2.1. Параметры объекта слежения.

1.2.2. Характеристики сцены наблюдения.

1.2.3. Требования к системам видеослежения.

1.3. Системы координат в области компьютерного зрения

1.3.1. Основные системы координат.

1.3.2. Трехмерное геометрическое преобразование.

1.3.3. Двумерное геометрическое преобразование.

1.4. Формирование изображения и видеокамера.

1.4.1. Общие характеристики видеокамеры.

1.4.2. Поворотные видеокамеры типа PJZ.

1.4.3. Модель формирования изображения в видеокамерах.

1.5. Обработка измерительной информации.

1.5.1. Представление и модель объекта.

1.5.2. Выбор признаков объекта для видеослежения.

1.5.3. Методы обнаружения объекта.

1.5.4. Видеослежение и измерение координат объекта на изображении

1.6. Анализ аппаратных платформ вычисления.

Актуальность исследования

В настоящее время информационно-измерительных системы (ИИС) применяются в довольно широком спектре деятельностей человека таких, как медицина, машиностроение и т.п. В ИИС рассматривается решение различных аппаратно-программных задач таких, как сбор, переработка, передача и хранение информации, а так же поиск, распознавание образов и выдача разнообразной информации человеку или машине [1]. В настоящее время построение информационно-измерительных систем видеослежения, обрабатывающих визуальную информацию видеокамер (ВК) для измерения угловых координат и местоположения подвижных объектов имеет большой интерес в широком спектре деятельности человека таких, как медицина, машиностроение, аэрокосмическая область, в сфере игровых развлечений и т.п.

Сложность и многоаспектность данной задачи возрастет из-за непрерывного повышения требований к динамике объекта, к точности измерения и инвариантности от внешних факторов, и подтверждается наличием значительного количества научных работ, центров и лабораторий, занимающих разработкой систем компьютерного зрения для различных применений. Среди работ, посвященных вопросам видеослежения и оценке параметров подвижных объектов, выделяются работы таких ученых, как Б.А. Алпатов, A.M. Бочкарев, Д.А Форсайт, В.А. Сойфер, С.А. Прохоров, D. Comaniciu, S. Wang, W. Pratt. Среди предприятий на территории Российской федерации, занимающих вопросами компьютерного зрения и видеослежения, перечисляются компании ЗАО «Институт информационных технологий» и ЗАО «Научно-технический центр» «Модуль». Среди научных учреждений: кафедра автоматики и информационных технологий в управлении Рязанского государственного радиотехнического университета и кафедра технической кибернетики

Самарского государственного аэрокосмического университета им. С.П. Королева (национальный исследовательский университет).

Одна из наиболее сложных и актуальных задач в области компьютерного зрения заключается в автоматическом обнаружении наличия объекта интереса на изображениях видеопоследовательности со сложной динамической сценой, и оценка таких параметров объекта, как местоположение, скорость, направление, в реальном масштабе времени. Сложность этих задач значительно увеличивается при рассмотрении объектов, движущихся в значительном пространстве наблюдения, вынуждающих автоматическое слежение за ними по изображениям видеопоследовательностей (видеослежение) и в пространстве перемещения (сопровождение).

Среди причин сложности задач автоматического видеослежения за движущимися объектами встречаются: проективное преобразование; изменение освещенности сцены наблюдения; отсутствие априорной информации о модели объекта и о модели его движения. Несмотря на наличие чрезвычайно большого количества работ, посвященного задачам области компьютерного зрения таким, как обнаружение наличия объектов, и их распознавание, большинство известных методов рассматривают неподвижные объекты на статических изображениях и показывают высокую вычислительную сложность и недостаточную робастность к геометрическим преобразованиям. Исследование возможности применения таких методов для обнаружения подвижных объектов на изображениях видеопоследовательности является актуальной задачей при разработке систем видеослежения.

В последнее десятилетие были разработаны методы обнаружения и распознавания на основе внешности объектов (appearance-based), использующие для описания объектов их локальные ключевые точки (key points) в аналогии с подходами распознавания, встроенными в системе человеческого восприятии [2, 3]. Эти методы показали беспрецедентно удовлетворительные робастность и инвариантность к геометрическим преобразованиям и изменению освещенности. Однако основным недостатком этих методов является их вычислительная сложность, что мешает их применение в задачах слежения за объектами в реальном масштабе времени.

Вследствие выше рассмотренных обстоятельств разработка эффективных методов обнаружения объектов на изображениях видеопоследовательности и увеличение робастности существующих методов с целью проектирования информационно-измерительных систем видеослежения за движущимися объектами являются важными и необходимыми задачами для развития человеческого общества, и представляют собой актуальные научно-исследовательские задачи.

Объект исследования - автоматизированные системы сопровождения и видеослежения за движущимися объектами с использованием поворотной видеокамеры.

Предмет исследования - методы и алгоритмы обнаружения, видеослежения и измерения параметров движущихся объектов на изображениях видеопоследовательности, показывающие инвариантность и робастность к геометрическим преобразованиям.

Целью диссертационной работы является разработка методов, моделей и алгоритмов видеослежения за движущимися объектами с повышенными быстродействием и робастностью к геометрическим преобразованиям.

Научная задача диссертации - совершенствование существующих и разработка новых элементов информационно-измерительной системы видеослежения за подвижными объектами, функционирующей в реальном масштабе времени, улучшение ее метрологических, эксплуатационных и экономических характеристик.

Поставленная научная задача исследования решается в следующих основных направлениях:

Анализ существующих методов обнаружения и определения параметров движущихся объектов на изображениях.

Исследование и разработка инвариантных и робастных к аффинному преобразованию методов и алгоритмов, позволяющих устойчиво обнаружить объекты и оценивать их параметры на статических изображениях и в кадрах видеопоследовательности;

Исследование способов осуществления этих алгоритмов в режиме реального времени;

Разработка алгоритмов управления движением наклонно-поворотной платформы, обеспечивающих автоматическое слежение за движущимся объектом;

Компьютерное моделирование процесса обнаружения и слежения за движущимся объектом и процесса вычисления его параметров; Разработка инструментальных средств построения автоматизированной системы слежения, работающей в реальном масштабе времени.

Методы исследования. Для достижения поставленной цели в диссертационной работе используются теория вероятностей, теория случайных процессов, теория распознавания образов, теория вычислительной математики, параллельное программирование, теория оценки параметров, теория компьютерного зрения, теория систем автоматического управления, а также методы имитационного компьютерного моделирования, физического эксперимента и оптимальной фильтрации.

При выполнении диссертационной работы используются следующие программные обеспечения:

Среда разработки и имитационного моделирования динамических систем Simulink-Matlab; пакеты обработки изображения и видеосигнала в среде Matlab;

Среда разработки Microsoft Visual Studio С++;

Библиотеки алгоритмов компьютерного зрения OpenCV;

Библиотеки выделения ключевых точек SIFT-алгоритма на центральном процессоре «VLFeat» и на графическом процессоре «SIFTGPU»;

Библиотека параллельного вычисления на графических процессорах на основе языка CUDA.

Научная новизна работы. В процессе проведения исследования получены следующие новые научные результаты:

1. Разработан метод сопоставления изображений на основе пространственных дескрипторов ключевых точек известного SIFT- алгоритма, позволяющих ускорить этап вычисления в 40 раз и уменьшить размерность от 128 до 60 по сравнению с SIFT-дескриптором, при этом увеличивается его производительность;

2. Впервые разработан и исследован метод выделения областей изображения на основе пирамиды разностей Гауссианов и нормализации участков изображения, увеличивающий робастность сопоставления изображений к изменению ракурса до 80 градусов, и позволяющий разделить однородные области изображения на несколькие с определенными геометрическими характеристиками;

3. Разработана методика видеослежения на основе сопоставления пространственных дескрипторов SIFT-KT, которая адаптирует множество КТ объекта слежения с учетом результатов сопоставления в предыдущих кадрах видеопоследовательности;

4. На основе предложенного метода сопоставления изображения с использованием пространственных дескрипторов разработаны программные комплексы сопоставления изображений и слежения за объектами в среде Matlab и в среде Microsoft Visual Studio С++;

5. Предложена модификация для обновления вектора состояния объекта слежения на этапе коррекции в фильтре Калмана, обеспечивающая уменьшение погрешностей оценивания местоположения объекта слежения;

6. Разработан вариант метода сопоставления пространственных дескрипторов в программном обеспечении, исполняемый ' на графическом процессоре. Получен коэффициент ускорения вычисления в пределах 20 по сравнению с исполнением на центральном процессоре компьютера.

Основные положения, выносимые на защиту

1. Метод сопоставления изображений на основе пространственных дескрипторов ключевых точек SIFT-алгоритма;

2. Метод выделения областей изображения, опирающийся на пирамиду разностей Гауссианов и нормализацию участков изображения

3. Аналитические выражения для погрешностей измерения координат объекта в системе слежения;

4. Методика видеослежения за объектами на основе пространственных дескрипторов и обновления модели объекта слежения;

5. Результаты компьютерного моделирования и экспериментального исследования системы сопровождения подвижных объектов.

Практическая ценность новых научных результатов

Работа доведена до разработки инженерных методик систем слежения и сопровождения, которые охватывают методологические, информационные, математические, технические и программные обеспечения.

Практическая ценность работы состоит в том, что разработанный метод сопоставления изображений на основе пространственных дескрипторов улучшает быстродействие алгоритма видеослежения и позволяет адаптировать модель объекта в ходе слежения без значительных временных затрат.

Практическая особенность разработанных программных обеспечений в средах разработки Matlab и Microsoft Visual Studio С++ заключается в возможности их использования для слежения за разными объектами, выполняющих некоторые условия обнаружения.

Результаты исследования диссертационной работы могут послужить основой для развития новых систем компьютерного зрения таких, как системы распознавания объектов и стабилизации изображения.

Апробация результатов

Основные положения диссертационной работы докладывались и обсуждались на следующих конференциях:

• Всероссийская научно-практическая конференция «Проблемы перехода к устойчивому развитию многопрофильных городов», г. Нижнекамск, 2010 г.;

• XXII всероссийская межвузовская научно-техническая конференция, Казанское высшее военное командное училище «Электромеханические и внутрикамерные процессы в энергетических установках, струйная акустика и диагностика, приборы и методы контроля природной среды, веществ, материалов и изделий», г. Казань, 2010 г.;

• XVIII, XIX, XX Международные молодежные научные конференции «Туполевские чтения», г. Казань, 2010, 2011, 2012 гг.;

• Региональная научно-техническая конференция «Информационные технологии и их приложения», Казань, 2011;

• X Международная Четаевская конференция «Аналитическая механика, устойчивость и управление», г. Казань, 2012 г.

Реализация результатов работы:

Разработанные в данной работе методы, алгоритмы и программные обеспечения подходят для организации, занимающихся разработкой систем компьютерного зрения. Основные результаты диссертационной работы используются в учебном процессе на кафедре «Автоматизированные системы обработки информации и управления» ФГБОУ ВПО «Казанский национальный исследовательский технический университет им. А.Н. Туполева-КАИ».

Публикации. Основные результаты диссертационной работы опубликованы в 13 печатных работах, в том числе в 5 статьях, из них 2 статьи в периодических изданиях, рекомендованных ВАК, и в 8 тезисах докладов.

Структура и объем работы. Диссертация состоит из введения, четырех глав с выводами, заключения, списка использованной литературы из 113 наименований и приложения. Основная часть диссертации изложена на 176 страницах машинописного текста, содержит 59 рисунков и 8 таблиц.

Заключение

В данной диссертационной работе были рассмотрены самые известные методы обнаружения объектов на изображениях видимого диапазона спектра излучения. Проведенный анализ существующих подходов к построению информационно-измерительных систем, предназначенных для видеослежения за подвижными объектами, определил преимущество использования метода обнаружения объектов на основе сопоставления изображений с использованием ключевых точек известного SIFT-алгоритма, обеспечивающего инвариантность сопоставления к геометрическим преобразованиям, и робастность к изменениям ракурса и освещенности.

На основе ключевых точек известного SIFT-алгоритма разработан в данной диссертационной работе новый метод сопоставления изображений на основе пространственных дескрипторов, позволяющих ускорить этап вычисления дескрипторов и уменьшить его размерность от 128 до 50 по сравнению с SIFT-дескриптором, в то же время увеличивается его информативность. В результате этого увеличивается быстродействие задачи сопоставления изображений на 25% по сравнению с SIFT-дескриптором.

Этот метод сопоставления изображений служит основой для разработки методики видеослежения за объектами с целью измерения параметров объектов на изображениях видеопоследовательности таких, как местоположение в плоскости изображения, угол ориентации и коэффициент масштабирования. Производительность разработанной системы видеослежения исследовалась в среде разработки Matlab и Microsoft Visual Studio С++. Объектом видеослежения является объект, обладающий богатой текстурой, позволяющей выделить достаточное количество ключевых точек. В качестве такого объекта была выбрана машина (автомобиль), движущаяся на горизонтальной плоскости.

В данной диссертации представлены математическая формулировка задачи сопоставления изображений, математические модели вычисления координат объекта слежения в плоскости изображения и на горизонтальной плоскости мировой системы координат при предположении, что объект слежения движется по горизонтальной плоскости земли. На основе этих моделей получены аналитические зависимости расчета их погрешностей от технических характеристик выбранной видеокамеры и алгоритма обнаружения объекта. Результаты моделирования в среде Matlab позволяют определить зоны надежной работы системы видеослежения.

Для проведения экспериментального исследования сопровождения объектов используется поворотная видеокамера SONY EVI-D100P, которая обеспечивает все требования к применению в задаче видеосопровождения, за исключением скорости передачи данных с компьютером. Для данной видеокамеры проводились задачи моделирования и идентификации системы движения по осям панорамирования и наклона. На основе этого разработана компьютерная модель в среде Simulink с целью исследования и уточнения параметров контроллеров управления движением видеокамеры. Следовательно, эти контроллеры использовались в замкнутом контуре управления реальной видеокамеры в режиме моделирования движения объекта и процесса видеослежения в среде Matlab, и также в режиме видеосопровождения за реальным объектом в среде MS VS.

В результате видеослежения, сопровождающегося ошибками измерения местоположения в плоскости изображения, вычисляются зашумленные углы рассогласования между направлением на объект и направлением оптической оси ВК. Следовательно, вычисляется местоположение объекта в горизонтальной плоскости. Исходя из этих зашумленных измерений, оценивается местоположение объекта с использованием фильтра Калмана и модели прямолинейного движения с равномерной скоростью с учетом предложенной модификации на этапе обновления фильтра Калмана, которая позволяет быстрее корректировать направление вектора скорости движения и уменьшить среднеквадратическую ошибку оценивания.

В процессе проведения исследования получены следующие новые научные результаты:

1. Разработанный метод сопоставления изображений, опирающийся на разработку пространственных дескрипторов ЗШТ-ключевых точек, позволяет по сравнению с 81РТ-дескриптором увеличить быстродействие этапа построения дескрипторов в 40 раз и уменьшить их размерность от 128 до 60. В итоге увеличивается быстродействие сопоставления на 25%, а малая размерность пространственного дескриптора позволяет уменьшить объем требуемой памяти для их сохранения и время их передачи;

2. Разработанный метод выделения участков изображения на основе пирамиды разностей Гауссианов увеличивает робастность сопоставления изображений к изменению ракурса до 80 градусов. Он также позволяет разделить однородные области изображения на несколькие с определенными геометрическими характеристиками;

3. Разработанная методика видеослежения на основе сопоставления пространственных дескрипторов 8ШТ-ключевых точек уменьшает вычислительную сложность на 30% по сравнению с ЗШТ-дескриптором и исполняется в реальном масштабе времени при количестве ключевых точек, не превышающем 100;

4. Предложенная адаптация множества ключевых точек объекта слежения на основе результатов их сопоставления в предыдущем кадре улучшит производительность слежения. Низкая вычислительная сложность пространственных дескрипторов позволяет при адаптации перестроить модель объекта повторно в ходе слежения без значительных временных затрат;

5. Предложенная модификация на модель прямолинейного движения с равномерной скоростью обеспечивает уменьшение погрешностей оценивания местоположения объекта слежения, особенно при больших периодах обновления измерений;

6. Разработанное программное обеспечение, исполняющее метод сопоставления изображений на графическом процессоре обеспечивает коэффициент ускорения вычисления выше 20 по сравнению с вариантом, исполняемый на центральном процессоре компьютера. Этот вариант является необходимым для того, чтобы исполнить задачу видеослежения за объектами в реальном масштабе времени при обнаружении на полном изображении.

В связи с разработанными в данной диссертационной работе методами, алгоритмами и программными комплексами можно перечислить следующие перспективные задачи исследования:

1. Так как SIFT-алгоритм выделения ключевых точек имеет ограничение при рассмотрении мало текстурированных объектов, то в дальнейшем целесообразно включить с предложенной методикой видеослежения другой простой метод такой, как оптический поток.

2. Так как разработанный пространственный дескриптор строится на основе полутоновых изображений, совершенствовать этот дескриптор для описания цветных изображений можно с использования SIFT-детектора на каждом из RGB-каналов [111, 112];

3. Появились другие варианты SIFT-детектора с низкой вычислительной сложностью такие, как «fast SIFT», с помощью которых можно уменьшить вычислительную сложность задачи слежения [113].

4. Среди проблем связанных с приобретенной поворотной видеокамерой SONY EVI-D100P при экспериментальном исследовании можно перечислить: низкая скорость передача данных; размытие изображения при небольших скоростях вращения, и ограничение угла наклона ВК на ±25 градусов;

5. Оптимизировать исполнение на графическом процессоре с учетом новых инструментальных средств разработчика от компании NVidia, которые позволяют конкурентно исполнить несколько ядер вычисления одновременно с передачей данных между центральным и графическим процессором.

1. Цапенко М. П. Измерительные информационные системы: Структуры и алгоритмы, системотехническое проектирование: учеб. пособие для вузов. -2-е изд. М.: Энергоатомиздат, 1985. - 426 с.

2. Mikolajczyk К., Tuytelaars Т. Local Invariant Feature Detectors: A Survey // Foundations and Trends in Computer Graphics and Vision. UK, 2008. - Vol. 3, № 3 - pp. 177-280.

3. Biederman I. Recognition by components: A theory of human image understanding // Psychol Rev. США, 1987. - Vol. 94, № 2. - pp. 115-147.

4. Коротаев В. В., Краснящих А. В. Телевизионные измерительные системы: учебное пособие. СПб: СПбГУ ИТМО, 2008. - 108 с.

5. Слежение за точечными особенностями сцены. Электронный ресурс. -URL: http://www.cgm.computergraphics.rU/content/view/54#6.

6. Maggio Е., Cavallaro A. VIDEO TRACKING Theory and Practice. Chichester: Wiley & Sons Inc., 2011. - P. 296 - ISBN: 0470749644.

7. Chaumette F., Handbook of Robotics / F. Chaumette, S. Hutchinson, B. Siciliano, O. Khatib. Berlin: Springer, 2008. - ch. 24: Visual servoing and visual tracking -pp. 563-583.

8. Malis E. Survey of vision-based robot control // European Naval Ship Design, Captain Computer IV Forum. ENSIETA, Brest, France, April 2002. - P. 16.

9. Kragic D., Christensen H.I. Survey on Visual Servoing for Manipulation // Technical Report, ISRN KTH/NA/P-02/01-SE, CVAP259, January 2002. - P. 58.

10. Современные системы безопасности автомобиля Электронный ресурс.: УК «альянс, венчурный бизнес» URL: http://www.venture-biz.ru/tekhnologii-innovatsii/157-sistemy-bezopasnosti-avtomobilya.

11. Yilmaz A., Javed О. Object tracking: A survey // ACM Computing Surveys. -December 2006. Vol. 38, № 4, Article 13. - pp. 1^15.

12. Алпатов Б.А., Балашов О.Е., Бабаян П.В., Степашкин А.И. Методы автоматического обнаружения и сопровождения объектов. Обработка изображений и управление. М.: Радиотехника, 2008. - 176 с.

13. Li X.R., Jilkov V. P. Survey of Maneuvering Target Tracking: Dynamic Models // Proceedings of SPIE- Signal and Data Processing of Small Targets 2000. 2427 April 2000. - Orlando Florida, U.S.A, 2000. - pp. 212-236.

14. Kalal Z., Matas J., Mikolajczyk K. Online learning of robust object detectors during unstable tracking // On-line Learning for Computer Vision Workshop. -September 2009. pp. 1417-1424.

15. Андреев A.Jl. Автоматизированные телевизионные системы наблюдения. Часть I. Аппаратные средства и элементная база: учебное пособие. СПб: СПбГУИТМО, 2005. - 88 с.

16. Шапиро JL, Стокман Дж. компьютерное зрение. Пер. с англ. - М.: БИНОМ. Лаборатория знаний, 2006. - 752 с.

17. Геометрия камеры Электронный ресурс.: Курсы лаборатории компьютерной графики. — URL: http://courses.graphicon.ru/main/vision/2010/lectures.

18. Morel J.M., Yu G. ASIFT: A new framework for fully affine invariant image comparison // Proceedings of SIAM Journal on Imaging Sciences. April 2009. -Vol. 2, №2.-pp. 438-469.

19. Форсайт Д. А., Понс Ж. Компьютерное зрение. Современный подход. -Computer Vision. A Modern Approach / Под ред. А. В. Назаренко. М.: Вильяме, 2004. - 928 с. -ISBN 5-8459-0542-7.

20. Jahne В., Haufiecker Н., and Geifiler P., Handbook of Computer Vision and Applications. Volume I: Sensors and Imaging. Academic Press, 1999. - P.657 -ISBN: 0123797713.

21. CCD vs. CMOS Electronic resource.: Teledyne DALSA corporation. URL: http://www.teledynedalsa■com/coф/markets/ccdvscmos.aspx

22. Progressive scan vs. interlaced video Electronic resource. URL: http://www.axis.com/products/video/camera/progressivescan.htm

23. Bolik A. Handbook of image and video processing. Canada: ACADEMIC PRESS, 2000. - P. 974 - ISBN 0-12-119790-5.

24. Стандарты телевизионных сигналов Электронный ресурс. URL: http://axofiber.no-ip.org/inside/teleformats.htm.

25. Lens & Sensor, Image labs international Electronic resource. URL: http://www.imagelabs.com/support/resources/tools/.

26. Иванова T.B. Введение в прикладную компьютерную оптику: Конспект лекций. СПб: СПб ГИТМО (ТУ), 2002. - 92 с.

27. Using High-Speed Cameras for Sports Analysis Electronic resource.: Southern Vision Systems, Inc. URL: http://southernvisionsystems.com/whitepapers/Sports%20Analysis%20White%20 Paper.pdf.

28. Fire Wire (IEEE 1394) bus interface connector pinout Electronic resource. -URL: http://pinouts.ru/Slots/ieeel394pinout.shtml.

29. Cyganek B. An Introduction to 3D Computer Vision Techniques and Algorithms. Chichester: Wiley & Sons Inc., 2009. - P. 504 - ISBN: 047001704X.

30. Trajkovic M. Interactive calibration of a PTZ camera for surveillance applications // Asian Conference on Computer Vision, 2002. pp. 1-8.

31. Zheng N., Xue J. Statistical Learning and Pattern Analysis for Image and Video Processing. Springer press, 2009. - P. 356 - ISBN: 1848823118.

32. Андреев A.Jl. Автоматизированные телевизионные системы наблюдения. Часть II. Арифметико-логические основы и алгоритмы: учебное пособие. -СПб: СПбГУИТМО, 2005. 88с.

33. Balasubramanian R. Gamut mapping to preserve spatial luminance variations / R. Balasubramanian, R. deQueiroz, R. Eschbach, W. Wu // IS&T/SID's 8th Color Imaging Conference, Scottsdale Nov 7-10 2000. - pp. 122-128.

34. Treiber M. An Introduction to Object Recognition Selected Algorithms. -Springer, 2010. P. 215. - ISBN: 978-1-84996-234-6.

35. Roth R.M., Winter M. Survey of Appearance-Based Methods for Object Recognition // Technical Report, Graz University of Technology, Austria, January 15, 2008.-P. 68.

36. Grabner H. Tracking the invisible: Learning where the object might be / H. Grabner, J. Matas, L. J. Van Gool, P. C. Cattin // Proceedings of CVPR'10 June 2010.-pp. 1285-1292.

37. Yu Т., Wu Y. Collaborative tracking of multiple targets // Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'04).-2004.-Vol. l.-pp. 1063-6919.

38. Сойфер В.А. Методы компьютерной обработки изображений / под ред. Сойфера В.А. 2-е изд., испр. - М.: ФИЗМАТЛИТ, 2003. - 784 с. - ISBN 59221-0270-2.

39. Wang P. Handbook of Pattern Recognition and Computer Vision. USA: World Scientific Publishing, 2005. - 3rd Ed. - P. 652. - ISBN 981-256-105-6.

40. K. Mikolajczyk, C. Schmid A performance evaluation of local detector and descriptors // Pattern Analysis and Machine Intelligence, IEEE Transactions on, October 2005.-Vol. 27, № 10.-pp. 1615-1630.

41. Lowe D.G. Distinctive Image Features from Scale-Invariant Keypoints // International Journal of Computer Vision. 2004. - Vol. 60, № 2. - pp. 91-110.

42. Mikolajczyk K. A Comparison of Affine Region Detectors / K. Mikolajczyk, T. Tuytelaars, C. Schmid, A. Zisserman // International Journal of Computer Vision. Springer, November 2005. - Vol. 65, Issue: 1-2. - pp. 43-72.

43. Hasler N. Scale Invariant Feature Transform with Irregular Orientation Histogram Binning // MPI Informatik, Saarbrücken, Germany, ICIAR 2009. PP. 258-267.

44. Forssen P., Lowe D. Shape descriptors for maximally stable extremal regions // IEEE ICCV, Rio de Janeiro, Brazil, October 2007. pp. 1-8.

45. Setia L. Image Classification using Cluster-cooccurrence Matrices of Local Relational Features / L. Setia, A. Teynor, A. Halawani, H. Burkhardt // MIR'06, Santa Barbara, California, USA, October 26-27, 2006. P. 9.

46. Zhang E. Mining Spatially Related Features for Object Recognition // NZCSRSC 2008, April 2008. Christchurch: New Zealand, 2008 - P. 4.

47. Конушин А., Мариничев К., Вежневец В. Обзор робастных схем оценки параметров моделей на основе случайных выборок // Graphicon, 2004. М.: МГУ, 2004. - С. 4.

48. Fischler, М.А., Bolles, R.C. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography // С ACM (24), June 1981. -№ 6. pp. 381-395.

49. Davies E. R. Machine Vision: Theory, Algorithms, Practicalities (Signal Processing and its Applications). London: Morgan Kaufmann Publishers, 2005. -Third Edition-P. 938.

50. ASIFT: An Algorithm for Fully Affme Invariant Comparison. Electronic resource. URL: http://www.mw.cmla.ens-cachan. fr/me gawave/demo/asi ft/archive/

51. Donoser M., Bischof H. Efficient Maximally Stable Extremal Region (MSER) Tracking // Proc. of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, New York, 17-22 June 2006. PP 553 - 560.

52. Методы сегментации изображений: автоматическая сегментация. Электронный ресурс. URL: http://www.cgm.computergraphics.ru/content/view/147

53. SHI J., MALIK J. Normalized cuts and image segmentation // IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000. Vol. 22, № 8. - pp. 888905.

54. Lucchese L., Mitra S. Color image segmentation: A state-of-the-art survey // INSA- A: Proceedings of the Indian National Science Academy, 2001. pp. 207221.

55. Bar-Shalom Y. Estimation with Applications to Tracking and Navigation: Theory, Algorithms and Software / Y. Bar-Shalom, L. X.-Rong, K. Thiagalingam. Chichester: Wiley & Sons Inc., 2001. - P. 558.

56. Karlsson, R. Simulation based methods for target tracking / Ph.D. Thesis, Department of Electrical Engineering, Linkoeping University, Sweden. 2002. -P. 140.

57. Rowan M., Maire F. D. An Efficient Multiple Object Vision Tracking System using Bipartite Graph Matching // In 2004 FIRA Robot World Congress. -BEXCO, Busan, Korea, October 26-29 2004. P. 6.

58. Candy J. V. Bayesian Signal Processing: Classical, Modern and Particle Filtering Methods. Wily press, 2009. - P. 472. - ISBN 978-0-470-18094-5.

59. Das S. High-Level Data Fusion. Artech House Publishers, 2008. - P. 394 -ISBN-1-59693-281-4.

60. Jitendra R. R. Multi-Sensor Data Fusion: Theory and Practice. CRC Press, 2009. - P. 534. - ISBN 1439800030.

61. Welch G., Bishop G. An Introduction to the Kaiman Filter // SIGGRAPH, University of North Carolina, USA, 2001. P. 81.

62. Van der Heijden F. Classification, Parameter Estimation and State Estimation: An Engineering Approach Using MATLAB / F. Van der Heijden, R. Duin, D. de Ridder, D. M. J. Tax. Willey, 2004. - P. 440 - ISBN 0-470-09013-8.

63. Arulampalam M. S. A Tutorial on Particle Filters for On-line Nonlinear/Non-Gaussian Bayesian Tracking / M. S. Arulampalam, S. Maskell, N. Gordon, T. Clapp // IEEE Transactions on Signal Processing. February 2002. - Vol. 50, № 2.-pp. 174-188.

64. Comaniciu D, Ramesh V., Meer P. Kernel-based object tracking // IEEE Trans. Pattern Analysis and Machine Intelligence. August 2003. - Vol 25 (5). - pp. 564-577.

65. Comaniciu D., Ramesh V., Meer P. Real-Time Tracking of Non-Rigid Objects Using Mean Shift. // Proc. IEEE Conf. Computer Vision and Pattern Recognition. June 2000. - Vol. 2. - pp. 142-149.

66. Artner N. A Comparison of Mean Shift Tracking Methods // 12th Central European Seminar on Computer Graphics, 2008. pp. 197-204.

67. Kehtarnavaz N., Gamadia M. Real-Time Image and Video Processing: From Research to Reality // Synthesis lectures on image, video &multimedia processing. Univ. of Texas at Dallas, USA, Lec. - 2006. - № 5. - P.108.

68. Gulati K., Khatri S.P. Hardware Acceleration of EDA Algorithms: Custom ICs, FPGAs and GPUs. New York: Springer, 2010. - P. 204. - ISBN 978-1-44190943-5.

69. NVIDIA CUDA Электронный ресурс.: Неграфические вычисления на графических процессорах. URL: http://www.ixbt.com/video3/cuda-1 .shtml.

70. NVidia CUDA: Electronic resource.: вычисления на видеокарте или смерть CPU. URL: http://www.thg.ru/graphic/nvidia cuda/print.html.

71. GPU4Vision Electronic resource.: Institute for Computer Graphics and Vision, Graz University of Technology, Austria. URL: http://www.gpu4vision.icg.tugraz.at/.

72. Архитектура cuda следующего поколения, кодовое название fermi сердце суперкомпьютера в теле gpu Электронный ресурс.: компания Nvidia. -URL: http://www.nvidia.ru/obiect/fermiarchitecture ru.html

73. Owens J. D., A Survey of General-Purpose Computation on Graphics Hardware / J. D. Owens, D.Luebke, N.Govindaraju, M.Harris, J. Kriiger, A. Lefohn, T. J. Purcell // Eurographics 2005, State of the Art Reports. August 2005. - pp. 2151.

74. NVIDIA Parallel Nsight для GPU программирования Electronic resource. -URL: http://www.nvidia.ru/obiect/parallel-nsight-ru.html.

75. OpenCV 2.0 Reference Manual Electronic resource.: Intel Corporation, 2009. -URL: http:// www.opencv.willowgarage.com/documentation/.

76. Williams O., Kestur S., Davis J.D. BLAS Comparison on FPGA, CPU and GPU // Proceedings of the 2010 IEEE Annual Symposium on VLSI. 2010. - pp. 288293.

77. Kalarot, R., Morris, J. Comparison of FPGA and GPU implementations of Realtime Stereo Vision // IEEE Computer Society. Vol. 22, № 1. - 2010. - pp. 147162.

78. Chase J. Real-time optical flow calculations on FPGA and GPU architectures: A comparison study / J. Chase, B. Nelson, J. Bodily, Z. Wei, D. Lee. // 16th International Symposium on Field-Programmable Custom Computing Machines, 2008.-pp. 173-182.

79. Kanadel2. Shi J. and Tomasi C. Good Features to Track. // IEEE Conference on Computer Vision and Pattern Recognition, 1994. pp. 593-600.

80. Sinha S. N. GPU-Based Video Feature Tracking and Matching / S. N. Sinha, J.-M. Frahm, M. Pollefeys, Y. Gene // EDGE 2006, workshop on Edge Computing Using New Commodity Architectures. Chapel Hill, USA, May 2006. - P. 15.

81. Sinha S. N. Feature tracking and matching in video using programmable graphics hardware / S. N. Sinha, J.-M. Frahm, M. Pollefeys, Y. Gene // submitted to Machine Vision and Applications, July 2006.

82. Wu C. SiftGPU: A GPU Implementation of Scale Invariant Feature Transform (SIFT) Electronic resource.: 2007. URL: http://www.cs.unc.edu/~ccwu/siftgpu/.

83. Bjorkman M. Computer Vision and Active Perception Lab Electronic resource.: 2008. URL: http://www.csc.kth.se/~celle/.

84. Imaging and Computer Vision, Technical Reports on using CUDA for Imaging & Vision. Electronic resource. URL: http://www.nvidia.com/object/imagingcompvision.html.

85. Li X.R., Jilkov V. P., A Survey of Maneuvering Target Tracking Part III: Measurement Models // Proceedings of SPIE Conference on Signal and Data Processing of Small Targets, San Diego. - С A, USA, 2001. - pp. 423-446.

86. Gorecki F. D. Passive Tracking and Information Theory / Boeing Phantom Works -May 25, 1999.-P. 11.

87. Karlsson R. Various Topics on Angle-Only Tracking using Particle Filters // Department of Electrical Engineering, Linkoeping University, Sweden. 28 October 2002. - P.8.

88. Szeliski R. Computer vision algorithms and applications. Springer, 2010. - 1st edition. - P. 979. - ISBN 1848829345.

89. Schmid C., Mohr R., Bauckhage C. Evaluation of Interest Point Detectors // International Journal of Computer Vision, 2000. Vol. 37 (2). - pp. 151-172.

90. PETS: Performance evaluation of tracking and surveillance. Electronic resource. — URL: www.hitech-proiects.com/euprojects/cantata/datasetscantata/dataset.html.

91. VLFeat: open source library implements popular computer vision algorithms Electronic resource. URL: http://www.vlfeat.org/.

92. Фисенко B.T., Фисенко Т.Ю. Компьютерная обработка и распознавание изображений: учеб. пособие. СПб: СПбГУ ИТМО, 2008. - 192 с.

93. Теоретические основы цифровой обработки изображений: учебное пособие / В.А.Сойфер, В.В.Сергеев, С. Б. Попов, В. В. Мясников. Самара: СГАУ, 2000.-256 с.

94. Warn S., Emeneker W., Cothren J. Accelerating SIFT on Parallel Architectures // IEEE Cluster 2009 Proceedings New Orleans, LA. - 2009. - pp. 1-4.

95. Samet H. The design and analysis of spatial data structures. Addison-Wesley, Reading MA, 1990. - P. 499. - ISBN 0-201-50255-0.

96. Vijaya Kumar V. IHBM: Integrated Histogram Bin Matching For Similarity Measures of Color Image Retrieval / V. Vijaya Kumar, N. Gnaneswara Rao, A. L. Narsimha Rao, V. Venkata Krishna // Pattern Recognition, 2009. pp. 109 -120.

97. Affine Covariant features. Electronic resource. URL: http://www.robots.ox.ac.uk/~vgg/research/affine/index.html.

98. Sattler Т., Leibe В., Kobbelt L. SCRAMSAC: Improving RANSAC's efficiency with a spatial consistency filter // International Conference on Computer Vision (ICCV'09). Kyoto, Japan, 2009. - pp. 2090-2097.

99. Parzen E. On the estimation of a probability density function and the mode // Annals of Mathematical. Statistics, 1962. Vol. 33, № 3. -pp. 1065-1076.

100. Walden А. Т., Medkour Т., Ensemble estimation of polarization ellipse parameters // Proc. Royal Soc. London A Mater. 2008 - vol. 463 - pp. 33753394.

101. Tsai D.M., Hou H. Т., Su H.J. Boundary based corner detection using Eigen values of covariance matrices // Pattern. Recognition letters, Sept 1999. Vol. 20 Issue 1. - pp. 31-40.

102. Kalal Z., Mikolajczyk K., Matas J. Forward-Backward Error: Automatic Detection of Tracking Failures // International Conference on Pattern Recognition, 2010. pp. 23-26.

103. Графические карты Электронный ресурс.: компания MSI. URL: http://ru.msi.com/product/vga/N470GTX-Twin-Frozr-II.html#?div=Specification.

104. ICX229AK: Diagonal 4.5mm (Type 1/4) CCD Image Sensor for PAL Color Video Cameras. URL: http://www.sony.net/Products/SC-HP/datasheet/90203/data/a6810467.pdf.

105. EVID100, PAN/TILT/ZOOM COLOR VIDEO CAMERA Electronic resource. URL: http://pro.sony.com/bbsc/ssr/cat-industrialcameras/cat-industrialcamerapantiltzoom/product-EVID 100/.

106. Громаков Е.И. Проектирование автоматизированных систем (Электронный курс лекций) / Томский политехнический университет, 2009. 134 с.

107. Abdel-Hakim А. Е., Farag A. CSIFT: A SIFT Descriptor with Color Invariant Characteristics // CVPR (2) 2006. pp. 1978-1983.

108. Luke R. Extending the Scale Invariant Feature Transform Descriptor into the Color Domain / R. Luke, J. Keller, J. Chamorro-Martinez // Journal of Graphics, Vision, and Image Processing, 2008. Vol. 8, № 4. - pp. 35-43.

109. Alhwarin F. VF-SIFT: Very Fast SIFT Feature Matching / F. Alhwarin, D. Ristic-Durrant, A. Gräser // Proceedings Annual Symposium German Association for Pattern Recognition, DAGM2010. 2010. - pp. 222-231.