автореферат диссертации по приборостроению, метрологии и информационно-измерительным приборам и системам, 05.11.16, диссертация на тему:Информационно-измерительная система контроля перемещения движущегося объекта, наблюдаемого с помощью оптической видеокамеры

Российский научный центр «Курчатовский институт»

На правах рукописи УДК 681.51:621.039

□03053731

АХРИЕВ Альберт Хаджиевич

ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНАЯ СИСТЕМА КОНТРОЛЯ ПЕРЕМЕЩЕНИЯ ДВИЖУЩЕГОСЯ ОБЪЕКТА, НАБЛЮДАЕМОГО С ПОМОЩЬЮ ОПТИЧЕСКОЙ ВИДЕОКАМЕРЫ

05.11.16- Информационно-измерительные и управляющие системы (атомная наука и техника и смежные области)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Москва — 2007

003053731

Работа выполнена в РНЦ «Курчатовский Институт», г. Москва.

Научные руководители:

кандидат физико-математических наук, | Петров Александр Павлович]

доктор технических наук, Тутнов Игорь Александрович

Официальные оппоненты:

доктор технических наук, профессор Барзов Александр Александрович

кандидат физико-математических наук, Виноградов Александр Петрович

Ведущая организация:

Международный центр по ядерной безопасности Минатома России (МЦЯБ), г. Москва

Защита состоится » 2007 г. в час. гОО мин.

на заседании диссертационного /овета Д 520.009.04 при Российском научном центре «Курчатовский Институт» по адресу: 123182 Москва, площадь академика Курчатова, д. 1, РНЦ «Курчатовский Институт».

С диссертацией можно ознакомиться в библиотеке РНЦ «Курчатовский Институт».

Автореферат разослан « 5» ■ Я4/в<1р51 2007 г.

Ученый секретарь

диссертационного совета, к.т.н. ? г. В. Яковлев

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Создание приборов и информационно-измерительных и управляющих систем (ИИУС) мониторинга состояния объектов в современном ядерном приборостроении, отвечающих требованиям текущего развития экономики страны, является необходимым условием для эффективного функционирования любых секторов экономики атомной промышленности. Это обусловливается структурными и динамическими свойствами потребительского качества ИИУС, которые определяют характер безопасной эксплуатации объектов использования атомной энергии (ОИАЭ) и других потенциально опасных объектов. Важной задачей для многих отраслей промышленности является постоянное улучшение методов, позволяющих разрабатывать сложные многомерные имитационные математические модели для создания специальных ИИУС, прослеживающих движущийся объект с заданной точностью, способных определить текущее положение диагностируемого объекта и предсказать его новое положение.

Примерами ИИУС для контроля перемещения движущего объекта являются устройства наведения на цель, навигационные приборы, системы автоматического позиционирования различных механизмов в промышленном производстве и в робототехнике, охранные видеосистемы. Применительно к ОИАЭ, особый интерес представляет возможность слежения за перемещением таких объектов как механические манипуляторы, оперирующие с радиоактивными предметами; люди или машины, находящиеся в охраняемой зоне ОИАЭ; специальные маркеры, автоматически считываемые с контейнеров с радиоактивными материалами при прохождении системы контроля и т.п.

Таким образом, актуальность темы настоящей диссертационной работы в научном плане определяется развитием и совершенствованием способов создания информационно-измерительных и управляющих систем оптического контроля и мониторинга ядерной безопасности, которые необходимы для поддержания безопасности ОИАЭ и других целей промышленной диагностики. Актуальность данной работы подтверждается тем, что исследования выполнялись в рамках ГНТП «Технологии, машины и производства будущего», «Управляемый термоядерный синтез и плазменные процессы»; ФЦП «Национальная технологическая база» и «Интеграция науки и высшего образования России»; инновационных НТП «Радиационные комплексы и технологии для научного приборостроения, медицины, производства товаров народного потребления», межотраслевой программы сотрудничества между Федеральным агенством по атомной энергии и Минобразования и науки России; грантов Минобороны и Росатома в области фундаментальных и поисковых НИР; проектов МНТЦ и др. Важность поиска решения задач данной научной тематики подтверждается тем, что их решение содействует выполнению исследований по направлению «Экологически чистая энергетика» Федеральной научно-технической программы «Исследование и раз-

работка по приоритетным направлениям развития науки и техники гражданского направления», утвержденной постановлением Правительства РФ № 1414 от 23.11.96 и «Программы развития атомной энергетики РФ на 1998-2005 годы и на период до 2010 года», утвержденной постановлением Правительства РФ № 815.

К началу выполнения данной работы были проведены отдельные исследования по созданию способов численного эксперимента, содержащих данные по динамическому поведению измерительных систем для обнаружения движущихся объектов в целях создания новых совершенных изделий ядерного приборостроения. Эти исследования были выполнены в НИЦ СНИИП, РНЦ «Курчатовский Институт», НПО «Маяк», РФЯЦ-ВНИИЭФ, ИПУ им. В. А. Трапезникова РАН, ГП ВНИАЭС, в ряде других научных и учебных заведений известными исследователями в области создания и производства приборов и измерительных систем, такими как Н. П. Алешин, П. А. Александров, В. М. Баранов, В. Г. Волков, В. Г. Гнеденко, Э. А. Магидов, Т. Г. Самхарадзе, К. С. Стась, В. М. Струнников, С. Б. Чебышев, Г. В. Яковлев и рядом других. Появление в последние годы недорогих персональных компьютеров и оптических видеокамер позволило, во-первых, сформулировать принципиально новые задачи перед разработчиками ИИУС, во-вторых, поставить на научную основу новые технологии создания и сертифицирования образцов и отдельных модулей информационно-измерительных и управляющих систем, в частности, ИИУС контроля за перемещением движущихся объектов в условиях производственного цикла на объектах атомной промышленности. Актуальность данной диссертации определяется необходимостью дальнейшего проведение целенаправленных научных исследований по созданию современных изделий ядерного приборостроения.

Целью работы являлась разработка и улучшение ИИУС с высокой степенью информационного потенциала для обнаружения движущихся объектов на базе методов анализа видеорядов. Для достижения поставленной цели в работе решались следующие задачи:

1. Анализ достоинств и недостатков существующих методов, в основе которых лежит механизм слежения за движущимися объектами.

2. Создание алгоритмов прослеживания граничного контура объекта по серии кадров видеоряда, имеющих минимальное количество настраиваемых параметров и обеспечивающих близость между вычисленным и реальным граничным контуром объекта на каждом кадре.

3. Моделирование новых образцов ИИУС контроля перемещения движущегося объекта, наблюдаемого с помощью оптической видеокамеры, путём создания прототипа системы в виде программы для ЭВМ.

4. Разработка методов оценки качества новых образов ИИУС для контроля движущихся объектов на основе оптической видеокамеры по результатам экспериментальных испытаний.

Положения выносимые на защиту

1. Результаты анализа достоинств и недостатков существующих систем видео-наблюдепия и постановка задачи на создание ИИУС нового поколения для мониторинга состояния перемещающихся объектов.

2. Комплексный алгоритм прослеживания граничного контура объекта, использующий заданную модель движения для ограничения межкадровых деформаций контура и цветовые распределения областей объекта и фона, способы и методы обработки измерений составляющие его основу:

• Метод включения заданной модели движения в функционал энергии подвижного контура.

• Метод балансировки различных членов функционала энергии.

• Метод предсказания положения контура объекта на новом кадре.

• Метод поиска корреспонденций между точками нового кадра и контрольными точками контура.

• Метод автоматического выбора разрешения гистограмм эмпирических цветовых распределений объекта и фона.

3. Способ прослеживания цветного объекта, минимизирующий энтропию классификации:

• Метод построения дискретной энтропии, учитывающей конечность количества точек составляющих объект и фон.

• Метод построения контура объекта на новом кадре по карте вероятностей, полученной классификацией точек на объектные и фоновые.

Личный вклад автора заключается в:

1. улучшении существующих методов прослеживания объектов;

2. разработке теоретических основ новых подходов к задаче слежения;

3. непосредственном участии в работах по созданию и верификации программных средств контроля за перемещением движущихся объектов, в РНЦ «Курчатовский Институт», компании ГУП НПЦ «Элвис» и Институте Передовых Технологий компании Самсунг (SAIT).

Изложенные в диссертации результаты получены лично автором или при его непосредственном участии.

Методы исследований, достоверность результатов. В работе использованы методы цифровой обработки изображений, теории вероятностей и математической статистики, теории управления, теории оптимизации, вычислительной линейной алгебры, а также методы проектирования программных средств. Достоверность результатов обеспечивается использованием теоретически обоснованных моделей и согласованностью полученных данных с результатами экспериментов.

Научная новизна

1. Предложен эффективный механизм ограничения межкадровых деформаций контура, который заставляет объект следовать заданной модели движения. В отличие от аналогичных подходов, известных в литературе, предложенный метод не только прост и математически прозрачен, но и легко интегрируется с другими источниками информации об объекте, например, полученными в результате обучения на специально подобранных видеорядах.

2. Предложен новый способ предсказания положения объекта на следующем кадре, который учитывает заданную модель движения.

3. Разработан метод автоматического выбора разрешения гистограмм в алгоритмах прослеживания объекта по серии цветных изображений.

4. Предложен оригинальный метод прослеживания объекта по серии цветных изображений, в котором точки нового кадра классифицируются на объектные и фоновые согласно критерию минимума энтропии.

Практическая ценность работы состоит в создании новых образцов ИИУС, реализующих возможность использования предложенных методов слежения в промышленных, навигационных и медицинских технических устройствах, а также в специальных приложениях. Разработанные в рамкам представленной работы алгоритмы и их отдельные модули апробированы и нашли практическое применение в действующих системах видеонаблюдения и визуальной диагностики, а также в программе Claxa, используемой для редактирования видеосюжетов.

Апробация работы. Основные и вспомогательные результаты диссертационной работы докладывались на следующих научных конференциях:

• 6-й Объединённой конференции по информационным наукам JCIS (Северная Каролина, США, 2002);

• 7-й Международной конференции по цифровой обработке изображений DICTA (г. Сидней, Австралия, 2003);

• 12-й Международной конференции по машинной графике, визуализации и компьютерному зрению WSCG (г. Плзен, Чехия, 2004);

• Международной конференции по электронной обработке изображений, IS&T/SPIE Electronic Imaging (г. Сан-Хосе, США, 2004).

Публикации. Основные и вспомогательные результаты диссертационной работы были опубликованы в журналах: Вопросы атомной науки и техники; Вопросы радиоэлектроники; в трудах международных конференций.

Структура и объём работы. Диссертация состоит из введения, обзора литературы, четырёх основных глав с описаниями алгоритмов, главы с описанием экспериментальных результатов, заключения, списка цитируемой литературы

из 111 наименований, дополнительных приложений и акта о внедрении. Работа содержит 150 страниц, включает 38 рисунков и 2 таблицы.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность исследуемой проблемы, сформулирована цель диссертационной работы, отражена научная новизна применённых решений, представлена практическая ценность работы и кратко изложено содержание. Также во введении охарактеризована задача прослеживания движущегося объекта с помощью оптической камеры и представлен спектр возможных применений ИИУС способных решать подобную задачу. Поставленная задача сформулирована следующим образом: Пусть задай объект интереса в некоторой сцене. Пусть также задан граничный контур объекта на первом и, возможно, на втором кадре видеопоследовательности. Причём начальный контур должен быть достаточно близок к видимой границе объекта на первом (и, если требуется, на втором) кадре. Модель поведения, форма, цвет., текстура и другие признаки объекта неизвестны, кроме тех, что наблюдаются непосредственно на изображении. Требуется проследить контур объекта по максимально длиной последовательности кадров так, чтобы прослеживаемый контур оставался близок к видимой границе объекта на каждом кадре.

Первая глава содержит развёрнутый обзор современных методов прослеживания объекта по серии кадров, использующих как модель движения, так и цветовые и/или текстурные характеристики объекта.

Вторая глава посвящена разработанному, в рамках данного исследования, алгоритму прослеживания граничного контура объекта на основе заданной линейной модели движения. Далее этот метод будет именоваться Алгоритм 1. Изложение начинается с определения основных понятий.

Обычно контур представляется набором последовательных точек, евклидово расстояние между которыми составляет один пиксел. Поскольку контура объектов могут быть достаточно длинными, из соображений эффективности приходится снижать точность представления контура путём отбора подмножества контрольных точек, равномерно распределённых вдоль контура с заданным шагом. На практике контур объекта удобно представлять в виде 2Лг-вектора г', состоящего из координат N контрольных точек в момент времени t

= (^О' Уо< •••> x\i У\> •••> xtv—1» УЛГ-I) • (1)

Вектор межкадровых смещений vf, связывающий контура объекта в моменты t и t + 1 соответственно, задастся аналогично

rt+1 = г' + v(, v4 = (t£i0, t£i0l • • •, v\j k,..., 4>ЛГ_1)Т . (2)

Предположим, на время, что движение контура от кадра к кадру в точности описывается линейной моделью движения. Тогда смещение в к-й контрольной точке в момент Ь есть линейная функция от вектора параметров движения ©

(в = (е0,еье2)вз,...)т)

(ЧЛ = Тк=Ло« 0 0 - Л (з)

и,*; \у1+1-у1) \о 1 о о 4 у1 ...)'

где матрица Т^ представляет собой матрицу аффинной, или более сложной модели межкадровой трансформации контура. Координаты (х\,у1) и смещения (ух,к> уу,к) контрольной точки входят в вектора (1) и (2).

При выборе любой из моделей движения, мы предполагаем, как это неявно делается большинством исследователей, что граничный контур объекта, являющийся его силуэтом в проекции на двумерное изображение, лежит, примерно в плоскости в трёхмерном пространстве, т.е. отклонение от плоскости мало в сравнении с расстоянием от камеры до объекта. Будем различать геометрические деформации контура, связанные с изменением положения плоскости, в которой лежит контур, относительно камеры, и механические деформации, обусловленные изменением формы самого объекта. Линейный вид зависимости (3), описывающей геометрические деформации, позволяет построить эффективную процедуру слежения за контуром объекта. Поэтому сделаем ещё одно, также широко распространённое, предположение состоящее в том, что геометрические межкадровые деформации превалируют над механическими. Иными словами, малое изменение формы контура объекта от кадра к кадру с допустимой точностью описывается линейной моделью движения. Эксперименты, в целом, подтверждают адекватность сделанных предположений. Естественно, линейная трансформационная модель не в состоянии охватить, например, сложное движение совершаемое бегущим человеком. Однако во многих ситуациях, достаточно лишь удержать контур вблизи движущегося объекта на серии кадров. Точную же подгонку положения контура относительно внешней границы прослеживаемого объекта стоит поручить более тонким вероятностным методам, см. далее.

Полагая по очереди каждый г-й параметр выбранной модели движения равным единице, в* = 1, а все остальные нулю, = 0, г ф мы получим базис {Уг} в пространстве смещений, размерность которого равна размерности вектора параметров 0. Первые два вектора этого базиса ур и VI соответствуют горизонтальной и вертикальной трансляции объекта в плоскости изображения. Сохраняя направления этих вектором неизменными, ортогонализуем и нормируем вектора базиса {у;}. Вектора нового ортонормированного базиса {Ь;} будем называть базовыми деформациями. Будем называть подпространство натянутое на вектора {Ь;} подпространством линейного движения, поскольку любое смещение, обусловленное линейной трансформацией контура (3), обязательно лежит в этом подпространстве. Базовые деформации {Ь^} зависят от координат

контрольных точек и от размерности выбранной модели движения, см. (3). В реальности контур почти никогда не следует простой линейной модели движения. Межкадровые деформации, выходящие за пределы подпространства линейного движения, будем называть не-базовылш.

Для удобства манипулирования, мы сводим вместе все базовые деформации в виде столбцов матрицы базовых деформаций

Н=(Ь0)Ь1,...,ЬМ_1), = (4)

Матрица Н имеет размеры 2Ы х М, где N есть число контрольных точек, а М есть число независимых параметров движения (размерность ©). Первые два столбца матрицы Н соответствуют векторам горизонтальной Ьо и вертикальной Их трансляции в плоскости изображения.

Энергия межкадровой деформации контура, представленного последовательностью N контрольных точек, имеет следующий вид

Е(у)=УТКУ, (5)

где положительно определённая 2Ы х 2Ы матрица жёсткости К зависит от координат контрольных точек и эластичности контура. В Алгоритме 1 предполагается, что граничный контур объекта в основном следует заданной модели движения. Для этой цели энергия представляется в виде штрафной функции, которая достигает малых значений только при следовании контура выбранной модели, т.е. на базовых деформациях. Идея эта не нова, однако в рамках данного исследования была предложена простая и математически прозрачная ее реализация. Для этого матрица жёсткости умножается слева и справа на оператор-проектор для получения новой формы энергии деформации

= утКЧ К* = (I - ННТ)ТК (I - ННТ), (6)

где I — единичная 2М х 2N матрица, а Н — матрица базовых деформаций, определённая по формуле (4). Важным свойством полученных выражений является принадлежность вектора базовой деформации нуль-подпространству матрицы К", т.е. независимо от того как получена исходная матрица К, базовая деформация всегда имеет нулевой штраф = 0. Поэтому контур может свободно двигаться согласно выбранной модели движения, но любая попытка отклониться от модели будет штрафоваться увеличением энергии.

Исходная матрица жёсткости К может быть получена разными способами, например, в результате обучения типичным движениям заданного класса объектов. Однако, в нашей постановке, модель поведения объекта априори неизвестна. Поэтому мы задаёмся не моделью объекта, а моделью движения, исходя из её физической адекватности и численной эффективности. Поскольку замкнутый контур является конечным, циклическим множеством контрольных точек с 2Ы

степенями свободы, любое возмущение формы этого контура можно представить в виде разложения по 2И дискретным Фурье-гармоникам: v = где

^ — дискретная Фурьс-гармоника (2Л^-вектор), ад — проекция деформации v на гармонику N — количество контрольных точек. Множество образует ортонормированный базис, где ^ и ^ есть чистые трансляции вдоль координатных осей, а остальные гармоники следуют четверками, имеющими одинаковые ненулевые частоты. Каждому дискретному значению частоты соответствует две гармоники сдвинутые на п/2 (синус и косинус). Поскольку разложения по абсциссам и ординатам независимы, то одинаковую частоту будут иметь уже четыре гармоники. Чтобы формулы для Фурье-гармоник имели простой вид, выбирается нечётное количество контрольных точек. Тогда число гармоник с ненулевой частотой равно 2ЛГ — 2 (это число кратно четырём при нечётном ЛГ) и четвёрка гармоник с одинаковой частотой всегда полностью присутствует в наборе.

Теперь можно выписать матрицу жёсткости Фурье К/ в явном виде

к/=С;1 лмт- \=к?+2)/^2 - (?)

где операция отбрасывает дробную часть числа. Свойства матрицы К/ определяются её спектром {Л9}. Несколько странный вид чисел Ад имеет простое объяснение. Обозначим через ю индекс нумерующий частоты гармоник. Первые две гармоники (чистые трансляции, ги = 0) имеют, согласно (7) одинаковые собственные значения равные нулю. Последующие четвёрки гармоник (и> > 0) также имеют одинаковые собственные значения, растущие квадратично с ростом индекса частоты т, т.е. А? = «А Последнее означает более высокий штраф для высших гармоник в разложении вектора межкадровой деформации, что заставляет контур избегать мелких и частых локальных деформаций в процессе эволюции. И наоборот, плавные деформации массивных частей контура дадут относительно небольшой вклад в общий штраф. Предложенная модель спектра матрицы К/ хорошо согласуется с данными наблюдений и удовлетворительно работает во многих случаях. Фактически, матрица (7) действует как низкочастотный фильтр формы контура. Поэтому процесс слежения становится более помехоустойчивым, но за счёт деградации мелких деталей формы. Одно неочевидное свойство матрицы жёсткости Фурье заключается численной эффективности её вычисления.

Опыт подсказывает нам, что, на практике, даже базовые межкадровые деформации следует ограничивать. Окончательный вид матрицы жёсткости движения, с учетом (б) и (7), даётся следующей формулой

Кт = (I - ННТ)ТК/ (I - ННТ) + а'Д1,:Ь;г, (8)

где М — количество независимых параметров модели движения. Первые две базовые деформации (трансляции) никак не ограничиваются. Остальные вектора Иг входят в Кт с весами оц, которые становятся ненулевыми собственными

числами матрицы для базовых деформаций Ь», г £ {2,3,..., М— 1}. Числа а* определяются через наименьшее ненулевое собственное значение А^ матрицы К^ = (I —ННТ)ТК/ (I —ННТ). Последнее обстоятельство важно для правильной балансировки спектра матрицы (8), поскольку снижается зависимость результатов прослеживания объекта от контекста.

С помощью полученной матрицы Кто строится функция энергии деформации £*(у) в (6). Несмотря на некоторый эмпиризм, обусловленный сложностью задачи слежения и непредсказуемым поведением объекта, введение матрицы Кш позволило, в сравнении с другими подходами, снизить количество ограничивающих предположений и явно заданных числовых констант.

Алгоритм 1 представляется следующей последовательностью действий:

1. Инициализация: дан контур объекта на первом кадре /о. Если дан контур на втором кадре 11, оценить начальные скорости в контрольных точках, иначе положить скорости равными нулю. Начать с £ = 1;

2. Предсказать положение контура на новом кадре;

3. Уточнить (оптимизировать) положение предсказанного контура;

4. Взять следующий кадр /(+1, £ «— £+1- Продолжить с шага 2.

Метод предсказания положения контура на новом кадре в Алгоритме 1 основан на традиционном представлении контура в виде набора массивных точек, связанных упругими нитями, позволяющим применить к нему аппарат классической механики. На самом деле видимый контур является лишь силуэтом объёмного тела, совершающего порой сложное движение. Возможность применения линейной модели к трансформациям видимого контура объекта вытекает из малости межкадровых деформаций формы, поэтому важно построить корректное линейное приближение. На шаге 2 предсказание положения контура на новом кадре опирается на следующее представление: в промежутках между последовательными кадрами контур объекта совершает инерциальной двиэ/сение в вязкой среде, деформируясь под действием сил внутреннего напряэюсния. Это движение описывается обобщённым уравнением Лагранжа

где г — контур объекта, см. (1),£ — функция Лагранжа (здесь кинетическая энергия), М — диагональная матрица масс контрольных точек (тц = тп), С — диагональная матрица рассеяния (Сц = с), Кт — матрица жёсткости движения (8), ту — константа, которую предстоит задать. Дифференцирование С и V приводит к динамическому уравнению

Мг + Сг + т]Ктт = 0.

(9)

Предсказанное положение контура на новом кадре r4+1 получается решением уравнения (9) при начальных условиях Гр = г4, rg = г4 — г4-1, где Tq есть положение контура на текущем кадре в момент времени t, а го есть вектор скоростей контрольных точек. При условии постоянства матрицы Кт на межкадровом интервале (At = 1), решение (9) вычисляется аналитически

fm = + V2""1 (l^Eiz^l ( т р _ rt-1)} А , Мг =

^—/i=0 \ щ 4,4 ) т

где {е;, Aj} — собственные вектора и собственные значения матрицы Кт. Малый параметр общей диссипации (с = 0,1 ■ то, где т — масса контрольной точки) гарантирует стабильность решения, при незначительном влиянии. Полагая г7 = т/Хм, где Ам ~ наименьшее собственное значение первой не-базовой деформации, мы ставим рабочую точку процедуры предсказания между базовыми (Л, < Ад/) и не-базовыми (А; > Хм) деформациями. Такая адаптивная подстройка снижает зависимость результата предсказания от формы конкретного контура. Принципиальной особенностью предложенного метода предсказания, является введение матрицы жёсткости движения в функционал рассеяния V, придающее процессу эволюции контура следующее важное свойство: по мере двиэюения контура, согласно уравнению (9), от положения г4 на текущем кадре до предсказанного положения r<+1 на следующель кадре, вклад не-базовых компонент в вектор деформации v = г — г4 уменьшается, а вклад базовых деформаций возрастает, что достигается более быстрым затуханием амплитуды не-базовых возмущений формы контура, заложенных в распределении начальных скоростей контрольных точек. Однако, не-базовые деформации продолжают играть заметную роль, позволяя контуру следовать сложным изменениям формы объекта.

На шаге 3 Алгоритма 1 производится уточнение положения контура на новом кадре, обычно путём подтягивания предсказанного контура к ближайшим яркостным или цветовым переходам (краям) изображения, которые предположительно принадлежат искомой внешней границе объекта. Очевидно, что случайно оказавшиеся поблизости краевые точки, не принадлежащие границе объекта, будут притягивать контур к себе, разрушая процесс слежения. Во избежании этого наложены три условия: (1) межкадровые деформации контура ограничиваются заданной моделью движения, (2) смещения соседних контрольных точек должны быть близки (гладкость поля скоростей) и (3) результирующий контур должен оставаться гладким. Оптимальный контур на новом кадре It+i минимизирует следующую функцию энергии

£(?) = ^(r-r4)TKm(r-rt)+^(r-r4)TKu(r-rt)+^crTKcr+ea||r-r4+1||^, (10)

где г4 — контур на текущем кадре, г — оценка положения контура на новом кадре, r4+1 — 2Аг-вектор точек притяжения на новом кадре, fm, £„, £с и — константы

задающие степень влияния того или иного члена, г — г' — 2Лг-вектор межкадровой деформации контура. Указанные выше условия реализованы в трёх первых членах (10). Первый член это энергия деформации, использующая матрицу жёсткости движения (8). Второй член также является энергией деформации, где пятидиагональная матрица К^ заимствована из теории впайе-контуров. Этот член сглаживает вектора межкадровых деформаций в соседних точках. Третий член устроен аналогично (Кс = К„) и поощряет гладкий контур. Четвёртый член есть потенциальная энергия притяжения к корреспондентным точкам, которые как бы соединены линейными «пружинками» с контрольными точками контура.

Поиск оптимального контура осуществляется итеративно. Сначала берётся предсказанная оценка положения контура: г = г4+1. Затем ищутся корре-спондентные точки на новом кадре (их координаты собраны в векторе и положение контура уточняется путём минимизации энергии (10) стандартными средствами линейной алгебры. Процесс повторяется 3-5 раз, причём корреспоп-дентные точки ищутся заново на каждой итерации.

Ключевым пунктом Алгоритма 1 является балансировка влияния различных членов энергии (10). В силу строения первых трёх членов, все они выступают в роли фильтров нижних частот формы контура, поэтому на практике влияние второго и третьего членов полагается незначительным, а именно и £а и £с |т, £а. Однако недостаточно просто задать числовые значения коэффициентов Нужно ещё соответствующим образом нормировать матрицы квадратичных форм всех членов в правой части (10). Поскольку четвёртый член есть квадратичная форма с единичной матрицей, удобно выбрать следующую нормировку Тг(Кс) = Тг(К„) = Тг(1). Наибольший интерес представляет процесс нормировки первого члена в (10). Отбрасывая малозначительные члены (£„ яа 0, £с яз 0), получаем аналитическое решение: г = г' + (йКт 4- 1)-1(гд+1 + п — г'), где й — искомый масштабный фактор, п — 2А^-вектор аддитивного шума измерения положения точек притяжения а I — единичная 27Ух2Аг матрица. За неимением лучшей модели приходится считать, как это обычно делается, что все компоненты вектора п статистически независимы, и распределены с нулевым средним и одинаковой девиацией оп. Нетрудно показать, что для вариации

вектора г выполнены следующие соотношения при в Е (0, оо)

2 < = =

а2 (зЛ. + Х)2

где {А,;} — собственные числа матрицы Кт (числа Ао = Ах = 0 соответствуют трансляциям в плоскости изображения и задают нижний предел равный 2), N — число контрольных точек, 7 — некоторая константа, 7 6 (0,1).

При малом значении й (в—>0, 7—»1) вариация решения (11) целиком определяется вариацией координат краевых точек притяжения, что означает превалирование энергии притяжения к корреспондентным точкам притяжения (чет-

распределение меры сходства

контур объекта

- предсказанная контрольная точка

поиска соответствия

- отрезок

Рис. 1. Поиск корреспондентных точек а^ осуществляется вдоль отрезка поиска соответствия с центром в предсказанной контрольной точке контура Точки отрезка расположены равномерно, с интервалом в один пиксел. В каждой точке отрезка вычисляется мера её сходства с точкой Значения сходства образуют распределение на множестве точек отрезка.

вёртый член в (10)) над энергией межкадровой деформации (первый член в (10)). По мере роста й (в —> оо, 7 —► вариация решения всё более ограничивается условием гладкости и заданной моделью движения, стремясь к малому значению. Равновесие достигается где-то посередине, поэтому по умолчанию вычисляется такое й, чтобы выполнялось 7 = Тогда влияние первого и четвёртого членов в правой части уравнения (10) примерно одинаково. Это важное условие позволяет правильно установить оптимальную рабочую точку процедуры уточнения положения контура. Эксперименты полностью подтвердили значительное снижение зависимости результатов прослеживания объекта от формы контура и особенностей изображения. Некоторая вычислительная сложность с лихвой окупается более стабильной работой алгоритма в целом. Искомое значения масштабного фактора я вычисляется методом дихотомии при заданном 7, см. (11).

Для поиска корреспондентных точек притяжения на изображении следующего кадра в данной работе использовались непараметрические меры сходства, не требующие подбора численных параметров. Пусть есть позиция к-й контрольной точки контура на текущем кадре, а есть оценка позиции этой же точки на следующем кадре соответственно. Точка притяжения ищется вдоль отрезка поиска соответствия с центром в направленном вдоль нормали к контуру. Для каждой контрольной точки р|. текущего кадра, нужно найти единственную точку притяжения па следующем кадре, лежащую на отрезке

Типичный диапазон поиска ограничивается значениями ±5 пикселей в ту и другую сторону, всего 11 точек. В каждой пробной точке отрезка б1^1 вычисляются характеристики, на основе которых строится мера сходства точки а^1 отрезка и контрольной точки контура на текущем кадре, рис. 1.

Разность между цветом к-й контрольной точки текущего кадра и цветом точки а^1 следующего кадра даёт меру цветового сходства: рск(г) =

= maXidlC^1 -C\\\L) - ЦС^1 - C\\\L. Сходство р\{г) точек ag1 и p| тем выше, чем меньше разность между цветами. Здесь под цветом С = (R, G, В)1 понимается вектор среднего цвета, подсчитанный по точкам объекта, оказавшимся внутри небольшой окрестности с центром в данной контрольной точке р|. Чтобы найти цвет в точке а^-1, центр окрестности сдвигается в а^1 и подсчитывается средний по окрестности цвет точек, взятых на следующем кадре.

Поскольку точки контура объекта всегда лежат на его границе, т.е. в местах резких яркостных и цветовых переходов, можно ввести меру сходства пропорциональную значению цветового градиента: pk(i) = Ц^С^Ц + Щ, где ЦУС^Ц есть I/2-норма производной вектора цвета С вдоль направления максимального изменения цвета (цветовой градиент) в г-й точке отрезка поиска соответствия на следующем кадре, а пд — девиация шума градиента, ограничивающая снизу меру сходства в местах слабого градиента.

Ещё одна мера сходства характеризует расхождение направлений цветового градиента и нормали в точке текущего контура: р£(г) = |(п|{,пр| + cos(7r/4). Эта мера даёт небольшое преимущество тем точкам, в которых направления n® ; и прк отличаются не более чем на ±7г/4, где n| i — единичный вектор направления градиента изображения, anj- единичная нормаль в точке контура.

Последняя мера сходства слегка поощряет ближайшие корреспондентные точки: plk{i) = г/(г + Ца^1 — Pfc+1||x,2)' гДе Ц^1 ~ точка отрезка поиска соответствия 5Jr.+1, p'fc+1 — предсказанное положение контрольной точки р^. на следующем кадре, а г — максимальное расстояние от до точки притяжения, равное по умолчанию удвоенной длине отрезка

Совокупная оценка, дающая оптимальную точку притяжения а^1, напоминает критерий максимального правдоподобия

¿optimal = argmax (рск(г) ■ p[{ï) ■ p%(i) ■ plk(i)) . (12)

Достоинством предложенного подхода является отсутствие настраиваемых параметров в формулах наиболее значимых мер сходства рк и рк, что делает процедуру поиска корреспондентных точек менее контекстно-зависимой.

Механический подход к описанию движения граничного контура объекта имеет долгую и успешную историю в компьютерном зрении и опирается на работы таких исследователей как D.Terzopoulos и R.Szeliski, A.Blake и M.Isard, H.Ip и D.Shen, N. Peterfreund, M.Tekalp и др. Существует обширная область промышленного применения подобного подхода, в основном для контроля за перемещением твёрдых объектов, движение которых хорошо описывается аффинным или слабо-перспективным приближением. На самом деле, контур является лишь силуэтом объекта и не следует, в общем случае, линейной динамической модели. Это обстоятельство не позволяет в полной мере воспользоваться аппаратом классической механики. В целом, Алгоритм 1 лежит в русле общих тенденций и

использует наше интуитивное представление о поведении реальных тел. Однако понимая затруднения, которые возникают в результате представления граничного контура объекта в виде механической системы (массивные контрольные точки соединённые упругими нитями), мы используем механическую модель только на этапе предсказания. Последнее уместно, когда при движении контура в промежутке между последовательными кадрами информация об объекте отсутствует и пи какие особенности изображения не оказывают влияние на движение объекта. В этом случае механическая модель представляется вполне адекватной, а сам контур совершает инерциальное движение под действием сил вязкости и внутреннего напряжения. В отличие от идеи калмановского контура (Terzopoulos & Szeliski, 1992, и др.), мы предпочитаем не использовать механическую модель для процедуры уточнения положения контура на новом кадре, ввиду неадекватности такого подхода для описания движения объектов во многих, даже относительно простых ситуациях. Метод подгонки в Алгоритме 1 подтягивает контур к особенностям изображения, пытаясь сохранить прежнюю форму контура с точностью до заданной модели межкадровой трансформации. Более перспективные методы базируются на анализе цветовых и текстурных распределений точек объекта и фона (Nguyen и соавт., 2002, Yilmaz и соавт., 2004, Наутап & Eklundh, 2002).

Третья глава посвящена некоторым существенным улучшениям алгоритма слежения за цветным объектом, основанного на использовании идеи отношения гистограмм (Swain & Ballard, 1991). Далее улучшенный метод будет именоваться Алгоритмом 2. Изложение начинается с определения основных понятий.

Цветом точки (х, у) называется трёхмерный вектор составленный из цветовых компонент с(х,у) = {г(х, у), д(х, у), Ъ(х, у))Т, целочисленные значения которых изменяются в диапазоне одного байта: [0,255]. Цветовой гистограммой называется трёхмерный массив Н, заполненный цветами точек некоторой области кадра. Разрешение гистограммы равно количеству ячеек, на которые делится диапазон значений данной компоненты. В рассматриваемом алгоритме гистограммы имеют одинаковое количество ячеек по каждому цвету 8, 16 или 32. Значение в ячейке гистограммы, соответствующее цвету с обозначается как Н[с].

Пусть Ot-i обозначает местоположение объекта в момент времени £—1 па предыдущем кадре /¿_i. В данном алгоритме точное местоположение объекта неизвестно, но известен ограничивающий прямоугольник объекта R, который и будет прослеживаться. Гистограмма, подсчитанная по области занимаемой прямоугольником объекта в момент времени t, называется гистограммой объекта и обозначается как Ht. Ещё один прямоугольник, называемый прямоугольником, поиска Rs, получается раздуванием прямоугольника объекта в 2-2,5 раза и заведомо включает в себя точки фона. Поскольку Rs достаточно велик, предполагается, что область, ограниченная прямоугольником поиска на предыдущем кадре Щ-ъ включает в себя как объект на предыдущем кадре /t_i, так и объект на

текущем кадре Цветовая гистограмма, подсчитанная по области занимаемой предыдущим прямоугольником поиска Щ.^ на текущем кадре называется гистограммой фона

Гистограмма отношения Нг определяется как по-элементное отношение нормированной гистограммы объекта Яг_ 1 на предыдущем кадре, которая используется как модель, и нормированной гистограммы фона Щ

где небольшая константа Ь предохраняет отношение от деления на ноль и снижает влияние шумов, с — цвет ячейки. Заметим, что из-за изменения условий освещения, отношение Щ~1[с]/Щ[с] может превысить 1, т.к. гистограммы подсчитаны на разных кадрах. Поэтому в (13) это отношение ограничено сверху.

Большое значение в ячейке гистограммы НТ означает что данный цвет сильно отличается от цветов точек фона и, вероятнее всего, соответствует точкам объекта, и наоборот. Это позволяет классифицировать точки текущего кадра /г на фоновые и объектные, используя накопленную информацию. Подстановкой цвета точек кадра в Нт получается так называемое изображение обратной подстановки, в каждой точке которого задана мера принадлежности точки (х, у) с цветом с(х, у) объекту, проще говоря, мера сходства точки с объектом

Опуская для краткости детали, заметим лишь, что собственно алгоритм слежения состоит в уточнении положения ограничивающего прямоугольника объекта Д( и связанного с ним прямоугольника поиска Щ на каждом новом кадре. Для этого прямоугольник выбирается так, чтобы максимально плотно охватить область с высокими значениями Вг{х,у), т.е. область вероятного нахождения объекта на новом кадре. Процесс построения прямоугольников объекта на каждом кадре и есть Алгоритм 2. Несмотря на грубое представление объекта в виде прямоугольной рамки, базовые идеи этого метода нашли отражение в алгоритме аккуратного прослеживания цветных объектов (Алгоритм 3) и в комбинированном методе (Алгоритм 4), см. далее.

Изображение обратной подстановки (14) даёт меру принадлежности точки объекту, зависящую от разрешения используемых гистограмм. Метод автоматического выбора разрешения гистограмм удалось построить на основе условия, напоминающего критерий максимального правдоподобия.

Для начала стоит отметить, что значения в точках изображения обратной подстановки не являются, в строгом смысле, вероятностями принадлежности точки объекту. Тем не менее, можно показать, что при оптимальном разрешении гистограмм, цвета точек объекта и фона попадают, в основном, в разные ячейки и мера сходства оказывается близка к значению 0 или 1 в зависимости от

(13)

Вг{х,у) = Ц[с[х,у)\.

(14)

цвета точки. Кроме того, мера сходства В(х,у) точки (х, у) с объектом прямо пропорциональная вероятности принадлежности этой точки объекту и при соответствующей нормировке лежит лежит в диапазоне [0,1].

Чтобы найти оптимальное разрешение гистограмм, критерий максимального правдоподобия применяется к значениям меры сходства. Предполагается также, что 1 — В(х,у) даёт меру сходства точки с фоном (или меру различия с объектом). Несмотря на всю условность такого подхода, применение его на практике оказалось вполне оправданным, т.е. результаты автоматического и ручного подбора оптимального разрешения в основном совпадали.

На каждом новом кадре известно положение объекта О^х на предыдущем кадре 1 и прямоугольник поиска Щ, который точно содержит объект на текущем кадре /но не известно где именно. Предположим, что положение объекта Ог на текущем кадре известно. По аналогии с критерием максимального правдоподобия, вероятность Р( обнаружения объекта в области пропорциональна произведению мер сходства внутренних точек с объектом и мер сходства внешних точек с фоном. При оптимальном разрешении гистограмм это произведение максимально: Р1 ~ (П^еО, вь{х,У)) ' (П(1,у)ео, ~ где Бг(х,у) есть мера сходства точки (х,у) с объектом, которая берётся из текущего изображения обратной подстановки (14), а С^ = Щ/0{ есть множество точек прямоугольника поиска Щ за исключением точек объекта 0(- Точное положение объекта на текущем кадре ещё неизвестно, однако можно использовать данные полученные на предыдущем кадре, где положение объекта определено. Простыми преобразованиями последней формулы получаем: ~ (Щ,г,)еО(А(ж,г/)/(1 - В((х,у))^ ■ (П(х,у)еЩ С1 ~ В((х, У))) ■ Поиск оптимального разрешения осуществляется прямым перебором всех допустимых значений (8, 16 или 32 ячейки). Для каждого разрешения вычисляется гистограмма отношения (13). Изображение обратной подстановки Д получается применением гистограммы отношения Щ (13) к точкам текущего кадра (14). Кроме того, вычисляется специальное изображение обратной подстановки Вкоторое находится применением текущей гистограммы отношения Щ к точкам предыдущего кадра /г_1. Трюк состоит в том, чтобы оценивать степень оптимальности разрешения гистограмм, заменяя последнюю формулу близким по смыслу выражением и используя меры сходства, полученные из изображения Бг* в известной области предыдущего объекта О^х

Ъ«^- (пи^ (1 -щ£у))) ■ (П(1,у)ел.0-**(*,»))).

Четвёртая глава посвящена Алгоритму 3, основанному на использовании цветовых распределений, и относящемуся к классу фотометрических методов, подобно Алгоритму 2. Этот методом более математически строг и имеет следующие

важные особенности: (1) алгоритм использует только цветовую информацию, но может быть легко обобщён для использования текстурных характеристик, (2) в процессе слежения принимают участие как точки объекта, так и точки фона, (3) прослеживание объекта реализуется через классификацию точек текущего кадра на фоновые и объектные с привлечением гистограмм фона и объекта, (4) на каждом кадре вычисляется оптимальное разрешение гистограмм и (5) в процессе слежения принимают участие только точки объекта, лежащие в заданной полосе вблизи контура объекта. Это снижает долю фоновых и объектных точек имеющих одинаковый цвет, улучшая разделимость множеств и эффективность вычислений. В отличие от работ (Comaniciu и соавт., 2003), (МсКеппа и соавт., 1999) и др., предложенный алгоритм способен аккуратно прослеживать граничный контур объекта, при условии достаточной разделимости цветовых распределений фона и объекта. В этом смысле нам близка работа (Freedman & Zhang, 2004), хотя она построена на принципиально другом математическом аппарате.

Предложенный алгоритм прослеживания движущихся объектов по серии кадров состоит из двух перемежающихся шагов. Начальные условия сводятся к заданию контура объекта на первом кадре. На первом шаге положение контура объекта на следующем кадре Jt+1 предсказывается исходя из положения на текущем кадре It путём корреляции гистограммы области изображения, содержащей объект, с областями его вероятного нахождения на следующем кадре. На втором шаге происходит уточнение положения контура объекта посредством классификации точек следующего кадра /¿+1 с использованием цветовых гистограмм текущего кадра It- Второй шаг представляет наибольший интерес и будет описан ниже. Изложение начинается с введения основных понятий и определений.

Считается, что в текущий момент времени t на текущем кадре It имеется контур прослеживаемого объекта, полученный в результате предыдущих вычислений (при t = 0 берётся начальный контур). Задача состоит в построении контура объекта на следующем кадре It+i. Сначала предсказывается положение объекта на кадре It+1, результатом чего является средний вектор межкадрового смещения объекта Tt = (dx, dy). Затем задаются множества объектных (foreground) и фоновых Bt (background) точек, лежащих в широкой приграничной полосе, соответственно внутри и снаружи контура объекта, рис. 2. Через Ct = J^U^t обозначается множество всех рассматриваемых точек текущего (current) кадра It- Через Aft+i обозначается множество тех точек следующего (next) кадра Ii+1, которые оказались накрытыми множеством Ct, сдвинутым на вектор среднего межкадрового смещения Tt. Предполагается, что контур на следующем кадре лежит где-то внутри множества Nt+i- В каждой точке изображения задан цветовой вектор, состоящий из трёх цветовых компонент с = (R,G,B). Используя цвета точек каждого из множеств Bt и Mt+1, строятся цветовые гистограммы Н[, Ht и соответственно. Элемент гистограммы соответствующий цвету с обозначается как //[с], а суммарное количество отсчётов гистограмме как |#|.

Для упрощения математического аппарата, множества. В, и Т, строятся с одинаковым количеством точек, т.е. \ßt\ - \Ft\ \H't'\ |Я/|, где операция | ■ | даёт число точек множества или количество отсчётов.

х x+dx

Рис. 2: Точку. участвующие в процессе слежения за контуром объекта между последовательными кадрами. Контур объекта показан жирной линией е моменты i и i + 1 соответственно. Форма контура меняется от кадра к кадру. Внутренние приграничные точки контура образуют объектное множество Tt (foreground) а внешние точки образуют фоновое множество В* (background) (левый рисунок). Их объединение Ci = FtUBt, будучи сдвинуто на вектор межкадроеого смещения Т\ (dx, dy), образует множество JVi+i на следующем кадре (правый рисунок). Изначально положение контура в момент I Ь 1 неизвестно, но предполагается, что он лежит внутри множества Л',..

Вкратце алгоритм прослеживания контура объекта выглядит следующим образом. Сначала осуществляется предсказание положения контура па следующем кадре. Затем строятся гистограммы Я/, и Я"+1. имеющие оптимальное разрешение^ см, далее. Точки следующего кадра, принадлежащие множеству М+1) классифицируются на фоновые и объектные. Цвет С каждой точки имеет определённые частоты появлений в гистограммах Я/ и Н\'. 11о этим частотам вычисляется вероятность принадлежности объекту и фону, т.е. точки следующего кадра классифицируются с использований гистограмм текущего кадра. Результатом классификации является так называемая карта вероятности, в каждой точке которой заданы вероятности принадлежности объекту и фону. Имея предсказанное положение контура в качестве начального приближения, осуществляется подгонка гладкого контура по карте вероятности так, чтобы внутри контура оказались точки классифицированные как преимущественно объектные, а снаружи как преимущественно фоновые. Процесс повторяется на следующей паре последовательных кадров.

Разрешением гистограммы называется количество ячеек (Ьтз), на которое разбивается диапазон изменения интенсивности какой-либо цветовой компоненты, равный обычно [0, 255]. Гистограммы представляются в виде трёхмерных массивов, что соответствует трём основным цветам. Разрешение может быть различно для разных цветовых каналов. Оптимальная ширина ячейки гистограммы, но каждому каналу Дып> Сьш пли Вы и- получается минимизацией интегральной

неопределённости классификации

Неопределённость = шп V Щ+1[с\ ■ Е{Нь,[с}, я/[с]), (15)

где Щ+][с] есть число точек множества Л^+ъ имеющих цвет с, а величина Е представляет собой энтропию (неопределённость) классификации точки имеющей цвет с. Функция энтропии принимает в качестве параметров количества точек с цветом с в распределениях фона и объекта Я/ на текущем кадре 1(. Суммирование производится по всем ячейкам гистограммы

В данной работе, под классификацией точки подразумевается присвоение фоновой рь(с) и объектной с) вероятностей точке следующего кадра с цветом с. Общепринятое выражение для энтропии подобной классификации выглядит следующим образом

£= (16)

Обозначив для краткости Ь = Нь[с] и / = Я^[с], определим эмпирические вероятности принадлежности точки с цветом с фону р\{с) или объекту р{(с) через частоты появления этого цвета в гистограммах Н\ и Н(

Ас) = Л-г р/(с) = Л-г (17)

Рассмотрим процесс минимизации (15) па примере некоторой точки г €Е Е Л/"(+1 следующего кадра /¿+1. Вначале не известно является ли точка г фоновой или объектной. Известно лишь, что множество содержит контур объекта на следующем кадре. Цель состоит в минимизации интегральной неопределённости классификации на множестве Л^+х всех точек этого множества, используя их цвет и гистограммы Я', Н{ текущего кадра /г.

Пусть точка г имеет цвет с. Распределение типа точки (фоновая или объектная) носит биномиальный характер (17). Энтропия этого распределения даётся формулой (16). В свою очередь формула (15) даёт средневзвешенную энтропию, т.е. точки множества .М+ъ чей цвет встречается чаще в гистограмме Н"+1, вносят больший вклад Н™+1[с] в суммарную неопределённость. Минимизация (15) заключается в выборе оптимального размера ячейки гистограммы, отдельно по каждому цвету. Идея состоит в подборе такого разрешения гистограмм, при котором пересечение эмпирических распределений фона и объекта минимально, т.е. Я{ [с] <С Я/[с] или Н\[с] Я/[с]. Тогда неопределённость (15) будет близка к нулю. Делается это прямым перебором. Поскольку цветовые компоненты лежат в диапазоне [0, 255], на практике достаточно разбить этот интервал па 4, 8, 16, 32 и 64 части и построить гистограмму с соответствующим размером ячеек. С учётом трёх цветовых каналов нужно перебрать 53 = 125 вариантов разбиения. В каждом варианте гистограммы ЯЯ/ и Щ+1 должны иметь одинаковые

размерности. При разумной организации программного кода, перебор такого количества вариантов оказывается не столь обременительным. Более того, можно добавить ещё 1-2 текстурных признака в качестве дополнительных «цветовых» каналов без радикального замедления работы алгоритма.

На практике формула (16) оказывается неприменима, что демонстрирует следующий простой пример. Пусть 100 фоновых точек и 200 объектных точек текущего кадра попали в ячейки гистограмм Ни Н/, соответствующие некоторому цвету с. Если точка следующего кадра /{+1 имеет тот же цвет, то с вероятностью 10р°°00 = | она принадлежит фону, а с вероятностью 10™оо = I она принадлежит объекту. Большое число отсчётов гарантирует близость эмпирических и истинных вероятностей. Однако, если количество точек равно 1 и 2 соответственно, формально получается тот же результат, но доверять ему совершенно невозможно ввиду явно недостаточной статистики наблюдения. Корректный учет конечности количества отсчётов в ячейках гистограммы приводит к следующему выражению для дискретной энтропии

Е=ьШ2(2{Ь+1+2) ~ 2{Ь+1]) + + " (18)

а эквивалентами формул (17) становятся следующие формулы

р\с)

6+1

pf(с) =

/+1

(19)

&+/+2' ^ " Ь+/+2'

где Z(n) = 1 есть гармонические числа. Легко видеть, что при условии 6 > 1 и / > 1 формулы (16) и (18) практически совпадают, т.к. Z{n) « к^(га). Однако при Ь ~ 1, / ~ 1 поведение принципиально различно. Чем меньше число образцов 6 + /, тем более плоской становится функция дискретной энтропии независимо от соотношения Ь и /, т.е. тем больше неопределённость выбора той или иной гипотезы независимо от значений Ь и /.

E{b,i) ^---\ \E(b,f)

/ \ ~

/ Ь + / = 1 \ 7 £, + / = 5 Vs

0.6 0.4 0.2 О

О 0.5 1.0 О 1 2 3 4 5 0 5 10 15 20 25

Рис. 3: Графики демонстрируют отличие теоретической (16) энтропии (тонкие линии) и дискретной (18) энтропии (жирные линии). Энтропии строятся как функции от действительного числа Ъ (гармонические числа представляются ди-гамма функцией), при условии b + f = const, где Ь есть число фоновых точек попавших в ячейку фоновой гистограммы, а / есть число объектных точек попавших в соответствующую ячейку объектной гистограммы.

Полученный результат исключительно важен для правильного выбора оптимального разрешения гистограмм в задаче (15). Действительно, чем больше

разрешение гистограмм, тем лучше разделены в цветовом пространстве распределения точек фона и объекта. Однако увеличение разрешения приводит к уменьшению ячейки гистограммы, в результате чего количество отсчётов накопленных в большинстве элементов ограничивается несколькими единицами. Формула (16) предполагает близость эмпирических (17) и истинных вероятностей, что далеко не всегда выполняется. Как следствие, вычисленная энтропия не отражает реальной ситуации, смещая оптимум в пользу гистограмм высокого разрешения, а процесс прослеживания объекта быстро деградирует. Формула дискретной энтропии работает иначе. Чрезмерное увеличение разрешения гистограмм приводит к увеличению неопределённости классификации, т.к. с уменьшением количества отсчётов в ячейках гистограмм дискретная энтропия всё меньше зависит от соотношения между количеством фоновых и объектных точек, приближаясь к максимуму, см. рис. 3. Оптимальное разрешение гистограмм, в случае применения дискретной энтропии, формируется как компромисс между разделимостью фона и объекта в цветовом пространстве и общей неопределённостью классификации, обусловленной конечностью выборки (конечностью количества отсчётов). Предложенный метод был также сформулирован в терминах современного подхода к оценке эмпирических распределений на основе функции ядра, однако для краткости этот вариант алгоритма здесь не приводится.

Синтез финального контура объекта на следующем кадре осуществляется с использованием технологии активного контура (active contour). Сам контур представляется последовательностью точек с наложенными на них условиями гладкости (snake) и может состоять из нескольких внешних и внутренних кривых («дырки»). Количество частей может меняться в процессе эволюции. Из технических деталей, интерес представляет формула силы приложенной к точке контура. Пусть точка г лежит на контуре па следующем кадре 7t+1. Пусть n = п(г) есть единичная нормаль в точке г контура, направленная ко внешней стороне замкнутого контура. В процессе подгонки контура, его точки, на каждой итерации, могут двигаться только вдоль нормали. Сила приложенная к точке контура задаётся следующим выражением

F(r) = signer) - p\v)) ■ |р/(г) - р»(т)\1/ч • п, (20)

где pf(г) и рь(г) есть вероятности принадлежности точки г объекту и фону соответственно (19), а константа q задаёт вид управляющей функции (обычно q = 2). Значения фоновой и объектной вероятностей берутся из карты вероятностей и, если требуется, билинейно интерполируются. Значение F подставляется в уравнение активного контура вместо члена содержащего производную потенциальной энергии. Из формулы (20) следует, что активный контур локально расширяется когда pf > рь, присоединяя точку г к своей внутренней (объектной) области. И наоборот, когда pf < рь контур локально сжимается, отдавая точку г фону. Если pf = pb, то точка остаётся неподвижной. Процесс эволюции продолжается до

достижения стационарного состояния. В результате, контур охватывает область, точки которой наиболее вероятно принадлежат объекту па новом кадре.

Пятая глава посвящена Алгоритму 4, объединяющему алгоритм слежения за контуром объекта (Алгоритм 1) и алгоритм прослеживания цветного объекта (Алгоритм 2), для того, чтобы полнее использовать имеющуюся информацию. На самом деле, логичнее было бы применить математически более корректный Алгоритм 3, который почти не зависит от настроечных параметров. Однако, на сегодняшний день, у нас имеется отлаженный программный код для пары первых двух алгоритмов, поэтому результаты представлены именно в такой конфигурации. Тем не менее, следует иметь ввиду, что замена Алгоритма 2 на Алгоритм 3 только улучшит качество слежения.

Взаимное дополнение алгоритмов выглядит следующим образом: I) Вклад Алгоритма 1 в Алгоритм 2. Поскольку алгоритм прослеживания контура задаёт внутреннюю область объекта на каждом кадре, имеет смысл подсчитывать цветовую гистограмму объекта по этой области, когда как в автономной версии Алгоритма 2 подсчёт гистограммы производится по оценочной маске объекта, которая может быть неточна.

И) Вклад Алгоритма 2 в Алгоритм 1. Как было описано ранее, Алгоритм 2 строит изображение обратной подстановки, в каждой точке которой дана мера сходства с объектом (14). Оказалось, что в большинстве случаев мера сходства резко изменяется на границе прослеживаемого объекта, т.е. точки с высоким градиентом меры сходства практически совпадают с точками внешнего контура объекта. Градиент в точке изображения обратной подстановки (14) вычисляется простым дифференцирующим оператором Собеля (ЯоЬе1): |УВг+1(х.у)\ = = шах (|5'™упег — , сгп), где (х,у) — точка лежащая на отрезке поиска со-

ответствия, см. описание Алгоритма 1, .Вт — изображение обратной подстановки (14), полученное применением гистограммы текущего объекта к точкам следующего кадра /г+х, С — множество всех точек входящих в круговую окрестность с центром в (х,у), V — подмножество точек С принадлежащих объекту, = М ¿(МеУ + и, у + и), = ¡^ Е(„,«)6с\у + и,у + и),

ап — девиация шума градиента изображения В(х,у). Причём круговая окрестность С берётся достаточно большого радиуса для лучшего подавления шума. Поскольку максимум величины |У£?г+1| достигается примерно на границе объекта, мы подставляем её значение в формулу совокупной оценки наиболее вероятной корреспондентпой точки притяжения (12) в качестве пятого множителя в правой части. Эксперименты показали значительное улучшение стабильности слежения, за счёт более корректного выбора корреспондентных точек притяжения на следующем кадре. Особенно остро проблема ложных корреспондспций стоит в ситуации слабо-контрастных краёв объекта. В этом случае, разделить фон и объект можно только накопив статистику цветовых распределений, что и

делается в Алгоритме 2 при построении изображения обратной подстановки.

Несмотря на свою простоту, метод классификации, на основе гистограммы отношения (13) и изображения обратной подстановки (14), оказался очень мощным средством разделения точек на фоновые и объектные. Многочисленные эксперименты на типичных видеорядах показали, что практически независимо от сложных межкадровых деформаций объекта (за которыми Алгоритм 1 не может уследить в принципе) большинство объектных точек существенно отличались от фоновых точек значениями меры сходства. Чтобы ещё полнее использовать информацию, предоставляемую Алгоритмом 2, в Алгоритм 4 был введён дополнительный шаг пост-обработки. Таким образом, в комбинированной версии алгоритма сосуществуют два независимых потока обработки видео. В первом потоке применяется пара взаимно-дополняющих алгоритмов, как это описано выше. Как только в первом потоке получена оценка положения контура объекта на новом кадре, вступает в действие механизм дополнительной подгонки контура (второй поток). Эта подгонка осуществляется по изображению обратной подстановки с использованием технологии активной области (active region). Улучшенный контур выдаётся наружу в качестве окончательного результата на данном кадре.

ОСНОВНЫЕ ВЫВОДЫ И РЕЗУЛЬТАТЫ

Сформулирована и поставлена задача создания, на базе современных информационных технологий, методологии и алгоритмов, способных стать частью современных информационно-измерительных и управляющих систем, востребованных как в атомной промышленности, так и в других отраслях. Основой новой технологии являются алгоритмы прослеживания граничного контура движущегося объекта интереса, над которым осуществляется наблюдение и контроль. Алгоритмы реализованы в виде программно обеспечения для ЭВМ. Основные результаты, полученные в работе, состоят в следующем:

1. Сформулировано понятие матрицы жёсткости движения, которая используется в качестве инструмента ограничения межкадровых деформаций контура прослеживаемого объекта. Разработан эффективный метод ограничения межкадровых деформаций контура путём превращения подпространства типичных деформаций контура в нуль-пространство матрицы жёсткости движения. Таким образом удаётся придать контуру нужные динамические свойства. Указанный метод обобщает подходы, предложенные ранее другими исследователями. Предложен универсальный метод синтеза матрицы жёсткости движения через построение базиса в пространстве межкадровых деформаций в виде набора дискретных Фурье-гармоник с циклическими граничными условиями.

2. Разработан новый метод предсказания положения объекта на следующем кадре посредством сведения задачи предсказания к решению уравнения инерци-ального движения контура в вязкой среде в промежутке между последова-

тельными кадрами, с привлечением матрицы жёсткости движения.

3. Разработан оригинальный метод балансировки влияния особенностей изображения и ранее накопленной информации на процедуру уточнения положения объекта на новом кадре. Указанный подход основан на анализе спектра собственных значений матрицы жёсткости движения.

4. Предложен механизм поиска особенностей (краёв) нового кадра, вероятнее всего принадлежащих граничному контуру прослеживаемого объекта.

5. Усовершенствован, ранее предложенный другими исследователями, метод слежения за объектом на основе анализа цветовых распределений объекта и фона. Разработан способ выбора оптимального разрешения гистограмм, использующихся для представления эмпирических цветовых распределений. Полученная информация о цветовых распределениях была встроена в механизм формирования контура на новом кадре видеоряда.

6. Перечисленные выше отдельные методы были собраны воедино в виде программы для ЭВМ, которая позволяет прослеживать заданный объект со скоростью не менее 10 кадров в секунду на современном компьютере.

7. Разработан принципиально новый метод прослеживания цветного объекта, основанный на разделении точек изображения на объектные и фоновые через минимизацию общей неопределённости (энтропии) классификации. Данный метод реализован в виде программы для ЭВМ. Скорость обработки составляет не менее 2 кадров в секунду. При соответствующей доработке, скорость может быть легко повышена до 10-15 кадров в секунду.

8. Создан комплекс программ предназначенный для автоматического слежения на объектом интереса, при условии задания объекта на первом кадре. В него вошли, помимо упомянутых выше, вспомогательные программы, предназначенные для отладки и моделирования.

9. Проведены модельные испытания качества слежения разработанных алгоритмов на тестовых видеопоследовательностях. Также проведен сравнительный анализ с альтернативными методами. На фактическом материале показана эффективность предложенных алгоритмов слежения за движущимися объектами и их высокая степень готовности для применения в конкретных информационно-измерительных и управляющих системах. В частности, была отмечена слабая зависимость результатов слежения от настраиваемых вручную параметров. Снижение контекстной зависимости являлось определяющим условием при разработке соответствующих алгоритмов, что выгодно отличает их от многих существующих подходов.

10. Разработанные методы вошли в виде отдельных модулей в продукты компании ГУП НПЦ «Элвис» (системы видеонаблюдения), в коммерческую программу С1аха (редактирование видеосюжетов) и в другие программы, созданные в рамках проектов ИИТ РНЦ «Курчатовский Институт».

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Основные результаты диссертации опубликованы в следующих работах:

1. Ахриев А. X., Мапистов А. С., Хамухин А. В., Александров П. А. Комплексный подход к созданию систем автоматического видеоиаблюдения и видеоконтроля на объектах высокой сложности типа ITER и атомных станций. // Вопросы атомной науки и техники. Серия: Термоядерный синтез. - 2000. Вып. 3. ......С.69 81.

2. Петричкович Я. Я., Солохин А. А., Ахриев А. X. Оценка эффективности систем видеоиаблюдения с компьютерным зрением при различных внешних условиях. // Вопросы радиоэлектроники. Серия: Общетехническая. 2006. -Вып. 2. - С.29-39.

3. Петричкович Я. Я., Кап И. А., Сомиков В. П., Лядвинский К. В., Лунин К. В., Хамухин А. В., Мал истов А. С., Солохин А. А., Ахриев А. X., Горбачев Е. В., Мурга С. Л., Болтнев А. А. Устройство автоматизированного контроля обстановки в зрительных залах. /,/ Патент РФ на полезную модель № 4754G.......

2005. - Бюл. № 24.

4. Akhriev A., Kim С. Y. Contour Tracking without Prior Information. /,/ Proceedings of the 7th International Conference on Digital Image Computing: Techniques and Applications (DICTA'2003), Sydney, Australia........December 2003. ......

P. 379-388.

5. Akhriev A., Bonch-Osmolovsky A., Prusakov A., Chelnokov F., Agapov P. Objects and Occlusion from Motion Labeling. // Journal of WSCG (International Conference in Central Europe on Computer Graphics, Visualization ancl Computer Vision). 2004. ......Vol. 12. ......P. 529- 537.

6. Akhriev A., Bonch-Osmolovsky A., Prusakov A. Computation of Motion and Occlusion Relation of Objects from the Motion of Their Boundaries. // Proceedings of the 6th Joint Conference on Information Science (JCIS'2002), North Carolina, USA.......March 2002...... P. 789-792.

7. Akhriev A., Bonch-Osmolovsky A. Estimation of image noise using polynomial masks. ,// Proceedings of the SPIE, Image Processing: Algorithms and Systems III....... 2004.......Vol. 5298. - P. 555-5GG.

Работа принятая к публикации:

Akhriev A., Somikov V. Entropic tracker of color objects. // Proceedings of

IS&T/SPIE Symposium on Electronic Imaging, 28 January — 1 February 2007, San

Jose, California, USA.

Подписано в печать 15.01.2007. Формат 60x90/16 Печать офсетная. Усл. печ. л. 1,5 Тираж 72. Заказ 3

Отпечатано в РНЦ «Курчатовский институт» 123182, Москва, пл. Академика Курчатова, д. 1

Введение

Амуалынн it. 1(411)

Цель рабо1ы

Положения выносимые на защи!у

Личный вклад

Меюды исследований, до( i оперное и» ре^лыаюв

Научная нови ша

Пракшческая цепное п> рабош

Апробация рабош

П\бликнции

Поеыповка 5адачи

Сфук i ура и обьем pa6oi ы

1 Обзор методов прослеживания объекта

2 Алгоритм 1 прослеживания объекта

2 1 Общая схема Ал1 ори 1ма

2 2 Основные поня i ия

2 3 Динамическая млфица же( iKoein

2 3 1 Мафица же< iкос in ( моделью движения

2 3 2 Мафица жес iko( in Фурье

2 3 3 Важные ¡амечапия

2 3 4 Мафица жесiкоеiи движения

2 1 11ред< ка мние положении кон iypa

2 5 Подюпка кот\ра по месму

2 5 1 Mat ш мбирование членов уравнения

2 6 Пои( к коррсспоидеп i пых ючек

2 G 1 14с ноль ювапие локально! о цвеи и [радиста

27 Некотрые деыли реализации Ал1 ори i ма 1 . 71)

2 7 1 Вычисление екорос ieii на нернои naj)e кадров

2 72 Перера смещение кои i рольных тчек

2 7 3 LAB пред« ывление цвеы ючки

27 1 Коррекция предска saiinoi о положения

3 Алгоритм 2 прослеживания объекта

3 1 Прослеживание цвспюю обьскы

3 2 Вычисление «нккурашых» i hcioi]>амм

3 3 Анiо-ныбо]) ра {решения i и( ioi рамм

4 Алгоритм 3 прослеживания объекта

4 1 Алюршм нро(леживапия кошура of)i>eKia . . 1)3 42 Построение oniимальных i иски рамм . 95 4 3 Учсч конечное i и выборки . 97 1 1 \лыерпа1И1$ная формулировка . . 100 15 Пскч роение кош\ра па следующем кадре

4 0 Важные ммечания

5 Алгоритм 4 прослеживания объекта

5 1 Ишсч рировапие Алюршма 1 и Алюршма 2 . . . 108 52 Испольюваиие акiивпои облас iи НО

52 1 Функция (Ol лас ия

5 2.2 Процедура нодюнки кот ура

5 2 3 Вычисление ( iain( 1иче(ких нарамечров

5 2 4 Условие о< ыпова . . Ill

5 2.5 Алюршм толюции ак]ивной облас iи

6 Экспериментальные результаты

G 1 Алтрш м пепо п> {ующии модель движения

6 2 Алюршм и< ноль $уюпцп1 цвечовые распределения 129 СЗ Заключи 1 ельпые {амечанпи

Актуальность темы

СоЗДаНИС Приборов И ИпформаЦИОИНО-И ЗМСрИ 1СЛЫ1ЫХ И упраВЛЯЮЩИХ

11(1(1м (ИИУС). мониюриша со< юяпия обьекюм в (стременном ядерном приборос Iроении, отечающих фебоваииям н'кущет развтия рыночной ■экономики ( 1 рапы, являемся необходимым \е лопнем для -эффем инпою функционирования любых секюров -экономики аюмпой промышленное! и 9ю обусловливаема ( Iрук 1урпыми и динамическими свойс 1вами по1ребикмн,-скою качес 115а ИИУС, котрые определяюI хараыер безопасной •жспл\а1а-ции обьекюв исполь зовапия аюмпой )пер1 ни (ОИАЭ) и др\ч их покчщиаль по опасных обьекюв Важной тднчей для мпених слраслеи промышлеппо-сIи янляеIся по( юянное улучшение меюдои, позволяющих ра зрабаттат (ложные мпо1 омерпые ими мциоиные маюмаIичсс кие модели для создания специальных ИИУС, прослеживающих движущийся обьек! с заданной юч-пос 1ыо, счюсобных определяй, (екущее положение коп1ролир\ем<)1о обьема и преде ка зывап> счо новое положение

Примерами ИИУС для кот роля перемещения движущем о об (»ема яи-ляю1ся ус 1])0йс 1ва наведения па цель, павшациоппые приборы, сисмемы ав-юма1 ичееко1 о по зициоиирования различных мехапи змов в промыт кчшом прои зводс те и в робоилехиике. ()Х1)анп1>н1 нидеос ис 1емы П})имсч1и 1е п,по к ОИАЭ. особый ишерсс преде мвлжм возможное п, слежения за перемещением ыких обьекюв как механические мапипуляюры, <>псч)ируН)!!!,!-!^ с радпо-акшвными предмечами, люди или машины, находящиеся и охраняемой юне ()И'\Э, специальные маркеры, амюматчески счишваемые с коп юйнеров с радиоакпишыми маюриалами и])и прохождении сие 1емы кот роля и 1 п Ип-юреспый об зор \<чройс !в, предназначенных для решения различных задач с к'жепия, пос I роенных на >лек1 рома! питых, I ироскопичес ких, ошическич и др да1чиках. приведен 15 ¡108|.

Таким образом, аюуалыюечь 1емы нас юящей дисс(>])1ациопной рабо

1Ы и научном плане определяемся рашишем и (овершенс iвованием ciioto-Г)ои (о {Дания ипформациопно-и *мериюльных и управляющих cucicm оши-•кчкок) копiроля и мопшориша ядерной бсчопасносми, коюрые необходимы для поддержания бе юпас ikh i и ОИАЭ и дру1 их целей'! промышленной ди-ai шишки. Аыуалыкнчь данной рабены подшерждасмся /ем. чю и((ледо вапия выполнялись в рамках ГНТП «Технолсм ии, машины и прои >>иод( i на будущею», Управляемый 1ермоядерпый сипим и пли змеиные процессы^, ФЦП «Национальная юхполсм ичес кия база» и «Ии им рация пауки и выс шею o6j>a зовапия России», инновационных НТП «Радиационные комплексы и нынешний для научною ириборосм роения, медицины, прои 5води вн юваров народней о пенребления», межофаслевой ii])oiраммы имрудничес им Федеральною <u (Mi к 1ва по аюмпой -икании и Минобразования и пауки Рои ни: фатов Минобороны и Росаюма в облж ш фупдамеп ыльпых и поисковых НИР, нроек iов МНТЦ и д]> Важно(Ч ь поиска решения мдач данной научной крышки под!верждасчся icm, чю их решение с одейс i вусм выполнению ис-( недовапий но направлению «Эколсн ически чи( ыя )неркмика» Федеральной научно- 1ехпиче( кои нрен раммы «Исследование и разрабенка по прнори км-иым направлениям разни шя пауки и юхпики i ])аждаиско1 о направления л \ i в(>1)Ждеппой нос ыиовлепием Ирами юлы 1ва РФ .V" 1114 оi 23 11 90 и < Про-i раммы развишя аюмпой )перкмики РФ па 1998-2005 юды и па период до 2010 1ода>, у i верждепиоп нос кпювлеиием Правшельс um РФ .V" 81 Г)

К началу выполнения дайной рабопл, были проведены о iдельные не -с ледоваиия по с о зданию сиси обов числепно1 о •жеперимеп ы. (одержащнх данные1 по динамическому иоведсчшю и змери юльпых с ис юм для обнаружения движущихся обьекюв в целях создания новых (овершеппых изделий ядерною прпборос iроения. Эш исследования были выполнены в НИЦ СИИИП. РНЦ ' К\ рчаюв! кий Ип(мш \ i », НПО «Маяк», РФЯЦ-ВНИИЭФ. ППУ им В А Трапезникова РАН. ГП ВНИАЭС, в ряд<> друшх научных и учебных заведении швее шыми ис (ледова килями в облас ш создания и нроп зводс ina приборов и и змершельных сис ie\i. ыкими как II П Алсчнип, II А Алекс,шдров. В M Баранов, 13 Г Волков. В Г Гнедснко, Э A Mai идов. Т Г Самха-к1, К С Cían., В M Струнников, С Б. Чебышев, Г В Яковлев и рядом др>шх Появление1 в последние тды педорошх перс овальных компькнеров и оши'кч ких видеокамер позволило, во-первых, ( формулирова i ь принципиально новые задачи перед ра spa6oiпиками ИИУС, во-вю])ых. ikk ывип» на научную ос пову новые (схнолопш ( о здания и < epiифицированпя обра ¡нов и отельных модулей информационпо-и змери м'льпых и уп1)авляю1цих < ш icm. в часики m, ИИУС коп фоля 5а перемещением движущихся обьекмж в \( ю-виях прои 5вод( iBeniioiо цикла на обьекых аюмиои промыпикмпки ni

Ак1уалыю( п. данной дисссрюции определяем я необходимое п.ю дальнейшею проведение целенаправленных научных исследовании но созданию ( ов])ем(Ч1пых изделий ядерною приборосфоепии В свою o'h^xvu», ак1уаль-по( и> выбранной МЧ1Ы обу< ловлена, во-первых. перепек швшк 1ыо практче-< кою применения меюдов обнаружения и прослеживания движущихся обь-екм)В па о< попе ajii ори imob Maiiiniinoi о зрения, во-вюрых, oí ¡)aiiii4(4iiio( п.ю и не< овершешч вом ( уще< 1вующих подходов к решению задачи (леж(чшя и как (ледепше. па( мшелыюи необходимое!ыо посюяппою улучпкчшя а пори imob В данном исследовании мы целиком скопцеп фируемся па ккшодт ( к m ашм ,ш объектом по (tpini u.iofipiuia Hiii'i, пожрк нныi опттн ( hoii haut ( рои ( 0( ÛIIIK НПО il ( hOMTlblOHH ром

В проце( ( е ( воеи нрофес < иопалыюй дея ммыкх i и авюр данпо1 о п< ( ле-довапия малкивался ( равными 1ехниче(кими задачами. рсчпсчше коюрых iребовало развиюю aimapaia (лежепия за обьекюм по кадрам видеошк ie-доваюлыкх 1и Перечислим лишь пекоюрые направления развтия ИИУС. (вямпные ( к'маiикой данной рабоп>1 Приведенный ниже пикок офажас1 лишь мал>ю ча( п, возможных применений. Тем п<1 M(4iee, он дае] преде iаи-л(чпнм) спекфе задач, решаемых меюдами KOMiibioiepnoiо зрения

1 Сш м'мы видеонаблюдения охраппою шиа. в основе koioj)i>ix .kvkiii механизм c)6nríp> жеиия движущихся обьекIOB (люди, машины и i и ) и <леже-пия ',а ними в пределах охраняемой зоны И( ючпиками ошибок яв 1яюмя поIеря (лабсжошрас тою обьокы во время слежения обнлр\жение юл-по1 о обьек 1а и ошибочный обмен фаекюрий межд\ дв\мя обьомами. п\-1и кок)])ых пе'рее окались на изображении Подобные ошибки 1101)0жд(чп>1. и первую очередь, неумен точной «инюллемуалыюс и.ю> алп ори 1 мои сложения ()(об(чпю (к Iро )1и проблемы с юя1 перед си< юмами нидеонаблю-д(чшя. ]>а терпушми на крупных проднрияI иях пша томных ( ыпции, Iде площадь охраняемой юрриюрии велика, <> фебования к количе( п$\ ошибок в единицу времени исключи 1елыю жое 1кие\

2 Си( 1емы авюматческою вид(ч)к()н1])оля ш процесс ом 5<пру5ки вьпр\{ки коп юниоров с ])ади()ак1ивп1>1ми и тксичиыми маюриалами Эюдос мюч-по новая ыдача пока находи 1ся 15 мадии обсуждения, однако даже1 час шч-пое ее решение с ущомвоппо повысило бы бе мпаспос и» 15 о фас ли

3 Сис юмы ючною 1!ис опия вертлеча при проведении аварийпо-опас аю п>-иых и мошажпых рабоь в юм число на обьекых аюмиои промышлои-пос 1и 13 роли прск ложиваомых обьекюв выс 1уиаю1 какие-либо предме-11 >1 или специальные 5иаки, р<кч1с)лс)/ксчнп>1е на $емле Задача прсн раммпо-апиараию! о комплекса, смой I ироваипен о па пер тлею, состш в оюло-живапии дрейфа опорных обьекюв в пределах кадра и. во ¡можно, от компенсации чоро 5 рулевое управление Серье $ную проблему с ос ыв 1ЯЮ1 1)а нкн о рода мешающие флк юры дым, подия ыя пыль, с олпочпые б шки и I п . коюрые делаюI $адачу слежения весьма исмривиалыюй

1 Промышленные еиоюмы видеокои I роля, следящие 5а перемещением моха-пи 5Мов, ])обо1 и 5ированных мапипуля ю])ов и елдольпых до млей

5. Выделение и прослеживание движущихся обьекюв в сцене с целью последующею ежа 1ия видоопоюка с большим кснффицисчпом компрессии данных Осндаиио кодировщиков новою поколения ис ключи юлыю важно для -жопомнен о архивирования видео и передачи счо по с см и Сис юмы аиали5а динамики и формы и юбражеиий человечес ких орыпов пол\чопных улы!)а $вуковым скаппером или аш иен рафом По динамике и 5мсч1епии формы и ра ¡мора орына можно судим, о юх или иных 5,160 юнаиимх Главная проблема сое юш и юм, чю и юбражсмше opiaiia имеем ии жий коп фас i и нечем кие 1раиицы 7 С1о VMiHiK1 малобюджешых фильмов Последнее время пол\чила рас про-( фанеиие k'Xiiojioi ия создания с сериалов iiyieM miioi окраinoi о исио и> ¡о напия ужсокняюю мак'риала Среди иод 5адач /ехполемии мы мыде-лясм следующую проблему Требуемся аккурапю проследим, обьем по серии кадров видеопоследоваiejn,no( 1 и, вырсчап, 061,ем и i всех обрабоып-пых кадров и в( iaisn 11, см о в дру1 ои видеоряд Таким об]).! юм с ущес i неиио (пижакнея iaipan.i па поиюрную с ьемку. Однако процедура аккурапю-ю вырсчания обьем он являем см дос îaio'ino фудоемкой и па ( см одияшпий дсмн> поддаемся лишь час шчпой автмаш {ации

Цель работы

Целью рабены являласм» ря 5ра6оiка и улучшение ИИУС с высокой с ie-iKMibio информационно! о ноимщиала для обнаружения движущихе я обьемов на баю мечодов анализа видсюрядов. Для дос шжемшя нос ывлеиной цели и pafio 1 с решались следующие задачи

1 Анализ дос юипс ib и недос ипков сущее шующих мемодов, в оемюве кою-рых лежи1 механиш слежения ?а движущимися обьемами

2 Создание1 алю1)И1Мов прослеживания i рапимисяо коиiура обьема но серии кадров видеоряда, имеющих минимальное кол и чес пю пае фаиваемых иарамемров и обеспечивающих бли юе п> между вычислемтым и рсмльпым 1])аничным коп i у ром обьема на каждом кадре

1 Моде лиронапие новых обра щов ИИУС кснироля иеремемцепия (-движущеюся обьема, наблюдаемою с помощью ошическои видеокамеры, пу кт с о {Дания пренен ипа сие н*мы в виде И1)01раммы для ЭВМ 1 Рафабепка меюдов оценки качесчва новых обра {ов ИИУС для кот роля движущихся обьекюв па основе ошическои видеокамеры по рсмулыаым же перимеп 1альных иеиьпапий па icc ювых видечитс ледоваюльпос 1ях

ПрЛЫИ'КЧ КИ ВС С СОВреМСННЫС МСЧОДЫ ЩЮСЛГЖИВЛНИМ обьСКЫ ВКЛЮ-ч<)Ю1 и себя парлмефы не имеющие (ipoioio leopeiпч«ч-ко1о обоснования Эш парамефы ]хч улируюi yiij)yi()( il. обьеыа но oiношению к межкндро-иым деформациям, ( кчкмп, влияния iex или иных ()(()б(Ч1ИО( i(м'1 и юбраж«чшя, mai диск])(м и 5лции и i и Обычно шачепия нарамсмров подбираюк я ж«пе-римеи 1алыю Oi рапичепиос п> \uueMai ичсч ких мод(\.1(ч1 приводиi к юму. чю для рашых обьекюв опшмальные наборы napaM(Mj)()B moi \ i (ii.n.iio ра î ш-ча î ь( я Си î уация у( yi \блясчся в ыимпым влиянием па])ам(м])0в. по пому при большом их количес ibc бываем 1рудно определи n, ошпмальпый набор

Полное и,ю 1пбавип>(я oi -жеперименылыю подбираемых нарамечров на ( сч одняшний Д(чи, не предсивлясчс я во шожным По-шшу е ноль ювакмь-ской ючки jpciiHя, кажек-я ло1ичиым ириимп> следующий кршернй хорошей ( и( ieMi>r ч(м кипьпн критичики шшпьи пари ш трои ним иртн До< ишисчвом предлаыемых ?д«ч ь меюдов явлжм(я малое1 количес ibo кри-i ичееких парамечров»

Ипîерееио oimciuib, чю люди прослеживаю1 обьемы (почт) любой формы бе{ ммеч пых усилии Однако в облает машиппено фения даже о \и-ночпые обьемы все (чцо пред« ывлякл фудпора фсчпимую проб 1ему В особенно« in о касаекя аккурашою слежения, когда 1ребу«м«я лежа 1иювап> испитую 1рапицу обь«ч<1л с высокой ючиосчыо Oi рапиченпос п> мши их пред'южеппых на с сч одпяшний дсчп» меюдов, кросчся в пес по« обпосчи. в oi-личии 01 человеческою глам, î ибко ипнчрнреншь ра шые ис ючпики информации (цв«ч. ickc iypy, 1раницы, котекс î), а ыкже распошава î ь обьем и дос 1раиваи> счо временно невидимые част Хсня ос ошапие -них педо« iai-Koi5 нришло довольно давно и было предложено мною подходов, основанных на обучении и комбинировании раиичпых признаков, проблема далека oi окоичакмьною решения

Па наш взгляд, пока рано юворип. о с о здании с ис н'мы, снособиои ак-к\рапю про«леживап» пшичпый обьек1 (человек, машина и ni) даже1 па дос ia î очно качес î вечпюм видео Цель должна бьиь скромнее »нывшь

OIK ЮМУ ПО (IIJII)IIO ОШибсПЫЯ И НО I оря II» ()f)I»OKI 15 OIHOC ШОЛЫЮ Iipooibix (и1уациях

Положения выносимые на защиту

1 IV 5У„1ЫЛ I Ы диалшл Д()( ЮИП01В И ПОДОСЬИКОВ 0У1Ц0( I пукяцих ( И( ЮМ ви-деопаблюдопия и по( ЫНОВКЛ $ЛДЯМИ ПЛ ( О !ДЛПИЯ ИИУС повою поколения ДЛЯ MOII11 К)])ИП1,1 ПОЛОЖОПИЯ 110])0М(МЦаЮ1ЦИХ( Я обьОКЮВ

2 Комплокопый ллю])И1м прослеживания i раиичшмо кошура обьокик и<-ноль {укиций жданную модель движения для (нраничепия межкадровых деформаций Koinyj)a и цвоювыо рас продолония ючок обьокм испоил способы И МО I ОДЫ обрлбсНКИ И шороний СОСЧаВЛЯЮЩИО 010()(НС)В\

• \1(мод включения ыдаппои модели движения в (функционал оперши по движпою кошура

• Меюд балансировки различных членов функционала шерпш

• Меюд продока мния положения кошура обьоки на новом кадре

• Меюд hoik кл коррос попдопций между iочками iioboi о кадра и кошро п>-пыми ючками коп iура

• Меюд авюмлiИЧ0СКО1 о выбора рл {решения пкннрамм шпиричос ких цв(мовых распределений обьекм и фона

3 Способ прей ложивапия цвешою обьокм. мииими шрующий миропию кла( ( ификации

• Меюд not iроения дискропюй -шiроиии, учиiывающой конечное п> ко-личес 1ва ючок, (ославляющих o6i>oki и фон

• Меюд по( iроения конура обьекы па новом кадр«1 по карю верой пю-( юй, полученной классификацией ючок па обьокшые и (фоновые1

Личный вклад

Личный вклад авюрл {аключаоюя в 1 \л\чтении еущо( iвеющих меюдов прослеживания обьекюв,

2 pa {рябоiкс ieopeiичееких основ новых подходов к {адаче слежения,

3 непоередс i ионном учим ни и рабоых но (о {даншо и верификации иро-1])ЛММПЫХ (¡)0Д(1И КОШ роля 5а ПОрОМОЩОНИОМ движущихся обьеКЮИ. I! РНЦ «Курчаюве кий Hiu iиiуi », компании ГУП НИЦ «Элине> и 11нс ш-i\ie Передовых Tcxhcuoi ий компании Самоуш (SAIT)

И {ложонпыо и ди< ее1])iации ре iyjibiaiы получены лично автром или при ei о пепос редсч веппом учас i ни

Методы исследований, достоверность результатов

В рабою и( нольювапы moi оды ци(})роной обрабелки и юбражопий. юо-}>ии вороя i нос юй и маюма1 ичоекой ( iaiис i ики. юории управления, юории он i ими 5ации. вычисли 1ел1»ной линейной ajn обры, а ыкже мемоды проокi иро-ваппя ii])oi ])аммных среде п$ Дос i опорное i ь рсчулыатв обеспечиваем(я и<-поль {онанием юорсч ичееки обоснованных моделей и coi лас овашкн и»ю по i\-чеппых данных с ро5улыа1ами жопоримоп тв

Научная новизна

1 Предложен >ффек1ивный мохапи ?м oi рапичепия межкадровых деформаций Koiiiyj)a, коюрый тсчавляог об век i следован» {адаппой модели движения В()1личие()1 апало1 ичпых подходов, и {вес шых и ли icij>a i урс% предложенный м(мод не юлько прос i и маюмашчоеки про {рачсч1, по и леч ко ипкч рир\ои я ( друтми и( ючпиками информации об обьок ю. н<шример полученными в рсчулыаю обучения па специальных видеорядах

2 Предложен новый способ предска {алия положении обьекы па следующем кадре, котрый учиплвасм {адаппую модель движения

3 Рафабснап мемод авюмашчоекот выбора ра 5])(чнсч1ия i ис Ю1рамм в а i-iорт мах прослеживания об ьок i а но серии цвечпых и юб|)ажсч1ии

1 Предложен орш пиальпыи мемод прослеживания обьекм по серии пнем пых и юбражепии. в котром ючки iioboi о кадра с сч м(ч11 ир\ юн-я па обьек i пые и фоновые с 01 лас по криюрию минимума )шропии клас с ификдции

Практическая ценность работы

ПракIичеекая ценное!ь рабопл (ociom н имдаиии новых обра ¡он ИИУС, реализующих мошожшх и> иенольювания предложенных меюдов в промышленных, плитациониых и медиципеких 1ехннч(чких у( 1])ой( Iпах. а ыкже в ( пециальиых приложениях Ра фабоыниые iî рамкам нред( iaiîjieiinoii paf)oii)i ajii ори i \п>[ и их оiдельные модули апробированы и нашли пракшче-< кое н])имен(41ие 15 деи( 1вукнцих ешчемах видеопаблюдепия «0rwell-2k> и и upoi рамме для редаюиронания видеоеюжеюв Claxa

Апробация работы

0( ионные и непомоииельные рсчулыаш ди< ( ер1ацнонной рабош докладывались на следующих н 1учных конференциях

• G-и Обьединеппой конференции но информационным наукам JCIS (Северная Каролина, США, 2002),

• 7-и Международной конференции но цифровой обрабоп<е и юбражешш DICTA (г. Сидней, Авпралия, 2003):

• 12-й Международной конференции по машинной i рафике, ви5\али5ации и компьинерному фению WSCG (г Пл jeu, Чехия, 2001),

• Международной конференции по -шифонной обрабо1ке и юбражешш ISkT SPIE Ele< tionie Imaging (i Сап-Хо(е, США, 2004).

Публикации

Оеповпые и мепомоипельные ре jyjn>ia i ы дш ( ерыциоппой рабоил были опубликованы и журналах Вопроеы аюмпои пауки и юхнпки. Вопрос i.i радио >лек i роники, н i рудах международных конференции

Постановка задачи

За поеледпие 10-15 л<м, уч(м1ымп. рабоыющими н облает машиппо-ю фения. 6i.uk) опубликовано oi ромпое чшло j)a6oi, поевящеппых проб ieмам апали м движения обьокы Большое количсч iiîo исследований ( пси î-божнснч i,io породило pa шообра я«' иск lanoBOK тдачп сложения Нокоюрые наиболее шачимыо иап.и, посвященные проблеме прослеживания обьеыа но ((4)1111 кадров, буду 1 \iioMMiiyiu нами в об юре лиюрацфы Поскольку в данной рабою едва ли вснможно (лраши, весь епокф подходов, мы ( у ¡или IKK ianoBKy решаемой мдачи до следующей (формулировки

Пуеть .¡(¡дин объект интерееа в ut которой ецене, а татке (го граничный контур на первом и, во.шо не по, на втором кадре виде опое к дови-иильное та Причем начальный контур доьнеен быть достаточно банок л видимо'ч границе объекта Модель поведения, е/юрма, цвет, те ке тури и другие притоки обг>( кта ней ¡ее етпы, ?среше те е, что наб иодаюте я lie not ре е)-етве нпо на изображении Требуете я проеле дать контур объекта но мак-еиманьно дгинои поеледоенптльноети кадров так, чтобы прое к м шше мы à конниц) ое таешле я Сшпок к видимеш границе объекта на каш дом кадре

Во в(ех ж( перимеп iax иеиоль ювалея начальный кошур очерченный опера юром вручную Для ною мы рафабенали специальный инс фумеш, напоминающий «Mai пишое лассо» в и шестой npoi рамме Adobe Photoshop по рабоишнций комфорiнее Еще1 более продвину i ые меюды ручшм о выделения обьекюв описаны в рабенах [109, 110]. Они иошолякн обрисован» фобу-емыи обьокi буквально несколькими движениями компыоюрной mj.iiiih Чем более ючпо буд(ч обрисовав коп i ур, юм лучше окажем ся регулы ai П(кле мдапия начальною кош ура опера юр миускасм npoi рамму авюма i ичооксн о сложения по (ории кадров видеоряда

Следу(ч (к обо ol moi и i ь, чю ручное шданио начальною кон i ура m являемся н(Ч)| ьомломой ча(1ыо нашей посмаповки ыдачи Начальный кошур можно ыдап», например, вычипишем ( iai ичоскою фона и 5 первою кадра (чли камер«1 неподвижна, как но долаоюя в cik юмах видоонаблюдония IÙ-ли об I,OKI сильно кошра( mpyoi с фоном или хорошо виден па первом ка фо. ю (чо можно иопыьпься рас пошап» или выделип» исполыуя цвоювые и юкс i^pin.io пришаки и 1.д Кроме ни о, можно иеноль îonai t. моюды (oimoh-i a I u I и по движению и комбинации с -шортами ра( по шавания Вео -ни мою

ДЫ ЯВЛЯЮ1СЯ ПрОДМОЮМ О1Д0ЛЫ1ЫХ ИССЛОДОВаПИЙ И НО (()( ЫВЛЯ101 Mil Н'рия I данной 1)аГ)ои>1 Желая екопцотрироиап.оя на соГх ничто мдаче сложения, мы будем ечиьпь, чю начальный кошур об 1>скiа $адап априори Именно и i i акой нос ianoBKH исходи i ям юры miioi их скпои, но( мященных япя пп\ движения (кчвордых обьокюм

Структура и объём работы

Диеоорыция со( I ои I и? мнодопия, об îoj)a ли i (ij)a i уры, чеплрех о( ном-пых глам с описаниями алюри1мом, главы с описанием -же перимоп ыльпыч ре?улыаюм, !аключония, списка цш ируомой лиicpaiуры hj 111 паимопова-пий. дополни юльных п])НЛ0Ж(Ч1ий и акы о внедрении. Рябоiа ( одержи i 150 ( фапиц. включае! 38 рисунком и 2 ыблицы

В обюрпой главе 1 mi.i вкраще очср1ИМ круг оспомпых идей и по i-ходом, ( формиромамппш я 15 (роде споцияли( юм снимающихся проб юмами сложения м дмижущимися обьекиши В главе 2 мы дсчалыю опишем ос-iioMiioii (UiiopHiM, коюрыи оеущс( imjijkm прослеживание i pammiioi о кош\ра o6i>eKia. oi раиич(чпю1 о сданной моделью движ(чшя В гляме 3 мы расскажем об ялтршме нро(лежимания цистою обьскы, оспомянною на апали-}с цмеюмых распределений мпожосчм ючек обьек1а и фона Волее ( ipoimi апоршм, исполь{ующий цнеюпые распределения множен im niiyip(4imix и мпепших при1 ряпичпых ючек кош ура, будем paccMoip(4i м гламо 1 Комбинированному алюртму, включающему м себя пермые дна, а ыкжо мехапи ïm иск i-o6])a6oi ки кош ура, посмящена глава 5. Заюм мы приводом -шпоримои-ыльные р(мулыап»1 по двум, наиболее1 ишересиым алю])И1мам, и иромодем апали 5 полученных данных м маме G Заключи юльныо мымоды буд\ i сделаны 15 по( лодней I ламе1 7

7 Заключение

Сформулирована и по( ывлепа задача (оздапия, на 6.1 зе еелзремечшых ип(})()рмациоииых юхнологий, м(модоло1ИИ и алюршмов, сио(обпых (1<пь ча( I ыо (овремсппых ин(}х)])мациопио-и змери юльпых и уп1)авчяю1цих (11(4(41. вех фебелзаппых как в аюмпои промышлеппехч и, 1ак и в друч их 01 рас ля\ Основой повои Iсхнолсм ии являюI ся алюри1мы прослеживания I рапичпою коп I ура движущем ос я обьеж 1а ип 1среса, над кою])ым осущее I вчясчс я пабчю-дечше и кош роль Алтршмы реали зовапы в виде1 иро1 раммио обеч печения д 1я ЭВМ Оечювпые резулы.п ы, полученные в ])аб()1е, с ос юя1 в е лс'ду ющеч

1 Сформулировано попяже мафицы жеч Iкое ш движения, коюрая не по п>-зуемс я в качеч I ве ипс I румечз Iа 01 рапичепия межкадровых дес})ормации коп-I ура прослеживаемся о об ьек 1а Разрабенап ^фс{хжннзпый мемод 01 рапичепия межкадровых деч{)ормаций кош ура пучем превращения подпрое фан-с пза пшичпых д(ч1)ормаций келнура в нуль-прое Iране изо ма1рицы жеч I-кое 1И движемшя Таким образом удаемся придам» кошуру нужные динамические1 емзойе мза, нап1)имер. можно позволим» ему счзободпо дсч})ормиро вап.ся еелласчю ае})фишюй модели межкад])овых Д(ч{)ормации и 01 рани чивам» вес прочие фане (формации Указанны!! меч од обобщасч подходы предложенные ранее дру! ими и< следованиями Предложен универсап.-пый мечод сишеза мафицы жеч i кое in движечшя мере? по( фоечшеба зиса н про( [рапс iue межкадровых деформаций и виде конечною набора дие-кречпых Фурье-iа])Моник с циклическими (раничпыми условиями

2 Разрабоын новый меч од предсказания положения об век i а па следующем кадре» пек реде i вом сведения задачи предсказания к решению уравнения иперциалвнем о движения кош ура в вязкой среде в промеж) ikc между но-следоваюльпыми кадрами, с привлечением мафицы жеч iкос ш движечшя

3 Ра зрабенап орш инальпый меюд баланс ировки влияния ос обсчпюс кч'1 и зоб ражсч!ия и ранее пакоплечшой информации па процедуру учочиепия по-ложечшя об век I а па новом кадре4 Указанный подход основан на анализе < пек фа с обе i венных значении ма i рицы жеч ikoc in движечшя

4 11редложеп мехаии зм поие ка особенное юй (краев) повел о кадра, вероя i пес веечо принадлежащих i })апичпому кошуру прослеживаемою об век i а

5 Ус овершечк пзован. ранее* иредложечшый дру1 ими ис е ледова килями, меч о ( слежсчшя за обвею ом па основе авали за цвечовых расч1реде нчпш обвекы и фона Разрабоын с поеч)б выбора on i ималвпо1 о разречпения пи ннрамм иечюлв зующихс я для преде ывлепия )мпиричсеких цвечовых рас преде ie ний Получечшая инс})ормация о цв(чош»1х распределениях ве фаивасчся в механизм сформирования кош ура па новом кадре видеоряда

С Перечне ленные выше енде'льные мечоды были собраны воедино в виде1 нро-1раммы для ЭВМ. коюрая позволяем прое леживаи» заданный об век i со скорск 1ыо до 10 кадров в сежупду и выше па современном компыспере

7 Разрабоын принципиально новый меюд прослеживания цвеч hoi о обьек-ы. ос нованиый па разделении ючек и зображечшя паобьектые и фоновые черем минимизацию общей шчжределенносчи (атропин) клас сификации Данный меч од реал и зовап в виде1 и{)01раммы для ЭВМ. Скорое п.обрабен-ки е ое ывлясч не мечкч' 2 кадров в секунду. При с оси вечем ву ющей дорабеи-ке, (коросчь можем бьпь повышена до 10-15 кадров в секунду

8 Создай комплекс пренрамм предпа зпачечпилй для авюма! ичеч-кси о слсженим па об 1>(1к I ом ииюрееа. при условии задания об век и па первом кадре1 В нем о вошли, помимо упомяну I их выше, ве помои» юлып.к« преяраммы п])(1дпа значенные1 для елладки и моделирования 9 Проведены ме)де1Л1>пые и(ш>папия качен иза еле«жопия ра зрабомппыч а порт мои па кч ювых видеопоеледоваIелыюе Iях. На фа кIическом маюри-але1 показана зффокшвпос п> предложенных алтршмов сложения за движущимися обье1К1ами и их высокая счопонь ютвпехш для примемюпия в копкречных информациопно-и змори юльных и управляющих сие юма\ В час тек т. была си мечена слабая завиеимехч ь резулыаюв слежения 01 пае »раиваомых вручную парамечров Снижение« кошеке той зависимое ш являлос ь с)пре«д(«ля10щим условием при ра зрабемке« сос)1 вечечвующих а по-ршмс)1з, чю i3i.iiодно енличаеч их о» многих сущее Iвующих подходов. 10 Ра зрабенанные мечоды вошли в виде емдельпых модулем') в продукт компании ГУН ППЦ «Элвис» (сие юмы видеопнблюдония). в комме«1)чее к\ю и]К)1])амму С1аха (ре'дактровапие видеоеюж(«юв) и в друч не» щю» раммы. созданные в рамках проекюв Инеппум Информационных Точно км ии РНЦ <- Курчаювекии Иис пну!»

1. ЛифшицЕ М Механика М Наука 1988 210с.

2. ТихоиовА Н. Аре опии В Я Мечоды решении покоррокшых задач М. Наука, 1986. 288с

3. Бочаров П. П . ПочонкипАВ Теория вороя них юй Маюмашчес кая счашсшка. М Гардарнка. 1998 328 с

4. Кудрявцев Л. Д Курс маюмашчос кою анали за М Высшая шко 1а. 1981.111 584 с

5. ВооводпиВВ Вычислиюльпыо основы лине«йиой ал 1 обры М Наука. 1977 304с

6. Самарский А А , Гулип А В Численные моюды М Наука. 1989 132 о

7. Гол\Г)Д/К . ВанЛоунЧ. Мафичиые вычисления М. Мир. 1999 518 с

8. Брапд! 3 Ciaim 1ические меюды анали м и наблюдения М Мир. 1975. 312 с

9. Blake, А , Isaid,M Active Contouis London Spimgei-Veilag. 1998

10. Canny,J A computational appioacli to edge1 detection IEEE 'Dans-adions on Path in Analysis (uul Muejine Inti Hup ne e 198G Vol 8 pp.679 G98,

11. Comaniciu,D. Ranicsh.V Mcei,P. Keinel-based object hacking IEEE Turns Pattan Analysis and Madiuu Intdhyenee 2003. Vol 25 pp 5C4 577

12. Paiagios. N , Dei к lie, H Geodesic Active Contouis and Level Sets foi the Detec tion and Tiackmg of Moving Objects IEEE Ttuus Pattern Analysis and Madum Intilh<j(n(( 2000 Vol 22, pp. 2GG 280

13. Pai agios. N., Dei и he, R Geodesic Actlve Regions foi Motion Estimation and Tiackmg Compute i Visum and Imaye Untie i standtny 2005 Vol 97 pp 259 282

14. Pent land, A . Sclaioff, S Closed-Komi Solution foi Physically Based Shape Modeling and Recognition , ' IEEE Dans Pull(7n Analysis and Madmu Inle llup net 1991. Vol 13, no 7, pp 715 729

15. Cm wen, R , Blake, A. Zisseinian, A A fiamewoik foi spatio-tcinpoial с ontiol ni the hacking of visual contouis lute i national douinal of Compute i Vision 1993 Vol 11. no. 2, pp 127 145

16. Blake, A. Isaiel, M , Reynaid, D Learning to tia(k the visual motion oi con-touis Aihju ml Infi lliijt ni ( 1995 Vol 78, pp 101 131

17. M( Iiioiney,T., Toi/opoulos, D Dofoimablo Models in Medical linage Analysis A Smvey. Mi du al Imayt Analysis. 1996. Vol 1. no 2, pp 91 108

18. M( Inoinoy, T . Tei/opoulos, D T-snakivs Topology adaptive snakes Mutual Imagi Analysis 2000 Vol. 1, no 1, pp.73 91

19. Ip,H U.S. Slicn,D. An affine-invaiiant active (ontoni model (AI-snako) foi model-based segmentation / 1 Inuiqi and Vision Compntiny 1998 Vol 16. pp 135 146

20. Kang, I).-J. A fast and stable snake1 algoiitlmi foi medical images Paffiin Ruoyniiion L< litis 1999 Vol 20. pp 507 512

21. Fn, Y , Eidem, A T.Tekalp,A M Tiac king visible1 boundaiy ol objoc ts using occlusion adaptive motion snake1 '/ IEEE Tunis Imayi Piottssiny 2000

22. Vol 12, no 9. pp 2051 2060

23. Nguyen, H T, Woiimg.M., Boomgaaid, R., Smouldois. A W. M Tiaekmg nonpaiainetoii/od object contouih m vielen) IEEE Tunis Imayi Piouss-my 2002 Vol 11, no. 9. pp 1081 1091

24. Potoifiouiid. N. Robust Tiaekmg of Position and Velocity With Kaiman Snakes / IEEE Tunis Paifnn Analysis and Mailnni Inlilhyinii 1999

25. Vol. 21, no 6, pp 561 569.

26. Zaiitsky, R , Potoifiouiid, N. Shimkm, N Velocity-Guided Tiaekmg oi Defoiniable Contoms in Tinee Dimensional Space. ' Int< inational Journal of Compufi i Visum 2003 Vol 51. no 3, pp 219 238

27. Zliong. Y. ,Jain. A K, Dubuisson-,Jolly, M. P Object tracking using defoiniable templates IEEE Dans Pattnn Analysis and Maihuu Infd-hyinu 2000 Vol 22. no. 5, pp 544 549

28. Kass.M . \Vitkm,A.Toi/()poulos,D Snake's Ae tivo contoui models lata national Jom nal of Computi i Vision 1987 Vol 1. no 1. .)]) 321 331

29. Oootos.T F. Tayloi.C ,1. Statistical Models of Appoaianco foi Computoi Vision. T((h Hipoit (available at http, www lsbi man at al, ). Wolison1.ago Analysis Unit. Imaging Science and Biomedical Engmeeiing. University of Manchester 2001

30. AggaiwaU K, Cai,Q. Human Motion Analysis A Review Coinputa Vision and Imaq( Undti standinq 1999. Vol 73, no.3, pp 428 110

31. Fiskei, R . Sclmlt/,N., Duta, N , Caistensen, ,1 M A general s( homo foi t laming and optimization of the Gionandei dofoimablo template model In Pun Coiif Compufa Vision and Patttin Haoqtution 2000 Vol I pp G98 705

32. Ainini, A A. Weymouth,T E . ,Iain,R.C. Using dynamic piogiaimnmg foi solving vanational piobloins 111 vision. IEEE Ttans Patttin Analysis and Ma (hint Inh Hup n<( 1990. Vol. 12, no 9, pp 855 8G7.

33. Xne.Z, Li.S.Z. Teoli,E K AI-EigenSnake an affino-mvanant defoimable (ontoni model foi objcn t matching /,' Iinaq< and Vision Conipalnuj 20021. Vol 20, pp 77 81

34. Den/lei.,J . Niemann. H Active Rays Polai-tiansfoinied Active Contoms loi Real-Time Contoui Tiackmg Rtal Turn linaqinq 1999 Vol 5 no 3 pp 203 213

35. Ivins.,1 , Ponill,,) Constiained Active Region Models foi Fast Tiacking m Coloi Imago Sequoiic os Computet Vision and Imaq( Undt t standinq 1998 Vol 72, no 1, pp.51 71

36. Ivms, .1 . PomlU Evoiythmg You Always Wanted to Know About Snakes (But Weie Afiaid to Ask) Ttdmital Mano 86, Aitificial Intolhgonco Vision Resoaieh Unit, University of Sheffield 2000

37. Zhu, S C, Yuille.A Region CompcM it ion Unifying Snake balloon. Region Ciiowing and Bayos MDL Enoigy foi multi-band Image1 Segmentation

38. EE Duns. PatUin Analysis und Mut hint Inte Hup ne < 1996 Vol 18 no 9. pi) 884 900

39. Pillei.M Oil the Numeiical Solution of Cyclic Tiidiagonal Systems Univeisity of Tneste, online aiticle http www-dunnu iimi) tue st< it ~nnfte, it seeneIi, e ijetiid Default htm 1999

40. Benson. A , Evans,D ,J A Noimah/ed Algol it hin loi tlie Solution of Positive1 Definite Symmetik Quiiichagonal Systems of Lineal Equations ACM Tuniseu turns on Mathe mutual Softuiau 1977. Vol 3, no 1. pp 96 103

41. Swam. M. J , Ballaid, D II Coloi Indexing '/ Inte inettumal Joui nul of Computer Visum 1991 Vol. 7, no 1, pp 11 32.

42. Btadski.G H Computer Vision Face Tiackmg Foi Use m Peiceptual Usei Intel face Intel Teehrwlexjii Journal Q2 1998

43. Kaiman, H E. A New Appioach to Lmcai Filteiuig and Piediction Pioblems Tiansae tum of the ASME Journal of Deisu Enejinte i mej 1960 pp 35 15

44. Welch. C .Bishop. G An Intioduction to the Kaiman Filtei Teehnieul Ih-poit 95-041. Univeisity of Noitli Caiolma, Depaitment of Computei S< ience1995

45. Weh h, Ci. Bishop, Ci. An Intioduction to the Kaiman Filtei SIGG11APII 2001 Com si 2001 No 8.

46. Gelb. A Applied Optimal Estimation MA MIT Piess. Cambiidge 1971

47. Juliei, S ,J . Uhhnann, J K , Dmiant-Whyte,H F A New Appioach foi The Noiilmeai Tt ansfoi mat ion of Means and Covanances ' IEEE Duns Auto-mutie Contiol 1996

48. Welling, M Classnotes m Machine Learning Online publication http w m m us uei idu/~ii)(llint//( leissnott s, elussnotes hind.

49. Hiiiepnei pecypc MIT Open Couise Waie, Lectin es on

50. Ocean Engmecimg, Lectuie 20, http- oe id mite du unit i html, blip oe id nut (du Oe uiWe b/Oe e an-Enejine e i nuj ld-JOEull-2l)0Jt Lee tun Note s mêle i htm

51. Metaxas,D , Tei/opoulos, D Shapeand \onngid Motion Estimatioii thiough Physu s-Based Synthesis IEEE Tunis Pattirn Anah/sis and Mai tum Intdhi/i nu 1993 Vol 15. iio G. pp 580 591

52. Loyniaiie, F . Levmo. M D Tiacking defoimable objects m tlie plane usmg an aetive (ontoin model IEEE Dans Pafft in Anahjsis and Madum Infi Ih<.< ri( ( 1993 Vol 15, no G, pp.G17 G31.

53. Bastle, B . Boutheiny, P , Dein lie, R., Mayei,F Tiaekmg (omplex primitives in an linage sequeiKC , R(s(auh Riport uo 2428. Institut National De Reelleiche eil lnfoiinatique et eil Autoniatique (INRIA) 1991

54. Lowe, D G Robust model-based niotion tiaekmg tlnougli tlie mtegiation of seau Ii and estimatioii. j' Infi ? national Jour nal of Com put < i \'i sion 19921. Vol 8, 110 2, pj) 113 122

55. Hoin.B.K.P., Sdiunk.B.G Deteiniiniiiig Optical Flow Artifie uil Infi I-lii/i in i 1981 Vol. 17. pp. 185 204

56. Baumbctg, A , Hogg,D An efficiciit liiethod foi (ontoin tia(kmg using <k ti\e sliape niodels ' IEEE Workshop ori Motion of Non-Rie/id and Aifiiulafid Objeets, Austin. Texas 1994

57. Cootes.T F,Tayloi,C J Activeshapeniodels «smait snakes» In Prix Dutish Mai tum Vision Conference 1992. Pp 27G 285,

58. GO Piess, W.II , Teukolsky S A. Vetteilmg. W.T , Flanneiy, B P Nunien<al Ree ipes in C. The Ai t of Scientific Comput mg. Sc( ond Edit ion Cambi ldge üiuveisity Piess, 1992.

59. Gl Sapno.G. Ringai h. D. L AmsotiopK Diffusion of Multivalued Images witli Appluations to Coloi Filteiing IEEE Tiuns Imaeje Pioussinq 1990

60. Vol 5, 110 11, pp 1582 158G

61. G2 Oshet,S , Sethian, J. A Fionts piopagatmg with < uivatuio-dependoiit speed Algol it Inns based on hainilton-jaeobi foiinulation Journal of Coinputa tional Plujsns 1988 Vol 79, pp 12 19

62. Sethian,,1 A Level set methods evolving liitoifaees m geomotiy. fluid me diaiiKs (omputei vision and mateiial sciences Cambiidge Umvcisit^s Pi ess. 1999

63. Zen/o, S D A note oil the giadient of a multi-image Coinputa Ciapluts, Vision, Imaqt Pux( ssnuj 1986 Vol 33, pp 116 125

64. Moon,Y.S , Kim,C Y., Kweon,I A Method of Fiehmmaiily Doteiminmg an Optimal Ooloi Ilistogiam Bin Resolution foi Coloi Histogiam based Ob.C(t Tia(kmg. 14th Workshop on Imaij( Pun(ssiny and Iina<j( Umh lstundiny (IPIU). .Io]ii, Koiea, Januaiy 2002

65. Piepaiata.F, Sliamos, M Computational Geometiy An Intioduc tion New Y01 k Spnngei, 1986

66. Tliac kei, N A . Alieine, F J , Rockett.P.I The Bhattachaiyya Metnc as an Absolute Smnlaiity Measuie foi Fiequency Coded Data Kijbt 1 n< tihu 1997. Vol 34. no 4, pp 363 368

67. Conianieiu, D , Meei,P Tyle, D Dissimilaiity (omputation thiough low lank (0110( tions Pattern Baoymtum Ldtns. 2003 Vol 24, pp.227 236

68. Endies. D M. S( hindelin, .1 E A new metue foi ¡)iobability (list nbut 1011s

69. EE TuinsfK 11011s On In foi motion Tin 01 y 2003 Vol 19. no 7. pp 1858 1860

70. Song. M . Haialuk. R Optimally Quantized and Smoothed Ihstogiams Plot Joint Conftuna on Information S(un((s 2002 Pp 894 897

71. Fieedman.D., Zhang,T. Active Contoms foi Tiackmg Distnbutions IEEE Dans Imay< Pioassmy 2004 Vol 13. pp. 518 526

72. Zhang. T, Fteodman,D. Impiovmg Peifoniiaiu e of Distiibution Ink king thiough Baikgiound Mismatch. IEEE Tiuns Pattan Analysis and Ma-(Inn/ Intdhqi iu( 2005 Vol 27, pp 282 287

73. Рне/,Р, Hue.С., Veimaak, Л . Gangnet, М Coloi-based piobabilisti( tucking Prot Euiopuin Conftuntt on Compuii i Vision 2002. Vol 1. pp GG1 G75

74. Wu, Y , Huang. T. S. Nonstationaiy Coloi Tia( king foi Vision-Based Human-Coinputei Inteiaction IEEE Tunis N< uuil N(tworks 2002 Vol 13. pp 948 9G0

75. Yilina/, A. Li. X., Shall, M. Contoui Based Object Tia< king Using Level Sets Pux Asian Conf(uri(( on Compuii? Visum. Koiea 2001

76. Abd-Almageed, W , Smith. С. E Active Defoiinable Models Using Density Estimation InUrnational Journal of Imaiji arid Craphns 2001 Vol 4. pp 343 3G1

77. Numiniaio, К . Kollei-Meiei, E , Van Cool, L. Object Tia(king with an Adap tive Coloi-Based Pai tide Filt ei.// Proc Du Dcutsdn Arlx itsqirm insdiaft far Mristt и rk( rinunq 2002 Pp.353 3G0

78. Hayman.E . Eklundh, J (). Piobabilistie and Voting Appioadies to Cue In-tegiation foi Figuie-Giouiid Segmentation ' Pux Euro.)(<in Confi и nn on Compuii i Vision. 2002 Vol HI. pp 4G9 48G

79. Tao, II , Sawhney, H S . Kuniai,R Object Tiaikmg with Bayesian Estimation of Dynamic Layei Repiesentations IEEE Tians Path iи 4iiahjsis and Madiim Intdhqaui 2002. Vol. 21, no 1. pp. 75 89

80. Taiel,,) P. Ieng, S S . Chaibonniei. P. Using Robust Estimation Algol it bins foi Tiaeking Explicit Cmves 1 < Proi Europtan ConftuiKi on Coinpata Vision 2002 Vol I, pp 192 507.

81. Toyama,K , Blake.A. Piobabilistic Tracking 111 a Mctiic Spate Intunational Journal of Computer Vision. 2002 Vol 48, no 1. pp 9 19

82. Fieedman, D . Biandstem. M. S. Contom Tracking in Clnttei A Subset Ap pioadi Inte i national Journal of Compute t Vision 2000 Vol 38 no 2, pp 173 186

83. Fieedman, D. Biandstem, M. S. Piovably fast algorithms foi contoui hacking In Proe IEEE Computer Sextet}/ Cemferenee on Computet Vision etnel Pattern He e oepution 2000 Vol 1, pp 139 144.

84. Rabmei, L R A Tutonal on Hidden Maikov Models and Selected Applications m Speech Recognition / Ptoe IEEE 1989 Vol 77, no 2. pp 257 287

85. Meyei,F. Beuchei.S Moiphological Segmentation Journal of \ isuul Commuriie eitiem on Irrtaeie Re pre se ntation. 1990 Vol. 1. no 1, pp 21 10

86. Smith. P., Diuinmond,T , Cipolla, R Layeied Motion Segmentation and Depth Oicleinig by Tiackmg Edges , IEEE Tteins Pattern Analt/sis etnel Mae hint Intellieje nee 2004 Vol 21. no 1, pp. 179 191

87. Beitalmio,M . Sapno.G., Randall,G Moiphing active contoms IEEE Trans Pattern Anulijsis and Meiehine Inte llteje ne e 2000 Vol 22 no 7 pp.733 737

88. Roniaid.R Region based stiategics ioi active coutoni models hitiinu-tional Journal of Computer Visum 1991 Vol 13, 110 2, pp 229 251

89. Ayei S , Sawliney.il S. Layered Repicsentation of Motion Video lTsing Ro bust Maximum-Likelihood Estimation of Mixtine Models and MDL Encoding IEEE International Cemferenee in Computer Vision Cambiielge. USA 1995 pp.777 784

90. Black. M .1 . Anandan. P. The Robust Estimation of Multiple Motions- Paia-metiie and Piceewise-Smooth Flow Fields Computet Vision and lineup Utide tst(inelinej 199G Vol G3, no 1. pp 75 104

91. Mansomi, A R Region tlacking via level set PDEs without motion computation IEEE Ttuns Pattern Anah/sis and Mat Intu Intellieje tie e 20021. Vol 21, no 7, pp 917 9G1.

92. Gastaud,M . Piecioso, F . Bailaud, M. Aubeit.G .Debieuvc.E Fiom snakes to legion-based active contouis defined by legion-dependent paiaineteis Applad Optus, Spinal Issik on Mithods for Automata Taupt Hi i oipntioa2004 Vol 43. no.2, pp 247 25G

93. Kirn, W , Lee. ,J ,1 Visual Tiacking foi Moving Object by hivanant Active Contoui Model ' Intnnata)nal F(d( rata)ii of Automata Co/itiol. Spam. Baicelona July. 2002 Vol. 15

94. Galvm, B , Novms, K , McCane, 13 Motion-Based Segmentation Using A( tne Contouis Pioi Imaiji and Visain Compatnaj, Umveisity oi Auckland. New Zealand 1998 pp 316 351

95. Jiang. H . Diew, MSA Piechctive Contoui Ineitia Snake1 Model foi Geneial Video Tiackmg ' Inti i national Confiu n< i on Imaip Piotcssua) 20021. Vol 3, pp 413 116.

96. Sun.S, Kini,Y Video object segmentation using active contoui modeling with global iclaxation Einopian Pati nt Applaation, EP1061718A2 Decembei, 2000

97. Lee. M C. Gu,C Semantic object segmentation and tiackmg Uiutnl Stati s Pati nt, US 6 400 831 B2 June, 2002

98. Danell,T Detection of Image Coiiespondence Using Radial Cumulative Similaiity. Unitid Stati s Patint, US6343 150 B1 Januaiy. 2002

99. Y L Chang and Y T Lm Appaiatus and Method foi Tiackmg Defoimable Objects United States Patent, US5999651 Decenibei 1999

100. Su/uki,S Image Piocessmg Appautus and Method foi Detecting a Contoin of an Ob|(4t fioin linages of a Motion Pic tine and Extucting the Object theiefiom. Unitid State Pat nit, US597U75 Octobci, 1999

101. Goidon,N. Sahnond D, Smith.A. A novel appioach to non-hneai and non-Gaussian Bayesian state1 estimation. IEE Punt<dinqs-F 1993 Vol 140, pp 107 113

102. Isaid, M., Blake, A Condensation (onditional density piopagation foi visual tia< king. Int a national Join nal of Computi i Visum 1998 Vol 29 no 1 j)j) 5 28

103. Isaid, M , Blake, A. {condensation: Unifying low-level and high-level tucking in a stoc liasfie fiamewoik. ' Lutuu Notts in Computi i Siunu. 19981. Vol 1406. pp 893 908

104. Foxlin. E. Motion Tucking Reqiiiieinents and Technologies Chaptei 8 m Handbook of Viitual Envnonment Technology. Kay Staimey. Echtoi Lawience Eilbauni Associates 2002. (littp www lsense com company papeis')

105. Moitensen,E NT . Banett,W A Toboggan-Based Intelligent Scissois with a Foin Pauinetei Edge Model. , Pun. IEEE Computi i Vision and Path in Bt loqnitwn 1999 Vol II, pp 452 458

106. Hothet,C. Kolmogoiov. V , Blake, A GubCnt Inteuc tivc Foiegionnd Ex-tuction Using Iteiated Giaph Cuts ACM Tiansai turns on Ciapluts 2001 Vol 23, no.3, pp. 309 314.

107. Bilge, L . Ro/enholc, Y How many bins should be j)iit in a legnlai. histoguni

108. Etnopian S(7ks in Apphtd and Industrial Mafht niatii s (ESAIM) Piob-abditii and Statistiis 2006 Vol 10. pp 24 45