автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Математическое моделирование выделения признаков видеоизображения в реальном масштабе времени

На правах рукописи

Гнеушев Александр Николаевич

МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ ВЫДЕЛЕНИЯ ПРИЗНАКОВ ВИДЕОИЗОБРАЖЕНИЯ В РЕАЛЬНОМ МАСШТАБЕ ВРЕМЕНИ

Специальность 05.13.18 - "Математическое моделирование, численные методы и комплексы программ "

Автореферат диссертации на соискание ученой степени кандидата физико-математических наук

Москва-2005

Работа выполнена на кафедре интеллектуальных систем Московского физико-технического института (государственного университета)

Научный руководитель: доктор физ.- матем. наук, профессор

Цурков Владимир Иванович

Официальные оппоненты: доктор физ.- матем. наук, профессор

Столяров Лев Николаевич

кандидат технических наук, доцент Гостев Иван Михайлович

Ведущая организация:

Институт проблем управления РАН

Защита состоится "ЛЪ " СушЩрА. 2005 г. в ч. 30 мин. на заседании диссертационного совета К 212.156.02 при МФТИ в Московском физико-техническом институте по адресу: 141700, г. Долгопрудный, Моск. обл., Институтский пер., д. 9.

С диссертацией можно ознакомиться в библиотеке МФТИ.

Автореферат разослан

Ученый секретарь диссертационного со! кандидат физико-математических наук

¿ббзЬ

Общая характеристика работы

Актуальность темы.

Развитие вычислительной техники и увеличение количества обрабатываемой видеоинформации привело к необходимости создания различных распознающих систем. Одной из важнейших задач в этой области является разработка методов анализа реальных трехмерных сцен по видеоизображению в режиме реального масштаба времени. Такие системы помогают автоматизировать многие процессы, недоступные человеку по различным причинам, таким как большая длительность наблюдения (трудоемкость) или недоступность места наблюдения.

Ключевой проблемой в области распознающих систем является проблема обработки изображения с целью выделения, классификации объекта, определения его характеристик. Трудности, возникающие при разработке таких систем, прежде всего, связаны с многофакторностью реальных сцен, отсутствием единого подхода к подобным задачам, сложностью построения адекватных моделей механизмов зрения. В связи с этим на сегодняшний день существуют лишь множество частных решений конкретных задач, которые, тем не менее, очень востребованы и вносят свой вклад в создание моделей распознавания.

Формализация частной задачи анализа изображения сводится к построению модели рассматриваемого класса объектов при заданных условиях наблюдения. Специфика объектов определяет методы обработки изображения для выделения оптимально характеризующих их признаков. Множество объектов можно условно разделить на два класса: имеющие геометрически правильную структуру и естественные деформируемые объекты, имеющие сложную внутреннюю структуру на изображении. Первый класс объектов может быть описан путем задания контуров их областей, второй класс объектов описываются в терминах текстуры. Таким образом, в настоящий момент активно развиваются два основных подхода к построению моделей изображения объектов: на основе

контурных и текстурных признаков. Развитие данных подходов является весьма актуальным для создания современных систем компьютерного зрения.

Цель и задачи исследования.

Целью диссертации является разработка методов построения контурных и текстурных моделей изображения динамических объектов путем специальной его обработки с целью выделения признаков для последующей оценки структурных и динамических параметров моделей в реальном масштабе времени. Ставится задача построения контурной модели для изображения первого класса объектов и текстурной модели изображения для объектов второго класса. В контексте этих классов рассматривается задача анализа поведения объектов, в частности оценки линейной скорости их движения, слежения, локализации на изображении. Таким образом, задачи исследования состоят в следующем:

• разработка адаптивного метода выделения контурных признаков для объектов первого класса на основе градиентного подхода;

• построение контурной динамической модели для детектирования движущихся объектов на изображении и слежения за ними;

• разработка адаптивного метода выделения текстурных признаков для объектов второго класса на основе аппроксимации областей объекта на изображении;

• построение деформируемой текстурной модели на основе оптимизационного построения функционального базиса для представления в нем изображения объекта;

• разработка эффективного оптимизационного численного метода оценки параметров текстурной модели в режиме реального масштаба времени;

• экспериментальное исследование предложенных методов и алгоритмов.

Научная новизна

Предложена модель перепада интенсивности (кромки) на изображении для определения диапазона параметров градиентного фильтра (градиент функции

Гаусса) с целью его настройки на наилучшее выделение контурных признаков объектов. Данная модель позволяет теоретически оценить параметр, определяющий характерную ширину градиентных фильтров, таких как фильтр Canny. Предложена модификация текстурной модели на основе построения базиса функций Габора с помощью оптимизационного обучения на заданный класс объектов. Предложен метод, позволяющий эффективно оценивать параметры аффинной деформации текстурной модели с использованием нелинейной оптимизации. Оптимизация в пространстве и геометрической системе координат базиса увеличивает экономичность вычислений и допускает оценивание не только аффинных, но и нелинейных параметров деформации. К новым результатам можно отнести использование данной модели в системе иерархического описания сложных объектов (таких как лицо человека) для локализации его элементов, слежения за ними в режиме реального времени.

Методы исследования.

В работе используются численные методы, методы функционального анализа, теории обработки сигналов, теории распознавания образов, теории оптимизации.

Практическая ценность.

Разработанный градиентный метод на основе модели перепада интенсивности (кромки) может быть применен в задачах выделения контуров различных объектов на начальном этапе предобработки с целью их дальнейшей сегментации. Комплекс программ для оценки скорости движения объектов может быть использован как составная часть системы мониторинга дорог в режиме реального времени, который предназначен для задач сбора статистики по скоростям транспортного потока.

Деформируемая текстурная модель и основанные на ее использовании методы оценки параметров могут быть применены для устойчивого слежения за объектом со сложной структурой, оценки его ориентации и положения на изображении. Разработанные методы и алгоритмы иерархического выделения эле-

5

ментов объекта могут быть применены при работе с базами данных фотографий лиц. Также подход будет полезен в системах идентификации и верификации в задачах ограничения доступа, основанных на распознавании лица пользователя.

Апробация.

Представленные в диссертационной работе методы построения моделей и выделения признаков, их алгоритмическая реализация доложены на третьей научно-практической конференции Общества содействия развитию фотограмметрии и дистанционного зондирования "Современные проблемы фотограмметрии и дистанционного зондирования" (Москва, 11-12 апреля 2002 г.), на научной конференции ВЦ РАН "Математические модели сложных систем и междисциплинарные исследования" (Москва, 23-24 октября 2002 г.), а также на научных семинарах отдела сложных систем Вычислительного Центра РАН и кафедры интеллектуальных систем МФТИ.

Публикация основных результатов

Основные результаты работы изложены в 4 научных публикациях.

Структура и объем работы

Диссертация состоит из введения, пяти глав, заключения, списка использованных источников и приложения. Содержание работы изложено на 107 страницах. Список использованных источников включает 130 наименований.

Содержание диссертации

Во введении обосновывается тема диссертации, ее актуальность, сформулированы цель и задачи исследования, изложены полученные результаты и их практическая значимость.

В первой главе представлен обзор состояния методов распознавания изображений и подходы к построению моделей объектов, на основе выделения их признаков.

Задачу выделения объектов и последующего оценивания их параметров разделяют на несколько подзадач. Первая из них связана с представлением исходных данных, полученных как результаты измерений совокупности объектов на сцене. Вторая задача - задача предварительной обработки и выделения признаков объектов из исходных данных. Качество и количество признаков должно быть оптимально в смысле характеристики целевых объектов. Третья задача -задача обработки набора признаков для оценивания параметров объектов или классификации.

Большое множество объектов можно условно разделить на два класса. Первый класс объектов (таких как автомобили, строения, искусственные объекты) может быть описан путем задания контрастных границ относительно больших однородных областей на изображении. Границы этих областей характеризуют контурные признаки объектов и представляются на изображении как максимальные перепады интенсивности точек. В литературе предложено большое число методов выделения контурных признаков. Основная группа методов основана на применении дифференциальных операторов (градиентов и лапласианов). Другие методы основаны на сегментации областей. Например, пороговые методы построены на анализе гистограммы интенсивности изображения для определения яркостных порогов сегментации объектов. Метод сегментации по морфологическим водоразделам основаны на "топографической" интерпретации "рельефа" яркостей точек. Методы оптического потока выделяют фронт движения и фрагменты объекта на временной последовательности изображений.

Искажения различной физической природы на изображениях препятствуют качественному выделению контурных признаков. Они изменяют пространственно-частотные образы объектов, распределяя их признаки в достаточно широкой полосе пространственных частот. Поэтому наиболее эффективно применять выделяющие операторы в различных частотных диапазонах. Для решения этой задачи обычно используют функцию Гаусса. Ее, например, содержит

фильтр Canny. Функция Гаусса обладает оптимальной локализацией, как в про-

7

странственной, так и в частотной областях, позволяет эффективно настраивать дифференциальный оператор на различные частотные диапазоны. Однако выбор соответствующего частотного диапазона составляет отдельную задачу. В данной работе предлагается модель перепада интенсивности для ее решения.

Для характеристики второго класса объектов (таких как лица людей, природные объекты), имеющих сложную структуру своих областей, использование контурных признаков неэффективно. Для описания таких объектов их области аппроксимируют некоторым семейством функций. Наиболее часто используют преобразование Фурье, разложение Карунена-Лоова, различные семейства вейвлет-функций, нейросетевое представление. Отдельный класс составляют семейство функций Габора, удовлетворяющих условию допустимости вейвле-тов. Широко распространено применение набора фиксированных фильтров Га-бора для представления локальных участков изображения. Отклики фильтров представляют собой текстурные признаки объекта, ориентация фильтров и их положение характеризуют геометрические свойства. В последнее время развивается подход построения базиса функций Габора с помощью оптимизационных методов для аппроксимации целых областей изображения объекта, что позволяет уменьшить количество базисных функций по сравнению с применением фиксированных фильтров. Базис Габора определяет текстурную модель изображения объекта и обладает аффинными свойствами, которые могут быть использованы для описания деформации объектов. В данной работе предлагается метод построения модели изображения объекта и оценки параметров на основе оптимизации в функциональном пространстве и в геометрической системе координат базиса.

Во второй главе рассмотрены основные принципы построения градиентного фильтра с использованием функции Гаусса для выделения контурных признаков объектов на изображении.

Максимальные перепады интенсивности на изображении приводят к возникновению пика или впадины интенсивности, что эквивалентно пересечению

нулевого уровня второй производной. Таким образом, необходимо выполнение

равенства (2.1)

где * - операция свертки, Р(х, у) - функция интенсивности изображения от

пространственных координат (х,у)*, Оа(х,у) = -~^-уехрГ-(х2 + уг)/2<тг~\ .

2 ка -1

функция Гаусса, г - радиус-вектор по направлению градиента.

Градиентную фильтрацию будем производить в виде:

Рок (*) = - к(<г XV * Б) = (и,, п2 )т, (2.2)

где Роя(сг) - векторное поле с компонентами (и1(х,.у,£г)> Щ (х,у,ст)) в каждой точке (х,у): п1(х,у,а)=Оха*¥, п2(х,у,а-)=с1*¥, (2.3)

где О*(х,у) = -Щ±ОМуХ 01(х,у) = -ЩУоа(х,у) (2.4) <т <т

- операторы Х- и У-градиентов гауссиана соответственно. Выражение для

к(ст) получаем из следующего нормировочного условия

ЩГ\аут\хо.{х, у)<1х =1,

** -в О -а О

откуда следует, что к(<т) = (2.5)

Введем амплитуду А(х, у, а) и направление а(х,у,ст) вектора (дг, у, а)

А(х,у,а)=|Е0К(х,у,а)| = ^п11+п22, соза= , ? 2, = \ 7 г • (2-6)

у/Щ д/И, +«2

Из выражения (2.1) следует, что максимальные перепады интенсивности в точке (х,у) определяются максимумом амплитуды А(х,у,сг) в направлении а(х, у, а) (2.6). Для их нахождения выполняется свертка (2.3), в результате чего из выражения (2.6) находятся амплитуда А(х,у,сг) и угол а(х,у,ст) в каждой точке {х,у). Затем выполняется поиск локальных максимумов А т(х,у,сг) по

* Далее, для удобства координаты в аргументах функций будем опускать.

9

направлению, определяемому противоположивши октантами, одному из которых принадлежит угол а(х, у, а).

Параметр сг фильтров (2.4) задает их положение в частотной области: и = +1/сг и V -±1/а. Предложим процедуру определения диапазона <т для наилучшего выделения контурных признаков. Будем искать оптимальное значение параметра настройки фильтра сг в зависимости от поведения свертки (2.3) на границах выделяемых областей. Введем модель /^(х0,Ь,Р,,Р2) функции интенсивности Р(х) на участке двустороннего перепада (рис. 1).

Иякклнхт» р(х)

Г

1 1,

Р(х) =

О, х<0, х>х4, Р„ х<х0, х3 <х<х4, Р2, х0 < х < ж,, х2 < х <, *з,

Р} 9 Х^ 5а X Ху}

Ь

Ряс. 1

X, = 2х0, х2 =2х0+Ь, х3 = Зх0 +Ь, х4 = 4х0 + Ъ.

Параметр модели характеризует половину ширины перепада интенсивности. Параметр Ь определяет ширину полосы, на краях которой происходит перепад (линейные размеры областей, контур которых нужно выделить). Параметры Р[, Р2, Р3 задают значения интенсивности на разных участках перепада. Без ограничения общности выберем систему координат так, чтобы Р(*) определяла перепад в направлении оси ОХ. Тогда оператор О*, учетом (2.5) будет иметь вид: в* (х) = - х/ег2 ехр£-х2/2<х2 ^. Найдем свертку градиентного фильтра (2.2) с функцией Р(х) в точке максимума градиента х0:

Ср(х0,с7) = Р, - Р, + 2 Р1ехр[-х072о-2] - Р1ехр[-(х0 + Ь)2/2сг2] -

-(Р2-Р1)ехр[-(2х0 +Ь)72а2]-Р1ехр[-(Зх0 + Ь)'/2с2].

Вид функции Ор(х0,сг) для типичных значений параметров модели Рт на

изображениях приведен на рис. 2. Оптимальный параметр &ор, (Р„) (функция

10

(2.7)

от параметров модели /^(х0,6,Р,,Р2)) для точки х0 достигается при максимальном отклике ОР(х0,ст) фильтра как функции от ег:

® Ф (О=а^тахОр (х0,а).

Рис.2

Параметр может быть найден

вычислительными методами по формуле (2.7). Получим оценку <Уор, (Рт) в явном виде путем построения упрощенной модели

Рт[х0,Ь,?х) перепада интенсивности:

Р(х) =

0,х<0,ж>х2, Р3=2Р,, Р, =(Р2+Р1)/2, Р„ 0<х<х„ х, = 2х0, х2 = 2х0 + Ь,

Результат свертки градиентного фильтра с функцией Р(х) в точке х0 в^а) = 2Р,еЧ)[-х02/2а2]-2Р1ехр[-(лЬ+Ь)1/2а2]

и оптимальный параметр

ш-

(ь+х0)2-4

(2.8)

21П((Ь + х0)7Х02)'

Расчеты показали, что оценка стор1(Рт) хорошо согласуется с <тор1 ) в большом диапазоне вариаций х0, 6, Р!, Р2. Таким образом, из выражения (2.8) оценивается диапазон (сгт-т, сг^) параметров фильтра для наилучшего выделения контурных признаков объекта при заданных параметрах модели (*отш>&тш) и (*0тах Аа*) соответственно. Изменяя <х в диапазоне с стшш до Стпих в каждой точке, находим:

Ас{х,у,<гор, (*,;>>)) =

тах

А т(х,у,а);

где Ас {х,у,сгор,(х,уУ) - результирующее контурное изображение, стор1 (х,у) -оптимальный параметр фильтра для данной контурной точки. Полученное контурное изображение Ас (х,у) является исходным для последующей обработки.

11

Пример контурных изображений с бинаризацией по порогу среднего градиента показан на рис. 3 (слева направо: Рис.3

исходное изображение, Ас (д:,у), результат применения фильтров Собеля).

В третьей главе рассматривается задача анализа движения объектов на основе контурной модели, в частности задача оценивания по последовательности кадров, полученных со стационарной монокулярной видеокамеры, линейной скорости автомобилей, движущихся по отрезку автомагистрали. Оценивается вектор линейной скорости -V*, среднеквадратичное отклонение -б|у*|, средняя скорость потока - , где к - номер объекта.

Для описания объектов используются выделенные контурные признаки. Так как в область движущихся объектов на изображении попадают статичные элементы фона, производится их фильтрация путем получения усредненного контурного изображения (оценка фона) и вычитания его из каждого последующего контурного изображения видео последовательности (рис 4). Рис- *

Для детектирования объектов задается область (полоса) первичного оценивания (рис. 5) (в верхней части изображения, так как автомобили двигаются на камеру). Разобьем контурное изображение Аг (х,у) в полосе оценивания на фрагменты. Фрагменты, принадлежащие одному объекту, образуют кластеры в процессе движения, которые находятся по принципу максиминного расстояния. Расстояния для алгоритма кластеризации рассчитываются в 4-мерном пространстве координат-сдвигов фрагментов в системе координат (с.к.) изображения

11/2

"О +(5/т-5гл) +(5/т-5/„)

12

где т,п- номера фрагментов; /,_/' - координаты их центров; 81,5} - сдвиги фрагментов между кадрами, найденные из условия максимальной корреляции с последующим контурным изображением.

Если расстояние между центрами кластеров меньше половины типичной ширины объекта, то они объединяются в новый кластер. Затем устанавливается соответствие между кластерами на данном кадре и выделенными на предыдущих путем поиска максимальной площади перекрытия. По соответственным кластерам определяется область объекта (рис. 5) и его скорость (в с.к. дороги). Оцененные параметры являются исходными для процесса слежения.

Для связи с.к. дороги с с.к. изображения используется перспективное преобразование. Оно определяется следующими параметрами: с1 - фокусное расстояние камеры, А - высота камеры над дорогой, а - угол между вертикалью и оптической осью камеры, ах - угол обзора камеры по горизонтали, аг - угол обзора камеры по вертикали, РУ - ширина изображения, Я - высота изображения.

Выделенные контурные признаки можно аппроксимировать линейными отрезками. Их фрагменты находятся с помощью рекуррентной процедуры, прослеживающей соседние контурные точки в направлении, перпендикулярном градиенту (2.6), и формирующей из них связные цепочки. По полученным цепочкам находятся среднеквадратичные отрезки прямых (сегменты), их ориентация, конечные точки, дисперсия этих параметров. Для параметризации сегментов используется следующее представление, уменьшающее взаимную корреляцию параметров: Х = (сх,су,0,1} , (3.1) где сх =(х, + хг)/2, су=(у,+у2)/2 - середина сегмента, (х,,^) и (х2,у2) - его

конечные точки, в = агс1ап ((>>2 - )/(х2 - дг,)) и / = у](х2 - х, )2 + (уг - у{ )2 - его ориентация и длина соответственно. Ковариационная матрица параметров (3.1):

сое26 + сг*8т2 6^2 ((^-^)зю9с05е)/2 0 0 ' ((^-сг|)8твсо89)/2 (о-'соз29+СТ||5ш2е)/2 О О О О 2 о-ЦР О

О 0 0 2стг

(3.2)

где (Гц задает неопределенность в позиции конечных точек вдоль сегмента, задает неопределенность расположения сегмента в перпендикулярном положении.

Каждый объект в своей области характеризуется совокупностью контурных сегментов, таким образом, определим его модель множеством:

где \к- параметры (3.1) сегмента к во множестве, К-количество сегментов. На начальном кадре «о слежения (после выхода из полосы оценивания)

строится модель Саг'(7 () (где ?„ - дискретное время и-ого кадра, г -номер

"о

объекта) в области / -того кластера. Для текущего момента времени tn > ^ на

основе оценки скорости V'(/„_[) и описания объекта Саг' (*п_,) с предыдущего кадра предсказываются параметры контурных сегментов модели:

Саг^АО = Т"1 (Р(Т(Сяг'(^)), У'алЧ))),

где Б - линейный закон движения, Т - функция преобразования контурных сегментов модели из с.к. изображения в с.к. дороги, Т"1 - функция преобразования модели из с.к. дороги в с.к. изображения.

Далее выделяется множество контурных сегментов М'(?„) в области /, которая задается с помощью поиска крайних сегментов из Саг'рге(1Цп):

Затем находятся соответственные сегменты множеств Саги М'(/л) по критерию минимума расстояния Махаланобиса:

=(хт-хл)т (л, + л,)-1 (х и-X п)т,

где Хт, Х„ - вектора параметров (3.1) двух сравниваемых сегментов с номерами «и и, Ат, Д, - их ковариационные матрицы (3.2).

Совпадающими считаем те сегменты, расстояние Махал анобиса между которыми меньше некоторого порога <ЛМ. Таким образом:

где 6ЧО - множество контурных сегментов из Л/'(<п), совпадающих с сегментами из СдГр„йОп), й - расстояние Махаланобиса.

с сегментов

Далее рассчитываются межкадровые смещения соответственных ( из множеств Q' (tn) и Car'{tn_,) в с. к. дороги. Смещения сегментов усредняется по множеству Q' (t„) для получения вектора SI1 (i„) смещения объекта г для

тйпп va п«чп flva гттглтл »тг ттл m лтч* rvmt гтлтл ew V fm/чттттдттттг ГА AttAinm ггттлшша

текущего кадра ских параметров объекта:

I. Окончательно, формируются уточненные оценки динамиче-в объекта:

\ / где «о" номер первого кадра оценивания для г -ого объекта, п - номер текущего кадра, С(/л)- общее количество объектов, прошедших за п кадров, /ря-частота кадров.

Новое описание объекта для текущего кадра получаем объединением: Саг' (0 = М- (ОиСаг^ ,

где ^ (Л) - время, в течение которого происходило совпадение сегмента к из

множества Саг'ргЫ{1„) в процессе движения объекта, Тт - пороговое значение.

15

Таким образом, редко совпадающие (шумовые) сегменты отбрасываются. Новая оценка области объекта производится по множеству Саг'(/Л) путем определения крайних контурных сегментов.

U» (Ш

67.85 ± 0.24 км/ч

«.n an 65.75 ±0.17 км/ч

61.76 ±0.16 км/ч

ШИ =11?

65.61 ±0.12 км/ч

Рис. 6

На основе рассмотренных методов реализован программный комплекс. Результаты экспериментов с реальными видеоданными (рис. 6) показали, что использование контурных признаков для нахождения межкадровых сдвигов объектов дает оценку их скорости с приемлемой точностью без введения каких-либо сложных моделей формы. Система показала точность оценки скорости автомобилей порядка ±0.1-0.3 км/ч. Скорость обработки на Pentium III - 800 MHz составляет 28 - 30 кадров в секунду.

В четвертой главе рассматривается задача построения текстурно-геометрической модели изображения объекта, со сложной структурой. Развивается подход построения модели с помощью аппроксимации участков изображения линейной комбинацией базисных функций Габора (Gabor Wavelet Network - GWN). В качестве базисной функции используется нечетная функция

Габора в виде: у/„{х,у)-

гехр

с параметрами в, :

с ограничениями:

(1-е" W

х„ = (x~,ToJcos0, +[>>~y0Jsin3, 0.1 < sx< 1 и 0.5 < r<2,

sin(si(*n),

(4.1)

(4.2)

Функция вида (4.1) с ограничениями (4.2) находится из общей функции Габора путем определения ее параметров для получения семейства вейвлетов, лежащих в первой октаве. Пусть /{х,у) - функция изображения, будем искать

N _

ее представление в виде ряда: = + (4.3)

где - веса разложения по базисным функциям с вектором параметров

п,, N - число базисных функций, / - среднее значение функции /(х,>>).

Далее будем считать, что функция /(х, у) имеет нулевое среднее. Выражение (4.3) представим в векторной форме, при | , \у = (м'1,...,и'л.)г

/{х,у)=Г*.

При заданном векторе вектор весов разложения w находится путем проецирования изображения на систему базисных функций |уп( | 1

* = С",'(/,*) , (4.4)

где (.,.) - операция скалярного произведения, = - матрица

Грама, составленная из скалярных произведений базисных функций, (/, ^ ^ ({•/'> - вектор, каждый элемент которого есть скалярное

произведение изображения с соответствующим базовым вектором ^.

Вектор весов w определяет текстурно-яркостные характеристики объекта, а вектор базисных функций ¥ характеризует геометрические свойства текстуры. Таким образом, модель изображения объекта определим множеством:

очга^,**,?}^, (4.5)

где ¥ - вектор базисных функций Габора, аппроксимирующий с вектором весов у*к изображение объекта к\ К - количество образов объектов, содержащие-

ся в модели; Р = {(х,у\,..,(х,у)м У- геометрический вектор М ключевых точек объекта, связанный с моделью и задающий его пространственную структуру.

Для получения модели (4.5) производится обучение, состоящее в нахождении параметров п, базисных функций и весов разложения w*, оптимально аппроксимирующих обучающую выборку изображений объектов:

к II N

ц

. А=11

£=argmin

п • н^ 0.1<Sx<'l! й.%<у<1

ШМ-^Гш^у*

где fk (х, у) - изображение объекта к из обучающей выборки, приведенное к заданному масштабу модели, К- общее количество изображений объекта в обучающей выборке, w* - вектор весов разложения изображения fk (х.у) по базису. Минимизация производится с помощью итеративного градиентного метода Trust Region. На рис. 7

представлены восстанов- <9 к ,«&„

м» тВгД -*• ям м ш

ленные по формуле (4.3)

изображения лиц при обу- Рис ?

чении GWN модели с 16, 52 и 116 (слева направо) функциями Габора, крайнее правое лицо является исходным для обучения.

Модель GWN обладает аффинными степенями свободы, что позволяет на основе единого базиса порождать аффинное семейство GWN-образов для аппроксимации геометрически деформируемых объектов одного класса: ▼тъ=Тх.{*}, TTa(^) = ^(SR(X-C)),

s =

TSX TS, 0 TS,

, R =

у

аоъТв -sinТв

, C = (TCx,TCyf,

те со%тв

Х = (х,у)т Да = {ТСх,ТСу,Т8х,ТБу,Т5ху,Тв)Т,

где Тт. - аффинное преобразование с параметрами Та, отображающее с.к. изображения в с.к. GWN модели.

Локализация объекта с помощью GWN модели (4.5) может быть получена путем оптимизации трансформируемого базиса на изображении относительно параметров Та. Будем производить оптимизацию, проецируя изображение в про-страстранство и с.к. базиса. Пусть /{х,у) - изображение, содержащее целевой объект, тогда для нахождения преобразования Тт, производится минимизация, которая представляется с учетом (4.4) в виде:

£ = argminp -Gy (т£ (/(х)), ¥(х )>||_, (4.6)

Та к Or

где От - множество допустимых векторов Та, задающее ограничения на преобразование (такие как диапазон масштабирования, углы ориентации и т.д.), w* - весовой вектор образа к, представленный в модели. Оптимизация (4.6) осуществляется по норме ||w - (где w и v - вектора в пространстве GWN-базиса), которая определяется следующим образом:

Н**°> HI?*0'

1, Ит = 0или Н„ = 0, (4.7)

Н1т = 0 и 1М|т = о,

2 II N N f T

где норма IIw-vIIt=: Ew'^ "Е^« =(w-v) Gt(w-v).

II I-1 1 f_1 J I _

||W-Vif =

'=1 >1

112

Из(4.7)следует,что|К-у||2% = 2-2-г=^£^_, Нт*0, |М|Т*0.

■у/те

Таким образом, минимизация (4.6) по норме (4.7) эквивалентна максимизации нормированного коэффициента корреляции весовых векторов изображения и образа в модели. Использование нормы (4.7) повышает устойчивость локализации объекта относительно мультипликативного изменения контрастности изображения. Для инициализации итеративного процесса (4.6) задается начальное приближение вектора Та путем определения начального аффинного преобразования точек на изображении в соответствующие точки модели.

Возможность оптимизации (4.6) итеративным градиентным методом Trust Region в с.к. модели достигается за счет того, что в якобианах функций по

параметрам Та, вследствие обратимости преобразования TTl, производится замена с.к. изображения на с.к. модели. Заметим, что вместо аффинного преобразования Тт. в (4.6) возможно использование нелинейного преобразования изображения.

В пятой главе рассматривается задача выделения элементов объекта и слежения за ними на основе оптимизации текстурно-геометрических GWN моделей, иерархически представляющие области объекта на изображении. Объект в целом и каждый его элемент определяется своей GWN моделью. На первом уровне иерархии ищется наилучшее соответствие образа модели всего объекта изображению. Первоначальная оценка параметров 1яоЬ; аффинного преобразования модели может быть получена на основе грубо оцененных координат его опорных точек (например, глаз для лица) с помощью какого-либо детектора. На втором этапе производится поиск каждого элемента объекта, путем оптимизации (4.6) по параметрам Та s""ure. Для первоначальной оценки Та7"""" используется вектор Р,^ =Т~^obJ (P°iy), полученный на уровне поиска объекта в целом. Итоговый вектор характерных точек элемента объекта находятся из выражения: = ly[flalwl (Р/к№£).

На основе представленного подхода реализован комплекс программ для слежения за лицом, выделения его элементов, и проведены эксперименты (рис. 8), в которых использовались: GWN-модель лица размером 48x50, содержащий 70 функций Габора, обученных по 200 изображениям лиц; GWN-модели левого и правого глаза, каждый размером 48x30, с 52 функциями Габора, обученных по 200 изображениям; GWN-модели

20

Рве. 8

открытого и закрытого рта, каждый размером 48x33, с 52 функциями Габора, обученных по 100 изображениям. На PIV 2.8 GHz иерархическое определение положения элементов лица занимала 0.03-0.12 секунды, в зависимости от начального приближения в (4.6). В среднем для минимизации требовалось 3-10 итераций при 1-3 мсек. на итерацию. Надежность локализации оценивалась по базе из 500 изображений лиц и составила порядка 0.95 при максимальном отклонении найденной опорной точки элемента лица не более чем на 10% .

Рассматриваемый подход был применен для задач слежения за лицом. Для этого на каждом последующем кадре для минимизации (4.6) в виде начального приближения задавался вектор ТаоУ, оцененный на предыдущем кадре. В целом для лица при около фронтальных движениях слежение производилось стабильно в режиме реального времени при 30 кадрах в сек. на PIV 2.8 GHz.

В Заключении формулируются основные результаты работы.

Приложение содержит описание метода Trust Region в контексте оптимизации GWN модели.

Основные результаты работы

1. Для объектов, имеющих на изображении геометрически простую структуру, которая описывается границами областей, развит адаптивный метод выделения контурных признаков на основе градиента функции Гаусса. Построена математическая модель перепада интенсивности (кромки) для определения диапазона дисперсии гауссиана с целью наилучшего выделения признаков. Модель позволяет дать теоретическую оценку параметра, определяющего характерную ширину таких градиентных фильтров, как фильтр Canny.

2. Предложена контурная динамическая модель изображения движущихся объектов для анализа их поведения, в частности оценивания их линейной скорости с учетом перспективной проекции видимой сцены. Создан комплекс программ, моделирующий процесс оценивания скорости автомобилей в режиме реального времени.

3. Для объектов, имеющих на изображении сложную структуру, которая описывается текстурными признаками, усовершенствован метод построения деформируемой текстурной модели на основе оптимизационного получения базиса функций Габора путем его обучения на множестве изображений объектов заданного класса.

4. Разработан численный метод оценивания параметров текстурной модели путем ее оптимизации в собственной системе координат методом Trust Region.

5. Предложена текстурная модель, иерархически представляющая области объекта на изображении. Создан комплекс программ, использующий данную модель для оценки локализации элементов лица (таких как глаза, нос и рот) и слежения за ними в режиме реального времени.

Публикации по теме диссертации

1. Гнеушев А.Н. Локализация элементов лица путем оптимизации разложения изображения по базисным функциям Габора. // Теоретические и прикладные задачи нелинейного анализа. - М.: ВЦ РАН, 2005. - с. 185-196.

2. Гнеушев А.Н., Мурынин А.Б. Адаптивный градиентный метод выделения контурных признаков объектов на изображениях реальных сцен. // Известия Академии Наук. Теория и системы управления. - 2003. - № 6. - с. 128135.

3. Гнеушев А.Н., Мурынин А.Б. Широкополосный градиентный метод выделения контурных признаков объектов на неравномерно контрастных изображениях. // Тезисы докладов научной конференции "Математические модели сложных систем и междисциплинарные исследования". - М.: ВЦ РАН, 2002.-с. 44.

4. Гнеушев А.Н. Система для оценки скорости транспортных средств по контурным признакам в режиме реального времени. II Известия Академии Наук. Теория и системы управления. - 2005. - № l.-c. 133-143.

Напечатано с готового оригинал-макета

Издательство ООО "МАКС Пресс" Лицензия ИД N 00510 от 01.12.99 г. Подписано к печати 21.11.2005 г. Формат 60x90 1/16. Усл.печ.л. 1,5. Тираж 100 экз. Заказ 799. Тел. 939-3890. Тел./факс 939-3891. 119992, ГСП-2, Москва, Ленинские горы, МГУ им. М.В. Ломоносова, 2-й учебный корпус, 627 к.

РНБ Русский фонд

2006-4 26634

;

ВВЕДЕНИЕ.

ГЛАВА 1. ОСНОВНЫЕ ПОДХОДЫ К ОПИСАНИЮ ИЗОБРАЖЕНИЯ ОБЪЕКТОВ В СИСТЕМАХ ИСКУССТВЕННОГО ЗРЕНИЯ.

1.1 Построение признакового пространства на основе моделей изображения.

1.2 Описание изображения объекта на основе контурных признаков.

1.3 Описание изображения объекта на основе текстурных признаков.

Выводы к Главе 1.

ГЛАВА 2. ВЫДЕЛЕНИЕ КОНТУРНЫХ ПРИЗНАКОВ ИЗОБРАЖЕНИЯ С ИСПОЛЬЗОВАНИЕМ ГРАДИЕНТНОГО ПОДХОДА.

2.1 Принципы построения градиентного фильтра для выделения контурных признаков.

2.2 Модель перепада интенсивности для адаптивной настройки градиентного фильтра.

2.3 Результаты адаптивной градиентной фильтрации.

Выводы к Главе 2.

ГЛАВА 3. КОНТУРНАЯ МОДЕЛЬ ДЛЯ ОЦЕНКИ СКОРОСТИ ДВИЖУЩИХСЯ ОБЪЕКТОВ.

3.1 Постановка задачи оценивания скорости объектов.

3.2 Модель перспективного преобразования систем координат.

3.3 Выделение контурных признаков объектов.

3.4 Локализация объектов и начальная оценка параметров.

3.5 Контурная модель объекта.

3.6 Модель слежения и уточнения оценки параметров.

3.7 Система оценки скорости движения автомобилей.

Выводы к Главе 3.

ГЛАВА 4. ТЕКСТУРНО-ГЕОМЕТРИЧЕСКАЯ МОДЕЛЬ ИЗОБРАЖЕНИЯ ОБЪЕКТОВ.

4.1 Представление изображения в базисе функций Табора.

4.2 Построение GWN модели объекта путем обучения.

4.3 Оценка параметров объекта путем оптимизации GWN модели.

Выводы к Главе 4.

ГЛАВА 5. ИЕРАРХИЧЕСКОЕ ОПИСАНИЕ ОБЪЕКТА НА ОСНОВЕ ТЕКСТУРНО-ГЕОМЕТРИЧЕСКОЙ МОДЕЛИ.

5.1 Использование GWN модели для иерархического описания изображения объекта.

5.2 Система для оценки характеристик лица и слежения.

Выводы к Главе 5.

ВЫВОДЫ К ДИССЕРТАЦИИ.

Развитие вычислительной техники и увеличение количества обрабатываемой видеоинформации привело к необходимости создания различных распознающих систем. Одной из важнейших задач в этой области является разработка методов анализа реальных трехмерных сцен по видеоизображению в режиме реального масштаба времени. Такие системы помогают автоматизировать многие процессы, недоступные человеку по различным причинам, таким как большая длительность наблюдения (трудоемкость) или недоступность места наблюдения.

Ключевой проблемой в области распознающих систем является проблема обработки изображения с целью выделения объекта, определения его характеристик. Трудности, возникающие при разработке таких систем, прежде всего, связаны с многофакторностью реальных сцен, отсутствием единого подхода к подобным задачам. Часто также на распознающие системы накладывается ограничение к ресурсоемкости для работы в режиме реального времени. Однако нервная система человека и животных, обладающих зрением, успешно справляется со многими задачами зрительного восприятия, поэтому изучение механизмов зрения является направляющим процессом для построения эффективных моделей понимания изображений. Проблема состоит в том, что в силу огромной сложности природных механизмов, о них имеются лишь косвенные данные. По этой причине применение тех или иных физиологических моделей часто имеет только биологическое обоснование и с точки зрения адекватности решения о них ничего сказать нельзя. В связи с этим на сегодняшний день существуют лишь множество частных решений конкретных задач, которые, тем не менее, очень востребованы и вносят свой вклад в создание моделей распознавания.

Формализация частной задачи анализа изображения сводится к построению модели рассматриваемого класса объектов при заданных условиях наблюдения. Специфика объектов определяет методы обработки изображения для выделения оптимально характеризующих их признаков. Множество объектов можно условно разделить на два класса: имеющие геометрически правильную структуру и естественные деформируемые объекты, имеющие сложную внутреннюю структуру на изображении. Первый класс объектов может быть описан путем задания контуров их областей, второй класс объектов описываются в терминах текстуры. Таким образом, в настоящий момент активно развиваются два основных подхода к построению моделей изображения объектов: на основе контурных и текстурных признаков. Развитие данных подходов является весьма актуальным для создания современных систем компьютерного зрения.

Целью диссертации является разработка методов построения контурных и текстурных моделей изображения динамических объектов путем специальной его обработки с целью выделения признаков для последующей оценки структурных и динамических параметров моделей в реальном масштабе времени. Ставится задача построения контурной модели для изображения первого класса объектов и текстурной модели изображения для объектов второго класса. В контексте этих классов рассматривается задача анализа поведения объектов, в частности оценки линейной скорости их движения, слежения, локализации на изображении. Таким образом, задачи исследования состоят в следующем:

• разработка адаптивного метода выделения контурных признаков для объектов первого класса на основе градиентного подхода;

• построение контурной динамической модели для детектирования движущихся объектов на изображении и слежения за ними;

• разработка адаптивного метода выделения текстурных признаков для объектов второго класса на основе аппроксимации областей объекта на изображении;

• построение деформируемой текстурной модели на основе оптимизационного построения функционального базиса для представления в нем изображения объекта;

• разработка эффективного оптимизационного численного метода оценки параметров текстурной модели в режиме реального масштаба времени;

• экспериментальное исследование предложенных методов и алгоритмов.

В результате проведенных исследований предложена модель перепада интенсивности (кромки) на изображении для определения диапазона параметров градиентного фильтра (градиент функции Гаусса) с целью его настройки на наилучшее выделение контурных признаков объектов. Данная модель позволяет теоретически оценить параметр, определяющий характерную ширину градиентных фильтров, таких как фильтр Canny. На основе выделения контурных признаков, реализована контурная модель динамического объекта для оценки скорости его движения. Предложена модификация текстурной модели на основе оптимизационного построения базиса функций Габора с помощью обучения на заданный класс объектов. Разработан метод, позволяющий эффективно оценивать параметры аффинной деформации текстурной модели путем нелинейной оптимизации с учетом всех образов из обучающей выборки. Используется норма, увеличивающая устойчивость к неравномерной освещенности объекта на изображении. Оптимизация в пространстве и геометрической системе координат базиса увеличивает экономичность вычислений и потенциально допускает оценку не только аффинных, но и нелинейных параметров деформации модели, что позволяет описывать как более широкий класс объектов 6 с помощью одной модели, так и учитывать нелинейные изменения внутренней структуры объекта. К новым результатам также можно отнести использование данной текстурной модели в системе иерархического описания сложных объектов (таких как лицо человека) для локализации его элементов, слежения за ними в режиме реального времени.

Разработанный градиентный метод на основе модели перепада интенсивности (кромки) может быть применен в задачах выделения контуров различных объектов на начальном этапе предобработки с целью их дальнейшей сегментации. Комплекс программ для оценки скорости движения объектов может быть использован как составная часть системы мониторинга дорог в режиме реального времени, который предназначен для задач сбора статистики по скоростям транспортного потока.

Деформируемая текстурная модель и основанные на ее использовании методы оценки параметров могут быть применены для устойчивого слежения за объектом со сложной структурой, оценки его ориентации и положения на изображении. Разработанные методы и алгоритмы иерархического выделения элементов объекта могут быть применены при работе с базами данных фотографий лиц. Также подход будет полезен в системах идентификации и верификации в задачах ограничения доступа, основанных на распознавании лица пользователя.

Представленные в диссертационной работе методы построения моделей и выделения признаков, их алгоритмическая реализация изложены в 4 научных публикациях [2,3,4,5] и доложены на третьей научно-практической конференции Общества содействия развитию фотограмметрии и дистанционного зондирования "Современные проблемы фотограмметрии и дистанционного зондирования" (Москва, 11-12 апреля 2002 г.), на научной конференции ВЦ РАН "Математические модели сложных систем и междисциплинарные исследования" (Москва, 23-24 октября 2002 г.), а также на научных семинарах отдела сложных систем Вычислительного Центра РАН и кафедры интеллектуальных систем МФТИ.

Диссертация состоит из введения, пяти глав, заключения, списка использованных источников и приложения. Содержание работы изложено на 107 страницах. Список использованных источников включает 130 наименований.

Выводы к диссертации

1. Для объектов, имеющих на изображении геометрически простую структуру, которая описывается границами областей, развит адаптивный метод выделения контурных признаков на основе градиента функции Гаусса. Построена математическая модель перепада интенсивности (кромки) для определения диапазона дисперсии гауссиана с целью наилучшего выделения признаков. Модель позволяет дать теоретическую оценку параметра, определяющего масштабный уровень изображения, для эффективного применения таких градиентных фильтров, как фильтр Canny.

2. Предложена контурная динамическая модель изображения движущихся объектов для анализа их поведения, в частности оценивания их линейной скорости с учетом перспективной проекции видимой сцены. Создан комплекс программ, моделирующий процесс оценивания скорости автомобилей в режиме реального времени.

3. Для объектов, имеющих на изображении сложную структуру, которая описывается текстурными признаками, усовершенствован метод построения деформируемой текстурной модели на основе оптимизационного получения базиса функций Габора путем его обучения на множестве изображений объектов заданного класса.

4. Разработан численный метод оценивания параметров текстурной модели путем ее оптимизации в собственной системе координат методом доверительных областей (Trust Region).

5. Создан комплекс программ слежения за объектом на основе текстурной модели в режиме реального времени. Предложена текстурная модель, иерархически представляющая области объекта на изображении. Создан комплекс программ, использующий данную модель для оценки локализации элементов объекта.

89

1. Александров В.В., Горский Н.Д. Представление и обработка изображений. Рекурсивный подход. М.: Наука, 1985.

2. Гнеушев А.Н. Локализация элементов лица путем оптимизации разложения изображения по базисным функциям Габора//Теоретические и прикладные задачи нелинейного анализа. М.: ВЦ РАН, 2005. - с. 185-196.

3. Гнеушев А.Н., Мурынин А.Б. Адаптивный градиентный метод выделения контурных признаков объектов на изображениях реальных сцен // Известия Академии Наук. Теория и Системы Управления. 2003. -№6.-с. 128-135.

4. Гнеушев А.Н. Система для оценки скорости транспортных средств по контурным признакам в режиме реального времени // Известия Академии Наук. Теория и системы управления. 2005. - № 1. - с. 133-143.

5. Дженкинс Г., Ватте Д. Спектральный анализ и его приложения: Пер. с англ. / под. ред. В. Ф. Писаренко. М.: Мир, 1971.

6. Добеши И. Десять лекций по вейвлетам: Пер. с англ. Москва-Ижевск: НИЦ "Регулярная и хаотическая динамика", 2004.

7. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2005.-1072 с.

8. Ежов А.А., Шумский С.А. Нейрокомпьютинг и его приложение в экономике и бизнесе. М.: МИФИ, 1998.

9. Журавлев Ю. И., Гуревич И. Б. Распознавание образов и распознавание изображений // Распознавание, классификация, прогноз. — 1989. — Т. 2. -с. 5-73.

10. Журавлев Ю. И. Об алгебраических методах в задачах распознавания и классификации // Распознавание, классификация, прогноз. 1988. — Т. 1.-с. 9-16.

11. Зинин A.M., Кирсанова JI.3. Криминалистическая фотопортретная экспертиза. М.: МВД СССР, 1991.

12. Ичас М. О природе живого: механизмы и смысл: Пер. с англ. — М.: Мир, 1994.

13. Марр Д. Зрение. Информационный подход к изучению представления и обработки зрительных образов: Пер. с англ. — М.: Радио и связь, 1987.

14. Олдендерфер М.С., Блэшфилд Р.К. Кластерный анализ. М.: Финансы и статистика, 1989.

15. Полевой Н.С. Криминалистическая кибернетика. -М.: МГУ, 1982.

16. Прэтт У. Цифровая обработка изображений: Пер с англ. М.: Мир, 1982.

17. Распознавание образов: Пер. с англ. / под ред. П. Колере, И. Иден. -М.: Мир, 1970.

18. Репин В.Г., Тартаковский Г.П. Статистический синтез при априорной неопределенности и адаптация информационных систем. — М.: Сов. Радио, 1977.

19. Роуз С. Устройство памяти. От молекул к сознанию: Пер. с англ. — М.: Мир, 1995.

20. Ту Дж., Гонсалес Р. Принципы распознавания образов: Пер. с англ. — М.: Мир, 1978.

21. Форсайт Д., Понс Ж. Компьютерное зрение. Современный подход. -Москва Санкт-Петербург - Киев: Вильяме, 2004.

22. Френке JI. Теория сигналов: Пер. с англ. / под ред. Д. Е. Вакмана. — М.: Сов. радио, 1974. 344 с.

23. Фукунага К. Введение в статистическую теорию распознавания образов: Пер. с англ. — М.: Наука, 1979.

24. Хуанг Т.С. и др. Быстрые алгоритмы в цифровой обработке изображений: Пер с англ. — М.: Радио и связь, 1984.

25. Хьюбел Д. Глаз, мозг, зрение: Пер с англ. М.: Мир, 1990.

26. Цыпкин Я.З. Информационныя теория идентификации. — М.: Наука, Физматлит, 1995.

27. Чуй Ч. Введение в вейвлеты: Пер. с англ. — М.: Мир, 2001. — 412 с.

28. Яншин В.В. Анализ и обработка изображений: принципы и алгоритмы. — М.: Машиностроение, 1994.

29. Ярославский Л.П. Введение в цифровую обработку изображений. — М.: Сов. радио, 1979.

30. Akamatsu S., Sasaki Т., Fukamachi Н., Masui N., Suenaga Y. An accurate and robust face identification scheme // Proc. Int. Conf. Pattern Recognition. 1992. - Vol. 2, P. 217-220.

31. Amit Y. 2D object detection and recognition: models, algorithms, and networks. Massachusetts: MIT Press, 2002.

32. Artificial Neural Networks: Concepts and Theory. IEEE Computer Society Press, 1992.

33. Baron R.J. Mechanisms of human facial recognition // Int. J. of Man Machine Studies.-1981.-Vol. 15.-P. 137-178.

34. Ballard D. M., Brown С. M. Computer vision / Englewood Cliffs. N.J: Prentice-Hall, 1982.

35. Bergholm F. Edge focusing // IEEE Trans. Pattern Analysis and Machine Intel1. 1987. - Vol. 6, № 9. - P. 726-741.

36. Bischel M. Strategies of Robust Object Recognition for the Automatic Identification of human faces: PhD thesis. 1991.

37. Boyer K.L., Sarkar S. On optimal infnite impulse response edge detection // IEEE Trans. Pattern Analysis and Machine Intell. 1991. - Vol. 11, № 13. -P. 1154-1171.

38. Brindley G.S. Physiology of the retina and visual pathway: Physiological Society Monograph. London: Edwin Arnold, 1970. - № 6.

39. Brunelli R., Poggio T. Face recognition: features versus templates // IEEE PAMI.- 1993.-Vol 15, №10.

40. Burt PJ. Multiresolution techniques for image representation, analysis, and 'smart' transmission // SPIE. 1993. - Vol. 1199. - P. 2-15.

41. Byrd R., Schnabel R.B., Shultz G.A. A trust region algorithm for nonlinearly constrained optimization // SIAM J. Numer. Anal. 1987. - № 24.

42. Camus T. Real-Time Quantized Optical Flow // Journal of Real-Time Imaging. 1997.-Vol. 3.

43. Canny J.E. A computational approach to edge detection // IEEE PAMI. — 1985. Vol. 8, № 6. - P. 679-698.

44. Chen C.W., Huang C.-L. Human face recognition from a single front view // IEEE PAMI. 1992. - Vol. 6, № 4. - P. 571-593.

45. Cootes Т., Edwards G., Taylor C. Active appearance models // IEEE Transactions on Pattern Analysis and Machinelntelligence. 2001. — Vol. 6,№23. -P. 681-685.

46. Craw I., Cameron P. Face recognition by computer // Proc. British Machine Vision Conference. 1991. - P. 367-370.

47. Dalla M., Brunelli R. On the use of Karhunen-Loeve expansion for face recognition: Technical Report 92906-04,1.R.S.T. 1992.

48. Deriche R., Faugeras O. Tracking Line Segments // Image and Vision Computing. 1990. - Vol. 8, № 4.

49. Deriche R. Using Canny's criteria to derive a recursively implemented optimal edge detector // Int. J. Computer vision. — 1987. Vol. 1, № 2.

50. Daugman J. Complete discrete 2D Gabor transform by neural networks for image analysis and compression // IEEE Trans. Acoustics, Speech, and Signal Processing. 1988. - Vol. 36, № 7. - P. 1169-1179.

51. Evance R. Kalman filtrating of pose estimates in applications of the rapid video rate tracker // Proc. Brit. Mach. Vis. Conf. 1990. - P. 24-27.

52. Feris R., Gemmell J., Toyama K., Krueger V. Hierarchical wavelet networks for facial feature localization // In Proc. of the Int. Workshop on Recognition, Analysis and Tracking of Faces and Gestures in Real-Time Systems.-2001.

53. Feris R., Krueger V., Cesar Jr. R. Efficient real-time face tracking in wavelet subspace // In Proc. of the Int. Workshop on Recognition, Analysis and Tracking of Faces and Gestures in Real-Time Systems. 2001. - P. 113-118.

54. Garding J. Direct estimation of shape from texture // IEEE PAMI. 1993. -Vol. 15.-P. 1202-1208.

55. Garding J. Shape from texture and contour by weak isotropy // J. of Artificial Intelligence. 1993. - Vol. 64. - P. 243-297.

56. Garding J., Lindeberg T. Direct computation of shape cues using scale-adapted spatial derivative operators // Int. J. of Computer Vision. 1994.

57. Gee A.H., Cipolla R. Fast visual tracking by temporal consensus: TR-207 / Univ. of Cambridge, Dept. of Engineering. 1995.

58. Gennery D. В., Tracking known three-dimentional objects // Proc. Conf. Amer. Assoc. Artif. Intell. 1982. - P. 13-17.

59. Gennery D. В., Visual tracking of known three-dimentional objects // Intern. J. Comput. Vis. 1992. -№ 7. p. 243-270.

60. Gilbert J.M., Yang W. A real-time face recognition system using custom VLSI hardware // IEEE Workshop on Computer Architectures for Machine Perception. 1993. - P. 58-66.

61. Gneushev A. N. A Real-Time Contour-Based System for Estimating the Speed of Vehicles // Journal of Computer and Systems Sciences International. 2005. - Vol. 44, № 1. - P. 125-134.

62. Gneushev A. N., Murynin A. B. Adaptive Gradient Method for Extracting Contour Features of Objects in Images of Real-World Scenes // Journal of Computer and Systems Sciences International. — 2003. Vol. 42, № 6. — P. 973-980.

63. Grimson W.E.L., Hildreth E.C. Comments on digital step edges from zero-crossings of second directional derivatives // IEEE PAMI. — 1985. Vol. 7, № l.-P. 121-126.

64. Hallinan P.W. A low-dimensional representation of human faces for arbitrary lightning conditions // Proc. IEEE Conf. Computer Visison and Pattern Recognition. -1994. P. 995-999.

65. Haralik R.M. Digital step edges from zero-crossings of second directional derivatives // IEEE PAMI. 1984. - Vol. 6, № 1. - P. 58-68.

66. Harris C., Stennet C. RAPID — a video rate object tracker // Proc. Brit. Mach. Vis. Conf. 1990. - P. 73-77.

67. Horn B.K.P. Obtaining shape from shading information. / The psychology of computer vision. New-York: McGrow-Hill, 1975. — P. 115-155.

68. Horn B.K.P. Understanding image intensities // Artificial intelligence. — 1977.-№8.-P. 201-203.

69. Horn B.K.P., Schunck B.G. Determining optical flow // Artificial Intelligence.- 1981.-№ 17.-P. 185-203.

70. Horowitz В., Pentland A.P. Recovery of non-rigid motion and structure // Proc. of CVPR-91. — 1991. P. 325-330.

71. Ни C., Feris R., Turk M. Active wavelet networks forface alignment // In

72. British Machine Vision Conference. — 2003.95

73. Huang C.-L., Chen C.W. Human facial feature extraction for interpretation and recognition // Proc. Int. Conf. on Pattern Recognition. — 1992. — Vol. 2.

74. Kanade T. Picture processing by computer complex and recognition of human faces: Tech. report. / Kyoto Univ., Dept. of Information Science. — 1973.

75. Kaufman G.H., Breeding K.J. The automatic recognition of human faces from profile silhouettes // IEEE SMC. 1976. - Vol. 6. - P.l 13-120.

76. Kaya Y., Kobayashi K. A basic study on human face recognition. / Frontiers of Pattern Recognition. New York: Academic Press, 1972. - P. 265-289.

77. Kirby M., Sirovich L. Application of Karhunen-Loeve procedure for the characterization of human faces // IEEE PAMI. 1990. - Vol. 12, № 1. -P. 103-108.

78. Kohonen, T. Self-Organizing Maps. 2-nd ed. - Springer, 1997.

79. Koller D., Daniilidis K., Nagel H.-H. Model-Based Object Tracking in Monocular Image Sequences of Road Traffic Scenes // International Journal of Computer Vision. 1993. - Vol. 10, № 3.

80. Korn Axel F. Toward a Symbolic Representation of Intensity Changes in Images // IEEE Transactions on pattern analysis and machine intelligence. -1988.-Vol. 10, №5.

81. Kurita Т., Otsu N., Sato T. A face recognition method using higher order local autocorrelation and multivariate analysis // Proc. Int. Conf. Pattern Recognition. 1992. - Vol. 2. - P. 213-216.

82. Lades M., Vorbruggen J.C., Buchmann J., Lange J., von Malsburg C., Wurz R.P., Konen W. Distorsion invariant object recognition in the dynamic link architecture // IEEE Trans on Computers. 1993. - Vol. 42, №3.

83. Lee T. S. Image representation using 2D Gabor wavelets // IEEE Trans. Pattern Analysis and Machine Intelligence. 1996. - Vol. 18, № 10. - P. 959-971.

84. Lindeberg Т. Edge detection and ridge detection with automatic scale selection // Int. J. Computer Vision. 1998. - Vol. 30, № 2.

85. Lindeberg T. On scale selection for differential operator // Proc. 8th Scandinavian Conf. on Image Analysis. 1993. - P. 857-866.

86. Looney Carl G., Pattern Recognition Using Neural Networks. Theory and algorithms for engineers and scientists. New York: Oxford University Press, 1997.

87. Manjunath B.S., Chellappa R. A unified approach to boundary perception: edges, textures, and illusory contours // IEEE Transactions on neural networks. 1993. - Vol. 1, № 4.

88. Manjunath B.S., Chelappa R., Shekhar C., von Malsburg C. A robust method for detecting image features with application to face recognition and motion correspondence // Proc. Int. Conf. On Patter Recognition. -1992.

89. Marr D. Early processing of visual information // Phil. Trans. Royal Soc. -1976. -№ 27S. P. 483-524.

90. Marr D., Hildreth E. Theory of edge detection // Proc. Royal Soc. 1980. -№207.-P. 187-217.

91. Medioni G., Nevatia R. Matching images using linear features // IEEE PAMI. 1984. - Vol. 6, № 6. - P. 675-685.

92. More J.J., Sorensen D.C. "Computing a trust region step" // SIAM J. Sci. Stat. Сотр. 1983. - № 4. - P. 553-572.

93. More J.J., Chih-Jen Lin. "Newton's Method For Large Bound-Constrained Optimization Problems" // SIAM J. Optim. 1999. - Vol. 9, № 4. - P. 1100-1127.

94. Nagel H.-H. Representation of moving rigid objects based on visual observations // Computer. 1981. - Vol 8., № 14. - P. 29-39.

95. Nakamura O., Mathur S., Minami T. Identification of human faces based on isodensity maps // Pattern Recognition. 1991. - Vol. 24, № 3. - P. 263-272.

96. Nalwa V.S., Binford Т.О. On detecting edges // IEEE PAMI. 1986. -Vol. 6, №8.-P. 699-714.

97. Nastar C., Moghaddam B, Pentland A.P. Generalized image matching: statistical learning of physically-based deformations // 4th European Conf. on Computer Vision. 1996.

98. Nevatia R., Babu K. Linear feature extraction and description // Computer Graphics image Processing. 1980. - Vol. 13 - P. 257-269.

99. Pentland A.P., Moghaddam В., Starner T. View-based and modular eigenspaces for face recognition // Proc. IEEE Conf. Computer Vision and Pattern Recognition. 1994. - P. 84-91.

100. Davis P.J. Circulant Matrices. John Wiley & Sons, Inc., 1979.

101. Petrou M., Kittler J. Optimal edge detectors for ramp edges // IEEE Trans. Pattern Analysis and Machine Intell. 1991. - Vol. 5, № 13. - P. 483^191.

102. Pingle K.K. Visual perception by computer. // Automatic Interpretation and Classifcation of Images / A. Grasselli, ed. New York: Academic Press, 1969.-P. 277-284.

103. Powell M.J.D. "Convergence propities of class of minimization algorithms" // in: O.L. Mangasarian, R.R. Meyer, S.M. Robinson ed., Nonlinear Programming 2. NY: Academic Press, 1975. - P. 1-27.

104. Press W.H., Flannery B.P., Teukolsky S.A., Wetterling W.T. Numerical recipes. Cambridge: Cambridge University Press, 1986.

105. Pratt William K. Digital image processing. 3rd ed. — New York: A Wiley- Interscience publication, John Wiley and Sons, 2001.

106. Prewitt M. S. Object enhancement and extraction. // Picture Processing and Psychophysics. / A. Rosenfeld, B. S. Lipkin, ed. — New York: Academic Press, 1970.-P. 75-149.

107. Ramsay C.S., Sutherland K., Renshaw D., Denyer P.B. A comparison of vector quantization codebook generation algorithms applied to automatic face recognition // Proc. British Machine Vision Conf. 1992. - P. 508517.

108. Roberts L. G. Machine perception of three-dimensional solids. // Optical and Electro-Optical Information Processing / J. T. Tippet et al., ed. — Massachusetts: MIT Press, 1965. P. 159-197.

109. Romdhani S. Face Recognition using Principal Components Analysis / MIT Media Lab. 1996.

110. Rosenfeld A. Quadtrees and pyramids: hierarchical representation of images: CS-TR-1171 / Univ. of Maryland, Computer Vision Lab. 1982.

111. Rosenfeld A., Thurston M. Edge and curve detection for visual scene analysis // IEEE Trans. Computers. 1971. - Vol. 5, № 20. - P. 562-569.

112. Rowley H. A. Neural Network-Based Face Detection // IEEE Transactions On Pattern Analysis and Machine Intelligence. 1998. - Vol. 20, № 1.

113. Sakaguchi Т., Nakamura O., Minami T. Personal Identification through Facial Image Using Isodensity Lines // Proc. of SPIE. 1989. - Vol. 1199. -P. 643-654.

114. Schick J., Dickmanns E.D. Simultaneous estimation of 3D shape and motion of objects by computer vision // Proc. IEEE Workshope on Visual Motion. 1991. - P. 256-261.

115. Sirovich L., Kirby M. Low-dimensional procedure for the characterization of human faces // J. of the Optical Society Am. 1987. - Vol. 4, № 3. - P. 519-524.

116. Sorenson H.W. Kalman Filtering Techniques / Advances in Control Systems. New York: Academic press, 1966. - Vol. 3.

117. Spetsakis M.E., Aloimonos J. Optimal motion estimation // Proc. IEEE Workshop on Visual Motion. 1989. - P. 229-237.

118. Theodoridis S., Koutroumbas K. Pattern recognition. — 2-nd ed. Elsevier, Academic Press, 2003.

119. Thompson D.W., Mundy J. L. Model-based motion analysis motion from motion // In Robotics Research. - Cambridge: MIT Press, 1987. - P. 299309.

120. Torre V., Poggio T.A. On edge detection // IEEE Trans. Pattern Analysis and Machine Intell. 1980. - Vol. 2, № 8. - P. 147-163.

121. Turk M., Pentland A.P. Eigenfaces for Recognition // J. of Cognitive Neuroscience. 1991.-Vol. 3, № 1.

122. Viola P., Jones M. Robust real-time face detection // In Proc. Int. Conf. on Computer Vision. 2001. - Vol. 2. - P. 747.

123. Wilson R., Bhalerao A.H. Kernel design for efcient multiresolution edge detection and orientation estimation // IEEE Trans. Pattern Analysis and Machine Intell. 1992. - Vol. 3, № 14. - P. 384-390.

124. Wiskott L., Fellous J. M., Krueger N., v. d. Malsburg C. Face recognition by elastic bunch graph matching // IEEE Trans. Patt. Anal, and Mach. Intel. 1997. - Vol. 7, № 19. p. 775-779.

125. Wong K.H., Law H.H.M., Tsang P.W.M. A system for recognizing human faces // Proc. of International Conference on Acoustics, Speech, and Signal Processing. 1989. - P. 1638-1642.

126. Yuille A.L., Cohen D.S., Hallinan P.W. Feature extraction from faces using deformable templates //Proc. Of CVPR. 1989.

127. Ya-xiang Yuan. Nonlinear Optimization: Trust Region Algorithms. // TR, State Key Laboratory of Sci. and Engin. Сотр. Center, China. 1993.

128. Zhang Z., Faugeras O. D. Estimation of Displacemrnts from Two 3-D Frames Obtained From Stereo // IEEE Trans, on Pat. Anal, and Mach. Intell.-1992.-Vol. 14, №12.-P. 1141-1156.