автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Методы, алгоритмы и программная система трекинга головы человека на видеокадрах, основанные на геометрических текстурных моделях
Автореферат диссертации по теме "Методы, алгоритмы и программная система трекинга головы человека на видеокадрах, основанные на геометрических текстурных моделях"
004613969
На правах рукописи
Кривцов Олег Александрович
МЕТОДЫ, АЛГОРИТМЫ И ПРОГРАММНАЯ СИСТЕМА ТРЕКИНГА ГОЛОВЫ ЧЕЛОВЕКА НА ВИДЕОКАДРАХ, ОСНОВАННЫЕ НА ГЕОМЕТРИЧЕСКИХ ТЕКСТУРНЫХ МОДЕЛЯХ
Специальность 05.13.11 - Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей
АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук
1 8 НОЯ 2010
Томск-2010
004613069
Работа выполнена в ГОУ ВПО «Томский государственный университет систем управления и радиоэлектроники» и ГОУ ВПО «Национальный исследовательский Томский политехнический университет»
Научный руководитель: Кориков Анатолий Михайлович,
заслуженный деятель науки РФ, доктор технических наук, профессор
Официальные оппоненты: Спицын Владимир Григорьевич,
доктор технических наук, профессор
Сущенко Сергей Петрович, доктор технических наук, профессор
Ведущая организация: Новосибирский государственный
технический университет
Защита диссертации состоится 1 декабря 2010 г. в 17 час. 00 мин. на заседании совета по защите докторских и кандидатских диссертаций Д 212.269.06 при ГОУ ВПО «Национальный исследовательский Томский политехнический университет» по адресу: 634034, г. Томск, ул. Советская, 84/3, институт «Кибернетический центр» НИТПУ, ауд. 214.
С диссертацией можно ознакомиться в научной библиотеке ГОУ ВПО «Национальный исследовательский Томский политехнический университет» по адресу: 634034, г. Томск, ул. Белинского, 55.
Автореферат разослан 29 октября 2010 г.
Ученый секретарь совета по защите докторских и кандидатских диссертаций, к.т.н, доцент
М.А. Сонькин
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность темы. Отслеживание головы человека (англ. head tracking, тренинг головы) - это решение задачи последовательного определения положения головы на видеокадрах, независимо от того, движется голова или камера. Трекинг головы на видеокадрах применяется или обладает потенциалом применения при создании систем трехмерной компьютерной анимации, разработке интерфейсов взаимодействия человек-компьютер, проведении видеоконференций в сети Интернет, стабилизации изображения лица с целью облегчения распознавания эмоций либо персональной идентификации и др.
Значительный вклад в развитие теории и практики трекинга головы внесли зарубежные ученые Брюс Д. Лукас (Bruce D. Lucas), Такео Канаде (Takeo Kanade), Цзин Сяо (Jing Xiao), Саймон Бэкер (Simon Baker), Иэн Мэтьюз (Iain Matthews), Тсуеши Морияма (Tsuyoshi Moriyama), Марко Jla Каскиа (Marco La Cascia), Стэн Склароф (Stan Sclaroff), Пол Виола (Paul Viola), Майкл Дж. Джонс (Michael J. Jones), Ричард Зелиски (Richard Szeliski), Грегори Д. Хэгер (Gregory D. Hager), Петер H. Белюмье (Peter N. Belhumeur). Из работ отечественных ученых по этой теме отметим труды А.П. Вежневца и P.C. Шоргина.
Несмотря на обилие научных трудов, опубликованных по теме трекинга головы за последние тридцать лет, в настоящее время проблему трекинга головы нельзя назвать решенной в объеме, позволяющем осуществлять выбор методов, алгоритмов и программных средств трекинга головы человека на видеокадрах в интересах разнообразных применений и, в частности, для человеко-машинных интерфейсов, расширяющих интеллектуальные возможности компьютеров и компьютерных систем. Это обусловлено многими факторами, усложняющими анализ изображения головы человека на видеокадрах, такими как неравномерность освещения сцены, непредсказуемость траектории и скорости движения головы, непостоянность (нестабильность) формы и текстуры головы за счет изменения мимики лица и т.д.
В наши дни большой популярностью пользуются недорогие веб-камеры, которые со времени их изобретения в начале 1990-х годов превратились во вполне сформировавшийся класс устройств, без которых невозможно представить себе общение в сети Интернет. Поэтому актуальным представляется исследование трекинга головы на видеоизображении с веб-камеры.
Среди существующих подходов к отслеживанию положения головы человека на видеокадрах, таких как методы, основанные на детектировании лица в разных ракурсах (англ. tracking-by-detection), мето-
ды, основанные на отслеживании «характерных точек» лица (англ. feature points) и методы, основанные на построении геометрической текстурной модели головы, автору представляется наиболее выгодным использование последних (модельных методов). Это обусловлено тем, что данный подход в отличие от других обеспечивает более высокую точность и имеет сравнительно малую вычислительную сложность. Однако данный подход обладает такими недостатками, как необходимость: выбора модели головы (у каждого человека своя (оригинальная) форма головы); ее первоначального позиционирования (на практике использование веб-камеры не обеспечивает возможность физического измерения расстояния до объекта и точного определения его первоначального положения); учета изменения освещенности и обновления текстуры модели (т. е. обновление шаблона, с которым сравнивается текущий видеокадр).
Изложенное выше доказывает актуальность и научную значимость решения проблемы инициализации модели головы при использовании веб-камеры, сравнительное исследование известных геометрических недеформируемых моделей головы и разработка на их основе методов, алгоритмов и программных средств трекинга головы человека на видеокадрах для расширения интеллектуальных возможностей вычислительных машин и систем.
Целью данной работы является исследование и разработка методов и алгоритмов отслеживания положения головы человека на поступающих с монокулярной веб-камеры видеокадрах, основанных на построении недеформируемых геометрических текстурных моделей головы, и разработка на их основе программных средств трекинга головы.
Для достижения поставленной цели необходимо решить следующие задачи:
■ выполнить анализ состояния проблемы отслеживания положения головы на видеокадрах в целом и методов, основанных на построении геометрической текстурной модели головы в частности, определить возможные пути ее успешного решения;
■ выполнить формализацию задачи инициализации модели головы и получить ее решение для первоначального позиционирования модели головы при использовании некалиброванной монокулярной веб-камеры;
■ выделить основные сущности бизнес-логики, проведя декомпозицию задачи трекинга головы; реализовать алгоритм, основанный на построении модели головы, в составе программной системы (ПС);
■ провести анализ производительности и точности разработанной системы; вывести критерии для сравнения моделей головы и провести сравнительный анализ различных моделей головы на основе ПС отслеживания головы;
Объектом исследования является проблема создания человеко-машинных интерфейсов и программных средств, расширяющих интеллектуальные возможности компьютерных систем на основе решения задач отслеживания положения головы человека по ее видеоизображению.
Предметом исследования являются методы отслеживания головы человека на поступающих с веб-камеры видеокадрах, основанные на применении геометрических текстурных моделей головы; методы построения жесткой модели головы и ее первоначального пространственного позиционирования; сравнительный анализ различных моделей головы.
Методы исследования, применяемые в данной работе, базируются на аппарате дифференциального исчисления, численных методах, методах оптимизации, компьютерной графике, математическом (имитационном) моделировании. Для сравнительного анализа моделей головы человека проводились модельные эксперименты с помощью ПС, созданной средствами языка программирования С++. В процессе программной реализации полученных результатов использовались методы теории алгоритмов, теории структур данных, объектно-ориентированного программирования. Для количественной обработки данных эксперимента применялись методы теории вероятностей и математической статистики.
Информационная база данной работы включает в себя доклады, представленные на конференциях по компьютерному зрению (главным образом это зарубежные источники), квалификационные работы, опубликованные по аналогичным темам, а также экспериментальные данные и системы, опубликованные в печати либо представленные в Интернет-ресурсах.
Новизна данной работы состоит в следующем: 1. Проведен анализ проблемы отслеживания головы человека на видеокадрах, определены факторы, усложняющие трекинг головы, классифицированы методы трекинга головы и разработаны рекомендации по выбору метода трекинга для реализации в ПС. Проведенный анализ отличается от известных аналогов указанными факторами, выделенными классами методов трекинга и рекомендациями по выбору методов для программной реализации.
2. Разработан оригинальный приближенный алгоритм автоматического пространственного позиционирования модели головы человека на первом видеокадре для некалиброванной видеокамеры, основанный на данных о приближенном положении области лица, получаемых от детектора лица, что отличает разработанный алгоритм от известных, предполагающих ручное задание положения головы.
3. Впервые применен инверсно-композиционный (ИК) алгоритм регистрации изображений для задачи трекинга головы как твердого тела, обладающего шестью степенями свободы движения.
4. Создана и зарегистрирована в Роспатенте программная система, реализующая модельный метод отслеживания головы человека и отличающаяся от известных аналогов реализованным в ней способом записи информации о положении головы человека на каждом видеокадре.
5. Предложены новые критерии для сравнительного анализа известных моделей головы (цилиндрической, эллипсоидальной, плоской, СапсШе-З), обеспечивающие выработку рекомендаций по областям применения сравниваемых моделей головы.
Положения, выносимые на защиту:
1.На основе анализа проблемы трекинга головы человека на видеокадрах определено ее современное состояние и выполнена классификация методов трекинга головы.
2. Приближенный алгоритм позиционирования модели головы при использовании веб-камеры позволяет инициализировать процесс отслеживания головы в автоматическом режиме, т.е. без ручной разметки области лица на первом кадре, что является важным этапом создания полностью автоматических систем трекинга головы.
3. Выбранный ИК алгоритм регистрации изображений является более эффективным в вычислительном плане по сравнению с другими известными алгоритмами регистрации изображений.
4. Созданная программная система обеспечивает проведение экспериментальных исследований методов и алгоритмов отслеживания положения головы человека на видеокадрах, необходимых для их тестирования и сравнения, в частности, для сопоставления по точности алгоритмов трекинга головы и обоснования рекомендаций по их реализации для расширения интеллектуальных возможностей компьютерных систем.
5. Экспериментальный сравнительный анализ четырех моделей головы позволяет сформулировать рекомендации по выбору мето-
дов тренинга головы человека для математического и программного обеспечения систем трекинга головы человека. Достоверность результатов и выводов работы обеспечивается строгостью применения используемых математических методов, непротиворечивостью результатов и выводов автора с ранее полученными данными других исследований, совпадением результатов численных расчетов автора с расчетами и экспериментальными данными других авторов, а также успешным применением полученных результатов в объекте внедрения. Для всех разработанных программных модулей созданы автоматические тесты, обеспечивающие покрытие большей части программного кода.
Практическая ценность полученных результатов:
■ Основные результаты диссертации реализованы (внедрены) в программном продукте ManyCam (http://manycam.com), разрабатываемым в компании ТомскСофт. Созданный программный модуль используется для отслеживания головы пользователя компьютера в трехмерном пространстве в режиме реального времени и наложения специальных трехмерных эффектов на видеоизображение лица пользователя.
■ Разработана ПС «Head Tracking Demo», которая использовалась автором для оценки производительности и точности метода трекинга головы. Отметим возможность использования реализованной ПС с целью сравнения с аналогичными системами. Внедрение.
■ Полученные результаты реализованы (внедрены) в продукте ManyCam компании ТомскСофт, что подтверждается соответствующим актом о внедрении.
■ Результаты диссертации использовались при выполнении госбюджетной НИР «Исследование методов и алгоритмов анализа изображений для задач идентификации личности» (per. № 01200854086, инв. № 02201052300), выполнявшейся в Томском государственном университете систем управления и радиоэлектроники (ТУ СУР) в 2005-2009 гг.
■ Результаты исследований использованы в учебном процессе на кафедре АСУ ТУСУРа.
Апробация работы. Результаты работы докладывались и обсуждались на международных, всероссийских и региональных научно-практических конференциях, в том числе конференции «Современная техника и технологии», г. Томск, 2008 г. (доклад отмечен дипломом), 2009 г. (доклад отмечен дипломом I степени), 2010 г. (доклад участвовал в отборе на конкурс У.М.Н.И.К), «Научная сессия ТУСУР»,
г. Томск, 2008 г., 2009 г. (доклад отмечен дипломом II степени), 2010 г. (доклад отмечен дипломом III степени), «Электронные средства и системы управления: итоги реализации программы развития электроники и IT-технологий в Томской области», г. Томск, 2008 г. (доклад участвовал в конкурсе У.М.Н.И.К), «Молодежь и современные информационные технологии», г. Томск, 2009 г., «Студент и научно-технический прогресс», г. Новосибирск, 2010 г, «СИБРЕСУРС-2010», г. Абакан, 2010 г.
Публикации. По теме диссертации было опубликовано 16 работ, в том числе пять статей в журналах, входящих в перечень ВАК («RSDN Magazine», «Информационные технологии» и «Доклады Томского государственного университета систем управления и радиоэлектроники») и 11 публикаций в сборниках трудов региональных, всероссийских и международных конференций. Публикации в электронном виде доступны по адресу http://headtracking.googlepages.com. Имеется свидетельство о регистрации разработанной ПС «Head Tracking Demo» в реестре федерального агентства по интеллектуальной собственности Роспатент.
Личный вклад. Автором самостоятельно получен алгоритм инициализации модели головы и создана реализация ПС «Head Tracking Demo». Совместно с научным руководителем разработаны критерии для проведения сравнительного анализа моделей головы, а также интерпретировались результаты этого анализа. Совместно с сотрудниками компании ТомскСофт проводилось внедрение полученных результатов в программный продукт компании ТомскСофт.
Структура и объем работы. Диссертационная работа состоит из введения, трех глав, заключения, списка литературы, и четырех приложений. Объем работы составляет 202 листа.
СОДЕРЖАНИЕ РАБОТЫ
В первой главе систематизируются результаты предыдущих исследований по решению проблемы отслеживания головы человека на видеокадрах: представлены основные области применения, изложена история развития методов трекинга головы, выделены основные классы методов трекинга (рис. 1), перечислены известные программы трекинга головы человека.
Во второй главе приведены теоретические основы используемого метода трекинга головы. Дается обоснование выбора метода трекинга головы человека на видеокадрах с использованием геометрических текстурных моделей головы. Кратко рассмотрена используемая в работе терминология компьютерной графики (хотя она и общеизвестна,
но требует разъяснения из-за наличия множества толкований одних и тех же терминов).
Рисунок 1 - Классификация методов трекинга головы Голову человека как трехмерный объект в компьютерной 31) графике можно представить в виде модели, задающей геометрическую форму объекта и текстуру (рис. 2).
Рисунок 2 - Используемые модели головы и накладываемые на них текстуры: а) плоская модель; б) эллипсоид; в) цилиндр; г) модель СагиНёе-З
Геометрическая поверхность модели головы аппроксимируется примитивными фигурами (треугольниками, полигонами). На рис. 3 показаны используемые системы координат.
Плоскость Система
AY
Пронкция МОЛ fill И
объекта
а) б)
Рисунок 3 - Используемые системы координат: а) системы координат объекта (СКО) и наблюдателя (СКН); б) система координат окна
Рассмотрены операции и матрицы преобразования координат, которые позволяют моделировать движение твердого тела в трехмерном пространстве: параллельный перенос (задается матрицей Т), и вращение (задается матрицей R ). Комбинация данных преобразований называется матрицей модель-вид М (model-view).
Один из наиболее распространенных способов параметризации вращения - использование углов Эйлера, когда матрицу вращения R можно представить в виде произведения трех матриц R(e,<p,iy) = Ry(0)Rl(<p)Rll(if/), где 9,<р,у/ - углы Эйлера, a R,, Ry
и - соответственно матрицы вращения вокруг осей Xr, Yt и Z .
Вектор параметров, от которых зависит матрица модель-вид М , будем называть вектором конфигурации с = {e,<p,y/,tx,ty,t^f, где компоненты tj% ty и tz - параметры параллельного переноса. Имея вектор
конфигурации, можем задать матрицу модель-вид М (и наоборот). Известно, что малые перемещения и вращения удобнее задавать
матрицей твист-преобразования \ (англ. twist, винтовое движение):
'1 -а. ау С
юг 1 -сох ty
-юу 0)у 1 t:
0 0 0 1
5 =
(1)
где компоненты (йх, соу, сог задают параметры вращения, Г,, 1у и -
параметры параллельного переноса.
Точечная модель камеры определяется матрицей перспективного проецирования Р. В работе используется частный случай перспективной проекции - симметричная перспективная проекция:
Л 0 0 0
aspect
0 Л 0 0
0 0 / + « 2 fn
f-n f-n
0 0 -1 0
где fL =ctg{fovy/2) - фокальная длина объектива, fovy -угол обзора по вертикали (англ. field of view), выраженный в градусах; aspect = pj ру; рх и ру - соответственно ширина и высота кадра в
пикселях, и и/- соответственно ближняя и дальняя плоскости отсечения.
Выделены и рассмотрены четыре модели головы (рис. 2): плоский прямоугольник, цилиндр, эллипсоид и модель Candide-3. При незначительных изменениях выражения лица можно упрощенно считать, что голова - твердое недеформируемое тело, и может иметь шесть степеней свободы движения в 3D пространстве (три степени свободы перемещения и три степени свободы вращения).
Рассмотрен метод отслеживания головы человека на видеокадрах. Пусть на каждом кадре видеопоследовательности отображена проекция головы пользователя, имеющей некую пространственную конфигурацию с,., где i - номер кадра. Необходимо: 1) инициализировать модель головы для первого кадра последовательности; 2) для каждого кадра, начиная со второго, определить параметры межкадрового движения модели головы и оценить ее новую конфигурацию.
Для решения первой из этих задач предложен приближенный алгоритм инициализации модели головы, основанный на детектировании лица и на том предположении, что при выбранных параметрах камеры, размере и положении модели головы, проекция модели головы должна совпадать с изображением головы на первом видеокадре. Кратко рассмотрим суть алгоритма.
Пусть пользователь расположил голову фронтально к камере (рис. 4, а). Получим с помощью детектора Виола-Джонса координаты прямоугольной области F ~{x',y;w,h}, в которой предположительно находится лицо.
Выберем параметр fovy (угол обзора по вертикали) для задания матрицы проецирования Р. Из характеристик анализируемых веб-камер (Trust WB-1400T, Trek 310 и Pico iMage Webcam) можно заключить, что этот параметр принимает значения в диапазоне от 27 до 40
градусов. Положим /оуу = 35°, так как это значение близко к средне-
му.
Координаты ближней и дальней бирают произвольно, рекомендуется отсечения п не была очень близка к п = 0,1 м и/= 10 м.
плоскостей отсечения всегда вылить, чтобы ближняя плоскость нулю. Установим соответственно
а) б)
Рисунок 4 - Иллюстрация к способу инициализации модели головы
Выберем размер и положение модели головы таким образом, чтобы область проекции модели головы на видеокадре приближенно соответствовала области К Покажем это на примере цилиндрической модели головы. Пусть высота Я цилиндра примерно соответствует вертикальному размеру области лица, заключенной между линией подбородка и линией волос. Считаем, что соотношение ширины и высоты области ^ примерно соответствует соотношению диаметра и высоты цилиндра: Я /2Л = /г/м>, откуда можно вычислить радиус цилиндра
Я = Я>у/2й (м).
Примем в качестве вертикального размера головы субъективную оценку Я = 0,15 м.
Так как направления координатных осей г,, и 2е совпадают, то углы поворота цилиндра в, <р и ц/ вокруг осей координат СКН равны нулю. Определим координаты (х°, у° и г") центра О цилиндра (рис. 4, б) относительно СКН по следующим формулам:
0 -г/х+и>/2-ог)-Я о —г,\у + Н/2—о)—Н/2 х =--—-—-;у =----;
°<Ри ' °уРгг
И
где х, у, н>, /г - соответственно координаты нижнего левого угла, ширина и высота области Т7; ох, оу - координаты центра окна, ри, рг, -соответствующие элементы матрицы проецирования.
Инициализировав модель головы для первого кадра, будем искать параметры ее движения между первым и вторым кадрами, вторым и третьим кадрами, ..., ¿-м и (;'+1)-м кадрами. Эту задачу можно решить, используя инверсно-композиционный алгоритм регистрации изображений, предложенный С. Бэкером, Ф. Деллаертом и И. Мэтьюзом
Пусть имеем два grayscale-изoбpaжeния /, и /3 (рис. 5), первое из которых (либо его часть) может быть переведено во второе изображение (либо в часть второго изображения) посредством преобразования
( Иух.ДрЛ
(3)
зависящего от набора параметров. Модель сопоставления пикселей - некая вектор-функция, ставящая в соответствие пикселю х=(х,у)Т на одном из изображений пиксель х'=(х',у')т на другом изображении; Др = (Ар,,Ар2,...,Арт)т - Аи-мерный вектор приращений параметров.
Необходимо, задавшись начальным приближением, определить такие значения параметров преобразования (3), при которых устанавливается наилучшее соответствие между двумя изображениями.
/. /2
Рисунок 5 - Движение пикселя х„ проекции головы от видеокадра к видеокадру
Пусть известно, что некому конкретному пикселю х„=(х„,уп)Т изображения /1 семантически (по смыслу) соответствует пиксель х'„ изображения 12, причем интенсивности этих пикселей равны между собой: /,(Щх„,Др )) = /,(*.). (4)
Линеаризуем уравнение (4), используя полный дифференциал для аппроксимации приращения функции:
А|(х)-/2(х„) + У/1(х„)11,(х„,Др) = 0 (5)
где У/Дх,,) - градиент изображения/, в точке х„ ; ,!„, (хл,0) - матрица Якоби функции \У(х, Др), вычисленная в точке (хя ,0).
В изображении Л можно выделить целевую область П, содержащую в себе N пикселей. Обычно это область, содержащая все пиксели визуального объекта, за исключением пикселей фона. Если предположить, что все N пикселей можно сопоставить со вторым изображени-
ем, применяя функцию 1У(х, Ар), то можно записать систему из N линейных неоднородных уравнений:
/1(х„)-/2(х„) + У/,(х„)1Лх„,Др) = 0, и = 1,2,...,ЛГ. (6)
Для поиска решения системы уравнений (6) по методу наименьших квадратов, составим функционал
Ф(Др) = ¿и<х„Х/,(х„)-/2(х„) + У/1(х„)1Дх„,Ар))2 =0, (7)
я=|
где и{хя) - скалярный вес п-го пикселя. Для минимизации функционала (7) применяется градиентный метод Ньютона.
Так как в формуле (5) использована лишь линейная часть приращения функции, то найденное на выходе цикла итераций решение Ар является приближенным. Чтобы улучшить точность поступают следующим образом. С помощью композиции моделей сопоставления пикселей ЦГш(х) = (..ЛГ' (1Г1 (х, Ар0), Ар'),..., Ар') деформируют изображение /2, таким образом «сближая» его с первым изображением. Затем снова ищут вектор Ар, подавая на вход цикла уже не исходное, а деформированное изображение.
Рассмотрена модель сопоставления пикселей для случая движения головы человека с шестью степенями свободы. Пусть точка поверхности модели головы с координатами Хг = (х,,у„г,, 1)г проецируется в пиксель кадра с оконными координатами Х„=(д■ Пусть за счет движения головы точка Хг перемещается в положение
X, =|(Др)Х,,где 4(ДР) - матрица (1); Ар = (щ,а)у,еог,(г,(г,(гУ - приращение вектора параметров движения. Координаты точки окна, в ко/ / торую проецируется точка модели Х( , обозначим через Хш . Используя формулы преобразований координат в процессе растеризации, мо/
жем установить соответствие между X, и X, :
чГУ\
(8)
ГУ ))
( ( /
Х'^ = \VndTfm РепрРм Р$(Др)Р~'
К
2лг„ 2у„
Рх Р V
где WndTfm и РегврВ 'м - операции оконного преобразования и перспективного деления соответственно. Матрица Якоби ли,(Хв,,0) для вектор-функции (3) примет вид
Jw<Xw°) =
П*еУе 2 2 KJlbe +Ze )
2 2 Г](-.Ге -ze )
Тг(-хеУе>
Py p22
T\yeZe T\(-weze) г2Ыеге) 0
О цкехе r2(,-weze) T2weye
где ц ,
ze " ze
Для хранения в памяти композиции моделей (8) достаточно запомнить матрицу
W' = r(Ap')..4"'(Ap')r(Ap0). W
Матрица (9) также является результатом работы алгоритма регистрации изображений.
Предложены две схемы трекинга головы человека: с динамически обновляемым шаблоном (на вход алгоритма регистрации подается предыдущий кадр) и со статическим шаблоном (подается проекция головы в том положении, в котором она была на предыдущем кадре). В работе используется вторая стратегия, так как она не страдает от накопления ошибки трекинга и «дрейфа» модели головы.
Вышеописанные методы и алгоритмы были реализованы в ПС для отслеживания головы человека на видеокадрах под названием «Head Tracking Demo». Приводится описание архитектуры ПС в соответствии со стандартом IEEE 1471. Рассмотрена миссия программной системы, заинтересованные лица и накладываемые их интересами ограничения и нефункциональные требования. Произведена идентификация точек зрения на архитектуру системы. Использован архитектурный фреймворк «4+1» Ф. Крачтена, включающий в себя пять видов: логический, процесса, разработки, физический и сценариев. Описаны основные сущности, выделенные при декомпозиции задачи трекинга головы, и получены составляющие основные блоки программной системы «Head Tracking Demo». Построены диаграмма вариантов использования, диаграммы классов и компонентов в нотации UML.
Предложен формат файла записи результатов трекинга головы человека на видеокадрах, позволяющий устранить недостатки известных форматов.
В третьей главе проведен модельный эксперимент на наборе из 45 реальных видеопоследовательностей, для которых известны эталонные оценки углов поворота головы человека (рисЛ)).
Рисунок 6 - Кадры из видеоклипов, используемых в эксперименте
По результатам эксперимента можно сделать выводы о производительности ПС «Head Tracking Demo»: производительность системы составила примерно 20 кадров/с на компьютере с ЦП Intel CPU 1,6 GHz, 2 Гб памяти и видеокартой nVidia GeForce 9800 GTX+. Следовательно, ПС способна работать в режиме реального времени.
Предложены три количественных критерия оценки моделей головы: сумма квадратов разностей, сумма модулей разностей и коэффициент корреляции. На основе критериев проведен сравнительный анализ (таблица 1) четырех недеформируемых геометрических моделей головы: 3D цилиндра, 3D эллипсоида, плоской прямоугольной модели и модели Candide-3. Данный анализ отличается от аналогов используемыми критериями сравнения, а также набором сравниваемых моделей. Таблица 1 - Вычисленные значения критериев
№ критерия Candide-3 Цилиндр Эллипсоид Плоскость
1 91.72 106.48 130.52 495.73
2 10.98 11.35 11.46 22.44
3 0.67 0.64 0.58 0.50
Получены оценки ошибок углов поворота головы и построены гистограммы их распределения. Вычислены асимметрия и эксцесс; гипотеза о нормальности распределений не подтвердилась (по критерию Чебышева). Точечные оценки оказались смещенными, что можно объяснить систематической ошибкой, внесенной на этапе инициализации модели головы. О разбросе ошибок оценивания углов поворота у/, в, <р головы можно судить по «исправленным» среднеквадратичным отклонениям, которые, для модели Candide-3 составили соответственно 5, 7 и 3,5 градуса; для цилиндрической модели - 7, 6 и 4 градуса; для эллипсоидальной - 9, 5 и 4 градуса; для плоской -13, 18 и 5 градусов.
Описано внедрение полученных результатов в программный продукт МапуСат, разрабатываемый в компании ТомскСофт. Рассмотрены перспективы использования разработанных алгоритмов и методов трекинга головы в компьютерных учебных программах.
ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ
Основные результаты диссертационной работы состоят в следующем:
1.На основе анализа проблемы отслеживания головы и литературных источников сформулированы рекомендации по выбору метода трекинга головы для реализации в программной системе. Если требуется высокая точность определения положения головы, то предпочтение следует отдавать методам, основанным на построении геометри-
ческих моделей головы (отметим, что наихудшую точность имеют методы детектирования головы); однако если требуется автоматическая инициализация системы, то необходимо рассмотреть возможность использования детектирования для инициализации модели (например, мультивидового детектора), а из различных моделей головы предпочтение следует отдать более простым (цилиндр, эллипсоид), которые менее чувствительны к ошибкам инициализации модели. Для увеличения устойчивости и точности системы трекинга головы возможно комплексирование различных алгоритмов на основе методов фильтрации (например, на основе фильтра Калмана). Но этот путь может породить новые проблемы: высокую вычислительную сложность синтезированного алгоритма и т.п.
2. Разработан приближенный алгоритм инициализации модели головы. Данный способ основан на детектировании лица и на том предположении, что при выбранных параметрах камеры, размере и положении модели головы, проекция модели головы должна совпадать с изображением головы на первом видеокадре. Алгоритм пригоден для первоначального позиционирования модели головы без необходимости ручной разметки области лица при использовании некалиб-рованной монокулярной веб-камеры, что отличает его от методов, требующих ручное задание положения головы.
3. Впервые для задачи трекинга головы как твердого тела, обладающего шестью степенями свободы движения, применен ИК алгоритм регистрации изображений. ИК алгоритм является более эффективным в вычислительном плане, чем известные аналоги.
4. Разработана и зарегистрирована в Роспатенте ПС, реализующая модельный метод отслеживания головы человека и отличающаяся от известных автору аналогов реализованным в ней способом записи информации о положении головы человека на каждом видеокадре. Практическая ценность реализованной ПС состоит в возможности ее использования для получения экспериментальных данных о положении головы человека на видеокадрах, что делает возможным сравнение с данными, полученных другими исследователями, например при сравнении точности различных методов трекинга.
5. Предложены три количественных критерия оценки моделей: сумма квадратов разностей, сумма модулей разностей и коэффициент корреляции. На основе предложенных критериев проведен сравнительный анализ четырех недеформируемых геометрических моделей головы: ЗО цилиндра, 30 эллипсоида, плоской прямоугольной модели и модели СапсНс1е-3. Данный анализ отличается от аналогов исполь-
зуемыми критериями сравнения, а также набором сравниваемых моделей.
6. Проведенный экспериментально сравнительный анализ четырех моделей головы позволил составить рекомендации по использованию данных моделей, а именно: наилучшую точность трекинга обеспечивают эллипсоидальная и цилиндрическая модели головы. Эти модели применимы при наличии значительных поворотов головы вне плоскости изображения. Модель Candide-3 также обеспечивает хорошую точность, но, так как она, по сути, моделирует лишь форму лица, а не всей головы, то при значительных поворотах головы использовать ее нецелесообразно. Плоская модель существенно уступает указанным трем моделям, особенно при наличии значительного поворота головы вне плоскости изображения.
7. Основные результаты диссертации внедрены в программный продукт МапуСаш (http://manycam.com), разрабатываемый в компании ТомскСофт. Созданный программный модуль используется для отслеживания головы пользователя компьютера в трехмерном пространстве в режиме реального времени и наложения специальных трехмерных эффектов на видеоизображение лица пользователя, что подтверждается соответствующим актом о внедрении.
ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ Статьи в журналах из перечня ВАК
1. Кривцов O.A. Инверсно-композиционный алгоритм регистрации изображений. Программная реализация алгоритма регистрации средствами языка С++ и библиотеки OpenCV / O.A. Кривцов, A.M. Кориков II RSDN Magazine - М.: K-Пресс. - 2010. - № 1 - С. 59-72.
2. Кривцов O.A. Отслеживание головы человека на видеокадрах: классификация и выбор / O.A. Кривцов, A.M. Кориков Н Информационные технологии - М.: Новые технологии, 2010. - № 9 - С. 13-19.
3. Кривцов O.A. Отслеживание головы человека на видеокадрах: состояние проблемы / O.A. Кривцов, A.M. Кориков II Информационные технологии - М.: Новые технологии, 2010. - № 7 - С. 2-9.
4. Кривцов O.A. Моделирование головы человека для задачи отслеживания ее положения на видеокадрах // Доклады Томского государств, универ. систем управл. и радиоэлектр. - Томск: ТУСУР, 2009. - № 1(19), Ч. 1. -С.109-115.
5. Кривцов O.A. Отслеживание положения головы человека в пространстве на основе анализа видеокадров / O.A. Кривцов, A.M. Кориков // Доклады Томского государств, универ. систем управл. и радиоэлектр. - Томск: ТУСУР, 2008. -№ 2(18), часть 2. - С. 32-39.
Статьи в других изданиях
6. Кориков A.M. Развитие систем человек-компьютер на основе методов трекинга головы человека / A.M. Кориков, O.A. Кривцов // Материалы
докладов 16-й Междунар. науч.-техн. конф-ии «Природные и интеллект, ресурсы Сибири» - Томск: САН ВШ; В-Спектр 2010. - С. 14-18.
7. Кривцов O.A. Исследование применимости метода Ныотопа и метода Левенберга-Марквардта к задаче регистрации изображений // Материалы докладов Всероссийской науч.-техн. конф-ии студентов, аспиран. и молодых ученых «Научная сессия ТУСУР-2010» - Томск: В-Спектр, 2010 -Ч. 4 -С. 231-234.
8. Кривцов O.A. Методы тренинга головы человека на видео // Материалы докладов Всероссийской науч.-техн. конф-ии студентов, аспиран. и молодых ученых «Научная сессия ТУСУР-2010» - Томск: В-Спектр, 2010 -Ч. 1 - С. 149-152.
9. Кривцов O.A. Отслеживание жестких объектов на видеокадрах с помощью текстурных моделей // Материалы докладов VII Всероссийской науч.-практ. конф-ии студ., аспиран. и молодых ученых «Молодежь и современные информационные технологии» - Томск: СПБ Графике, 2009 -Ч.1-С. 149-150.
10. Кривцов O.A. Программа отслеживания перемещения головы на видео // Труды XIV междунар. науч.-практ. конф-ии «Современная техника и технологии» - Томск: ТПУ, 2008 - Т. 2. - С. 320-321.
11. Кривцов O.A. Система отслеживания перемещения головы на видео кадрах. Труды конф-ии «Научная сессия ТУСУР» - Томск: В-Спектр, 2008. -Т. 1. - С. 144.
12. Кривцов O.A. Сравнительный анализ жестких моделей головы человека применительно к задаче отслеживания головы на видеокадрах / O.A. Кривцов, A.M. Кориков // Материалы докладов Всероссийской науч.-техн. конф-ии студ., аспиран. и молодых ученых «Научная сессия ТУСУР»- Томск: В-Спектр, 2009 - Ч. 4. - С. 218-221.
13. Кривцов O.A. Тестовое видео для трекинга головы человека // Материалы XLVIII Международной научной студен, конф-ии «Студент и научно-технический прогресс» : Информационные технологии - Новосибирск, 2010.-С. 15.
14. Кривцов O.A. Управление курсором мыши путем отслеживания наклона головы пользователя // Доклады науч.-практ. конф-ии «Электронные ср-ва и системы управл.: итоги реализ. прогр. развития электрон, и IT-технол. в Томской обл.» - Томск: В-Спектр, 2008. - С. 190-195.
15. Krivtsov О. An Analysis of Performance and Accuracy of a Video Head Tracking System / O. Krivtsov, A. Korikov // Proc. 15th Intnl. Conf. «Modem Technique and Technologies» - Томск: TPU Press, 2009. - P. 113-115.
16. Krivtsov O. Applying Inverse-Compositional Image Registration Algorithm to Head Tracking with 6 DOF // Proc. 16th Intnl. Conf. «Modern Technique and Technologies» - Томск: TPU Press, 2010. - P. 91-93.
Свидетельства об интеллектуальной собственности
17. Свидетельство о государственной регистрации программы для ЭВМ №2010610249 от 11 января 2010 г. «Head Tracking Demo» / Правообладатель и автор: Кривцов O.A.
Тираж 100. Заказ № 1009. Томский государственный университет систем управления и радиоэлектроники 634050, г. Томск, пр. Ленина, 40. Тел.:53-30-18.
Оглавление автор диссертации — кандидата технических наук Кривцов, Олег Александрович
ВВЕДЕНИЕ.
1. МЕТОДЫ ОТСЛЕЖИВАНИЯ ПОЛОЖЕНИЯ ГОЛОВЫ ЧЕЛОВЕКА НА ВИДЕОКАДРАХ: СОСТОЯНИЕ ПРОБЛЕМЫ И ПУТИ РЕШЕНИЯ.
1.1. Применение методов отслеживания головы человека на видеокадрах.~.
1.2. Развитие методов отслеживания головы человека на видеокадрах
1.3. Факторы, усложняющие трекинг головы человека.
1.4. Классификация методов отслеживания головы человека.
1.4.1. Методы трекинга головы, основанные на ее детектировании.
1.4.2. Методы трекинга головы, основанные на цветовой информации.
1.4.3. Методы трекинга головы, основанные на отслеживании «особых» точек лгща.
1.4.4. Методы трекинга головы, основанные на построении ее геометрических текстурных моделей.
1.5. Экспериментальное оценивание систем отслеживания головы.
1.6. Обоснование выбора метода трекинга головы.
1.7. Выводы по первой главе.
2. ОТСЛЕЖИВАНИЕ ГОЛОВЫ ЧЕЛОВЕКА НА ВИДЕОКАДРАХ С ПОМОЩЬЮ ГЕОМЕТРИЧЕСКИХ ТЕКСТУРНЫХ МОДЕЛЕЙ.
2.1. Термины компьютерной графики и их роль при разработке методов трекинга головы.
2.2. Моделирование головы человека.
2.3. Метод отслеживания головы человека.
2.3.1. Инициализация модели головы.
2.3.2. Инверсно-композиционный алгоритм регистрации изображений.
2.3.3. Модель движения твердого тела с шестью степенями свободы и использованием перспективной проекции.
2.3.4. Построение карт уверенности.
2.3.5. Алгоритлш трекинга головы.
2.4. Программная система отслеживания головы человека.
2.4.1. Термины, используемые при описании программной архитектуры.
2.4.2. Заинтересованные лица, миссия, окружение и качества программной системы.
2.4.3. Идентификация точек зрения па архитектуру системы.
2.4.4. Логический вид.
2.4.5. Вид процесса.
2.4.6. Вид разработки.
2.5. Выводы по второй главе.
3. ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ И ВНЕДРЕНИЕ ПРОГРАММНОЙ СИСТЕМЫ ТРЕКИНГА ГОЛОВЫ.
3.1. Постановка эксперимента.
3.2. Оценка производительности системы.
3.3. Оценка точности системы.
3.4. Сравнительный анализ моделей головы.
3.5. Реализация полученных результатов в продукте ManyCam.
3.6. Перспективы использования полученных результатов в компьютерных обучающих программах.
3.7. Выводы по третьей главе.
Введение 2010 год, диссертация по информатике, вычислительной технике и управлению, Кривцов, Олег Александрович
Актуальность темы. Отслеживание головы человека (англ. head tracking, трекинг головы) - это решение задачи последовательного определения положения головы на видеокадрах, независимо от того, движется голова или камера. Трекинг головы на видеокадрах применяется или обладает потенциалом применения при создании систем трехмерной компьютерной анимации, разработке интерфейсов взаимодействия человек-компьютер, проведении видеоконференций в сети Интернет, стабилизации изображения лица с целью облегчения распознавания эмоций либо персональной идентификации и др.
Значительный вклад в развитие теории и практики трекинга головы внесли зарубежные ученые Брюс Д. Лукас (Bruce D. Lucas), Такео Канаде (Такео Kanade), Цзин Сяо (Jing Xiao), Саймон Бэкер (Simon Baker), Иэн Мэтыоз (Iain Matthews), Тсуеши Морияма (Tsuyoshi Moriyama), Марко Ла Каскиа (Marco La Cascia), Стэн Склароф (Stan Sclaroff), Пол Виола (Paul Viola), Майкл Дж. Джонс (Michael J. Jones), Ричард Зелиски (Richard Szeliski), Грегори Д. Хэгер (Gregory D. Hager), Петер H. Белюмье (Peter N. Belhumeur). Из работ отечественных ученых по этой теме отметим труды А.П. Вежневца и P.C. Шорги-на.
Несмотря на обилие научных трудов, опубликованных по теме трекинга головы за последние тридцать лет, в настоящее время проблему отслеживания головы нельзя назвать решенной в объеме, позволяющем осуществлять выбор методов, алгоритмов и программных средств трекинга головы человека на видеокадрах в интересах разнообразных применений и, в частности, для человеко-машинных интерфейсов, расширяющих интеллектуальные возможности компьютеров и компьютерных систем. Это обусловлено многими факторами, усложняющими анализ изображения головы человека на видеокадрах, такими как неравномерность освещения сцены, непредсказуемость траектории и скорости движения головы, непостоянность (нестабильность) формы и текстуры головы за счет изменения мимики лица и т.д.
В наши дни большой популярностью пользуются недорогие веб-камеры, которые со времени их изобретения в начале 1990-х годов превратились во вполне сформировавшийся класс устройств, без которых невозможно представить себе общение в сети Интернет. Поэтому актуальным представляется исследование проблемы отслеживания головы на видеоизображении с веб-камеры. Видеоизображение с веб-камеры получается, как правило, низкого разрешения и низкого качества, что усложняет решение задач трекинга головы. Кроме того, веб-камера имеет один объектив, поэтому для отслеживания положения головы требуется процедура калибровки камеры с целью определения ее параметров.
Среди существующих подходов к отслеживанию положения головы человека на видеокадрах, таких как методы, основанные на детектировании лица в разных ракурсах (англ. tracking-by-detection), методы, основанные на отслеживании «характерных точек» лица (англ. feature points) и методы, основанные на построении геометрической текстурной модели головы, автору представляется наиболее выгодным использование последних (модельных методов). Это обусловлено тем, что данный подход в отличие от других обеспечивает более высокую точность и имеет сравнительно малую вычислительную сложность. Модель головы представляет собой трехмерную поверхность (жесткую либо деформируемую), на которую накладывается текстурное изображение. Задача отслеживания положения головы может быть сформулирована как задача определения параметров модели (перемещение, вращение) с целью совмещения проекции трехмерной (3D1) модели головы на видеокадре с реальным изображением головы на этом кадре. Данную задачу можно решить, применяя алгоритм регистрации (сопоставления) изображений (видеокадров). Однако данный подход обладает такими недостатками, как необходимость:
1 Список используемых в тексте обозначений и сокращений приведен в приложении А.
1) выбора модели головы (у каждого человека своя (оригинальная) форма головы);
2) ее первоначального позиционирования (на практике использование веб-камеры не обеспечивает возможность физического измерения расстояния до объекта и точного определения его первоначального положения);
3) учета изменения освещенности и обновления текстуры модели (т. е. обновление шаблона, с которым сравнивается текущий видеокадр).
От перечисленных факторов напрямую зависит, насколько успешно будет решена задача отслеживания положения головы. Изложенное выше доказывает актуальность и научную значимость решения проблемы инициализации модели головы при использовании веб-камеры, сравнительного исследования известных геометрических недеформируемых моделей головы и разработки на их основе методов, алгоритмов и программных средств трекинга головы человека на видеокадрах для расширения интеллектуальных возможностей вычислительных машин и систем.
Целью данной работы является исследование и разработка методов и алгоритмов отслеживания положения головы человека на поступающих с монокулярной веб-камеры видеокадрах, основанных на построении недеформируемых геометрических текстурных моделей головы, и разработка на их основе программных средств трекинга головы.
Для достижения поставленной цели необходимо решить следующие задачи:
• выполнить анализ состояния проблемы отслеживания положения головы на видеокадрах в целом и методов, основанных на построении геометрической текстурной модели головы в частности, определить возможные пути ее успешного решения;
• выполнить формализацию задачи инициализации модели головы и получить ее решение для первоначального позиционирования модели головы при использовании некалиброванной монокулярной веб-камеры;
• выделить основные сущности бизнес-логики, проведя декомпозицию задачи трекинга головы; реализовать алгоритм, основанный на построении модели головы, в составе программной системы (ПС);
• провести анализ производительности и точности разработанной системы; вывести критерии для сравнения моделей головы и провести сравнительный анализ различных моделей головы на основе ПС отслеживания головы.
Объектом исследования является проблема создания человеко-машинных интерфейсов и программных средств, расширяющих интеллектуальные возможности компьютерных систем на основе решения задач отслеживания положения головы человека по ее видеоизображению.
Предметом исследования являются методы отслеживания головы человека на поступающих с веб-камеры видеокадрах, основанные на применении геометрических текстурных моделей головы; методы построения жесткой модели головы и ее первоначального пространственного позиционирования; сравнительный анализ различных моделей головы.
Методы исследования, применяемые в данной работе, базируются на аппарате дифференциального исчисления, численных методах, методах оптимизации, компьютерной графике, математическом (имитационном) моделировании. Для сравнительного анализа моделей головы человека проводились модельные эксперименты с помощью ПС, созданной средствами языка программирования С++. В процессе программной реализации полученных результатов использовались методы теории алгоритмов, теории структур данных, объектно-ориентированного программирования. Для количественной обработки данных эксперимента применялись методы теории вероятностей и математической статистики.
Информационная база данной работы включает в себя доклады, представленные на конференциях по компьютерному зрению (главным образом это зарубежные источники), квалификационные работы, опубликованные по аналогичным темам, а также экспериментальные данные и системы, опубликованные в печати либо представленные в Интернет-ресурсах. Новизна данной работы состоит в следующем:
1. Проведен анализ проблемы отслеживания головы человека на видеокадрах, определены факторы, усложняющие трекинг головы, классифицированы методы трекинга головы и разработаны рекомендации по выбору метода трекинга для реализации в ПС. Проведенный анализ отличается от известных аналогов указанными факторами, выделенными классами методов трекинга и рекомендациями по выбору методов для программной реализации.
2. Разработан оригинальный приближенный алгоритм автоматического пространственного позиционирования модели головы человека на первом видеокадре для некалиброванной видеокамеры, основанный на данных о приближенном положении области лица, получаемых от детектора лица, что отличает разработанный алгоритм от известных, предполагающих ручное задание положения головы.
3. Впервые применен инверсно-композиционный (ИК) алгоритм регистрации изображений для задачи трекинга головы как твердого тела, обладающего шестью степенями свободы движения.
4. Создана и зарегистрирована в Роспатенте ПС, реализующая модельный метод отслеживания головы человека и отличающаяся от известных аналогов реализованным в ней способом записи информации о положении головы человека на каждом видеокадре.
5. Предложены новые критерии для сравнительного анализа известных моделей головы (цилиндрической, эллипсоидальной, плоской, СапсНс1е-3), обеспечивающие выработку рекомендаций по областям применения сравниваемых моделей головы.
Положения, выносимые на защиту:
1. На основе анализа проблемы трекинга головы человека на видеокадрах определено ее современное состояние и выполнена классификация методов трекинга головы.
2. Приближенный алгоритм позиционирования модели головы при использовании веб-камеры позволяет инициализировать процесс отслеживания головы в автоматическом режиме, т.е. без ручной разметки области лица на первом кадре, что является важным этапом создания полностью автоматических систем трекинга головы.
3. Выбранный ИК алгоритм регистрации изображений является более эффективным в вычислительном плане по сравнению с другими известными алгоритмами регистрации изображений.
4. Созданная программная система обеспечивает проведение экспериментальных исследований методов и алгоритмов отслеживания положения головы человека на видеокадрах, необходимых для их тестирования и сравнения, в частности, для сопоставления по точности алгоритмов трекинга головы и обоснования рекомендаций по их реализации для расширения интеллектуальных возможностей компьютерных систем.
5. Экспериментальный сравнительный анализ четырех моделей головы позволяет сформулировать рекомендации по выбору методов трекинга головы человека для математического и программного обеспечения систем трекинга головы человека.
Достоверность результатов и выводов работы обеспечивается строгостью применения используемых математических методов, непротиворечивостью результатов и выводов автора с ранее полученными данными других исследований, совпадением результатов численных расчетов автора с расчетами и экспериментальными данными других авторов, а также успешным применением полученных результатов в объекте внедрения. Для всех разработанных программных модулей созданы автоматические тесты, обеспечивающие покрытие большей части программного кода.
Практическая ценность полученных результатов:
• Основные результаты диссертации реализованы (внедрены) в программном продукте ManyCam2, разрабатываемым в компании ТомскСофт. Созданный программный модуль используется для отслеживания головы пользователя компьютера в трехмерном пространстве в режиме реального времени и наложения специальных трехмерных эффектов на видеоизображение лица пользователя.
• Разработана ПС «Head Tracking Demo», которая использовалась автором для оценки производительности и точности метода трекинга головы. Отметим возможность использования реализованной ПС с целью сравнения с аналогичными системами.
Внедрение.
• Полученные результаты реализованы (внедрены) в продукте ManyCam компании ТомскСофт, что подтверждается соответствующим актом о внедрении (приложение Б).
• Результаты диссертации использовались при выполнении госбюджетной НИР «Исследование методов и алгоритмов анализа изображений для задач идентификации личности» [29] (per. № 01200854086, инв. № 02201052300), выполнявшейся в Томском государственном университете систем управления и радиоэлектроники (ТУСУР) в 2005-2009 гг.
• Результаты исследований использованы в учебном процессе на кафедре АСУ ТУСУРа.
2 ManyCam [Электронный ресурс] - Электрон, дан. - ManyCam LLC, 2006. - Режим доступа: http://manycam.com, свободный — Загл. с экрана. - Текст на экране англ.
Апробация работы. Результаты работы докладывались и обсуждались на международных, всероссийских и региональных научно-практических конференциях, в том числе конференции «Современная техника и технологии», г. Томск, 2008 г. (доклад отмечен дипломом), 2009 г. (доклад отмечен дипломом I степени), 2010 г. (доклад участвовал в отборе на конкурс У.М.Н.И.К), «Научная сессия ТУСУР», г. Томск, 2008 г., 2009 г. (доклад отмечен дипломом II степени), 2010 г. (доклад отмечен дипломом III степени), «Электронные средства и системы управления: итоги реализации программы развития электроники и IT-технологий в Томской области», г. Томск, 2008 г. (доклад участвовал в конкурсе У.М.Н.И.К), «Молодежь и современные информационные технологии», г. Томск, 2009 г., «Студент и научно-технический прогресс», г. Новосибирск, 2010 г, «СИБРЕСУРС-2010», г. Абакан, 2010 г.
Публикации. По теме диссертации было опубликовано 16 работ [12; 1426; 82; 83], в том числе пять статей в журналах, входящих в перечень ВАК («RSDN Magazine», «Информационные технологии» и «Доклады Томского государственного университета систем управления и радиоэлектроники») и 11 публикаций в сборниках трудов региональных, всероссийских и международных конференций. Публикации в электронном виде доступны по адресу 3. Имеется свидетельство о регистрации разработанной ПС «Head Tracking Demo» в реестре федерального агентства по интеллектуальной собственности Роспатент (приложение Б).
Личный вклад. Автором самостоятельно получен алгоритм инициализации модели головы и создана реализация ПС «Head Tracking Demo». Совместно с научным руководителем разработаны критерии для проведения сравнительного анализа моделей головы, а также интерпретировались результаты этого
3 Head Tracking Demo [Электронный ресурс] = Отслеживание головы человека (демо) : сайт содержит информацию о программе «Head Tracking Demo» / автор O.A. Кривцов - Электрон, дан. - Томск, 2010. — Режим доступа: http://headtracking.googlepages.com, свободный — Загл. с экрана. — Текст на экране англ., рус. анализа. Совместно с сотрудниками компании ТомскСофт проводилось внедрение полученных результатов в программный продукт компании ТомскСофт.
Структура и объем работы. Данная работа состоит из введения, трех глав, заключения, списка литературы, и четырех приложений.
В первой главе раскрывается исторический путь развития методов тре-кинга головы человека; описываются основные сложности, возникающие при реализации ПС трекинга головы; проводится классификация методов, подчеркиваются их достоинства и недостатки; анализируется проблема экспериментального испытания ПС трекинга головы; обосновываются постановки задач исследования.
Во второй главе излагается используемый понятийный аппарат компьютерной графики; обосновываются принципы построения геометрической текстурной модели головы; рассматривается способ инициализации модели головы, не требующий знания параметров веб-камеры и размеров головы; рассматриваются математические основы используемого метода трекинга головы; описываются основные сущности, выделенные при декомпозиции задачи, и составляющие основные блоки ПС «Head Tracking Demo».
В третьей главе проводится экспериментальный сравнительный анализ четырех известных моделей головы: цилиндра, эллипсоида, плоской модели и модели Candide-3; проводится исследование производительности и точности системы; рассматривается внедрение полученных результатов и перспективы их использования в компьютерных учебных программах.
Благодарности. Диссертант выражает глубокую благодарность научному руководителю, заслуженному деятелю науки РФ, д.т.н., проф., зав. каф. АСУ ТУСУРа Анатолию Михайловичу Корикову за внимательное отношение и помощь в работе над диссертацией, при подготовке статей, решение организационных вопросов и разностороннюю поддержку в течение трех лет подготовки диссертационной работы. Автор выражает глубокую благодарность к.ф-м.н. Владимиру Попонину за помощь в анализе результатов работы алгоритма отслеживания головы, а также директору компании ТомскСофт Илье Владимировичу Безходарнову и коллегам из компании ТомскСофт Антону Тушминцеву, Николаю Болдыреву, Владимиру Другову, Дмитрию Цведелю за оказанную помощь в процессе работы по внедрению основных результатов диссертации. Автор выражает благодарность профессорам ТУСУРа A.A. Мицелю, М.Ю. Катаеву и В.Г. Астафурову, а также доценту ТПУ B.C. Аврамчуку за ценные замечания по содержанию диссертационной работы.
Заключение диссертация на тему "Методы, алгоритмы и программная система трекинга головы человека на видеокадрах, основанные на геометрических текстурных моделях"
7. Основные результаты диссертации внедрены в программный продукт МапуСат (http://manycam.com), разрабатываемый в компании ТомскСофт. Созданный программный модуль используется для отслеживания головы пользователя компьютера в трехмерном пространстве в режиме реального времени и наложения специальных трехмерных эффектов на видеоизображение лица пользователя, что подтверждается соответствующим актом о внедрении.
Кратко рассмотрены перспективы использования полученных результатов в компьютерных обучающих программах, где существует проблема сложности взаимодействия с компьютером для некоторых групп пользователей, например пожилых людей.
Результаты диссертации использовались при выполнении госбюджетной НИР «Исследование методов и алгоритмов анализа изображений для задач идентификации личности», использованы в учебном процессе на кафедре АСУ ТУСУРа.
Заключение
В диссертационной работе решена актуальная научно-техническая задача исследования и разработки методов и алгоритмов отслеживания (трекинга) головы человека на видеокадрах, поступающих с монокулярной веб-камеры, и создания на их основе программных средств трекинга головы.
Приведем краткое резюме по главам, последовательно отмечая жирным шрифтом основные результаты работы.
В первой главе систематизированы результаты предыдущих исследований по решению проблемы отслеживания головы человека на видеокадрах, а именно:
Представлены основные области применения: компьютерная графика, компьютерная ЗЭ анимация, ЧМВ, стабилизация изображения лица, видеоконференции по сети Интернет, робототехника, медицина, видеонаблюдение, поиск мультимедиа информации.
Изложена история развития методов трекинга головы, которые в течение последних тридцати лет эволюционировали от 20 алгоритмов (использующих края, цветовую информацию) к ЗБ алгоритмам (детектирование головы в различных ракурсах, трехмерные геометрические модели).
Выделены основные классы методов трекинга, основанные на: геометрических моделях головы, цветовой статистике, детектировании либо отслеживании характерных точек.
Перечислены основные трудности, встающие перед исследователем при разработке алгоритмов и ПС для решения задачи отслеживания головы: вариации качества видео, неравномерность освещения сцены, изменение формы и текстуры головы за счет изменения мимики лица, непредсказуемость движений головы, выбросы, вычислительная сложность алгоритмов.
На основании анализа, проведенного в первой главе можно сделать вывод о том, что в настоящее время устойчивый трекинг головы в течение заданного также вводят ограничения на характер освещенности и характер движений головы, упрощающие трекинг головы. Поэтому существует проблема определения степени репрезентативности полученного набора, ведь в большинстве случаев трудно сформулировать критерии отбора, и объективно оценить ту область, на которую можно обобщить результаты эксперимента, проведенного на данном наборе видеоданных.
По результатам эксперимента можно сделать выводы о производительности ПС трекинга головы «Head Tracking Demo», а именно: производительность системы составила примерно 20 кадров/с на компьютере Intel CPU 1,6 GHz, что показывает возможность работы системы в реальном масштабе времени. Время инициализации модели головы значительно превосходит время отслеживания ее перемещения между соседними видеокадрами, но, так как инициализация обычно выполняется только для первого кадра, это не влияет существенно на производительность системы.
5. Предложены три количественных критерия оценки моделей головы: сумма квадратов разностей, сумма модулей разностей и коэффициент корреляции. На основе предложенных критериев проведен сравнительный анализ четырех недеформируемых геометрических моделей головы: 3D цилиндра, 3D эллипсоида, плоской прямоугольной модели и модели Сап-dide-З. Данный анализ отличается от аналогов используемыми критериями сравнения, а также набором сравниваемых моделей.
6. Проведенный экспериментально сравнительный анализ четырех моделей головы позволил составить рекомендации по использованию данных моделей, а именно: наилучшую точность трекинга обеспечивают эллипсоидальная и цилиндрическая модели головы. Эти модели применимы при наличии значительных поворотов головы вне плоскости изображения. Модель Candide-3 также обеспечивает хорошую точность, но, так как она, по сути, моделирует лишь форму лица, а не всей головы, то при значительных поворотах головы использовать ее нецелесообразно. Плоская модель существенно уступает указанным трем моделям, особенно при наличии значительного поворота головы вне плоскости изображения.
Получены оценки ошибок углов поворота головы и построены гистограммы их распределения. Вычислены асимметрия и эксцесс; гипотеза о нормальности распределений не подтвердилась (по критерию Чебышева). Точечные оценки оказались смещенными, что можно объяснить систематической ошибкой, внесенной на этапе инициализации модели головы. О разбросе ошибок оценивания углов поворота у/, 9 и (р головы можно судить по «исправленным» среднеквадратичным отклонениям, которые, например, для модели СапсНс1е-3 составили соответственно 5, 7 и 3,5 градуса; для цилиндрической модели — 7, 6 и 4 градуса; для эллипсоидальной - 9, 5 и 4 градуса; для плоской — 13, 18 и 5 градусов.
Библиография Кривцов, Олег Александрович, диссертация по теме Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей
1. Абакумов В.Г. Современные средства взаимодействия человека с компьютером / В.Г. Абакумов, В.В Васильева, Е.Ю. Ломакина// Электроника и связь. Тематический выпуск «Электроника и нанотехнологии» — №5-2010.-С. 128-131.
2. Автоматизация разработки компьютерных учебных программ / A.A. Мицель, В.В. Романенко, М.В. Веретенников, А.И. Щербаков -Томск: Изд-во НТЛ, 2005. 384 с.
3. Бермант А.Ф. Краткий курс математического анализа. Для ВТУЗов / При редакционном участии И.Г. Арамановича — Издание третье, стереотипное. М.: Изд-во «Наука», 1965. - 656 с.
4. Вежневец В. Система управления курсором «мыши» при помощи движений головы пользователя / В. Вежневец, Р. Шоргин, А. Вежневец // Труды конф. по компьютер, графике и машинному зрению Graphicon-2006. Новосибирск, 2006. - С. 455-^58.
5. Гмурман В.Е. Теория вероятностей и математическая статистика: Учеб. пособие для вузов. 8-е изд., стер. - М.: Высш. шк., 2002. - 479 е.: ил.
6. Дубровский Д.И. Новая реальность: человек и компьютер // Полигно-зис М: Журнал «Полигнозис», 2003. - № 3 (23) - С. 20-32.
7. Ерохина А.П. Высшая математика. Часть 1. Линейная алгебра, аналитическая геометрия, введение в математический анализ, дифференциальное исчисление: Учебное пособие. / А.П. Ерохина, Л.Н. Байбакова -Томск, 2004. 257 с.
8. Илес П. Что такое архитектура программного обеспечения? Электронный ресурс. Электрон, дан. - IBM, 2006. - Режим доступа: http://www.ibm.com/developerworks/ru/library/eeles/, свободный — Загл. с экрана. - Текст на экране рус.
9. Ильин В.А. Математический анализ. Продолжение курса. / В.А. Ильин,
10. B.А. Садовничий, Бл.Х. Сендов. Под. ред. академика А.Н. Тихонова. -М., Изд-во МГУ, 1987. 358 с.
11. Калиткин H.H. Численные методы: Учебное пособие для вузов / H.H. Калиткин; ред. A.A. Самарский. М.: Наука, 1978. - 512 е.: ил., табл. -Библиогр.: с. 505-508. - Предм. указ.: с. 509-512. - (в пер.) : Б. ц.
12. Кориков A.M. Развитие технологий электронного образования с позиций информатики как науки об инфокоммуникациях / A.M. Кориков, A.A. Мицель, В.В. Романенко // Информатика и образование, 20101. C. 1-10.
13. Кривцов O.A. Методы трекинга головы человека на видео // Материалы докладов Всероссийской науч.-техн. конф. студентов, аспирантов и молодых ученых «Научная сессия ТУСУР-2010» Томск: Изд-во В-Спектр, 2010 - Ч. 1 - С. 149-152.
14. Кривцов O.A. Моделирование головы человека для задачи отслеживания ее положения на видеокадрах // Доклады Томского государственного университета систем управления и радиоэлектроники Томск: Издательство ТУСУР, 2009. - № 1(19), Ч. 1.-С. 109-115.
15. Кривцов O.A. Отслеживание головы человека на видеокадрах: классификация и выбор / O.A. Кривцов, A.M. Кориков // Журнал «Информационные технологии» М.: Изд-во «Новые технологии», 2010. - № 9 -С. 13-19.
16. Кривцов O.A. Отслеживание головы человека на видеокадрах: состояние проблемы / O.A. Кривцов, A.M. Кориков // Журнал «Информационные технологии» М.: Изд-во «Новые технологии», 2010. — № 7. — С. 2— 9.
17. Кривцов O.A. Программа отслеживания перемещения головы на видео. Труды XIV международной науч.-практ. конф. «Современная техника и технологии» Томск: ТПУ, 2008 - Т. 2. - С. 320-321.
18. Кривцов O.A. Система отслеживания перемещения головы на видео кадрах. Труды конф. «Научная сессия ТУСУР-2008» Томск: Изд-во «В-Спектр», 2008. - Т. 1. - С. 144.
19. Кривцов O.A. Тестовое видео для трекинга головы человека // Материалы XLVIII Международной научной студенческой конф. «Студент, и научно-технический прогресс» : Информационные технологии — Ново-сиб. гос. ун-т. Новосибирск, 2010. С. 15.
20. Митропольский А.К. Техника статистических вычислений 2-е изд. — М.: Наука, 1971.-576 с.
21. Мицель A.A. Методы оптимизации. Часть I : Учебное пособие. / A.A. Мицель, A.A. Шелестов Томск: Томский межвузовский центр дистанц. образования, 2002. - 192 с.
22. Отчет о научно-исследовательской работе «Исследование методов и алгоритмов анализа изображений для задач идентификации личности» (заключительный) / Научный руководитель Кориков A.M. Коллектив авторов. Томск, 2009 - 126 с.
23. Слободянюк А.И. Метод наименьших квадратов в школьном физическом эксперименте // Ф1зжа: праблемы выкладання- 1995. Вып. 1. — С. 88-99.
24. Тыщенко О.Б. Диалоговое взаимодействие в системе «человек компьютер» // Компьютерная хроника - 1999. - № 9. - С. 33-36.
25. Тэйлор Дж. Введение в теорию ошибок / Пер. с англ. Л.Г. Деденко — М: Мир, 1985.-272 с.
26. A Real Time Face Tracking and Animation System / X. Wei, Z. Zhu, L. Yin, Q. Ji // Сотр. Vision and Pattern Recognition Workshop Los Alamitos, CA: IEEE Computer Society, 2004. - Vol. 5. - P. 71.
27. Ablavsky V. Layered Graphical Models for Tracking Partially Occluded Objects / V. Ablavsky, A. Thangaly, S. Sclaroff // Proc. IEEE Conf. on Сотр. Vision and Pattern Recognition Anchorage, AK., 2008. - P. 1-8.
28. Ahlberg J. Candide 3 An Updated Parameterized Face // Report No. LiTHISY-R-2326, Dept. of Electrical Engineering, Linkoping University, Sweden, 2001.- 16 p.
29. An Investigation of Model Bias in 3D Face Tracking / D. Fidaleo, G. Medioni, P. Fua, V. Lepetit // Analysis and Modeling of Faces and Gestures B: Springer Berlin/Heidelberg, 2005. - Vol. 3723/2005. - P. 125-139.
30. Ashdown M. Combining Head Tracking and Mouse Input for a GUI on Multiple Monitors / M. Ashdown, K. Oka, Y. Sato // Proc. of Conf. on Human Factors in Computing Systems. Portland, OR, 2005. - P. 1188-1191.
31. Automatic Recognition of Eye Blinking in Spontaneously Occurring Behavior / T. Moriyama, T. Kanade, J. F. Cohn, J. Xiao, Z. Ambadar, J. Gao,
32. H. Imamura // Proc. 16th Intl. Conf. on Pattern Recognition Washington, DC: IEEE Computer Society, 2002. - Vol. 4. - P. 78-81.
33. Avidan S. Ensemble Tracking // IEEE Tran. Pattern Analysis and Machine Intelligence N.Y.: IEEE Computer Society, 2007. - Vol.29, No. 2. -P. 261-271.
34. Avidan S. Support Vector Tracking // IEEE Trans, on Patt. Analysis and Mach. Intell. N.Y.: IEEE Computer Society, 2004. - Vol. 26, No. 8. -P. 1064-1072.
35. Ba S. Evaluation of Multiple Cue Head Pose Estimation Algorithms in Natural Environments / S. O. Ba, J. Odobez // In Proceedings of the Intnl. Conf. on Multimedia and Exposition (ICME) Amsterdam, July 2005. - P. 13301333.
36. Baker S. Aligning Images Incrementally Backwards / S. Baker, F. Dellaert,
37. Matthews // Tech. report CMU-RI-TR-01-03 2001. - 20 p.
38. Baker S. Lucas-Kanade 20 Years On: A Unifying Framework: Part 1 / S. Baker, I. Matthews // Tech. report CMU-RI-TR-02-16, Robotics Institute, Carnegie Mellon University. Pittsburg, 2002. 47 p.
39. Basu S. Motion Regularization for Model-Based Head Tracking / S. Basu, I. Essa, A. Pentland // Proc. IEEE Intnl. Conf. on Pattern Recognition, Vienna, Austria, 1996. Vol. 3. - P. 611-616.
40. Birchfield S. Elliptical Head Tracking Using Intensity Gradients and Color Histograms // Proc. IEEE Conf. on Comp. Vision and Pattern Recognition. -Santa Barbara, California, 1998. P. 232-237.
41. Black M. EigenTracking: Robust Matching and Tracking of Articulated Objects Using a View Based Representation / M. Black, A. Jepson // Intnl. Journal Comp. Vision Springer Netherlands, 1998. - Vol. 26, No. 1. - P. 63-84.
42. Bottino A. Real Time Head and Facial Features Tracking from Uncalibrated Monocular Views // Proc. 5th Asian Conf. on Comp. Vision. Melbourne: Asian Federation of Comp. Vision Societies, 2002. - Vol. 2. - P. 776-781.
43. Bradski G. Computer Vision Face Tracking for Use in Perceptual User Interface // Intel Technology Journal. Intel, 1998. - Vol. Q2. - P. 15.
44. Bregler C. Tracking People with Twists and Exponential Maps / C. Bregler, J. Malik // Proc. IEEE Comp. Society Conf. on Comp. Vision and Patt. Recogn. Santa Barbara, CA: IEEE Computer Society, 1998. - P. 8-15.
45. Breitenstein M. Pose Estimation for Face Recognition using Stereo Cameras. Master Thesis // Swiss Federal Institute of Technology Zurich, 2006. 83 p.
46. Brown L. 3D Head Tracking Using Motion Adaptive Texture-Mapping // IEEE Comp. Society Conference on Comp. Vision and Pattern Recognition -IEEE Computer Society, 2001. Vol. 1. - P. 998.
47. Cascia M. Fully Automatic, Real-Time Detection of Facial Gestures from Generic Video / M. La Cascia, L. Valenti, S. Sclaroff // Proc. IEEE 6th Workshop on Multimedia Signal Processing. Siena, Italy, 2004. - P. 175178.
48. Cascia M. Head Tracking via Robust Registration in Texture Map Images / M. La Cascia, J. Isidoro, S. Sclaroff // In Proc. IEEE Conf. on Comp. Vision and Pattern Recognition Los Alamitos, CA: IEEE Computer Society, 1998.-P. 508-514.
49. Chen Y. Simultaneous Tracking of Rigid Head Motion and Non-rigid Facial Animation by Analyzing Local Features Statistically / Y. Chen, F. Davoine // Proc. British Machine Vision Conf. Edinburgh, 2006. - Vol. 2. - P. 609.
50. Colmenarez A. 3D Model-Based Head Tracking / A. Colmenarez, R. Lopez, T. Huang // Proc. Intl. Conference VSIP SPIE Press, 1997 - P. 426^134.
51. Davoine F. Head and Facial Animation Tracking using Appearance Adaptive Models and Particle Filters / F. Davoine, F. Dornaika // Comp. Vision and Pattern Recognition Workshop Los Alamitos, CA: IEEE Computer Society, 2004.-Vol. 10-P. 153.
52. Deng Z. Data Driven 3D Facial Animation / Z. Deng, U. Newman Springer, 2008.-296 p.
53. Edwards G. Interpreting face images using active appearance models /
54. G. J. Edwards, C. J. Taylor, T. F. Cootes // Proc. Intnl. Conf. on Automatic Face and Gesture Recognition 1998. - P. 300-305.
55. Engel K. Real-Time Volume Graphics 2006. - P. 112-114.
56. Face Pose Estimation and its Application in Video Shot Selection / Z. Yang,
57. H. Ai, B. Wu, S. Lao, L. Cai // Proc. 17th Intnl. Conf. on Patt. Recogn. -IEEE Computer Society, 2004. Vol. 1. - P. 322-325.
58. Face Pose Estimation System by Combining ICA-SVM Learning and 3D Modeling / K. Seo, I. Cohen, S. You, U. Neumann. // Proc. Asian Conf. on Comp. Vision Jeju, Korea, 2004. - P. 105.
59. Face Recognition by Elastic Bunch Graph Matching / L. Wiskott, J. M. Fel-lous, N. Kriieger, C. Malsburg // IEEE Trans. Pattern Anal. Mach. Intell. — Washington, DC: IEEE Computer Society, 1997. Vol. 19, No. 7 - P. 775779.
60. Fast Multiview Face Tracking with Pose Estimation / J. Meynet, T. Arsan, J. C. Mota, J. Tiran // Tech. report TR-ITS.2007.01. Ecole Polytechnique Federale de Lausanne, Signal Processing Institute, 2007. 12 p.
61. Fast Rotation Invariant Multi-View Face Detection Based on Real Adaboost / B. Wu, H. Ai, C. Huang, S. Lao // Proc. 6th IEEE Intnl. Conf. on Automatic Face and Gesture Recogn. 2004. - P. 79-84.
62. Fu Y. hMouse: Head Tracking Driven Virtual Computer Mouse / Y. Fu, T. Huang // IEEE Workshop on Applications of Comp. Vision. Washington, DC: IEEE Computer Society, 2007. - P. 30.
63. Gangaputra S. A Unified Stochastic Model for Detecting and Tracking Faces / S. Gangaputra, D. Geman // Comp. and Robot Vision, Canadian Conf. -Los Alamitos, CA: IEEE Computer Society, 2005. P. 306-313.
64. Gorodnichy D. Nouse 'Use Your Nose as Mouse1 A New Technology for Hands Free Games and Interfaces / D. Gorodnichy, S. Malik, G. Roth // Image and Vision Computing. - 2004. - Vol. 22, No. 12. - P. 931-942.
65. Gruendig M. 3D Head Pose Estimation with Symmetry based Illumination Model in Low Resolution Video / M. Gruendig, O. Hellwitch. // Pattern Recognition. B: Springer Berlin/Heidelberg, 2004. - Vol. 3175/2004 - P. 45-53.
66. Hager G. Efficient Region Tracking With Parametric Models of Geometry and Illumination / G. Hager, P. Belhumeur // IEEE Tran. Pattern Analysis and Machine Intelligence. Washington, DC: IEEE Computer Society, 1998.-Vol. 20.-P. 1025-1039.
67. Hannuksela J. A Real-Time Facial Feature Based Head Tracker. / J. Hannuksela, J. Heikkila, M. Pietikainen // Proc. Advanced Concepts for Intelligent Vision Systems Brussels, 2004. - P. 267-272.
68. Head Pose Estimation on Low Resolution Images / N. Gourier, J. Maisonnasse, D. Hall, J. Crowley // Multimodal Technol. for Percept. Humans. B: Springer, 2007. - Vol. 4122/2007. - P. 270-280.
69. Huang C. High-Performance Rotation Invariant Multiview Face Detection /
70. C. Huang, H. Ai, Y. Li, S. Lao. // IEEE Trans, on Patt. Anal, and Mach. Intel. 2007. - Vol. 29, No. 4. - P. 671-686.
71. Huang Y. Facial Tracking with Head Pose Estimation in Stereo Vision / Y. Huang, T. Huang // Proc. Intnl. Conf. Image Processing, 2002. Vol. 3. — P. 833-836.
72. Isard M. Condensation. Conditional Density Propagation for Visual Tracking / M. Isard, A. Blake // Intnl. Journal on Comp. Vision Netherlands: Kluwer Academic Publishers, 1998. - Vol. 29(1). - P. 5-28.
73. Ishii S. Real-Time Head Pose Estimation with Stereo Vision / S. Ishii,
74. D. Arita, R. Taniguchi. // Proc. 9th Korea-Japan Joint Workshop on Frontiers of Comp. Vision. 2003. - P. 79-83.
75. Junghans M. Lucas-Kanade Algorithm with GNC / M. Junghans, A. Leich, H. Jentschel // Proc. 7th Intl. Conf. on Signal Processing Beijing, 2004. — Vol. 2.-P. 1088-1091.
76. Kanade T. Comprehensive Database for Facial Expression Analysis / T. Kanade, J. Cohn, Y. Tian // Proc. of the 4th IEEE Intnl. Conf. on Automatic Face and Gesture Recogn. (FG'00) 2000. - P. 46- 53.
77. Krivtsov O. An Analysis of Performance and Accuracy of a Video Head Tracking System / O. Krivtsov, A. Korikov // Proc. 15th Intnl. Conf. «Modern Technique and Technologies» Tomsk: TPU Press, 2009. - P. 113-115.
78. Krivtsov O. Applying Inverse-Compositional Image Registration Algorithm to Head Tracking with 6 DOF // Proc. 16th Intnl. Conf. «Modern Technique and Technologies» Tomsk: TPU Press, 2010. - P. 91-93.
79. Kruchten P. Architectural Blueprints. The 4+1 View Model of Software Architecture // IEEE Software No. 12(6) - 1995. - P.42-50.
80. Kriieger V. Efficient Head Pose Estimation with Gabor Wavelet Networks / V. Kriieger, S. Bruns, G. Sommer // Proc. BMVC 2000. - P. 12-14.
81. Krueger V. Gabor Wavelet Networks for Efficient Head Pose Estimation / V. Krueger, G. Sommer. // Image and Vision Computing Amsterdam: Elsevier, 2002. - Vol. 20, No. 9. - P. 665-672.
82. Lepetit V. Monocular Model-Based 3D Tracking of Rigid Objects: A Survey / V. Lepetit, P. Fua. // Foundations and Trends in Comp. Graphics and Vision.-2005.-Vol. l,No. l.-P. 1-89.
83. Li Y. A Relaxation Algorithm for Real-Time Multiple View 3D-Tracking / Y. Li, A. Hilton, J. Illingworth // Image and Vision Computing Amsterdam: Elsevier, 2002. - Vol. 20. - P. 200-202.
84. Lucas B. An Iterative Image Registration Technique with an Application to Stereo Vision / B.D. Lucas, T. Kanade // Proc. 7th Intnl. Joint Conf. on Artificial Intelligence. Vancouver, British Columbia, 1981. - P. 674-679.
85. Malciu M. A Robust Model-Based Approach for 3D Head Tracking in Video Sequences / M. Malciu, F. Preteux // Proc. 4th IEEE Intnl. Conf. on Automatic Face and Gesture Recognition Washington, DC: IEEE Computer Society, 2000.-P. 169.
86. Malis E. Survey of vision-based robot control // European Naval Ship Design, Captain Comp. IV Forum, ENSIETA Brest, France, 2002. - 16 p.
87. Matthews I. 2D vs. 3D Deformable Face Models: Representational Power, Construction and Real-Time Fitting / I. Matthew, J. Xiao, S. Baker // Intnl. Journal of Comp. Vision Springer, 2007. - Vol. 75, No. 1. - P. 93-113.
88. Matthews I. Active Appearance Models Revisited / I. Matthews, S. Baker // Intnl. Journal of Computer Vision Hingham, MA: Kluwer Academic Publishers. - 2004. - Vol. 60,No. 2.-P. 135-164.
89. Morency L. From Conversational Tooltips to Grounded Discourse: Head Pose Tracking in Interactive Dialog Systems / L. Morency, T. Darrel // Proc. 6th Intnl. Conf. on Multimodal Interfaces. -N.Y.: ACM, 2004. P. 32-37.
90. Morency L. Pose Estimation Using 3D View-Based Eigenspaces / L. Morency, P. Sunberg, T. Darrel // IEEE Intnl. Workshop on Analysis and Modeling of Faces and Gestures Cambridge, MA, 2003. - P. 45-52.
91. Morency L. Stereo Based Head Pose Tracking Using Interactive Closest Point and Normal Flow Constraint // AI Tech. Report 2003-006, 2003. -60 p.
92. Murray R. A Mathematical Introduction to Robotic Manipulation / R. Murray, Z. Li, S. Sastri CRC Press, 1994. - 488 p.
93. Nguen M. Local Minima Free Parameterized Appearance Models / M. Nguen, F. De La Torre // IEEE Conf. on Comp. Vision and Pattern Recogn. Los Alamitos, CA: IEEE Computer Society, 2008. - P. 1-8.
94. Outlier Rejection in Deformable Model Tracking / S. Goldenstein, C. Vogler, J. Stolff, V. Pavlovic, D. Metaxas // Comp. Vision and Patt. Recogn. Workshop Los Alamitos, CA: IEEE Computer Society, 2004. - Vol. 1. - P. 19.
95. Parke F. Computer Generated Animation of Faces // Proc. of ACM Annual Conf. Boston, MA, 1972. - Vol. 1. - P. 451-457.
96. Paterson J. 3D head tracking using non-linear optimization. / J. Paterson, A. Fitzgibbon. // Proc. of BMVC. 2003. - Vol. 2. - P. 609-618.
97. Pose-Invariant Facial Expression Recognition Using Variable Intensity Templates / S. Kumano, K. Otsuka, J. Yamato, E. Maeda, Y. Sato // Proc. Asian Conf. on Comp. Vision. Part I, LNCS 4843. 2007. - P. 424-434.
98. Ramnath K. On the Multi-View Fitting and Construction of Dense Deformable Face Models // Master's thesis, tech. report CMU-RI-TR-07-10, Robotics Institute, Carnegie Mellon University, 2007. 79 p.
99. Rav-Acha A. Lucas-Kanade without Iterative Warping / A. Rav-Acha, S. Peleg // Proc. IEEE Intl. Conf. on Image Processing. Atlanta, GA, 2006.-P. 1097-1100.
100. Real-Time Bayesian 3-D Pose Tracking / Q. Wang, W. Zhang, X. Tang, H. Shum // IEEE Trans, on Circuits and Systems for Video Technology — N.Y.: IEEE, 2006.-Vol. 16, No. 12-P. 1533-1541.
101. Real-Time Combined 2D+3D Active Appearance Models. // J. Xiao, S. Baker, I. Matthews, T. Kanade // Proc. IEEE Conf. on Comp. Vision and Pattern Recognition. 2004. - Vol. 2. - P. 535-542.
102. Real-time Non-rigid Driver Head Tracking For Driver Mental State Estimation / S. Baker, I. Matthews, J. Xiao, R. Gross, T. Kanade // Tech. Report CMU-RI-TR-04. Pittsburgh, Robotics Institute, 2004. 12 p.
103. Robust Full-Motion Recovery of Head by Dynamic Templates and Reregis-tration Techniques / J. Xiao, T. Moriyama, T. Kanade, J. Cohn // Intnl. Journal of Imaging Systems and Technology N.Y.: Wiley. 2003. - Vol. 13. -P. 85-94.
104. Robust Head Pose Estimation Using LGBP / B. Ma, W. Zhang, S. Shan, X. Chen, W. Gao // 18th Intnl. Conf. on Pattern Recognition Hong Kong, 2006.-Vol. 2.-P. 512-515.
105. Robust Head Tracking Based on a Multi State Particle Filter / Y. Li, H. Ai, C. Huang, S. Lao // Proc. 7th Intnl. Conf. on Automatic Face and Gesture Recognition Southampton: IEEE Computer Society. - 2006. - P. 335-340.
106. Robust Head Tracking with Particles Based on Multiple Cues Fusion / Y. Li, H. Ai, C. Huang, S. Lao // Proc. of CVHCI06. B: Springer-Verlag, 2006. -P. 29-39.
107. Robust Multi-view Face Tracking / K. An, D. Yoo, S. Jung, M. Chung// IEEE/RSJ Intnl. Conf. on Intelligent Robots and Systems. Alberta, Canada, 2005.-P. 1905-1910.
108. Rousseeuw P. Robust Regression and Outlier Detection / P.J. Rousseeuw and
109. A.M. Leroy New York: John Wiley & Sons, 1987. - 352 p.
110. Rydfalk M. CANDIDE, a Parameterized Face // Report No. LiTH-ISY-I-866, Dept. of Electrical Engineering, Linkoping University, Sweden, 1987.
111. Sepp W. Real-Time Texture-Based 3D Tracking / W. Sepp, G. Hirzinger // Patt. Recogn. B: Springer, 2003. - Vol. 2781/2003. - P. 330-337.
112. Simultaneous Registration and Modeling of Deformable Shapes / J.Xiao,
113. B. Georgescu, X. Zhou, D. Comaniciu, T. Kanade // In Proc. IEEE Comp. Society Conf. on Comp. Vision and Pattern Recognition N.Y., 2006. — Vol. 2.-P. 2429-2436.
114. Strom J. Model-Based Real-Time Head Tracking // EURASIP Journal on Applied Signal Processing N.Y.: Hindawi Publishing Corp, 2002. -Vol. 2002, No. l.-P. 1039-1052.
115. Szeliski R. Image Alignment and Stitching: A tutorial // Foundations and Trends in Comp. Graphics and Comp. Vision Hanover, MA: Now Publishers Inc, 2006.- Vol. 2,No. l.-P. 1-104.
116. Tagliassachi M. A Genetic Algorithm for Optical Flow Estimation // Image and Vision Computing Newton, MA: Butterworth-Heinemann, 2007. -Vol. 25, No. 7.-P. 141-147.
117. Vaccetti L. Fusing Online and Offline Information for Stable 3D Tracking in Real Time // Proc. IEEE Comp. Society Conf. on Comp. Vision and Patt. Recogn. 2003. - Vol. 2. - P. 241.
118. Vaccetti L. Stable Real-Time 3D Tracking using Online and Offline Information / L. Vaccetti, V. Lepetit, P. Fua // IEEE Trans, on Patt. Anal, and Mach. Intel. -2004. Vol. 26, No. 10-P. 1385-1391.
119. Vector Boosting for Rotation Invariant Multi-View Face Detection/
120. C. Huang, H. Ai, Y. Li, S. Lao. // IEEE Intnl. Conf. on Comp. Vision. — 2005.-Vol. l.-P. 446^453.
121. Viola P. Robust Real-Time Face Detection / P. Viola, M. J. Jones // Intnl. Journal of Comp. Vision — Kluwer Academic Publishers: Netherlands, 2004. Vol. 57, No. 2. - P. 137-154.
122. Visual Tracking Using Learned Linear Subspaces / J. Ho, K. Lee, M. Yang, D. Kriegman // IEEE Comp. Society Conf. on Comp. Vision and Patt. Recogn. Los Alamitos: IEEE Comp. Society, 2004. - Vol. 1. - P. 782-789.
123. Voit M. Multi-view Head Pose Estimation using Neural Networks / M. Voit, K. Nickel, R. Steifelhagen // IEEE Canadian Conference Comp. and Robot Vision. Los Alamitos, CA: Computer Society, 2005. - P. 347-352.
124. Wang P. Multi-View Face Detection under Complex Scene based on Combined SVMs / P. Wang, Q. Ji // 17th Intnl. Conf. on Pattern Recogn. Washington, DC: IEEE Computer Society, 2004. - Vol. 4. - P. 179-182.
125. Wei Y. Head Pose Estimation Using Gabor Eigenspace Modeling / Y. Wei, L. Fradet, T. Tan // Proc. of Intnl. Conf. on Image Processing. 2002. -Vol. 1.-P. 281-284.
126. Xiao J. Reconstruction, Registration and Modeling of Deformable Model Shapes // Doctoral dissertation, tech. report CMU-RI-TR-05-22, Pittsburgh, PA : Carnegie Mellon University, 2005. 137 p.
127. Xiong Y. Head Tracking with 3D Texture Map Model in Planning Meeting Analysis / Y. Xiong, F. Quek. // Proc. Intnl. Workshop on Multimodal Multiparty Meeting Processing Trento, Italy, 2005. - P. 1-8.
128. Yao P. Face Tracking and Pose Estimation Using Affine Motion Parameters / P. Yao, G. Evans, A. Calway // Proc. 12th Scandinavian Conf. on Image Analysis Bergen, Norway, 2001. - P. 531-536.
129. Yilmaz A. Object Tracking: A Survey / A. Yilmaz, O. Javed, M. Shah // ACM Computing Surveys N.Y.: ACM, 2006. - Vol. 38, No. 4. - Article No. 13.
130. Zenik-Manor L. Optical Flow Field. Caltech, Oct. 2004. 47 p.
131. Zepeda J. A Linear Estimation Method for 3D Pose and Facial Animation Tracking / D. Zepeda, F. Davoine, M. Charbit // IEEE Conf. on Comp. Vision and Pattern Recognition — Minneapolis, MN, 2007. P. 1-7.
132. Zhang Q. Wavelet networks / Q. Zhang, A. Benveniste // IEEE Trans. Neural Networks 1992. - Vol. 3 - P. 889-898.
-
Похожие работы
- Эргономическое совершенствование дисплейных видеокадров и характеристик деятельности операторов в крупномасштабных производствах
- Исследование и разработка системы трекинга и методов реконструкции сложных трёхмерных объектов для приложений виртуального окружения
- Алгоритмы распознавания жестов на видеопоследовательностях
- Математическое и алгоритмическое обеспечение автоматизации процесса формования кондитерских масс с использованием цифровой видеосъемки
- Математическое моделирование, методы и программные средства текстурного анализа изображений кристаллических структур
-
- Системный анализ, управление и обработка информации (по отраслям)
- Теория систем, теория автоматического регулирования и управления, системный анализ
- Элементы и устройства вычислительной техники и систем управления
- Автоматизация и управление технологическими процессами и производствами (по отраслям)
- Автоматизация технологических процессов и производств (в том числе по отраслям)
- Управление в биологических и медицинских системах (включая применения вычислительной техники)
- Управление в социальных и экономических системах
- Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей
- Системы автоматизации проектирования (по отраслям)
- Телекоммуникационные системы и компьютерные сети
- Системы обработки информации и управления
- Вычислительные машины и системы
- Применение вычислительной техники, математического моделирования и математических методов в научных исследованиях (по отраслям наук)
- Теоретические основы информатики
- Математическое моделирование, численные методы и комплексы программ
- Методы и системы защиты информации, информационная безопасность