автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Алгоритмы анализа изображения лица человека для построения интерфейса человек-компьютер

Московский государственный университет им. М.В.Ломоносова Факультет вычислительной математики и кибернетики

На правах рукописи

Вежневец Владимир Петрович

АЛГОРИТМЫ АНАЛИЗА ИЗОБРАЖЕНИЯ ЛИЦА ЧЕЛОВЕКА ДЛЯ ПОСТРОЕНИЯ ИНТЕРФЕЙСА ЧЕЛОВЕК-КОМПЬЮТЕР

05.13.11 — математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

Автореферат диссертации на соискание учёной степени кандидата физико-математических наук

Москва — 2004

Работа выполнена на кафедре автоматизации систем вычислительных комплексов факультета вычислительной математики и кибернетики Московского государственного университета им. М.В.Ломоносова.

Научный руководитель

кандидат физико-математических наук, доцент

Баяковский Юрий Матвеевич

Официальные оппоненты:

доктор физико-математических наук, профессор

Горбунов-Посадов Михаил Михайлович

кандидат физико-математических наук, Переберин Антон Валерьевич

Ведущая организация:

Государственный Научно- Исследовательский Институт Авиационных Систем (ГосНИИАС)

Защита состоится "_"_2004 в_ч._мин на заседании

Диссертационного совета Д 501.001.44 в Московском государственном университете им. М.В.Ломоносова по адресу: 119992, ГСП-2, г. Москва, Воробьевы Горы, МГУ им. М.В. Ломоносова, 2-й учебный корпус, факультет вычислительной математики и кибернетики, аудитория 685.

С диссертацией можно ознакомиться в библиотеке факультета вычислительной математики и кибернетики МГУ им М В. Ломоносова.

Автореферат разослан "_"_2004.

Учёный секретарь Диссертационного совета доктор физико-математических наук, профессор

Трифонов Н.П.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Объект исследования и актуальность темы.

В настоящее время вычислительная техника используется во многих областях человеческой деятельности, являясь удобным и многофункциональным инструментом решения широкого круга задач. Однако, при работе с ЭВМ человек вынужден использовать средства взаимодействия, слабо адаптированные к возможностям человеческого восприятия и ограничивающие способности человека к обмену информацией. Основная цель усовершенствования и развития интерфейса человек-компьютер заключается в организации обмена информацией с ЭВМ таким образом, чтобы:

• Снизить время освоения программных и аппаратных средств;

• Снизить уровень ошибок при передаче информации;

• Сделать работу с ЭВМ возможной для людей, не имеющим возможности пользоваться традиционными средствами интерфейса;

• Снизить утомляемость, увеличить субъективное удовлетворение пользователя от работы;

Для достижения поставленных целей необходимо применение средств взаимодействия, более полно использующих коммуникативные способности человека. Человек наделен большим количеством возможностей воспринимать и передавать информацию: зрение, слух (в т. ч. устная речь), жесты и движения, мимика, осязание и др. Во взаимодействии человека и компьютера существуют два информационных потока:

• управляющие команды и данные, передаваемые компьютеру для обработки;

• результаты вычислений и другая информация, представляемая компьютером пользователю.

Распространенный в настоящее время человеко-машинный интерфейс использует зрение, как основной канал представления информации пользователю, отображая данные в виде условных -гцпг'гт пп игрииг пшгИ'^тгр

I РО%Им1оГ1ЕЛЬНЛЯ]

Воспринимать информацию естественными для человека способами (распознавать речь, жесты, мимику и т.д.) современные средства интерфейса практически не в состоянии.

Лицо человека является важным источником информации при общении между людьми. Выражение лица, мимика, артикуляция при разговоре, движения головой являются удобным, естественным и, что важно, необременительным способом передачи информации. Неспособность компьютера с одной стороны воспринять, а с другой стороны воспроизвести столь естественные для человека способы общения затрудняет передачу и восприятие информации при работе с ЭВМ.

Для того, чтобы "научить" компьютер распознавать и реагировать на движения головы, мимику, изменение выражения лица, направление взгляда, требуются устойчивые алгоритмы анализа и распознавания изображения лица человека.

Для представления вычислительной системы в качестве партнера, имитирующего аспекты человеческого общения, и превращения взаимодействия пользователя с вычислительный системой в естественное общение с виртуальным персонажем, используются так называемые агенты виртуальной реальности. Для их обозначения в литературе принят термин "зватары" (avatars). Агентами виртуальной реальности могут быть модели реально существующих людей, управляемые другими пользователями, или виртуальные актеры, управляемые компьютером. Использование таких агентов в системах виртуальной реальности и аудиовизуальных интерфейсах позволяет организовать общение пользователя с системой наиболее естественным образом и облегчить ему освоение работы с системой. Это особенно актуально для пользователей, не являющихся профессионалами в области информационных технологий.

В рамках данной диссертационной работы рассматриваются следующие задачи:

1. Обнаружение и выделение лица на изображении и в видеопотоке.

2. Распознавание антропометрических точек лица на изображении и в видеопотоке.

3. Управление курсором "мыши" с помощью движений головой и мимики пользователя.

Решение двух первых задача является необходимым условием для создания интеллектуальных интерфейсов, распознающих и реагирующих на движения головой и изменение выражения лица пользователя. Решение второй задачи также необходимо для автоматизированного построения фотореалистичных моделей лиц для интерфейсов, использующих агентов виртуальной реальности. Решение третьей задачи делает возможным использование компьютера людьми, неспособными использовать традиционные средства интерфейса по состоянию здоровья.

Использование в системах построения интерфейса накладывает дополнительные условия и требования на методы, которые могут использоваться для решения этих задач, а именно:

• Высокая скорость работы (в ряде случаев - реальное время);

• Функционирование на изображениях низкого (порядка 320x240 пикселей) и среднего (порядка 640x480 пикселей) разрешения;

• Устойчивость к уровню шума, характерному для недорогих бытовых видеокамер, подключаемых к компьютеру.

Цели работы

1. Разработать методы обнаружения и выделения лица на изображении низкого разрешения (порядка 320x240 пикселей) и высокого уровня шума (характерного для бытовых видеокамер), работающие в реальном времени;

2. Разработать алгоритм автоматического выделения антропометрических точек лица (контуров глаз, зрачков, бровей, носа, подбородка, рта) на фронтальной фотографии среднего разрешения (порядка 640x480 пикселей) для построения фотореалистичных моделей виртуальной реальности;

3. Разработать алгоритм управления курсором "мыши" с помощью движений головы и мимики пользователя;

4. Разработать алгоритм автоматического определения положения антропометрических точек лица в видеопотоке низкого разрешения в реальном времени.

Научная новизна работы

Разработанные алгоритмы обнаружения и локализации лица человека на основе цветовой сегментации кожи обладают значительно большей устойчивостью обнаружения, сохранив скорость существующих методов.

Предложенные алгоритмы выделения антропометрических точек лица на изображении и в видеопотоке обладают более высокой устойчивостью и точностью распознавания, нежели описанные в литературе аналоги.

Разработан новый алгоритм управления курсором мыши с помощью движений головы и мимики пользователя. Алгоритм предоставляет возможность гибкой настройки метода трансляции движений головы в перемещения курсора, что предоставляет возможность настройки интерфейса на индивидуальные особенности пользователя с нарушениями двигательного аппарата. Практическая значимость и реализация

Разработаны и доведены до реализации методы и алгоритмы решения нескольких актуальных задач машинного зрения и обработки изображений. Программные реализации описываемых в диссертации методов удовлетворяют требованиям и ограничениям, сформулированным при постановке задач.

Реализована система управления компьютером для детей, страдающих ДЦП. Система успешно прошла экспериментальную проверку и используется в ряде детских учебных учреждений. По заказу Министерства Образования РФ на основе данной системы создан ряд тренажеров и вспомогательных программ для организации дистанционного обучения.

На основе разработанных алгоритмов обнаружения и локализации лица и его антропометрических точек на изображении построена система автоматизированного создания фотореалистичных 3D моделей головы по фотографиям. Система разрабатывалась в лаборатории Компьютерной Графики и Мультимедиа кафедры АСВК факультета ВМиК МГУ им. М.В. Ломоносова по заказу Samsung Advanced Institute of Technology. Апробация работы и публикации Результаты работы докладывались и обсуждались на:

• б-ой международной конференции по машинному зрению Asian Conference on Computer Vision (ACCV) 2004, Jeju, Korea, Январь 2004;

• 13-й международной конференции по компьютерной графике и машинному зрению GraphiCon 2003, Россия, Москва, 2003;

• 12-й международной конференции по компьютерной графике и машинному зрению GraphiCon 2002, Россия, Нижний Новгород, 2002;

• 3-ей международной конференции "Цифровая обработка информации и управление в чрезвычайных (экстремальных) ситуациях" ЦОИУЧС 2002, Беларусь, Минск, 2002;

• 10-ой всероссийской конференции "Математические методы распознавания образов-10" (ММРО-10), Россия, Звенигород, 2001;

• семинаре по компьютерной графике и машинному зрению Ю.М. Бая-ковского (ф-т ВМиК МГУ);

• научно-исследовательском семинаре по автоматизации программирования под руководством проф. М. Р. Шура-Бура (ф-т ВМиК МГУ).

Основные результаты работы изложены в 7-и научных публикациях. Системы, использующие разработанные методы, защищены российскими и международным патентами.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ Во введении обоснована актуальность исследуемой проблемы, сформулирована цель и задачи диссертационной работы, научная новизна, практическая ценность; описана структура диссертации.

Первая глава посвящена задаче обнаружения лица на изображении и в видеопотоке.

Существующие алгоритмы обнаружения лица можно разбить на две категории: методы эмпирического распознавания и методы моделирования изображения лица. К первой категории относятся методы, отталкивающиеся от опыта человека в распознавании лиц и делающие попытку формализовать и алгоритмизовать этот опыт. Вторая категория опирается на инструментарий распознавания образов, рассматривая задачу обнаружения лица как частный

случай общей задачи распознавания По набору тренировочных изображений строится модель изображения лица, и задача обнаружения сводится к проверке входного изображения на удовлетворение полученной модели

Среди методов эмпирического обнаружения лица выделяется семейство методов, использующих цвет кожи как признак присутствия лица. Данные методы получили широкое распространение, поскольку сочетают в себе несколько важных преимуществ, малая вычислительная сложность, высокая скорость обработки, простота реализации, устойчивость к изменению ориентации и масштаба лица; устойчивость к изменению освещения (за исключением цветного); устойчивость к изменению выражения лица и частичного перекрытия лица другим объектом сцены.

Обнаружение лиц по цвету кожи производится обычно в два этапа:

1. выделение пикселей, близких по цвету к коже;

2. поиск лиц на изображении с использованием априорного знания о структуре человеческого лица.

Для выделения пикселей с цветом кожи используется модель распределения оттенка кожи в цветовом пространстве, получаемая на этапе предварительной тренировки. В литературе предложено большое количество различных типов моделей распределения оттенка кожи (подробный обзор приведен в работе /7/). На основании сравнения существующих методов цветовой сегментации кожи оптимальным представляется метод моделирования распределения с помощью Баейсовской карты вероятностей /7/.

Рис. 1. Результаты цветовой сегментации кожи.

Одной только цветовой информации недостаточно для устойчивого обнаружения лица, поэтому требуется расширить набор признаков дополнительными свойствами изображения лица. Наиболее часто используются ограничения на форму областей лиц (лицо имеет характерную овальную форму).

Большая часть существующих методов выделения лица по цвету сталкивается с проблемами в случае неточного выделения кожи по цвету и присутствия на изображении значительного количества объектов, близких по цвету к коже. Причина заключается в том, что объединение пикселей цвета кожи в области и проверка каждой из полученных областей на удовлетворение ограничениям по форме делаются независимо. У подобного подхода есть существенный недостаток- методы группировки пикселей кожи, не учитывающие ограничения на форму лиц, могут ошибочно сгруппировать в одну область пиксели, реально относящиеся к разным областям.

Перед автором стояла задача разработать метод выделения потенциальных областей лиц, обладающий следующими свойствами: устойчивость к неизбежным неточностям цветовой сегментации, точность выделения областей, высокая скорость работы. Важным требованием является сохранение высокой скорости работы методов наряду с увеличением устойчивости, чтобы сохранить важнейшее преимущество использования цвета кожи для обнаружения лица - быстродействие.

Проблему выделения эллиптических областей цвета кожи можно сформулировать, как задачу оптимизации в пространстве параметров эллипса (хс,Ус,0,а,Ь). Однако получение формулы целевой функции в явном виде не является тривиальной задачей. Чтобы избежать трудностей, связанных с поиском явного задания целевой функции и разработки метода оптимизации, не подверженного проблеме локальных экстремумов, было разработано два алгоритма, использующих последовательные приближения с помощью деформируемой эллиптической модели лица, жестко фиксирующие возможную форму областей лиц.

Первый метод (эллиптической деформации) использует деформируемую контурную модель /5/, форма которой задается эллипсом. Вдоль границы модели расположены области (называемые "щупами"), в которых происходит оценка плотности пикселей, близких по цвету к коже. Модель инициализируется вблизи ожидаемого положения лица на изображении, деформация модели производится по шагам. Для каждого "щупа" производится расчет плотности пикселей кожи во внутренней и внешней окрестности границы модели. В зависимости от полученных плотностей "щуп" перемещается пер-

твггцев положение иадаяи

Л^ОУУН"? У од »Л и

/

Щ |нмт мдепметъфа Д •мгммммпмлх^юп*

О мишцнпмм

(а)

(б)

Рис. 2. Иллюстрации к предлагаемым методам обнаружения лица (а) Метод эллиптической деформации, (б) Метод статистических моментов

пендикулярно границе модели После того, как на каждом шаге все "щупы" занимают свое новое положение, набор точек центров "щупов" аппроксимируется эллипсом, после чего центры "щупов" проецируются на его границу. Столь простая схема алгоритма гарантирует возможность получения быстрой программной реализации. Несмотря на простоту, она обладает высокой устойчивостью к различным исходным данным и не требует высокой точности начального приближения. Кроме того, она обладает большой гибкостью и позволяет с легкостью встраивать дополнительные условия и ограничения на возможную форму выделяемых областей (пропорции, положение, ориентации эллипса).

Задача отслеживания перемещения лица в видеопотоке обладает определенным особенностями по сравнению с обнаружением лица на статическом изображении - во-первых, известно положение лица на предыдущем кадре, и во-вторых, требуется быстрая сходимость метода. Учитывая эти особенности, предлагается метод статистических моментов отслеживания перемещения лица. Метод основан на вычислении статистических моментов множества пикселей цвета кожи, попадающих в эллипс большего размера, чем область лица на предыдущем кадре Для пересчета новых параметров эллипса используются координаты центра масс пикселей с высокой вероятностью кожи и центральные моменты второго порядка По ним вычисляются

координаты нового центра эллипса вектор направления его главной

оси и длины его осей.

Сравнение предложенных методов с существующими показало, что предлагаемые автором методы обладают существенно более высокой устойчивостью к зашумленным исходным данным и ошибкам цветовой сегментации, сохраняя простоту программной реализации и высокую скорость работы, позволяющую использовать разработанные алгоритмы в системах реального времени.

Рис. 3. Примеры выделения областей лиц на изображениях с помощью предложенных методов

Вторая глава посвящена описанию системы автоматического распознавания антропометрических точек лица (контуров глаз, зрачков, бровей, носа, подбородка, рта) на фронтальных изображениях для построения трехмерной модели головы человека по набору фотографий.

Для автоматизированного создания 3D модели по фотографии необходимым является распознавание антропометрических точек лица для последующей адаптации трехмерной модели к индивидуальным особенностям лица. Большинство существующих систем автоматизированного построения модели головы по фотографиям используют ручное выделение антропометрических точек лица на изображениях. Алгоритмы, разработанные автором, и построенная на их основе система распознавания антропометрических точек лица позволяет в значительной степени автоматизировать этот процесс.

Для обнаружения области лица на изображении используются мето-

(а)

(б)

(в)

(О

Рис. 4. Типичные примеры выделения антропометрических точек.

ды, описанные в первой главе Следующим шагом в распознавании является обнаружение положения глаз на изображении. Обнаружение положения глаз производится с помощью поиска областей резкого изменения интенсивности красного канала путем фильтрации красного канала изображения функцией специального вида:

Здесь / - красный канал исходного изображение, риг обозначают координаты пикселей, - прямоугольник размера с центром в точке а

- эллипс с размерами осей , ориентированный по осям изображе-

ния, с центром в точке г. Коэффициент а и масштаб фильтра п - параметры фильтрации. Использование красного канала сохраняет резкий контраст между интенсивностями пикселей радужной оболочки и ее окружения даже для светлых глаз (голубых, зеленых)

После обнаружения приблизительного положения глаз производится поиск координаты центра зрачка. В случае доминирующего фронтального освещения производится обнаружение пикселей, принадлежащих блику в центре зрачка. В случае освещения, близкого к равномерному, производится свертка изображения функцией, подчеркивающей круговые области темных пикселей.

Параметр с контролирует радиус фильтра и выбирается исходя из соотношения размеров лица и радиуса радужной оболочки. Центр масс наиболее

'«(*.»)-ПгЧ ^ £ ПР)1 (1)

,у,с) =

згп((х2 + у2)/с) (х2 + у2)/с

(2)

темных пикселей изображения после свертки берется в качестве приблизительного центра зрачка.

Вычисление радиуса радужной оболочки г и точных координат центра зрачка (хс,ус) производится с помощью следующей функции:

/в(а:с.Ус.г) = J R(xc + г cos в,ус + г sin 6)dö (3)

где R(x,y) - красная компонента пикселя (а:, у), Q = [—7г/4,7г/6]и[5я"/6,5я"/4]. Для заданных координат центра (хС)ус) наиболее вероятными значением радиуса радужной оболочки г будет величина, соответствующая максимальному значению ¿/е- После обнаружения точного положения центров глаз производится нормализация изображения (поворот и масштабирование). Отрезок, соединяющий центры глаз, делается горизонтальным, его длина приравнивается к фиксированной величине.

Обнаружение точного контура глаза производится путем поиска точек, являющихся локальными минимумами яркости в области границы глаза. Эксперименты показали, что в отличие от часто используемых точек резкого изменения яркости, точки локальных минимумов являются более устойчивыми признаками для распознавания контуров глаз. Как видно из рисунка 5, области значительных минимумов с высокой вероятностью соответствуют границе глаза и кожи. Обнаружение точек минимума производится отдельно для каждой строки изображения, рассматривая яркость изображения вдоль строки как одномерную функцию Для того, чтобы снизить случайные

флюктуации перед поиском минимумов производится низкочастотная

фильтрация функции.

Для обнаружения прямоугольника, ограничивающего область губ, применяется анализ статистики цветов области лица. На основе результатов обнаружения кожи строится гистограмма цветов кожи, попавших внутрь уточненного прямоугольника лица. Используя полученную гистограмму, внутри прямоугольника лица в районе ожидаемого положения губ выделяются пиксели нехарактерных для кожи данного человека цветов. Для вычисления прямоугольника используется итерационный алгоритм, основанный на вычислении центра масс и вторых центральных моментов области пикселей с низкой кожной вероятностью.

Рис. 5. Точки значительных локальных минимумов яркости для обнаружения контуров век

Для обнаружения контуров носа используется векторное поле градиента яркости изображения. Для обнаружения границ ноздрей используется метод контурных шаблонов, представляющих собой типичную форму крыльев носа. Критерий согласия шаблона и изображения вычисляется следующим образом:

Гдер, д иг- координаты пикселей изображения, S(q) - множество точек шаблона, П(р) - окрестность точки рЧ1{г] - градиент яркости изображения в точке г, а{р) - вектор касательный к кривой шаблона в точке р. Т\ задает минимальную абсолютную величину градиента. Fгí(p) является индикаторной функцией, проверяющей наличие точек с достаточной абсолютной величиной градиента и направлением, близким к направлению касательной к кривой шаблона в окрестности точки шаблона Для обнаружения наиболее вероятной пары анализируются пары координат шаблона с высокими значениями критерия согласия в левой и правой части лица. Вычисление кривых формы носа производится, исходя из полученных координат крыльев носа, контуров глаз и априорных знаний о пропорциях черт лица.

Обнаружение контура лица (линии щек и подбородка) осуществляется с помощью деформируемой контурной модели. Как и в случае с контуром носа, обычно признаками обнаружения границы лица служили точки резкого

изменения яркости, вычисляемые на основе абсолютной величины градиента яркости изображения. Как показали тесты описанных в литературе методов, использование такой информации в большом количестве случаев недостаточно для устойчивого распознавания. Во-первых, фон изображения, или его отдельные фрагменты, могут слабо отличаться по яркости от области лица. Во-вторых, для устойчивого обнаружения границы лица требуется рассматривать также и направление наибольшего изменения яркости и цвета. Для обнаружения контура лица была разработана методика обнаружения величины и направления резкого изменения цвета - "цветовых краев" изображения. Деформируемая модель, применяемая для обнаружения контура подбородка, инициализируется внутри области лица и расширяется в сторону границ лица до тех пор, пока не встретит достаточное количество пикселей с резким изменением цвета или яркости.

Реализация разработанных алгоритмов используется в системе автоматического построения моделей головы по двум фотографиям (фронтальной и профильной). Результаты работы алгоритмов представлены на рисунке 4.

Третья глава описывает систему, реализующую управление передвижением курсора и срабатыванием кнопки "мыши" при помощи движений головы и мимики пользователя, регистрируемых видеокамерой. Разработка системы велась совместно с факультетом психологии МГУ им. М.В. Ломоносова. Сотрудник факультета психологии, к.ф.-м.н., д ф.н. А.Н. Кричевец занимался разработкой общей концепции системы, необходимых требований к работе системы и характеру перемещения курсора в зависимости от действий пользователя. Перед автором стояла задача разработки и реализации алгоритмов определения движений головы и мимики пользователя в видеопотоке, а также трансляции движений головы в сигналы перемещения курсора.

Система предназначена для инвалидов, которые не могут справиться с клавиатурой и мышью - в первую очередь для детей, страдающих церебральным параличом. Этот недуг затрагивает прежде всего двигательный аппарат, однако подвижность головы в значительной степени сохраняется, что позволяет использовать движения головы для управления компьютером. Существует и другой тип управления, использующий распознавание направления взгляда для указание положения курсора на экране. Однако, как показывают исследо-

вания, проведенные в ряде лабораторий по разработке человеко-машинного интерфейса, взгляд используется человеком для обозначения области его фокуса внимания, а не для совершения действий. Движения глаз часто происходят неосознанно, и использование направления взгляда, как инструмента для управления курсором, ведет к заметному дискомфорту. Движения головой значительно лучше поддаются сознательному контролю со стороны пользователя.

Существующие коммерческие системы опираются на использование подсветки в инфракрасном диапазоне для облегчения обнаружения маркеров, располагаемых на лице или голове пациента. Цена систем, по функциональности аналогичных разработанной, колеблется от 900 до 15,000 долларов и требует инфракрасных источников света и видеокамер, чувствительных в ИК диапазоне. Разработанная система использует в качестве дополнительного оборудования бытовую видеокамеру стоимостью около двадцати долларов (дешевизна оборудования является необходимым условием для внедрения системы в отечественных медицинских центрах). Изображения, получаемые с нее, характеризуются низким разрешением (около 320x240 пикселей), высоким уровнем шума и низкой четкостью. Система должна функционировать на компьютере невысокой вычислительной мощности, оставляя достаточно вычислительных ресурсов для работы пользовательских приложений.

Для выполнения строгих требований к устойчивости распознавания в условиях низкого качества изображения, а также использования небольших вычислительных ресурсов, в системе используется реперная конструкция (шлем) с контрастными маркерами для облегчения задачи распознавания движения головы.

Положение маркеров на изображении, получаемом с видеокамеры, транслируется в сигналы перемещения курсора мыши. В системе используются три маркера - два расположены елевой и правой стороны головы, примерно на одинаковом удалении от камеры. Третий расположен примерно по центру между ними, на меньшем удалении от камеры. После обнаружения положений маркеров в текущем кадре производится вычисление координат центрального маркера в системе координат, связанной с двумя боковыми маркерами. Положение точки начала координат О вычисляется как среднее арифметическое

координат боковых маркеров. Длины проекций вектора, соединяющего точку О с центральным маркером, на прямую, проходящую через центры боковых маркеров и на перпендикуляр, проходящий через точку О, дают координаты центрального маркера в системе координат, связанной с боковыми маркерами. Такой выбор координатной системы делает алгоритм нечувствительным к повороту головы в плоскости изображения и позволяет отслеживать только наклон и повороты головы вне плоскости изображения.

Рис. 6. Маркеры, используемые для распознавания движений головы.

В соответствии с рекомендациями психологов, в системе предусмотрено два различных способа трансляции поворота головы в движения курсора - по скорости (аналогично манипулятору типа "джойстик") и по положению (аналогично манипулятору типа "мышь"). Первый тип управления означает, что поворот головы на определенный угол влечет перемещение курсора в соответствующем направлении со скоростью, пропорциональной углу поворота. Во втором типе управления положение курсора напрямую зависит от угла поворота головы. Система позволяет комбинировать два вида управления в зависимости от задания, стоящего перед пользователем, и его персональными предпочтениями и возможностями. На основе вычисленных координат и и и перемещение курсора мыши вычисляется по следующим формулам:

Здесь и (а^.Уг) есть координаты курсора мыши в предыду-

щий и текущий момент времени, и - координаты централь-

ного маркера относительно боковых на предыдущем и текущем кадре. Точка с координатами (ио^о) соответствует "нейтральному" положению маркеров,

(6) (7)

когда перемещения курсора не происходит. Кусочно-линейные функции и

регулируют скорость и характер перемещения курсора в зависимости от положения головы. Коэффициенты ах и ау регулируют интенсивность движения по каждой из осей.

Срабатывание кнопки мыши должно быть связано с изменением мимики пользователя, поскольку необходимо полностью исключить использование рук. Наиболее предпочтительным оказалось открывание рта, поскольку это действие могут успешно совершать большинство пациентов - потенциальных пользователей системы и, в отличие от моргания, это действие производится человеком осознанно. Система следит за мимикой пользователя, и, если он держит рот открытым достаточно долгое время, происходит срабатывание кнопки мыши. В системе предусмотрено несколько вариантов функционирования кнопки мыши: залипающая кнопка и срабатывание кнопки только при отсутствии перемещения курсора мыши (для части пациентов оказывается достаточно сложным одновременно следить за движением курсора и контролировать мимику).

Для выделения областей маркеров на изображении используется яркост-ная сегментация (маркеры представляют собой темные области на светом фоне). К полученному после сегментации изображению применяется морфологическая фильтрация для снижения уровня шума. Следующим шагом является выделение связных компонент, после чего производится поиск областей, соответствующих маркерам. Распознавание осуществляется по характеристикам областей (площадь, периметр, удлиненность, компактность и ориентация главной оси) и положению маркеров на предыдущем кадре.

Для увеличения устойчивости распознавания используются маркеры характерной формы, достаточно протяженные по площади: боковые маркеры -вертикально ориентированные вытянутые прямоугольники, центральный маркер - круговая область. Это позволяет минимизировать вероятность случайного совпадения характеристик связных областей, относящихся к маркерам, и фоновых областей на изображении. Вытянутая форма прямоугольников позволяет использовать ориентацию главной оси инерции в качестве дополнительного признака областей при начальном обнаружении и отслеживании маркеров.

Для упрощения использования системы были разработаны алгоритмы автоматического обнаружения маркеров на первом кадре и последующего определения параметров яркостной сегментации, а также адаптация этих параметров по ходу сеанса Наличие подобных алгоритмов позволяет полностью исключить необходимость ручной настройки системы и делает ее устойчивой к изменению условий освещения

В четвертой главе описываются алгоритмы распознавания и отслеживания положения антропометрических точек лица в видеопотоке Цель разработки подобных алгоритмов - освободить пользователя системы, описанной в третьей главе, от необходимости использовать дополнительные маркеры для работы.

В качестве характерных антропометрических точек были выбраны две точки в районе глаз, одна в нижней части лица (рот) и одна в области носа (не лежащая в плоскости глаз и рта). Такой выбор точек связывает их с характерными чертами лица (что облегчает их обнаружение), и дает возможность вычислить ориентацию головы в трехмерном пространстве по проекциям точек на изображение

Для определения положения черт лица не требуется столь же высокой точности и подробности распознавания, как в случае построения трехмерной модели головы. Учитывая это, а также невысокое качество изображения и низкое разрешение кадров видеопотока, генерируемого недорогими видеокамерами, методы, разработанные для решения этой задачи, нацелены на устойчивое распознавание положения черт лица, без дополнительных деталей.

(а)

(б)

Рис. 7. Пример сеанса работы с системой

Выделение области лица на текущем кадре производится с помощью метода статистических моментов (см главу 1). Результатом применения этого метода является выделенная эллиптическая область лица. Дальнейшие действия построены в предположении, что область лица уже найдена.

Обычно системы отслеживания черт лица в видеопотоке фокусируются на определении положения центров глаз на изображении. Однако, если пользователь носит очки (что является скорее правилом для пользователей ЭВМ, чем исключением), определение положения центров глаз значительно усложняется из-за бликов стекол. По результатам испытаний линия бровей была выбрана как более устойчиво обнаруживаемый признак, нежели центры глаз.

Рис. 8. Иллюстрация к методу обнаружения бровей

Поиск линии бровей происходит путем обнаружения прямоугольной области, внутри которой содержится значительное количество пикселей с абсолютной величиной градиента яркости у), превышающей заданный порог. Дополнительно требуется отсутствие пикселей с большими абсолютными значениями градиента непосредственно над областью бровей - в области лба (рис. 8). Обнаружение производится с помощью модифицированного преобразования Хафа. Используется система координат с началом в центре эллипса лица и осями, направленными вдоль осей эллипса. Положение линии бровей задается двумя параметрами р и в (рис. 8). Границы отрезков допустимых значений параметров задаются, исходя из возможной неточности в определении эллипса лица. Каждой ячейке фазового пространства дискретизированного с шагами ставится в соответствие счетчик, изначально полагаемый равным нулю. Для компенсации дискретности разбиения используется следующий алгоритм обнаружения линии бровей: для каждого пикселя (х,у), такого что

|VÍfoy}| > *

1. Перевести координаты (х, у) пикселя в систему, связанную с эллипсом

2. Для каждого 9 € [#гтп> &тплх] подсчитать р — х' • cos в + у' • sin в;

3. Если р е [Pmini Pmax}¡ то увеличиваются счетчики ячеек фазового пространства со следующими координатами: ([р/Др], |_#/Д(?_|), ([р/Др +

4. Если (р — Ар) € [ртт> Pmaz)i то уменьшаются счетчики ячеек фазового пространства со следующими координатами: ([(р —Др)/Др], \в/Ав\),

После рассмотрения всех пикселей изображения лица выбирается линия бровей с параметрами (//,$'), соответствующими наибольшему значению счетчика. Использование варианта преобразования Хафа, компенсирующего дискретность разбиения фазового пространства, дает повышенную по сравнению с традиционным алгоритмом устойчивость распознавания. Еще одним важным отличием приведенного алгоритма от традиционного преобразование Хафа является встроенный в алгоритм механизм "штрафования" (шаг 4) нежелательных конфигураций обнаруживаемого объекта. Обнаружение линии бровей дает две из требуемых четырех точек лица.

Предлагаемый алгоритм отслеживания положения губ с использованием карты вероятности цвета губ (8) отличается от алгоритмов, использующих только яркостную информацию или заранее обученный цветовой классификатор, высокой надежностью распознавания и устойчивостью к различным условиям освещения.

В (8) RGB - цветовые координаты пикселя с координатами (х, у) в пространстве RGB, Skin(RGB) - вероятность принадлежности цвета к оттенку кожи, u*,v* - координаты соответствующего цвета в пространстве CIEL*u*v*. На основе получаемой карты вероятностей производится поиск областей пикселей, с высокой вероятностью имеющих форму, близкую к эллиптической.

! %

I v

~ - /

if1.' ';?

p^-js • Ч- ^

ш«* W

Рис. 9. Примеры карты вероятности цвета губ

Для увеличения надежности обнаружения производится шумоподавляющая фильтрация карты вероятностей. Обнаружение координат губ происходит путем нахождения координат с наибольшим значением критерия согласия, вычисляемого по следующей формуле:

Е{хс,Ус) = а- £ Lip(x,y)-/3- Y, Lip(x, у) (9)

(i,y)6/n(ic, Ус) (x,y)zOut(xc,yc)

Области 1п(хс,ус) и Out(xc,yc) задаются ожидаемой формой и размером губ на изображении. Результаты отслеживания представлены на рисунке 10(6). Положение губ предоставляет информацию о положении третьей точки.

Для определения ориентации головы по положению черт лица на изображении необходимо знать координаты еще одной точки, не лежащей в плоскости рта и бровей. Идеально для этого подходит кончик носа, однако устойчивого отслеживания кончика носа в неизвестных условиях освещения достичь весьма проблематично. С другой стороны, при соответствующем положении камеры, ноздри представляют собой четко видимые, характерные особенности изображения. Обнаружение координат ноздрей производится путем поиска контрастных областей определенной формы с помощью критерия согласия, задаваемого следующей формулой:

Области 1п(хс,ус) и Out(xc>yc) задаются шаблоном (см. рисунок 10(а)). Результаты отслеживания представлены на рисунке 10(6).

Предложенные алгоритмы функционируют в реальном времени на ЭВМ с процессором Pentium II (тактовая частота 800 МГц) со скоростью 8 кадров в секудну.

(а) (б)

Рис. 10. (а) Шаблон для обнаружения ноздрей. (6) Пример обнаружения полного набора антропометрических точек

В заключении сформулированы основные результаты работы.

Основные результаты работы состоят в следующем:

1. Предложены новые алгоритмы выделения лица человека на изображении, работающие в реальном времени и удовлетворяющие следующим ограничениям: работа с изображениями низкого разрешения (порядка 320x240 пикселей) и высокого уровня шума, характерного для бытовых видеокамер.

2. Разработан алгоритм автоматического выделения антропометрических точек лица на фронтальной фотографии среднего разрешения (порядка 640x480 пикселей) для построения фотореалистичных моделей виртуальной реальности.

3. Разработан алгоритм управления курсором "мыши" с помощью движений головы и мимики пользователя.

4. Разработан алгоритм для автоматического определения положения антропометрических точек лица в видеопотоке низкого разрешения в реальном времени.

Основное содержание диссертационной работы изложено в

следующих публикациях:

[1] Вежневец В. П . Локализация человеческого лица на цветном растровом изображении // Труды конференции "Математические методы распознавания образов" (ММРО-10). —2001.

[2] Вежневец В. П . Использование контурных моделей для выделения черт лица на фронтальном изображении // Труды конференции "Математические методы распознавания образов" (ММРО-10). — 2001.

[3] Automatic extraction of frontal facial features for 3-d face modeling / V. Vezhnevets, S. Soldatov, A Degtiareva, I.-K. Park // Proc. Sixth Asian Conference on Computer Vision.— 2004.

[4] Vezhnevets V. Face and facial feature tracking for natural human-computer interface // Труды конференции ГрафиКон'2002. —2002.

[5] Vezhnevets V. Method for localization of human faces in color-based face detectors and trackers // Труды конференции Digital Information Processing And Control In Extreme Situations'2003. — 2003.

[6] Vezhnevets V., Degtiareva A. Robust and accurate eye contour extraction // Труды конференции ГрафиКон'2003. —2003.

[7] Vezhnevets V., Sazonov V., Andreeva A. A survey on pixel-based skin color detection techniques // Труды конференции Графи Кон'2003. — 2003.

Издательство ООО "МАКС Пресс". Лицензия ИД № 00510 от 01.12.99 г. Подписано к печати 17.02.2004 г. Формат 60x90 1/16. Усл.печл. 1,5. Тираж 70 экз. Заказ 190. Тел. 939-3890,939-3891,928-1042. Тел./факс 939-3891. 119992, ГСП-2, Москва, Ленинские горы, МГУ им. М.ВЛомоносова.

№- 67 33

Введение

1 Задача обнаружения лица

1.1 Обзор существующих методов

1.1.1 Методы эмпирического распознавания.

1.1.2 Краткий обзор методов моделирования изображения лица.

1.1.3 Сравнение методов первой и второй категории

1.2 Обнаружения лица с помощью цветовой сегментации

1.2.1 Цветовая сегментация областей кожи на изображении

1.2.2 Обработка результатов цветовой сегментации для обнаружения лица

1.2.3 Несовершенство существующих методов.

1.2.4 Предлагаемые методы обнаружения лиц на изображениях

Объект исследовании и актуальность темы.

В настоящее время вычислительная техника используется во многих областях человеческой деятельности, являясь удобным и многофункциональным инструментом решения широкого круга задач. Однако, при работе с ЭВМ человек вынужден использовать средства взаимодействия, слабо адаптированные к возможностям человеческого восприятия и ограничивающие способности человека к обмену информацией. Основная цель усовершенствования и развития интерфейса человек-компьютер заключается в организации обмена информацией с ЭВМ таким образом, чтобы:

• Снизить время освоения программных и аппаратных средств;

• Снизить уровень ошибок при передаче информации;

• Сделать работу с ЭВМ возможной для людей, не имеющим возможности пользоваться традиционными средствами интерфейса;

• Снизить утомляемость, увеличить субъективное удовлетворение пользователя от работы;

Для достижения поставленных целей необходимо применение средств взаимодействия, более полно использующих коммуникативные способности человека. Человек наделен большим количеством возможностей воспринимать и передавать информацию: зрение, слух (в т. ч. устная речь), жесты и движения, мимика, осязание и др. Во взаимодействии человека и компьютера существуют два информационных потока:

• управляющие команды и данные, передаваемые компьютеру для обработки;

• результаты вычислений и другая информация, представляемая компьютером пользователю.

Распространенный в настоящее время человеко-машинный интерфейс использует зрение, как основной канал представления информации пользователю, отображая данные в виде условных знаков на экране компьютера. Воспринимать информацию естественными для человека способами (распознавать речь, жесты, мимику и т.д.) современные средства интерфейса практически не в состоянии.

Лицо человека является важным источником информации при общении между людьми. Выражение лица, мимика, артикуляция при разговоре, движения головой являются удобным, естественным и, что важно, необременительным способом передачи информации. Неспособность компьютера с одной стороны воспринять, а с другой стороны воспроизвести столь естественные для человека способы общения затрудняет передачу и восприятие информации при работе с ЭВМ.

Для того, чтобы "научить" компьютер распознавать и реагировать на движения головы, мимику, изменение выражения лица, направление взгляда, требуются устойчивые алгоритмы анализа и распознавания изображения лица человека.

Для представления вычислительной системы в качестве партнера, имитирующего аспекты человеческого общения, и превращения взаимодействия пользователя с вычислительный системой в естественное общение с виртуальным персонажем, используются так называемые агенты виртуальной реальности. Для их обозначения в литературе принят термин "аватары" (avatars). Агентами виртуальной реальности могут быть модели реально существующих людей, управляемые другими пользователями, или виртуальные актеры, управляемые компьютером. Использование таких агентов в системах виртуальной реальности и аудиовизуальных интерфейсах позволяет организовать общение пользователя с системой наиболее естественным образом и облегчить ему освоение. Это особенно актуально для пользователей, не являющихся профессионалами в области информационных технологий.

В рамках данной диссертационной работы будут рассмотрены следующие задачи:

1. Обнаружение и выделение лица на изображении и в видеопотоке.

2. Распознавание антропометрических точек лица на изображении и в видеопотоке.

3. Управление курсором "мыши" с помощью движений головой и мимики пользователя.

Решение двух первых задача является необходимым условием для создания интеллектуальных интерфейсов, распознающих и реагирующих па движения головой и изменение выражения лица пользователя. Решение второй задачи также необходимо для автоматизированного построения фотореалистичных моделей лиц для интерфейсов, использующих агентов виртуальной реальности. Решение третьей задачи делает возможным использование компьютера людьми, неспособными использовать традиционные средства интерфейса по состоянию здоровья.

Использование в системах построения интерфейса накладывает дополнительные условия и требования па методы, которые могут использоваться для решения этих задач, а именно:

• Высокая скорость работы (в ряде случаев - реальное время);

• Функционирование па изображениях низкого (порядка 320x240 пикселей) и среднего (порядка 640x480 пикселей) разрешения;

• Устойчивость к уровню шума, характерному для недорогих бытовых видеокамер, подключаемых к компьютеру.

Цели работы

1. Разработать методы обнаружения и выделения лица на изображении низкого разрешения (порядка 320x240 пикселей) и высокого уровня шума (характерного для бытовых видеокамер), работающие в реальном времени;

2. Разработать алгоритм автоматического выделения антропометрических точек лица (контуров глаз, зрачков, бровей, носа, подбородка, рта) на фронтальной фотографии среднего разрешения (порядка 640x480 пикселей) для построения фотореалистичных моделей виртуальной реальности;

3. Разработать алгоритм управления курсором "мыши" с номощыо движений головы и мимики пользователя;

4. Разработать алгоритм автоматического определения положения антропометрических точек лица в видеопотоке низкого разрешения в реальном времени.

Научная новизна работы

Разработанные алгоритмы обнаружения и локализации лица человека на основе цветовой сегментации кожи обладают значительно большей устойчивостью обнаружения, сохранив скорость существующих методов.

Предложенные алгоритмы выделения антропометрических точек лица на изображении и в видеопотоке обладают более высокой устойчивостью п точностью распознавания, нежели описанные в литературе аналоги.

Разработан новый алгоритм управления курсором мыши с помощью движений головы и мимики пользователя. Алгоритм предоставляет возможность гибкой настройки метода трансляции движений головы в перемещения курсора, что предоставляет возможность настройки интерфейса на индивидуальные особенности пользователя с нарушениями двигательного аппарата.

Практическая значимость и реализация

Разработаны и доведены до реализации методы и алгоритмы решения нескольких актуальных задач машинного зрения и обработки изображений. Программные реализации описываемых в диссертации методов удовлетворяют требованиям и ограничениям, сформулированным при постановке задач.

Реализована система управления компьютером для детей, страдающих ДЦП. Система успешно прошла экспериментальную проверку и используется в ряде детских учебных учреждений. По заказу Министерства

Образования РФ па основе данной системы создан ряд тренажеров и вспомогательных программ для организации дистанционного обучения.

На основе разработанных алгоритмов обнаружения и локализации лица и его антропометрических точек на изображении построена система автоматизированного создания фотореалистичных 3D моделей головы по фотографиям. Система разрабатывалась в лаборатории Компьютерной Графики и Мультимедиа кафедры АСВК факультета ВМиК МГУ им. М.В. Ломоносова по заказу Samsung Advanced Institute of Technology. Апробация работы и публикации

Результаты работы докладывались и обсуждались на:

• 6-ой международной конференции по машинному зрению Asian Conference on Computer Vision (ACCV) 2004, Jcju, Korea, Январь 2004;

• 13-й международной конференции ио компьютерной графике и машинному зрению GraphiCon 2003, Россия, Москва, 2003;

• 12-й международной конференции по компьютерной графике и машинному зрению GraphiCon 2002, Россия, Нижний Новгород, 2002;

• 3-ей международной конференции "Цифровая обработка информации и управление в чрезвычайных (экстремальных) ситуациях" ЦОИУЧС 2002, Беларусь, Минск, 2002;

• 10-ой всероссийской конференции "Математические методы распознавания образов-10" (ММРО-Ю), Россия, Звенигород, 2001;

• семинаре по компьютерной графике и машинному зрению Ю.М. Ба-яковского (ф-т ВМиК МГУ);

• научно-исследовательском семинаре но автоматизации программировании нод руководством проф. М. Р. Шура-Бура (ф-т ВМиК МГУ).

Основные результаты работы изложены в 7-и научных публикациях /16/, /84/, /83/, /82/,/81/, /5/, /б/. Системы, в которые внедрены разработанные методы, защищены российскими и международным патентами.

Структура работы

Диссертации состоит из четырех глав и введения.

Первая глава посвящена задаче обнаружения и локализации лица па изображении и в видеоиотоке. В ней производится краткий обзор существующих алгоритмов обнаружения лица и описываются предлагаемые автором алгоритмы решения этой задачи.

Вторая глава посвящена описанию разработанных алгоритмов автоматического распознавания антропометрических точек лица иа фронтальных изображениях для построении трехмерной модели головы человека по набору фотографий.

В третьей главе описываются построение системы, реализующей управление передвижением курсора и срабатывания кнопки "мыи1и"ири помощи движений головы и мимики пользователя, регистрируемых видеокамерой.

Четвертая глава описывает алгоритмы распознавания и отслеживания перемещении антропометрических точек лица в видеопотоке низкого разрешения (порядка 320x240 пикселей).

Основные результаты работы состоят в следующем:

1. Предложены новые алгоритмы выделения лица человека па изображении, работающие в реальном времени и удовлетворяющие следующим ограничениям: работа с изображениями низкого разрешения (порядка 320x240 пикселей) и высокого уровня шума, характерного для бытовых видеокамер.

2. Разработан алгоритм автоматического выделения антропометрических точек лица па фронтальной фотографии среднего разрешения порядка 640x480 пикселей) для построения фотореалистичных моделей виртуальной реальности.

3. Разработан алгоритм управления курсором "мыши" с помощью движений головы и мимики пользователя.

4. Разработан алгоритм для автоматического определения положения антропометрических точек лица в видеопотоке низкого разрешения в реальном времени.

125

4.3. Заключение

Реализация описанных методов успешно функционирует на видеопотоке разрешением 320x240 пикселей, получаемом с web-камеры. Скорость работы системы порядка 5 fps па Pentium III GOO. Следует отметить, что оптимизация программной реализации алгоритмов не проводилась, так что по прежнему остается возможность дальнейшего ускорения работы.

1. Вапник В.Н ., Червопенкис А. Я . Теория распознавания образов. Стохастические проблемы обучения. — М.: Наука, 1974.

2. Дуд а Р ., Хартп П . Распознавание образов и анализ сцеп. — М.: Мир, 1976.

3. Хори Б. К. П . Зрение роботов. — М.: Мир, 1989.

4. Рабииср JI. Р . Скрытые марковские модели и их применение в избранных приложениях при распознавании речи: Обзор // Труды ИИЭР. — Февраль 1989. Т. 77, № 2.

5. Вежневец В. П . Локализация человеческого лица на цветном растровом изображении // Труды конференции «Математические методы распознавания образов» (ММРО-Ю). — 2001.

6. G. Веэюнсвсц В. П . Использование контурных моделей для выделения черт лица на фронтальном изображении // Труды конференции «Математические методы распознавания образов» (ММРО-Ю). — 2001.

7. Самаль Д. И ., Стгшровойтпов В. В. Обнаружение антропометрических точек лица с помощью фильтров Габора // Сб. науч. тр. «Цифровая обработка изобраэ/ссиий». — 2001.— С. 141-150.

8. Ноги ., Моулср К., Кахаиср Д . Численные метод!л и программное обеспечение. — М.: Мир, 2001.

9. Иберла К . Факторный анализ. — М.: Статистика, 1980.

10. Прэтт У . Цифровая обработка изображений. — М.: Мир, 1982.

11. Гайдышеа И . Анализ и Обработка Данных: специальный справочник. СПб: Питер, 2001.

12. Active face and feature tracking / L. Jordao, M. Perrone, .J. Costeira, Л. Santos-Victor // Proceedings of the 10th International Conference on Image Analysis and Processing. — 1999. — Pp. 572-577.

13. Active face and feature tracking / L. .Jordao, M. Perrone, Л. Costeira, Л. Santos-Victor // Proc. International Conference on Image Analysis and Processing. — September 1999. — Pp. 572-576.

14. Albiol A., Torres L., Delp E. J. Optimum color spaces for skin detection // Proceedings of the International Conference on Image Processing. — Vol. 1.- Tessaloniki, Greece: 2001.- Pp. 122-124.

15. Automatic extraction of frontal facial features for 3-d face modeling / V. Vezhnevets, S. Soldatov, A. Degtiareva, I.-K. Park // Proc. Sixth Asian Conference on Computer Vision. — 2004.

16. Bala L.-P., Talmi K., Liu J. Automatic detection and tracking of faces andfacial features in video sequences // Proc. of Picture Coding Symposium, Berlin. 1997.

17. Baskan S., Bulut M. A/., Atalay V. Projection based method for segmentation of human face and its evaluation // Pattern Recognition Letters.- 2002.- Vol. 23, no. 14.- Pp. 1623-1629.citeseer.nj.nec.com/hsu02face.html.

18. Biichfield S. Elliptical head tracking using intensity gradients and colorhistograms // Proceedings of CVPR '98. 1998. - Pp. 232-237.i

19. Brand J., Mason J. A comparative assessment of three approaches to pixellevel human skin-detection // Proc. of the International Conference on Pattern Recognition. Vol. 1.- 2000.- Pp. 1056-1059.

20. Bwi M., Perona P. Recognition of planar object classes // In Proc. CVPR . 1996. — 1996. citcsocr.iij.noc.com/bnrl'JGrccogiiitioii.htnil.

21. Chen Q., Wu //., Yachida M. Face detection by fuzzy pattern matching // Proc. of the Fifth International Conference on Computer Vision. — 1995. — Pp. 591-597.

22. Craw I., Ellis H., I Ashman J. Automatic extraction of face features // Pattern Recognition Letters. 1987. - Vol. 5. - Pp. 183-187.

23. Duda R., Hart P. Use of the hough transform to detect lines and curves in pictures // Communication of the Association of Computer Machinery. — 1972.- Vol. 15, no. 1.- Pp. 11-15.

24. The dyiiasighttlll sensor, http://orin.com/3cltrack/dyst.htm.

25. Edwards G., Taylor C., Cootes T. Interpreting face images using active appearance models // Proc. of the 3rd Int. Conf. on Automatic Face and Gesture Recognition, Nara, Japan. — 1998. — Pp. 300-305.

26. Eye typing using markov and active appearance models / D. W. Hansen, J. P. Hansen, M. Nielsen et al. // IEEE Workshop on Applications of Computer Vision WACV. - 2002. - dec. - Pp. 132-136.http://\vww.imm.dtu.dk/pubdb/p.php?1221.

27. LC Technologies. — The Eyegaze Communication System, 1997.

28. Dairell Т., Tollmar K., Dcntley F. et al. Face-responsive interfaces: from direct manipulation to perceptive presence. — 2002.

29. Feng G. C., Yuen P. C. Multi-cues eye detection on gray intensity image // Pattern Recognition. — 2001. — Vol. 34, no. 5. Pp. 1033-1046.

30. Feng G. C., Yuen P. C. Multi-cues eye detection on gray intensity image // Pattern Recognition. May 2001. - Vol. 34, no. 5. - Pp. 1033-1046.

31. Fitzgibbon A. W., Pilu M., Fisher R. B. Direct least square fitting of ellipses // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1999.- Vol. 21, no. 5.- Pp. 476-480.

32. Fleck Л/., Forsyth D. A., Drcglcr C. Finding nacked people // Proc. of the ECCV. Vol. 2. - 2002. - Pp. 592-602.

33. Govindaraju V. Locating human faces in newspaper photographs // Int'l J. Computer Vision. 1996.- Vol. 519, no. 2.- Pp. 129-146.

34. Headmouse head-controlled computer access.http://orin.com/acccss/hme/index.htin.

35. Hjelmas E., Low B. Face detection: A survey // Journal of Computer Vision and Image Understanding. — 2001. — Vol. 83. — Pp. 236-274.

36. Hoogenboom R., Lew M. Face detection using local maxima // Proceedings of Second International Conference on Automatic Face and Gesture Recognition. 1996. - Pp. 334-339.

37. Hsu R.-L., Abdel-Alottaleb M., Jain A. K. Face detection in color images // IEEE Trans. Pattern Analysis and Machine Intelligence. — 2002. — Vol. 24, ПО. 5. — Pp. 696-706. citesccr.nj.nec.corn/hsu02face.htinl.

38. An introduction to kernel-based learning algorithms / K.-R. Muller, S. Mika, G. Ratscli et al. // Transactions on Neural Networks.— 2001. — Vol. 12, no. 2.- Pp. 181-201.

39. Juell P., Marsh R. A hierarchical neural network for human face detection // Pattern Recog. 1996. - Vol. 29. - Pp. 781 787.

40. Kampmann M. Estimation of the chin and cheek contours for precise face model adaptation // Proc. International Conference on Image Processing. Vol. 3. - October 1997. - Pp. 300-303.

41. Kampmann M., Zhang L. Estimation of eye, eyebrow and nose features in videophone sequences // International Workshop on Very Low Bitrate Video Coding (VLBV 98), Urbana, USA. 1998.- Pp. 101-104.

42. Kampmann M., Zhang L. Estimation of eye, eyebrows and nose features in videophone sequences // Proc. International Workshop on Very Low Bitrate Video Coding. October 1998.- Pp. 101-104.

43. Kanade T. Picture processing system by computer complex and recognition of human faces // doctoral dissertation, Kyoto University.— 1973.— November.— Available as TIFF images at http://xiotech.ulib.org/cgi-bin/ulib/display?l 1014.12072.

44. Kass M., Within A.; Tcrzopoulos D. Snakes: Active contour models // Int. Journal of Computer Vision. — 1987. — Vol. 4, no. 1.

45. Kotropoulos C., Pitas I. Rule-based face detection in frontal views // Proc. Int'l Conf. Acoustics, Speech and Signal Processing. — Vol. 4.— 1997.— Pp. 2537-2540.

46. Kruppa HBauer M. A., Schiele B. Skin patch detection in real-world images // Annual Symposium for Pattern Recognition of the DAGM 2002, Springer LNCS 2449. 2002. - Pp. 109-117.

47. Lam K.-M., Yan H. Locating and extracting the covered eye in human face images // Pattern Recognition1996.— Vol. 29, no. 5.— Pp. 771-779.

48. Lee J. Y., Yoo S. I. An elliptical boundary model for skin color detection // Proc. of the 2002 International Conference on Imaging Science, Systems, and Technology. — 2002.

49. Lin С., Lin W. Extracting facial features by an inhibitory meclmnism-based 011 gradient distributions // PR. — 199G. — December. — Vol. 29, no. 12. — Pp. 2079-2101.

50. Lin S.-H., Kung S.-Y., Lin L.-J. Face recognition/detection by probabilistic decision-based neural network // IEEE Trans. Neural Networks. 1997. - Vol. 8. - Pp. 114-132.

51. Low В. K., Ibrahim M. K. A fast and accurate algorithm for facial feature segmentation // Proc. of the ICIP '97: IEEE International Conference on Image Processing. — 1997.

52. M. Stoning H. Andersen E. G. Skin colour detection under changing lighting condition // Araujo and Л. Dias (ed.) 7th Symposium on Intelligent Robotics Systems. 1999. - Pp. 187-195.

53. Menser В., Wien M. Segmentation and tracking of facial regions in color image sequences // Proc. SPIE Visual Communications and Image Processing 2000.- 2000. Pp. 731-740.

54. Moghaddarn В., Pentland A. Probabilistic visual learning for object representation // Early Visual Learning, Oxford University Press, 199G / Ed. by S. Nayar, T. Poggio. Oxford University Press, 199G. - Pp. 99-130.

55. Poynton C. A. Frequently asked questions about colour // ftp://\v\v\v.inforainp.net/pub/iiscrs/poyntoii/doc/coloiir/ColorFAQ.ps.gz. — 1995.

56. GO. Quick glance 2 eye gaze tracker for computer access compatible with microsoft windows 98/xp. http://www.eyetechds.coin/horncpagc.html.

57. Gl. Radcva P., Marti E. Facial features segmentation by model-based snakes // International Conference on Computing Analysis and Image Processing, Prague. 1995.

58. Reisfeld D., Ycshurun Y. Robust detection of facial features by generalized symmetry // ICPR92. 1992. - Pp. 1:117-120.

59. Roth D. The snow learning architecture: Tech. Rep. UIUCDCS-R-99-2102: UIUC Computer Science Department, 1999.

60. Roth D., Yang M., Ahuja N. A snow-based face detector // Advances in Neural Information Processing Systems 12 (NIPS 12). MIT Press, 2000.

61. Rowley //. A., Baluja S., Kanade T. Neural network-based face detection //

62. EE Trans. Pattern Anal. Mach. Intell.- January 1998.- Vol. 20.-Pp. 23-38.

63. Sakai Т., Nagao M., Fujibayashi S. Line extraction and pattern detection in a photograph // Pattern Recognition. — 19G9. — Vol. 1.— Pp. 233-248.

64. G8. Schumcyer II., Burner K. A color-based classifier for region identification in video // Visual Communications and Image Processing 1998, SPIE. — Vol. 3309. 1998. - Pp. 189-200.

65. G9. Shin M. C., Chang К. I., Tsap L. V. Does colorspace transformation make any difference on skin detection? // IEEE Workshop on Applications of Computer Vision. — 2002.

66. Silva L. C. D., Aizawa K., Hatori M. Detection and tracking of facial features by using a facial feature model and deformable circular template // IEICE Duns. Inform. Systems E78-D(0).~ 1995.- Pp. 1195-1207.

67. Skurbek W., Koschan A. Colour image segmentation a survey -: Tech. rep.: Institute for Technical Informatics, Technical University of Berlin, 1994. October, citcsccr.nj.nec.com/articlc/skarbck94colour.html.

68. Srneraldi F., Саппопа O., Bigun J. Saccadic search with gabor features applied to eye detection and real-time head tracking // Image and Vision Computing. 2000. - Vol. 18. - Pp. 323-329.

69. Smith P., Shah M., da Vitoria Lobo N. Monitoring head/eye motion for driver alertness with one camera.

70. Sobottku K., Pitus I. A novel method for automatic face segmentation,facial feature extraction and tracking // Signal Processing: Image Communication. June 1998. - Vol. 12, no. 3. — Pp. 263-281.

71. Sobottka K., Pitas I. A novel method for automatic face segmentation, facial feature extraction and tracking // Signal Processing: Image Communication. June 1998. - Vol. 12, no. 3.- Pp. 263-281.

72. Spors S., Rabenstcin R. A real-time facetracker for color video // IEEE International Conference on Acoustics, Speech, and Signal Processing. — 2001.

73. Sung K.-K., Poggio T. Example-based learning for view- based human face detection // IEEE Dans. Pattern Analysis and Machine Intelligence.— 1998.- Vol. 20, no. 1.- Pp. 39-51.

74. Tian Y., Kanade Т., Cohn J. Dual-state parametric eye tracking // Proceedings of the 4th IEEE International Conference on Automatic Face and Gesture Recognition (FGT00). 2000. - Pp. 110-115.

75. Toyama K. Look, ma no hands!' handsfree cursor control with realtime 3d face tracking // Proc. Workshop on Perceptual User Interfaces. — November 1998. - Pp. 49-54.

76. Track ir and smartnav hands free mice, http://www.naturalpoint.com/.

77. Vezhncvcts V. Face and facial feature tracking for natural human-computer interface // Труды конференции ГрафиКон'2002. — 2002.

78. Vezhnevets V. Method for localization of human faces in color-based face detectors and trackers // Труды конференции Digital Information Processing And Control In Extreme Situations'2002. — 2002.

79. Vczhncvets V., Degliarcva A. Robust and accurate eye contour extraction // Труды конференции ГрафиКоп'2003. — 2003.

80. Vczhncvets V., Sazonov V., Andrecva A. A survey on pixel-based skin color detection techniques // Труды конференции ГрафиКон'2003. —"2003.

81. Yang M.-H., Ahuja N. Detecting human faces in color images // Proc. of the ICIP 98: IEEE International Conference on Image Processing. — Vol. 1.- 1998. Pp. 127-130.

82. Yang M.-H., Ahuja N.} Kriegman D. Face detection using multimodal density models // Computer Vision and Image Understanding (CVIU). — 2001. Vol. 84, no. 2. - Pp. 264 -284.

83. Yang M. H., Kriegman D. J., Ahuja N. Detecting faces in images: A survey // IEEE Trans. Pattern Analysis and Machine Intelligence. — January 2002.- Vol. 24, no. 1.- Pp. 34-58.

84. Yilmaz A., Shah M. Automatic feature detection and pose recovery for faces // Proc. Fifth Asian Conference on Computer Vision.— January 2002. Pp. 284-289.

85. Yin L., Basu A. Realistic animation using extended adaptive mesh for model based coding // Proceedings of Energy Minimization methods in Computer Vision and Pattern Recognition. — 1999.— Pp. 2G9-284.

86. Yin L., Basu A. Nose shape estimation and tracking for model-based coding // Proc. IEEE International Conference on Acoust ics, Speech, Signal Processing. May 2001. - Pp. 1477-1480.

87. Yuille A., Hallinan P., Cohen D. Feature extraction from faces using deformable templates // International Journal of ComputerVision. — 1992. Vol. 8, no. 2. - Pp. 99-111.

88. Zarit B. D., Super B. J., Quek F. К. H. Comparison of five color models in skin pixel classification // ICCV'99 Int'l Workshop on recognition, analysis and tracking of faces and gestures in Real-Time systems. — 1999. — Pp. 5863.

89. Zhai S. What's in the eyes for attentive input // Cornmun. ACM. — 2003. — Vol. 46, no. 3. Pp. 34-39.

90. Zhai S., Morirnoto C., Ihde S. Manual and gaze input cascaded (magic) pointing // Proceedings of the SIGCHI conference on Human factors in computing systems. ACM Press, 1999. - Pp. 246-253.

91. Zhu X., Fan J., Elmagaimid A. Towards facial feature extraction andverification for onmi-face // Proc. IEEE International Conference on Iin Processing. Vol. 2. - September 2002.- Pp. 113-116.