автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Алгоритмы обнаружения лица человека для решения прикладных задач анализа и обработки изображений

На правах рукописи

КУДРЯШОВ Павел Павлович

АЛГОРИТМЫ ОБНАРУЖЕНИЯ ЛИЦА ЧЕЛОВЕКА ДЛЯ РЕШЕНИЯ ПРИКЛАДНЫХ ЗАДАЧ АНАЛИЗА И ОБРАБОТКИ ИЗОБРАЖЕНИЙ

05 13 01 - Системный анализ, управление и обработка информации

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

0031746.4 1

Волгоград - 2007

003174641

Работа выполнена на кафедре "Системы автоматизированного проектирования и поискового конструирования" Волгоградского государственного технического университета

Научный руководитель

доктор технических наук, профессор Фоменков Сергей Алексеевич.

Официальные оппоненты

доктор технических наук, профессор Вагин Вадим Николаевич.

доктор технических наук, профессор Лукьянов Виктор Сергеевич,

Ведущая организация

Инстшу! проблем передачи информации им А А Харкевича (РАН).

Защита диссертации состоится 8 ноября 2007 1 на заседании диссертационного совета Д 212 028 04 при Волгоградском I осу дарственном техническом университете по адресу 400131, Волгоград, пр-т им В И Ленина, 28

С диссертацией можно ознакомиться в библжпеке Волгоградского государственного технического университета

Автореферат разослан 3 октября 2007 г Ученый секретарь

диссертационного

совета

Водопьянов В И

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы диссертации. В настоящее время в связи со стремительным развитием цифровой фотографии и цифрового видео очень перспективной является задача распознавания образов на цифровых изображениях

Последние десять лет в области распознавания образов ведутся активные разработки и предложены различные методы распознавания, использующие такие подходы, как метод главных компонент, методы с использованием гистограмм, нейросети, байесовские сети, классификатор Viola-Jones, статистические методы и т д (Kanade, Rowley, Schapire, Shneiderman, Viola, Загоруйко, Журавлев) Часть этих подходов распознавания инвариантны по отношению к объекту, другие используют такие априорные знания об объекте, как форма, цветовая гамма, взаимное расположение частей и др

Несмотря на то, что в реальном мире существует огромное количество различных объектов, значительный интерес представляет разработка алгоритмов обнаружения более узкого класса объектов - лиц человека Конкретными практическими применениями алгоритмов распознавания лиц могут быть системы автоматического учета числа посетителей, системы пропускного контроля в учреждениях, аэропортах и метро, автоматические системы предотвращения несчастных случаев, интеллектуальные интерфейсы "человек-компьютер" и др

Задача обнаружения лица человека является сложной ввиду нескольких основных причин высокая вариативность лиц человека, обусловленная анатомическими и фенотипическими особенностями индивидов, различные условия освещенности, определяющиеся типом, количеством и направлением источников света, необходимость обнаружения лиц, находящихся в произвольных положениях и наклонах

Существующие потребности в создании подобных систем накладывают жесткие ограничения на скорость работы алгоритмов, которые должны работать в режиме близком к реальному времени Однако даже наиболее быстрые из существующих подходов (Viola 2001, Lienhart 2002, Shneiderman 2004) позволяют обнаруживать лица в реальном времени лишь при вертикальном положении лица и непригодны для обнаружения лиц, повернутых в плоскости изображения под произвольным углом

Для успешного функционирования системы обнаружения лиц обеспечение высокой скорости работы должно также сочетаться с малым количеством ложных обнаружений В существующих системах при увеличении процента обнаружений свыше 90% наблюдается экспоненциальный рост числа ложных обнаружений, что затрудняет использование этих систем в случаях, когда требуется процент обнаружения близкий к 100%

3

Таким образом, учитывая, что наиболее важными характеристиками систем обнаружения являются скорость и процент обнаружения, актуальной является задача разработки и внедрения новых, более быстрых и точных алгоритмов, способных обнаруживать лицо человека, наклоненное под произвольным углом в плоскости изображения

Цель работы и задачи исследования. Целью диссертационной работы является повышение эффективности обнаружения лица человека на цифровых изображениях за счет разработки и применения новых и модифицированных алгоритмов Под повышением эффективности понимается улучшение следующих характеристик повышение процента обнаружения лиц человека, снижение процента ложных обнаружений, снижение времени обучения классификатора и времени обработки изображения по отношению к результатам существующих алгоритмов

Для достижения данной цели были поставлены и решены следующие задачи

• описать особенности и способы решения задачи обнаружения лица человека, провести обзор подходов и алгоритмов обнаружения, выявить их ограничения,

• разработать новые и модифицировать существующие алгоритмы для решения задачи обнаружения лица человека,

• реализовать предложенные алгоритмы в программном модуле обнаружения лица человека,

• провести проверку работоспособности и эффективности модуля при решении тестовых и практических задач,

• разработать и внедрить программный комплекс автоматической коррекции красных глаз

Объект исследования. Процесс обнаружения лица человека на цифровых изображениях с использованием вычислительной машины

Предмет исследования. Алгоритмы анализа цифровых изображений и обнаружения лица человека

Методы исследования. В диссертации использованы методы системного анализа, распознавания образов, компьютерного зрения, математической статистики, параллельного программирования, объектно-ориентированного проектирования систем Научная новизна работы состоит в следующем

• предложена модификация существующего алгоритма Viola-Jones с использованием нового типа признаков треугольной Формы и матрицы объекта Использование треугольных признаков позволяет добиться более точной аппроксимации наклонных черт лица Использование матрицы объекта позволяет повысить скорость обучения при одновременном снижении объема базы

4

обучающих примеров Использование треугольных признаков и матрицы объекта инвариантно к объекту распознавания (может использоваться при обнаружении любых других объектов),

• предложен новый алгоритм прогнозирования положения и размеров лица человека с использованием цветовой информации, позволяющий значительно сократить время на обнаружение лица, наклоненного на произвольный угол в плоскости изображения,

• предложен новый алгоритм подтверждения обнаружения лица с использованием механизма поворотов, позволяющий существенно снизить процент ложных обнаружений Использование алгоритма подтверждения инвариантно к объекту распознавания,

• предложен гибридный алгоритм обнаружения лица человека, основанный на алгоритме Viola-Jones, алгоритме прогнозирования положения и размеров лица человека и алгоритме подтверждения обнаружения лица с использованием механизма поворотов

Обоснованность и достоверность результатов, приведенных в диссертационной работе, обеспечиваются использованием зарекомендовавших себя методов системного анализа, компьютерного зрения и распознавания образов, подтверждаются результатами работы разработанного модуля быстрого обнаружения лиц на тестовой базе изображений, а также результатами его работы при решении практической задачи обнаружения лица человека в системе автоматической коррекции красных глаз "Red Eye Remove"

Практическая значимость и внедрение.

• разработан модуль быстрого обнаружения человеческих лиц, позволяющий обнаруживать лица человека на цветных цифровых изображениях при произвольном угле наклона лица в плоскости изображения и отличающийся более высокой точностью и скоростью обнаружения по сравнению с существующими аналогами,

• разработана система полностью автоматической коррекции красных глаз, позволяющая корректировать цифровые изображения без участия человека Система может быть использована для коррекции цифровых фотографий рядовых пользователей, в фотосалонах, фотоаппаратах, в составе цифровых комплексов высокопроизводительной печати фотолабораторий и в автоматических киосках фотопечати

Система автоматической коррекции красных глаз "Red Eye Remove" внедрена в фотосалоне "DeaLux" в г Волгограде С использованием системы откорректировано свыше

5

5000 фотографий клиентов сети Система автоматической коррекции красных глаз "Red Eye Remove" и система обнаружения лица человека "Rapid face detection" зарегистрированы в отраслевом фонде алгоритмов и программ ФГНУ "Государственный координационный центр информационных технологам" Федерального агентства по образованию РФ Положения, выносимые на защиту:

• модифицированный алгоритм Viola-Jones с использованием признаков треугольной формы и матрицы объекта,

« алгоритм прогнозирования положения и размеров лица человека на основе цветовой информации,

• алгоритм подтверждения обнаружения с использованием механизма поворотов,

• гибридный алгоритм обнаружения лица человека,

• модуль быстрого обнаружения лиц человека,

• автоматическая система коррекции красных глаз человека

Апробация результатов работы. Основные положения диссертации докладывались и обсуждались на научных семинарах кафедры "САПР и ПК" ВолгГТУ, а также на Международных и Всероссийских научных и научно-практических конференциях "Информационные технологии в науке, образовании, телекоммуникации и бизнесе (IT + SE)" (Гурзуф, Украина, 2007), "Интеллектуальные системы (AIS) Интеллектуальные САПР (CAD)" (Дивноморское, 2007), "Технологии Microsoft в теории и практике программирования" (Москва, 2007), "Новые информационные технологии" (Судак, 2007), "Информационные технологии в образовании, технике и медицине" (Волгоград, 2006), Региональная конференция молодых исследователей Волгоградской обл (Волгоград, 2006)

Публикации. Основные положения диссертации отражены в 25 опубликованных работах В том числе 4 статьи напечатаны в рецензируемых научных журналах центральной печати, из которых 3 статьи опубликованы в журналах, рекомендованных ВАК для публикации основных результатов диссертационных работ В список опубликованных работ также входят два свидетельства об официальной регистрации программ для ЭВМ

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, приложений, списка литературы Общий объем диссертации - 121 страница, включая 44 рисунка, 11 таблиц, список литературы из 155 наименований

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертации, сформулированы цели и задачи исследования, определена научная новизна, приводится перечень основных положений, выносимых на защиту, излагается краткое содержание глав диссертации

В первой главе производится обзор работ связанных с подходами к решению задачи обнаружения лица на цифровых изображениях

Задачу обнаружения лица человека на цифровом изображении можно сформулировать следующим образом Пусть имеется цифровое изображение - двухмерная матрица пикселей размером WxH, в которой каждый пиксель представлен некоторым неотрицательным числом (0-255 в случае черно-белого изображения или 0-2553 в случае цветного изображения) Требуется определить список наклонных прямоугольников, описанных вокруг лиц людей, присутствующих на изображении

LeanRectL = {х,у,width,height,angle}, где х, у - координаты центра /-го прямоугольника, width - ширина, height - высота, angle - угол наклона прямоугольника к вертикальной оси изображения

Существует две основных категории алгоритмов, разработанных для решения задачи обнаружения лица методы эмпирического распознавания и методы моделирования изображения лица человека

Первая категория алгоритмов основывается на опыте человека в решении задачи распознавания лиц и пытается формализовать этот опыт Так исследователи, использующие этот подход, стараются определить условия и признаки, по которым человек выносит решение, является ли данное изображение лицом или нет При этом формируется ряд эвристик, на основе наличия и взаимного соответствия которых, автоматическая система может определить факт присутствия лица на изображении К числу таких признаков относятся лицо обладает определенным оттенком цвета "кожи", лицо зачастую симметрично относительно вертикальной оси, на лице присутствуют отдельные черты (глаза, нос, рот), черты лица имеют строго определенные отношения размеров и взаимное положение

Вторая категория алгоритмов не пытается формализовать процессы, происходящие в мозге человека, и основывается на аппарате математической статистики Методы этой категории основываются на хорошо проработанной теории распознавания образов, или, еще в более общем смысле - на теории к решению задач классификации При этом задача обнаружения лица рассматривается как частный случай задачи классификации с двумя предопределенными классами "лицо" и "не лицо" Для определения принадлежности изображения к одному из классов используется вектор признаков, являющийся

отображением анализируемого изображения в пространство более высокой, чем исходная, размерности Ввиду того, что общее количество признаков очень велико, используются различные процедуры сокращения размерности и выделения наиболее значимых признаков Так большинство методов данной категории используют две стадии стадию обучения (с учителем или без него) и стадию классификации На стадии обучения из всего набора признаков выделяются существенные, также определяются пороговые значения признаков, используемые для принятия решения об отнесении изображения к тому или иному классу На стадии классификации производится вычисление значений признаков и определение принадлежности изображения к классу Ввиду того, что стадия обучения и выбора наиболее значимых признаков не требует вмешательства человека, результаты методов второй категории в значительной степени превосходят результаты эмпирических методов обнаружения

Последние десять лет в области распознавания лица человека ведутся активные разработки и предложены различные методы распознавания, использующие такие подходы второй категории, как метод главных компонент [Shneiderman, Pentland], нейросети [Rowley, Kanade, Lm], алгоритм Viola-Jones [Viola, Lienhart, Whitehill], машины опорных векторов [Lienhart] и т д

Основными недостатками методов данной категории являются длительное время и необходимость наличия большой выборки на этапе обучения, обучение только на прямоугольных изображениях объектов, в подавляющем большинстве случаев -отбрасывание цветовой информации

Кроме того, даже наиболее быстрый и точный в данной категории алгоритм Viola-Jones не позволяет обнаруживать лицо человека под произвольным углом поворота в режиме реального времени Что в значительной мере затрудняет или делает невозможным его использование с учетом растущих потребностей современных производственных систем

Таким образом, выявлена необходимость проведения научного исследования для модификации существующих и разработки новых более совершенных методик и алгоритмов обнаружения лица человека на цифровых изображениях

Во второй главе описываются предложенные автором подходы к повышению эффективности решения задачи обнаружения лица человека

Так по результатам обзора существующих подходов к обнаружению лица человека, проведенному в первой главе, было выявлено, что наилучшим алгоритмом на текущий момент является алгоритм, предложенный Viola и Jones в 2001 году Данный алгоритм относится к семейству ассоциативных машин и способен классифицировать поступающие изображения на два класса "объект" и "не объект" Алгоритм требует предварительного

обучения классификатора в режиме обучения с учителем. Эффективность алгоритма для классификации лиц человека подтверждена научными трудами различных авторов.

Для снижения временных затрат на этапе обучения и снижения необходимого количества образцов в обучающей выборке рассматривается подход с использованием матрицы объекта.

Предлагается введение матрицы объекта М0 - прямоугольной бинарной матрицы, по размеру совпадающей с размером изображений в обучающей базе, в которой единицами обозначены пиксели, являющиеся пикселями объекта, а нулями - пиксели, являющиеся пикселями фона.

f 1, Vfe Irngkii е object

= | о

где M0iJ - пиксель с координатами i, j матрицы объекта, Imgkij- пиксель с координатами i, j k-ro изображения обучающей выборки, object - объект классификации.

Фронтальное лицо человека имеет овальную форму и занимает от 75 до 90% площади ограничивающего прямоугольника в зависимости от условий кадрирования. А профильное лицо, в свою очередь, занимает от 70 до 85% площади прямоугольника. Использование матрицы объекта (рис. 1) позволяет исключить до 30% незначимых пикселей изображений обучающей выборки или до 40% незначимых признаков на этапе обучения классификатора лица.

а) б)

Рис. 1. Изображение профильного лица на этапе обучения (а) и матрица объекта с черными незначимыми пикселями (28% гуюи(ади) (б). Также использование матрицы объекта позволяет явным образом выделить области незначимого фона на изображениях в обучающей выборке. Это, в свою очередь, позволяет

априорно исключить из рассмотрения фоновые области изображения и уменьшить необходимое число изображений лиц на различном фоне, требуемых для обучения.

Для повышения репрезентативных возможностей алгоритма и качества аппроксимации наклонных черт лица предлагается использование нового типа треугольных признаков.

Признак, используемый для анализа изображения можно представить кортежем

Feature = {Т, 0,5},

где Т - тип признака, О - координата левого верхнего угла признака, S - размер признака по горизонтали и вертикали в пикселях.

Значение признака рассчитывается по следующей формуле:

Featuret = kw £ Vw - кв S VB,

где 2 Vw и £ VB - суммы интенсивностей всех пикселей изображения в белых и черных областях признака соответственно, kw и кв - коэффициенты их нормировки по площади.

Предлагается использование нового типа признака - треугольных признаков, расширяющих набор существующих прямоугольных признаков. Рассматривается два вида треугольных признаков, представленных на рис. 2. На указанном рисунке черные области соответствуют отрицательным весам, а белые - положительным.

а. Граничные

. Центральные

г. Диагональные

л аФФ

6. Линейные

ПС

д. Треугольные

Рис. 2. Прямоугольные (а, б, в, г) и треугольные (д) типы признаков.

Также предлагается способ быстрого вычисления значений треугольных подобластей нового типа признаков. Для их вычисления используется понятие интегрального изображения, встречающееся в работах [Viola, Lienhart и др.]. Интегральное изображение -матрица, совпадающая по размерам с исходным изображением, в каждом элементе которой хранится сумма интенсивностей всех пикселей, находящихся левее и выше данного элемента, т.е. можно записать:

SAT(x,y) =

где 5АТ(х,у) - значение элемента интегрального изображения с координатами х, у, ¡{х',у') - интенсивность пикселя исходного изображения с координатами х',у'.

а) б)

Рис. 3. Значение в точке интегрального изображения SAT (а) и TSA Т(б). Используется дополнительное интегральное изображение TSAT, значение каждого элемента которого равно сумме интенсивностей всех пикселей, находящихся в прямоугольном треугольнике, расположенным левее и выше данного элемента (рис. 3):

TSAT(x,y) = £ Кх'.у')

x'sx,y'sy,y'sy-\x-x'l

Для быстрого вычисления значения каждого элемента интегрального изображения TSAT за один проход цикла используется интегральное изображение SA Т и формула:

TSAT(x,y) = TSAT(x - I,у - 1) + SAT{x,y) - SAT(x - 1 ,y)

Используя вычисленное интегральное изображение TSAT можно получить значение каждой треугольной подобласти TrSum(t) за 4 обращения к S'ATu TSAT (рис. 4):

TrSum(t) = SAT(x - I, у - 1) + TSAT{x + w-l,y + w-l)~ SAT{x + w - l,y - 1) - TSAT(x -l,y-l)

.....- + V - + V \

* \ + - ■х

Puc. 4. Вычисление значения треугольной подобласти с использованием интегральных

изображении SA Т и I SA Т.

Для вычисления значений двух треугольных подобластей одного треугольного признака требуется б обращений к интегральным изображениям SATu TSAT

Использование треугольных признаков позволяет повысить качество аппроксимации наклонных линий лица Предложенный алгоритм быстрого вычисления значения треугольных признаков позволяет производить обнаружение без падения скорости по сравнению с базовым набором признаков

Для снижения числа ложных обнаружений лиц предлагается алгоритм подтверждения обнаружения с использованием механизма поворотов

Алгоритм Viola-Jones, обученный на распознавание лица человека достаточно устойчив (около 20 градусов) к поворотам изображения При угле наклона свыше 20 градусов процент обнаружений резко падает Однако при небольших углах наклона до 10 градусов, алгоритм продолжает надежно определять лицо человека Случайные, ложные обнаружения, в отличие от истинных лиц, не обладают такой устойчивостью

Используя данную особенность, предлагается следующий алгоритм подтверждения обнаружений Для областей изображения, на которых были обнаружены лица, предлагается производить повторную проверку обнаружения на изображении, повернутом на 8 градусов по и против часовой стрелки В случае если обнаружение ложное, с высокой степенью вероятности ни на одном из повернутых изображений оно не будет повторным

Рассмотрим работу алгоритма Viola-Jones на базовом и повернутом изображениях при анализе 2-го граничного прямоугольного признака (рис 2), состоящего из двух подобластей (рис 5) При этом будем рассматривать темную подобласть, соответствующую глазам Так на рис 5 можно видеть, что на изображениях слева суммарная интенсивность пикселей подобласти глаз незначительно меняется при повороте ввиду того, что наиболее "весомые" для алгоритма элементы, обладающие большой площадью и низкой интенсивностью (глаза и брови) остаются в подобласти при повороте изображения

а) б)

Рис 5 Устойчивость алгоритма к небольшим поворотам изображения истинное пицо(а) и ложное обнаружение (б) 12

Другая ситуация происходит при ложном обнаружении При повороте "весомый" элемент изображения (темная одежда), обладающий большой площадью и низкой интенсивностью, на повернутом изображении выходит за границы подобласти, вследствие чего значение признака резко уменьшается, в результате чего принимается решение об отбросе данного окна поиска Использование описанного механизма поворотов позволяет с высокой степенью уверенности отсекать случайные ложные обнаружения

Варьируя угол подтверждения проверки можно изменять соотношение между количеством ложных обнаружений и пропусков Эмпирически при обнаружении фронтальных лиц человека оптимальным значением угла подтверждения является значение в 8 градусов

Для создания быстрого и надежного способа определения вероятных областей лица человека с целью ускорения обработки на дальнейших этапах обнаружения, предлагается алгоритм определения размеров и положения лица человека на основании цветовых характеристик изображения

Алгоритм использует ограничения (априорные знания) задачи обнаружения человеческих лиц Так лица людей на цифровых изображениях имеют так называемый цвет "кожи", который достаточно компактно описывается в цветовых пространствах RGB, HSV и других

С использованием априорных метрик для классификации кожи в пространстве HSV выделяется маска кожи Маска кожи представляет собой однобитное изображение, где единицами помечены те пиксели изображения, которые могут быть кожей

где MStj - пиксель с координатами i, j маски кожи, Imgij- пиксель с координатами j исходного изображения, IsSkm(H, S, V) - функция принадлежности пикселя к цвету "кожи", заданная в цветовом пространстве HSV и определяемая соотношением

IsSkin(H,S,V) = К > 40 & Я < —О 4У + 75 & 10 < S < (—Я — 0 IV + 110)

После вычисления полученная маска кожи обрабатывается алгоритмом обрамляющих эллипсов, обнаруживающим контуры эллипсов вокруг границ компактного расположения пикселей маски На этой стадии алгоритм выдает значительное количество эллипсов, большинство из которых не являются контурами человеческих лиц

(1, IsSkm(Img,j) \ 0

(0 08(100 - V)H I S <£ 0 5Я +

+ 0.5V, Я > О 35,Я < 0

Далее происходит обработка полученных эллипсов. При этом отсекаются слишком маленькие эллипсы, которые соответствуют цветовому шуму. Также удаляются эллипсы со слишком большим отношением большого и малого радиусов: > 5. Такие вытянутые

эллипсы часто соответствуют конечностям человека, различным деревянным панелям мебели и др. По итогам получается маска кожи, обведенная эллипсами, каждый из которых обводит предполагаемое лицо человека (рис. 6а).

а) б)

Рис. б. Области цвета "колеи ", обведенные эллипсами слева (а) и уточненные регионы лиц

справа (б).

Далее производится уточнение найденных обрамляющих эллипсов. Критерием необходимости уточнения является процент заполнения эллипса пикселями маски кожи, попадающими в область эллипса. В случае, если отношение суммарной площади пикселей маски кожи, попадающих в эллипс к площади эллипса слишком мало, производится операция уточнения эллипсов.

SSkinl < 0,6

/ 0Ellipse

Операция уточнения состоит из двух этапов: морфологических операций эрозии и диляции маски кожи с ядром операции равным 1/10 размера эллипса и повторного запуска алгоритма обрамляющих эллипсов на уточненной маске (рис. 6). Данная операция последовательно производится для всех эллипсов до тех пор, пока не выполнится соотношение площадей маски кожи и эллипса указанное выше или размер обнаруженных на очередной стадии эллипсов не станет слишком мал.

Для дополнительного повышения скорости работы алгоритма на этапе обнаружения пикселей цвета "кожи" и обрамляющих их эллипсов используется предварительное уменьшение размеров изображения в 2-4 раза. При этом происходит квадратичное снижение объема вычислений, связанных с анализом цветовых характеристик пикселей. Также при этом не требуется удаление слишком маленьких обрамляющих эллипсов, так как подобные области цветового шума исчезнут в результате операции понижения разрешения. В дальнейшей обработке обнаруженные эллипсы лиц масштабируются в систему координат исходного изображения.

Рис. 7. Приоритетные направления обнаружения лица. Последним этапом алгоритма является определение угла наклона лица человека в плоскости изображения. При этом используется тот факт, что лицо человека представляет собой эллипс с отношением большей и меньшей осей равным 2 / 1 для фронтального лица и 4 / 1 для профильного лица. Следовательно, используя угол наклона большей оси обрамляющего эллипса, считаем, что с наибольшей вероятностью лицо человека расположено в одном из двух направлений, соосных большей оси эллипса и расположенных под углом 180 градусов друг к другу (рис. 7). Причем, ввиду того, что в подавляющем большинстве случаев изображения расположены не кверх-ногами, более приоритетным является то направление, которое имеег меньший угол с направлением "вверх" изображения.

На основании алгоритмов, описанных ранее во второй главе, предлагается гибридный алгоритм обнаружения лица человека

Последовательность шагов гибридного алгоритма следующая:

1. уменьшение изображения в 2-4 раза;

2. вычисление маски кожи;

3. получение и уточнение обрамляющих маску кожи эллипсов и направлений их главных осей;

4 масштабирование положений центров и размеров полученных эллипсов в координаты исходного изображения,

5 получение прямоугольных участков изображения, в которых содержатся полученные эллипсы,

6 последовательная обработка полученных участков с запуском модифицированного алгоритма Viola-Jones Выполняется обнаружение лица человека на участках, повернутых под всеми углами с шагом в 20 градусов, начиная от наиболее приоритетных направлений, полученных в п 3 При этом выполняется до 360 / 20 = 18 поворотов изображения В случае обнаружения лица, наклоненного под каким-то определенным углом, обработка текущего участка прекращается и осуществляется переход к следующему участку,

7 выполняется подтверждение обнаружения с использованием механизма поворотов

Гибридный алгоритм обладает следующими преимуществами по сравнению с базовым алгоритмом Viola-Jones

• более высокая точность ^.обнаружения за счет использования треугольных признаков и подтверждения обнаружения с использованием механизма поворотов,

• более высокая скорость обнаружения за счет

о отсечения областей изображения, не являющихся лицами на основании

цветовых характеристик изображения, о априорного знания о приблизительном размере лица для поиска алгоритмом Viola-Jones на основании анализа цветовых характеристик, и, следовательно, более низкого количества поисковых окон, подлежащих обработке,

о априорного знания о наиболее вероятном наклоне лица к оси изображения и исключения необходимости проверять всех 18 углов поворота В третьей главе описан созданный программный модуль быстрого обнаружения лица человека, реализующий усовершенствованные и новые алгоритмы Модуль имеет следующий интерфейс

Вход цветное изображение для обнаружения лиц

Выход массив наклонных прямоугольников, описанных вокруг обнаруженных лиц людей, LeanRectL — {х, у, width, height, angle],

где х, у - координаты центра г-го прямоугольника, width - ширина, height - высота, angle - угол наклона прямоугольника к вертикальной оси изображения

Модуль состоит из трех основных подсистем

• подсистема предварительного определения положения и размеров лица

• подсистема обнаружения лица

• подсистема подтверждения обнаружения лица

Базируясь на предложенных ранее алгоритмах, разработанный модуль обладает некоторыми ограничениями В условиях недостаточного освещения и недоступности цветовой информации, требуемой для работы подсистемы предварительного определения положения и размеров лица, модуль будет работать медленнее, но надежнее, чем стандартный алгоритм Viola-Jones за счет использования предложенного механизма поворотов Также, несмотря на то, что размеры и углы наклона около 85% лиц, обнаруженных на тестовых примерах, были корректно определены алгоритмом определения размеров и положения лица и обнаружены алгоритмом Viola-Jones на первом же повернутом изображении, остальные 15% лиц были определены в среднем за 5 поворотов изображения Однако даже в этом случае гибридный алгоритм не пропускает такие лица, работая с более низкой скоростью, чем возможна в "идеальном" случае

Для проверки эффективности работы алгоритма и сравнения скорости были проведены тестовые испытания на тестовых базах CMU Frontal, CMU PIE и UCD Colour, специально разработанных для сравнения алгоритмов обнаружения лица человека В таблице 1 представлены результаты сравнения точности работы базового алгоритма Viola-Jones, реализованного в свободно распространяемой библиотеке Intel OpenCV, с модифицированным алгоритмом, использующим треугольный тип признаков и механизм подтверждения обнаружений с использованием поворотов

Таблица 1

Сравнение точности работы гибридного алгоритма

Алгоритм / БД CMU Frontal CMU PIE UCD Colour

TP FP TP FP TP FP

OpenCV Viola-Jones 83% 12 93% 28 65% 11

Viola-Jones + треуг признаки 83% 10 94% 25 69% 10

Viola-Jones + механизм поворотов 83% 9 92% 17 65% 6

Viola-Jones + треуг пр + мех пов 83% 7 94% 14 68% 6

В таблице 2 приведены результаты сравнения скорости работы базового алгоритма ViolaJones, реализованного в Intel OpenCV, с гибридным алгоритмом обнаружения Для обнаружения лиц, наклоненных под произвольным углом, с использованием базового алгоритма, каждое изображение обрабатывалось под 18 углами в диапазоне 0 - 340 градусов Для определения влияния размера изображения на результаты работы алгоритмов было

произведено тестирование на трех базах, содержащих изображения различного размера UCD Colour, CVL Face и базе из 100 фотографий пешеходных переходов г Волгограда

В целом, можно сделать вывод, что скорость работы гибридного алгоритма при обнаружении лица человека, повернутого под произвольным углом в плоскости изображения, до 10 раз превышает скорость работы базового алгоритма

Таблица 2

Алгоритм / БД UCD Colour CVL Face Volgograd

Средний размер фото, пиксели -400x300 640 х 480 2592 x 1944

Количество фото 94 798 100

Поиск Viola-Jones, с 30 6244 14238

Поиск гибридный алгоритм, с 2В 1082 1340

Программный модуль, реализующий гибридный алгоритм, написан на языке MS Visual С++ 2005 с использованием библиотеки компьютерного зрения Intel OpenCV в виде динамически подключаемой dll и работает под управлением Windows 2000/ХР

Областями применения разработанного модуля могут быть системы интеллектуального взаимодействия "человек - компьютер", системы теле- и видеоконференций, автоматические системы слежения и безопасности, системы контент-ориентированного сжатия и поиска, различные прикладные программ обработки мультимедиа (от систем коррекции красных глаз для домашних пользователей до систем учета числа посетителей в супермаркетах)

В четвертой главе приведены конкретные практические области применения разработанного модуля, а также результаты работы созданной с его использованием системы

С использованием модуля обнаружения лица человека было разработано две программных системы прототип системы контент-ориентированного сжатия изображений и система автоматической коррекции красных глаз "Red Eye Remove"

Прототип системы контент-ориентированного сжагия изображений позволяет кодировать отдельные части изображения JPEG с различным качеством При этом система обнаруживает на изображениях лица людей и сжимает их с лучшим качеством, чем остальные области изображения Ввиду того, что основным фокусом внимания человека на изображениях являются лица людей, система позволяет сохранять изображения в файлы меньшего размера при сохранении визуального качества изображения Или, с другой стороны, при сохранении изображения в файл заданного размера, адаптивное сжатие системой позволяет получать визуально более качественные изображения

Система является тестовым прототипом, однако результаты, полученные при ее реализации, позволяют предположить, что подобная технология контент-ориентированного сжатия может применяться в случаях, когда место для хранения изображений ограничено, например, в мобильных цифровых устройствах. Также подобный подход может быть применен в системах видеоконференций для снижения объема передаваемых данных. Система реализована на Microsoft Visual С++ 2005 и использует библиотеки Intel OpenCV и LibJpeg.

Разработанный модуль также вошел в состав полностью автоматической системы коррекции красных глаз "Red Eye Remove". Система состоит из двух основных частей: ядра системы, производящего все операции обработки и коррекции изображения, и графического интерфейса пользователя (рис. 8).

Рис. 8. Графический интерфейс пользователя программы "RedEye Remove". Общий алгоритм работы системы следующий:

• получение маски "красных" пикселей;

• сегментация красных пикселей и выделение эллиптических областей;

• отбрасывание недостаточно заполненных и слишком вытянугых областей;

• проверка каждой из найденных областей статистическими верификаторами (наличие вокруг областей цвета "кожи", радужной оболочки, блика, белка, бровей

и др);

• проверка окрестностей найденных областей верификатором с использованием гибридного алгоритма обнаружения лица человека и сопоставление найденных лиц человека и областей глаз, соответствующих им;

• вычисление общей оценки на основании оценок, полученных всеми верификаторами,

• в случае превышения общей оценкой определенного значения считается, что данная красная область является красным (засвеченным) глазом,

• пиксели каждого красного глаза корректируются особым образом, сохраняя естественный вид глаза после коррекции

Система позволяет корректировать изображения в формате 1ре§ без повторного пережатия всего изображения, при этом изменяются только небольшие области изображения, соответствующие откорректированным глазам Сравнительный анализ результатов работы разработанной системы с аналогичными системами сторонних производителей представлен в таблице 3

Таблгща 3

Сравнение работы системы Red Eye Remove

Критерий HPRedBot FotoNation RedEyeRemove

Обработка изображения 5МПИКС1, с 302 2 4

Обнаружение "красных" глаз\ % 92% 68% 94%

Обнаружение "красных" глаз (лицо скрыто), % 12% 68% 76%

Устойчивость к повороту лица 45" 360° 360°

Обнаружение "белых" глаз4 - - +

Настольная система - + +

Автоматическая система - - +

Система написана на Microsoft Visual С++ 2005 и использует библиотеки Intel OpenCV, LibJpeg, HTMLLayout, Boost, ZLib, OpenExif и др Система доступна как в виде пользовательского приложения под операционной системой Windows, так и в виде автономной библиотеки, которую можно использовать в составе другого программного обеспечения, в автоматических системах высокоскоростной печати для фотолабораторий, в фотокиосках, в фотоаппаратах и др Система внедрена в фотосалоне "DeaLux" в г Волгограде С использованием системы откорректировано свыше 5000 фотографий клиентов сети

1 Среднее время обработки изображения в наборе

2 Ориентировочное время обработки, основанное на описании алгоритма работы системы

3 Результат получен на наборе из 1100 фотографий, полученных из разных источников

4 Тестовая версия

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

• проведен сравнительный анализ подходов к решению задачи обнаружения лица человека В качестве наиболее перспективного выбран подход с использованием алгоритма Viola-Jones,

• предложен модифицированный алгоритм Viola-Jones, использующий новый тип треугольных признаков и матрицу объекта Треугольные признаки и матрица объекта могут быть использованы инвариантно к объекту распознавания,

• предложен гибридный алгоритм обнаружения лица человека, основанный на методах прогнозирования положения и размеров лица человека с использованием цветовой информации и подтверждения обнаружения лица с использованием механизма поворотов Алгоритмы подтверждения обнаружения инвариантен к объекту распознавания,

• предложенные алгоритмы реализованы в виде модуля быстрого обнаружения человеческих лиц Результаты тестирования модуля на тестовых базах показали на 40% более низкий уровень ложных обнаружений и до 10 раз большую скорость работы при обнаружении лиц в произвольных положениях,

• разработанный модуль обнаружения человеческих лиц использован в составе автоматической системы коррекции засвеченных глаз человека Red Eye Remove,

• результаты тестирования системы Red Eye Remove показали превосходство системы в точности обнаружения над системами компаний HP (на 5%) и FotoNation (на 15%) на тестовом наборе из 200 фотографий

СПИСОК ПУБЛИКАЦИЙ ПО ТЕМЕ ДИССЕРТАЦИИ

1 Кудряшов П П Гибридный алгоритм обнаружения человеческих лиц / П П Кудряшов, С А Фоменков //Информационные технологии - 2007 - №10 - С 2023

2 Кудряшов П П Быстрый поиск человеческих лиц на изображениях / П П Кудряшов, С А Фоменков //Вестник компьютерных и информационных технологий -2007 -№7 - С 14-17

3 Кудряшов П П Гибридный алгоритм распознавания человеческих лиц на цифровых изображениях / П П Кудряшов, С А Фоменков //Изв ВолгГТУ Серия "Актуальные проблемы управления, вычислительной техники и информатики в

технических системах" межвуз сб науч ст / ВолгГТУ - 2007 - Выл 2, №2 - С 4346

4 Кудряшов П П Быстрое распознавание человеческих лиц на цифровых изображениях / П П Кудряшов, С А Фоменков //Современные технологии автоматизации - [Электронный ресурс] - [2007] - Режим доступа http //www eta ru/onlme/online progf-digital htm

5 Кудряшов П П, Алгоритм обнаружения лица человека для решения прикладных задач анализа и обработки изображений / П П Кудряшов, С А Фоменков // Интеллектуальные системы (IEEE AIS'07) и Интеллектуальные САПР (CAD-2007) Сб тр Международных научно-технических конференций - M Изд-во физико-математической литературы, 2007 - Т2 -С 132-134

6 Кудряшов П П Автоматическая система коррекции эффекта "красных глаз" / П П Кудряшов, С А Фоменков //Открытое образование прилож к журн по матер XXXIV междунар конф и дискусс науч клуба, Ялта-Гурзуф, 20-30 05 07 Инф технол в науке, образ, телеком и бизенсе (IT+SE '07) - 2007 -[Б/н] - С 153-154

7 Кудряшов П П Алгоритм распознавания лица человека / П П Кудряшов, С А Фоменков //Инновационные технологи в управлении, образовании, промышленности "АСТИНТЕХ-2007" матер всерос науч конф, 18-20 апреля 2007 г / Астрахан гос ун-т и др - Астрахань, 2007 -42 - С 116-120

8 Кудряшов П П Гибридный алгоритм поиска областей "красных глаз" / AM Герасимов, П А Колчин, П П Кудряшов, С А Фоменков //Технологии Microsoft в теории и практике программирования тр IV всерос конф сгуд, аспри и мол уч, 2-3 апр 2007 Центральный регион, Москва / Моек авиац ин-т (гос техн унт) [и др ] - M, 2007 - С 98-99

9 Кудряшов П П Двухступенчатый алгоритм обнаружения лица человека / A M Герасимов, П А Колчин, П П Кудряшов, С А Фоменков //Технологии Microsoft в теории и практике программирования тр IV всерос конф студ, аспри и мол уч, 2-3 апр 2007 Центральный регион, Москва / Моек авиац ин-т (гос техн унт) [и др ] - M, 2007 - С 97-98

10 Кудряшов П П Быстрый алгоритм обнаружения засвеченных глаз / П П Кудряшов, С А Фоменков //Технологии Microsoft в теории и практике программирования межвуз конкурс-конф студ, аспри и мол уч Северо-Запада матер [конф ], 13-14 марта 2007 г / СПбГПУ [и др ] - СПб , 2007 - С 169

11 Кудряшов П П Использование обрамляющих эллипсов для ускорения работы алгоритма Haar при распознавании лиц / П П Кудряшов, С А Фоменков

//Технологии Microsoft в теории и практике программирования межвуз конкурс-конф студ, аспри и мол уч Северо-Запада матер [конф ], 13-14 марта 2007 г / СПбГПУ [и др ] - СПб, 2007 - С 170

12 Кудряшов П П Повышение скорости распознавания лица человека алгоритмом Haar на цветных изображениях / П П Кудряшов //Информационные технологии, системный анализ и управление сб тр IV всерос науч конф мол ученых, аспирантов и студ / Таганрог гос радиотехн ун-т [и др ] - Таганрог, 2006 - С 6-7

13 Кудряшов П П Повышение точности алгоритма Haar при распознавании объектов на цифровых изображениях / П П Кудряшов //Информационные технологии, системный анализ и управление сб тр IV всерос науч конф мол ученых, аспирантов и студ / Таганрог гос радиотехн ун-т [и др ] - Таганрог, 2006 - С 5-6

14 Кудряшов П П Препроцессинг как средство повышения качества распознавания объектов на цифровых изображениях / П П Кудряшов, С А Фоменков //Информационные технологии в образовании, технике и медицине матер междунар конф, Волгоград, 23-26 октября 2006 г /ВолгГТУ и др - Волгоград, 2006 - С 158-160

15 Кудряшов П П Автоматическое обнаружение эффекта "красных глаз" на цифровых изображениях / П П Кудряшов, С А Фоменков //Информационные технологии в образовании, технике и медицине матер междунар конф, Волгоград, 23-26 октября 2006 г /ВолгГТУ и др - Волгоград, 2006 - С 157-158

16 Сввд об офиц per программы для ЭВМ № 8782 Система распознавания лиц человека на цифровых изображениях "Rapid face detection" - №8782, Заяв 17 07 2007 опубл 17 07 2007 ОФАП, 2007

17 Свид об офиц per программы для ЭВМ № 8783 Автоматическая система коррекции "красных глаз" на цифровых фотографиях "Red Eye Remove" - №8783, Заяв 17 07 2007 опубл 17 07 2007 ОФАП, 2007

18 8 публикаций в сборниках тезисов региональных и международных конференций

Подписано в печать 01 10 2007 г Заказ № 826 Тираж 100 экз Печ л 1,0 Формат 60 х 84 1/16 Бумага офсетная Печать офсетная

Типография РПК «Политехник» Волгоградского государственного технического университета 400131, г Волгоград, ул Советская, 35

Аннотация.

Введение.б

1. Анализ проблемы обнаружения лица человека на цифровых изображениях.

1.1. Постановка задачи обнаружения лица человека.

1.2. Методы эмпирического распознавания.

1.2.1. Общее описание методов эмпирического распознавания.

1.2.2. Методы, основанные на шаблонах.

1.2.3. Методы, основанные на признаках.

1.2.4. Методы с использованием контурных моделей.

1.2.5. Методы с использованием цветовой сегментации.

1.3. Методы моделирования изображения лица.

1.3.1. Общее описание методов моделирования изображения лица.

1.3.2. Байесовские сети.

1.3.3. Машины опорных векторов.

1.3.4. Нейронные сети.

1.3.5. Сети SNoW.

1.3.6. Классификатор Viola-Jones.

1.4. Основные характеристики алгоритмов распознавания.

1.5. Анализ существующих методов обнаружения лица человека.

1.6. Цель и задачи исследования.

2. Алгоритмы обнаружения лица человека

2.1. Ограничения, накладываемые на понятие "изображение лица человека". 41'

2.2. Этап обучения классификатора.

2.2.1. Расширенный набор типов признаков.

2.2.2. Матрица объекта.

2.3. Этап обнаружения лица человека.

2.3.1. Использование механизма поворотов для подтверждения обнаружения.

2.3.2. Использование адаптивного шага масштабирования окна поиска.

2.4. Определение размеров и положения лица человека.

2.4.1. Определение областей цвета "кожи".

2.4.2. Сегментация с использование обрамляющих эллипсов.

2.4.3. Определение угла наклона лица человека.

2.5. Гибридный алгоритм обнаружения лица человека.

2.6. Выводы по второй главе.

3. Разработка программного модуля быстрого обнаружения лица человека.

3.1. Общая характеристика модуля.

3.1.1. Основные требования.

3.1.2. Использование сторонних библиотек.

3.1.3. Программная реализация.

3.2. Архитектура программного модуля.

3.2.1. Подсистема предварительного определения положения и размеров лица

3.2.2. Подсистема обнаружения лица.

3.2.3. Подсистема подтверждения обнаружения лица.

3.3. Результаты функционирования модуля при решении тестовых задач.

3.4. Области применения модуля.

3.5. Границы применимости модуля.

3.6. Система распознавания лиц человека на цифровых изображениях "Rapid face detection".

3.7. Выводы по третьей главе.

4. Глава 4. Применение модуля быстрого обнаружения лица человека для решения прикладных задач.

4.1. Прототип системы контент-ориентированного сжатия изображений.

4.1.1. Описание системы.}.

4.1.2. Результаты работы.

4.2. Система автоматической коррекции красных глаз "Red Eye Remove".

4.2.1. Эффект "красных глаз".

4.2.2. Задача коррекции эффекта "красных глаз".

4.2.3. Общая характеристика системы.

4.2.4. Архитектура системы.

4.2.5. Программная реализация системы.

4.2.6. Анализ результатов работы автоматической системы коррекции красных глаз

4.2.7. Области применения системы автоматической коррекции красных глаз.

4.3. Выводы по четвертой главе.

Основные результаты диссертационной работы.

Список сокращений и условных обозначений.

Актуальность темы диссертации. В настоящее время в связи со стремительным развитием цифровой фотографии и цифрового видео перспективной является задача распознавания образов на цифровых изображениях.

Последние десять лет в области распознавания образов ведутся активные разработки и предложены различные методы распознавания, использующие такие подходы, как метод главных компонент, методы с использованием гистограмм, нейросети, байесовские сети, алгоритм Viola-Jones, статистические методы и т. д (Rowley, Shneiderman, Viola, Kanade, Schapire). Часть этих алгоритмов распознавания инвариантны по отношению к объекту, другие используют такие априорные знания об объекте, как: форма, цветовая гамма, взаимное расположение частей и др.

Несмотря на то, что в реальном мире существует огромное количество различных объектов, значительный интерес представляет разработка алгоритмов обнаружения более узкого класса объектов - лиц человека. Конкретными практическими применениями алгоритмов распознавания лиц могут быть: системы автоматического учета числа посетителей; системы пропускного контроля в учреждениях, аэропортах и метро; автоматические системы предотвращения несчастных случаев; интеллектуальные интерфейсы "человек-компьютер" и др.

Задача обнаружения лица человека является сложной ввиду нескольких основных причин: высокая вариативность лиц человека, обусловленная анатомическими и фенотипическими особенностями индивидов; различные условия освещенности, определяющиеся типом, количеством и направлением источников света; необходимость обнаружения лиц, находящихся в произвольных положениях и наклонах.

Существующие потребности в создании подобных систем накладывают жесткие ограничения на скорость работы алгоритмов, которые должны 6 работать в режиме близком к реальному времени. Однако даже наиболее быстрые из существующих подходов (Viola 2001, Lienhart 2002, Shneiderman 2004) позволяют обнаруживать лица в реальном времени лишь при вертикальном положении лица и непригодны для обнаружения лиц, повернутых в плоскости изображения под произвольным углом.

Для успешного функционирования системы обнаружения лиц обеспечение высокой скорости работы должно также сочетаться с малым количеством ложных обнаружений. В существующих системах при увеличении процента обнаружений свыше 90% наблюдается экспоненциальный рост числа ложных обнаружений, что затрудняет использование этих систем в случаях, когда требуется процент обнаружения близкий к 100%.

Таким образом, учитывая, что наиболее важными характеристиками систем обнаружения являются скорость и процент обнаружения, актуальной является задача разработки и внедрения новых, более быстрых и точных алгоритмов, способных обнаруживать лицо человека, наклоненное под произвольным углом в плоскости изображения.

Цель работы и задачи исследования. Целью диссертационной работы является повышение эффективности обнаружения лица человека на цифровых изображениях за счет разработки и применения новых и модифицированных алгоритмов. Под повышением эффективности понимается улучшение следующих характеристик: повышение процента обнаружения лиц человека, снижение процента ложных обнаружений, снижение времени обучения классификатора и времени обработки изображения по отношению к результатам существующих алгоритмов.

Для достижения данной цели были поставлены и решены следующие задачи:

• описать особенности и способы решения задачи обнаружения лица человека, провести обзор подходов и алгоритмов обнаружения, выявить их ограничения;

• разработать новые и модифицировать существующие алгоритмы для решения задачи обнаружения лица человека;

• реализовать предложенные алгоритмы в программном модуле обнаружения лица человека;

• провести проверку работоспособности и эффективности модуля при решении тестовых и практических задач;

• разработать и внедрить программный комплекс автоматической коррекции красных глаз.

Объект исследования. Процесс обнаружения лица человека на цифровых изображениях с использованием вычислительной машины.

Предмет исследования. Алгоритмы анализа цифровых изображений и обнаружения лица человека.

Методы исследования. В диссертации использованы методы системного анализа, распознавания образов, компьютерного зрения, математической статистики, параллельного программирования, объектно-ориентированного проектирования систем.

Научная новизна работы состоит в следующем:

• предложена модификация существующего алгоритма Viola-Jones с использованием нового типа признаков треугольной формы и матрицы объекта. Использование треугольных признаков позволяет добиться более точной аппроксимации наклонных черт лица. Использование матрицы объекта позволяет повысить скорость обучения при одновременном снижении объема базы обучающих примеров. Использование треугольных признаков и матрицы объекта инвариантно к объекту распознавания (может использоваться при обнаружении любых других объектов);

• предложен новый алгоритм прогнозирования положения и размеров лица человека с использованием цветовой информации, позволяющий значительно сократить время на обнаружение лица, наклоненного на произвольный угол в плоскости изображения;

• предложен новый алгоритм подтверждения обнаружения лица с использованием механизма поворотов, позволяющий существенно снизить процент ложных обнаружений. Использование алгоритма подтверждения инвариантно к объекту распознавания;

• предложен гибридный алгоритм обнаружения лица человека. основанный на алгоритме Viola-Jones, алгоритме прогнозирования положения и размеров лица человека и алгоритме подтверждения обнаружения лица с использованием механизма поворотов.

Обоснованность и достоверность результатов, приведенных в диссертационной работе, обеспечиваются использованием зарекомендовавших себя методов системного анализа, компьютерного зрения и распознавания образов, подтверждаются результатами работы разработанного модуля быстрого обнаружения лиц на тестовой базе изображений, а также результатами его работы при решении практической задачи обнаружения лица человека в системе автоматической коррекции красных глаз "Red Eye Remove".

Практическая значимость и внедрение.

• разработан модуль быстрого обнаружения человеческих лиц, позволяющий обнаруживать лица человека на цветных цифровых изображениях при произвольном угле наклона лица в плоскости изображения и отличающийся более высокой точностью и скоростью обнаружения по сравнению с существующими аналогами;

• разработана система полностью автоматической коррекции красных глаз, позволяющая корректировать цифровые изображения без участия человека. Система может быть использована для коррекции цифровых фотографий рядовых пользователей, в фотосалонах, фотоаппаратах, в составе цифровых комплексов высокопроизводительной печати фотолабораторий и в автоматических киосках фотопечати.

Система автоматической коррекции красных глаз "Red Eye Remove" внедрена фотосалоне "DeaLux" в г. Волгограде. С использованием системы откорректировано свыше 5000 фотографий клиентов сети. Система 9 автоматической коррекции красных глаз "Red Eye Remove" и система обнаружения лица человека "Rapid face detection" зарегистрированы в отраслевом фонде алгоритмов и программ ФГНУ "Государственный координационный центр информационных технологий" Федерального агентства по образованию РФ.

Положения, выносимые на защиту:

• модифицированный алгоритм Viola-Jones с использованием признаков треугольной формы и матрицы объекта;

• алгоритм прогнозирования положения и размеров лица человека на основе цветовой информации;

• алгоритм подтверждения обнаружения с использованием механизма поворотов;

• гибридный алгоритм обнаружения лица человека;

• модуль быстрого обнаружения лиц человека;

• автоматическая система коррекции красных глаз человека.

Апробация результатов работы. Основные положения диссертации докладывались и обсуждались на научных семинарах кафедры "САПР и ПК" ВолгГТУ, а также на Международных и Всероссийских научных и научно-практических конференциях: "Информационные технологии в науке, образовании, телекоммуникации и бизнесе (IT + SE)" (Гурзуф, Украина, 2007), "Интеллектуальные системы (AIS). Интеллектуальные САПР (CAD)" (Дивноморское, 2007), "Технологии Microsoft в теории и практике программирования" (Москва, 2007), "Новые информационные технологии" (Судак, 2007), "Информационные технологии в образовании, технике и медицине" (Волгоград, 2006), Региональная конференция молодых исследователей Волгоградской обл. (Волгоград, 2006).

Публикации. Основные положения диссертации отражены в 25 опубликованных работах. В том числе 4 статьи напечатаны в рецензируемых научных журналах центральной печати, из которых 3 статьи опубликованы в журналах, рекомендованных ВАК для публикации основных результатов Ш диссертационных работ. В список опубликованных работ также входят два свидетельства об официальной регистрации программ для ЭВМ.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, приложений, списка литературы. Общий объем диссертации - 121 страница, включая 43 рисунка, 11 таблиц, список литературы из 155 наименований.

Основные результаты диссертационной работы

Основными результатами диссертационной работы являются:

• проведен сравнительный анализ подходов к решению задачи обнаружения лица человека. В качестве наиболее перспективного выбран подход с использованием алгоритма Viola-Jones;

• предложен модифицированный алгоритм Viola-Jones, использующий новый тип треугольных признаков и матрицу объекта. Треугольные признаки и матрица объекта могут быть использованы инвариантно к объекту распознавания;

• предложен гибридный алгоритм обнаружения лица человека, основанный на алгоритмах: Viola-Jones, прогнозирования положения и размеров лица человека с использованием цветовой информации и подтверждения обнаружения лица с использованием механизма поворотов. Алгоритм подтверждения обнаружения инвариантен к объекту распознавания;

• предложенные алгоритмы реализованы в виде модуля быстрого обнаружения человеческих лиц. Результаты тестирования модуля на тестовых базах показали на 40% более низкий уровень ложных обнаружений и до 10 раз большую скорость работы при обнаружении лиц в произвольных положениях;

• разработанный модуль обнаружения человеческих лиц использован в составе автоматической системы коррекции засвеченных глаз человека Red Eye Remove;

• результаты тестирования системы Red Eye Remove показали превосходство системы в точности обнаружения над системами компаний HP (на 5%) и FotoNation (на 15%) на тестовом наборе из 200 фотографий.

Список сокращений и условных обозначений

1. TP - верные обнаружения (true positives). Число объектов, присутствующих на изображении и обнаруженных алгоритмом.

2. FP - ложные обнаружения (false positives). Число объектов, обнаруженных алгоритмом, при их отсутствии на изображении.

3. FN - ложные пропуски (false negatives). Число объектов, присутствующих на изображении и не обнаруженных алгоритмом.

4. Precision - точность. Отношение числа истинных обнаружений к сумме чисел истинных и ложных обнаружений.

5. Recall - отклик. Отношение числа истинных обнаружений к сумме чисел истинных обнаружений и ложных пропусков.

6. ROC кривая - кривая receiver operator characteristic. Кривая выражает соотношение уровня верных и ложных обнаружений.

1. Albiol A., Torres L., Delp Е. J. Optimum color spaces for skin detection. Электронный ресурс. [2001]. - Режим доступа: http://ieeexplore.ieee.org/iel5/7594/20726/0Q958968.pdf

2. Amit Y., Geman D. A computational model for visual selection. Neural Computation, 11, p. 1691-1715,1999.

3. Anil K., Rein-Lien Hsu J., Abdel-Mottaleb M. Face detection in color images. PAMI, p. 696-706, January 2002.

4. Bar-Shalom Y., Fortmann T. Tracking and Data Association. Academic Press, 1988.

5. Bartlett M.S., Lades H.M., Sejnowski T.J. Independent component representations for face recognition. Proceedings of the SPIE Conference on Human Vision and Electronic Imaging III, vol. 3, p. 299,1998.

6. Belhumeur P.N., Hespanha J.P., Kriegman D.J. Eigenfaces vs Fisherfaces: Recognition Using Class Specific Linear Projection. IEEE Transactions on Pattern Analysis and Machine Intelligence 1997, vol. 19, p. 711-720,1997.

7. Betke M., Mullally W., Magee J.J. Active detection of eye scleras in real time. Электронный ресурс. [2001]. - Режим доступа: http://cs-people.bu.edu/mullally/papers/betke-mullallv-magee.ps

8. BioID face database. Электронный ресурс. - Режим доступа: http://www. humanscan. de/support/do wnl oads/facedb.php

9. Bors A.G., Pitas I. Optical Flow Estimation and Moving Object Segmentation Based on Median Radial Basis Function Network. Электронный ресурс. -Режим доступа: http://cRm.graphicon.ru/

10. Bradski G.R. Computer vision face tracking as a component of a perceptual user interface. Workshop on Applications of Computer Vision, p. 214-219, Princeton, NJ, Oct. 1998.

11. Brunelli R. Estimation of pose and illumination direction for face processing. Image and Vision Computing 15, p. 741-748,1997.

12. Brunelli R., Poggio T. Face recognition: features versus templates. IEEE Transactions on Pattern Analysis and Machine Intelligence. Vol. 15. № 10. P. 235-241,1993.

13. Brunelli R., Poggio T. Template Matching: Matched spatial filters and beyond. Pattern Recognition 30(5), p. 751-768,1997.

14. Camus T.A., Wildes A. Reliable and fast eye finding in close-up images. Электронный ресурс. [2002]. - Режим доступа: http://doi.ieeecomputersocietv.org/10.1109/ICPR.20Q2.1044732

15. Canny J. A Computational Approach to Edge Detection, IEEE Trans, on Pattern Analysis and Machine Intelligence, 8(6), 1986.

16. Chen H., Belhumeour P., Jacobs D., In search of illumination invariants. In Proceedings of IEEE Computer Vision and Pattern Recognition, vol. 1, p. 254261, June 2000.

17. Cheng D., Pu Q., Cheng K., Burkhardt H. Possibilistic Hopfield Neural Network on CT Brain Hemorrhage Image Segmentation. Электронный ресурс. -Режим доступа: http://citeseer.ist.psu.edu/504323.html

18. Classification and Regression Trees. Электронный ресурс. [1999]. - Режим доступа: http://www.ifpri.org/themes/mp 18/techguid/t g03.pdf

19. CMU PIE database. Электронный ресурс. - Режим доступа: http://www.ri.cmu.edu/proiects/proiect 418 text.html

20. Collobert R., Bengio S. SVMTorch: Support Vector Machines for Large-Scale Regression Problems. Journal of Machine Learning Research, 1, p. 143-160, 2001.

21. Cristianini N., Shawe-Taylor J. An Introduction to Support Vector Machines and other kernel-based learning methods. Cambridge University Press, Cambridge, 2000.

22. CVL face database. Электронный ресурс. - Режим доступа: http://www.lrv.fri.uni-li.si/facedb.html

23. Dai Y., Nakano Y. Recognition of facial images with low resolution using a Hopfield memory model. Pattern Recognition 1998, vol. 31, p. 159-167,1998.

24. DeMenthon Y. Qi. D., Doermann D. Hybrid Independent Component Analysis and Support Vector Machine Learning Scheme for Face Detection. International Conference on Acoustics, Speech and Signal Processing, Salt Lake City, Utah, May 2001.

25. Donato G., Bartlett M.S., Hager J.C., Ekman P., Sejnowski T.J. Classifying Facial Actions. IEEE Trans. Pattern Analysis and Machine Intelligence 21(10), p. 974-989,1999.

26. Downs Т., Gates K.E., Masters A. Exact Simplification of Support Vector Solutions. Journal of Machine Learning Research, 2,2001

27. Eickeler S., Muller S., Rigoll G. Recognition of JPEG Compressed Face Images Based on Statistical Methods. Gerhard-Mercator-University Duisburg, Germany, 1999.

28. Equinox HID database. Электронный ресурс. - Режим доступа: http://www.equinoxsensors.com/products/HID.html

29. Esme В., Sankur В., Anarim Е. Facial feature extraction using genetic algorithms. 8-th European Signal Processing Conference, Trieste, P. 1511-1514, 1996.

30. Evgeniou Т., Pontil M., Poggio T. Regularization Networks and Support Vector Machines. Advances in Computational Mathematics, 13(1), p. 1-50,2000.

31. Fasel I., Fortenberry В., Movellan J. A generative framework for real time object detection and classification, Computer Vision and Image Understanding, № 1, p. 182-210,2005.

32. Feraud R., Bernier 0. J., Viallet J. ШЕЕ Transactions on Pattern Analysis and Machine Intelligence, vol. 23, no. 1, p. 42-53, Jan. 2001.

33. Feris R.S., Gemmell J., Toyama K., Kruger V. Hierarchical wavelet networks for facial feature localization, IEEE International Conference on Automatic Face and Gesture Recognition, p. 118-123,2002.

34. FG-NET aging database. Электронный ресурс. - Режим доступа: http://sting.cvcollege.ac.cv/~alanitis/fgnetaging/index.htm

35. Fleuret F., Geman D. Coarse-to-fine face detection. Int. J. Computer Vision, 41, p. 85-107,2001.

36. Ford A., Roberts A. Colour Space Conversions. Электронный ресурс. -Режим доступа: http://www.povnton. com/PDFs/col oureq. pdf

37. Freund Y., Schapire R. A short introduction to boosting. J. of Japanese Society for AI, p. 771-780,1999.

38. Freund Y., Schapire R. E. A decision-theoretic generalization of on-line learning and an application to boosting. Journal of Computer and System Sciences, 55(1), p. 119-139, August 1997.

39. Freund Y., Schapire R. E. A decision-theoretic generalization of on-line learning and an application to boosting. In Computational Learning Theory: Eurocolt 95, Springer-Verlag, p. 23-37,1995.

40. Garcia C., Delakis M., A neural architecture for fast and robust face detection. Proc. IEEE International Conference on Pattern Recognition, p. 44-47, Quebec, Canada, Aug. 2002.

41. Gasparini F., Schettini R. Automatic redeye removal for smart enhancement of photos of unknown origin. Электронный ресурс. [2005]. - Режим доступа: http://www.ivl.disco.unimib.it/papers2003/VIS2005-gasparini.pdf

42. Gasparini F., Schettini R. Skin segmentation using multiple thresholding. Электронный ресурс. [2002]. - Режим доступа: http://www.ivl.disco.unimib.it/papers2003/EI06-EI109%20Skin-paper.pdf

43. Gaubatz М., Ulichney R. Automatic red-eye detection and correction. ICIP-2002.

44. Gomez G., Morales E. Automatic feature construction and a simple rule induction algorithm for skin detection. Proc. of the ICML Workshop on Machine Learning in Computer Vision, 31-38,2002.

45. Grudin M.A., Lisboa P.J., Harvey D.M. Compact multi-level representation of human faces for identification. Image Processing and its Applications. P. 111115,1997.

46. Hartman A., Lienhart R. Automatic classification of images on the web. -Электронный ресурс. [2002]. - Режим доступа: http://www.lienhart.de/Publications/publications.html

47. HaUinan P. L., Gordon G. G., YuiUe A. L., Giblin P., Mumford D. Two- and Three-Dimensional Patterns of the Face. Natick: A. K. Peters Ltd, p. 260,1999.

48. Hewitt R. Seeing with OpenCV: Finding faces in images. Электронный ресурс. Режим доступа: http://prism2.mem.drexel.edu/~paul/openCv/openCvPart02.pdf

49. Jain А.К., Duin R.P.W., Mao J. Statistical Pattern Recognition: A Review. IEEE Trans. Pattern Analysis and Machine Intelligence 22(1), p. 4-37,2000.

50. Jones M., Rehg J. M. Statistical color models with application to skin detection. In CVPR, p. 274-280, 1999.

51. Jones M., Viola P. Fast Multi-view Face Detection. Электронный ресурс. -[2003]. Режим доступа: http://www.merl.com/reports/docs/TR2003-96.pdf

52. Kalman R. E. A New Approach to Linear Filtering and Prediction Problems. Transactions of the ASME--Journal of Basic Engineering, vol. 82, p. 35-45, 1960.

53. Kapoor A., Picard R. Real-time, fully automatic upper facial feature tracking. Электронный ресурс. [2002]. - Режим доступа: http://ieeexpl0re.ieee.0rg/iel5/7862/21655/01004123.pdf?arnumber=l 004123

54. Kolb В., Taylor L. Facial expression, emotion, and hemispheric organization R.D. Lane and L. Nadel Eds. Cognitive Neuroscience of Emotion, p. 62-83, Oxford University Press, 2000.

55. Kovac J., Peer P., Solina F. Human Skin Colour Clustering for Face Detection. Электронный ресурс. [2004]. - Режим доступа: http://www.princeton.edu/~aabdalla/ele579/Human%20Skin%20Colour%20Clu stering%20for%20Face%20Detection.pdf

56. Kruppa H., Schiele В. Using local context to improve face detection. -Электронный ресурс. Режим доступа: http://www.vision.ethz.ch/pccv/

57. Kruppa Н., Schiele В., Bauer, М. Finding skin in real-world images. DAGM, 2002.

58. Lanitis A., Taylor C.J., Cootes T.F. Automatic Interpretation and Coding of Face Images Using Flexible Models. IEEE Transactions on Pattern Analysis and Machine Intelligence. Vol. 19. P. 743-756,1997.

59. Learning-Based Computer Vision with Intel's Open Source Computer Vision Library. Электронный ресурс. - [2006]. - Режим доступа: http://www. intel. com/

60. Lee J. Y., Yoo S. I. An Elliptical Boundary Model for Skin Color Detection. Электронный ресурс. [2002]. - Режим доступа: http://ailab. snu. ас. kr/publ i cation/down/CIS ST02-169CT.pdf

61. Li S.Z. et al. Statistical learning of multi-view face detection. ECCV, 2002.

62. Lienhart R. Comparison of Automatic Shot Boundary Detection Algorithms. Электронный ресурс. [1999]. - Режим доступа: http://www.lienhart.de/spie99.pdf

63. Lienhart R., Kuranov A., Pisarevsky V. An extended set of Haar-like features for rapid object detection. Proc. IEEE International Conference on Image Processing, p. 900-903, Rochester, NY, Sep. 2002.

64. Lienhart R., Kuranov A., Pisarevsky V. Empirical analysis of detection cascades of boosted classifiers for rapid object detection. Электронный ресурс. -[2003]. Режим доступа: http://fsa.ia.ac.cn/files/MRL-TR-Mav02-revised-Dec02.pdf

65. Lienhart R., Liang L., Kuranov A. A detector tree of boosted classifiers for realtime object detection and tracking. Электронный ресурс. [2003]. - Режим доступа: http://www.lienhart.de/ICME2003.pdf

66. Lienhart R., Maydt J. An Extended Set of Haar-like Features for Rapid Object Detection. IEEE ICIP 2002, Vol. 1, p. 900-903, Sep. 2002.

67. Lin К. H., Lam K.M., Siu W.C. Locating the eye in human face images using fractal dimensions. Электронный ресурс. [2001]. - Режим доступа: http://www.en.polyu.edu.hk/~enkmlam/Papers/IEEl 201 .pdf

68. Lin S. H., Kung S. Y., Lin L. J. Face recognition/detection by probabilistic decision-based neural network. IEEE Transactions on Neural Networks, Special Issue on Artificial Neural Networks and Pattern Recognition, 8(1), January 1997.

69. Lin Y., Liu Т., Fuh C. Fast object detection with occlusions. Электронный ресурс. [2004]. - Режим доступа: http://www.iis.sinica.edu.tw/~liutvng/paper/eccv04.pdf

70. Luo Н., Yen J., Tretter D. An Efficient Automatic Redeye Detection and Correction Algorithm. Электронный ресурс. - [2003]. - Режим доступа: http://doi.ieeecomputersociety.Org/10.l 109/ICPR.2004.1334400

71. Martin J. Automotive Traffic Tracking through Pattern Recognition. Электронный ресурс. Режим доступа: http://www.ece.osu.edu/~martinj/Automotive Traffic Tracking.doc

72. Martinez A.M. Recognizing imprecisely localized, partially occluded, and expression variant faces from a single sample per class. PAMI, IEEE Transactions on 24, №. 6,748-763,2002.

73. Martinez A.M. Semantic access of frontal face images: the expression-invariant problem. Электронный ресурс. [2005]. - Режим доступа: http://ieeexplore.ieee.org/iel5/6885/18538/0085384Q.pdf

74. Martinez A.M., Zhang Y. Subset Modelling of Face Localization Error, Occlusion, and Expression. Электронный ресурс. [2004]. - Режим доступа: http://www.ece.osu.edu/~aleix/BookChapter05.pdf

75. Meyer F. Color image segmentation. Proceedings of the International Conference on Image Processing and its Applications, p. 303-306,2002.

76. Moghaddam В., Pentland A. Probabilistic visual learning for object detection. Fifth International Conference on Computer Vision, p. 786-793, Cambridge, Massachusetts, IEEE Computer Society Press, June 1995.

77. Motwani R.C., Motwani M.C., Harris F.C. Jr. Eye Detection using Wavelets and ANN. Электронный ресурс. [2003]. - Режим доступа: http://www.cse.unr.edu/~fredh/papers/conf/033-eduwaa/paper.pdf

78. Orazio Т., Leo М., Cicirelli G., Distante A. An algorithm for real time eye detection in face images, ICPR, 2004, pp. 278-281.

79. Osuna E., Freund R., Girosi F. Training Support Vector Machines. Conference on Computer Vision and Pattern Recognition, Puerto Rico, 1997.

80. Osuna E., Freund R., Girosi F. Training support vector machines: An application to face detection. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 1997.

81. Pantic M., Rothkrantz L.J.M. Automatic analysis of facial expressions: the state of the art. IEEE Transactions on Pattern Analysis and Machine Intelligence 22(12), p. 1424-1445,2000.

82. Papageorgiou C., Oren M., Poggio T. A general framework for object detection. In International Conference on Computer Vision, 1998.

83. Papageorgiou C., Poggio Т., Mohan A. Example-Based Object Detection in Images by Components. IEEE Trans, on Pattern Analysis and Machine Intelligence, April 2001.

84. Perez F., Koch C. Toward color image segmentation in analog VLSI: Algorithm and Hardware. International Journal of Computer Vision, 12(1), p. 17-42,1994.

85. Phillips P. J., Flynn P. J., Scruggs Т., Bowyer K. W., Chang J., Hoffman K., Marques J., Min J., Worek W. Overview of the face recognition grand challenge. IEEE International Conference on Computer Vision and Pattern Recognition, 2005.

86. Phung S. L., Bouzerdoum A., Chai D., Kuczborski W. A color-based approach to automatic face detection. Proc. IEEE International Symposium on Signal Processing and Information Technology, Darmstadt, Germany, Dec. 2003.

87. Quinlan J. Induction of decision trees. Machine Learning, 1, p. 81-106,1986.

88. Ranganath S., Arun K. Face recognition using transform features and neural networks. Pattern Recognition 1997, vol. 30, p. 1615-1622,1997.

89. Rasmussen C., Hager G.D. Probabilistic Data Association Methods for Tracking Complex Visual Objects. IEEE Trans, on Pattern Analysis and Machine Intelligence, June 2001.

90. Rosenblatt F. The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain. Cornell Aeronautical Laboratory, Psychological Review, 1958.

91. Roth D., Yang M., Ahuja N. A snowbased face detector. Neural Information Processing 12,2000.

92. Rowley H. A., Baluja S., Kanade Т., Neural network-based face detection. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 20, no. 1, p. 2338, Jan. 1998.

93. Rowley H., Baluja S., Kanade T. Rotation Invariant Neural Network-Based Face Detection, IEEE Conf. Computer Vision and Pattern Recognition, pp. 38-44, 1998.

94. Schapire R. E., Freund Y., Bartlett P., Lee W.S. Boosting the margin: A new explanation for the effectiveness of voting methods. In Proceedings of the Fourteenth International Conference on Machine Learning, 1997.

95. Schettini R., Gasparini F., Corchs S. Pixel based skin colour classification exploiting explicit skin cluster definition methods. Электронный ресурс. -[2005]. Режим доступа: http://www.ivl.disco.unimib.it/papers2003/AIC2005-543 546.pdf

96. Schildkraut J., Gray R. A fully automatic redeye detection and correction algorithm. ICIP-2002.

97. Schneiderman H. Feature-Centric Evaluation for Efficient Cascaded Object Detection. Электронный ресурс. [2004]. - Режим доступа: http://d0i.ieeec0mputers0cietv.0rg/l 0.1109/CVPR.2004.109

98. Schneiderman H. Learning a restricted bayesian network for object detection. Электронный ресурс. [2004]. - Режим доступа: http://doi.ieeecomputersocietv.org/10.1109/С VPR.2004.141

99. Schneiderman Н., Kanade Т. A statistical method for 3d object detection applied to faces and cars. CVPR, June 2000.

100. Schneiderman H., Kanade T. Face and Automobile Detection using Statistical Modeling. Электронный ресурс. [2002]. - Режим доступа: http://www.cs.emu.edu/afs/cs.emu.edu/user/hws/www/face detection.html

101. Schneiderman H., Kanade T. Object Detection Using the Statistics of Parts. International Journal of Computer Vision, 2002.

102. Schneiderman H., Kanade T. Object Detection Using the Statistics of Parts. Электронный ресурс. [2004]. - Режим доступа: http://www.cs.cmu.edu/~efros/courses/LBMV07/Papers/schneiderman-iicv-04.pdf

103. Sensor Network Projects: Detecting, Locating, and Tracking Human Faces. -Электронный ресурс. [2004]. - Режим доступа: www.ee.unimelb.edu.au/ISSNIP/proiects/facerec.html

104. Sharma P., Reilly R. A colour face image database for benchmarking of automatic face detection algorithms. Электронный ресурс. - [2003]. -Режим доступа: http://ieeexplore.ieee.org/iel5/8652/27421 /01220498.pdf

105. Sigal L., Sclaroff S. Estimation and prediction of evolving color distributions for skin segmentation under varying illumination. CVPR, 2000.

106. Singh S. Kr., Chauhan D. S., Vatsa M., Singh R. A Robust Skin Color Based Face Detection Algorithm. Электронный ресурс. [2002]. - Режим доступа: http://www2.tku.edu.tw/~tkise/6-4/6-4-6.pdf

107. Sinha P. Qualitative representations for recognition. Biologically Motivated Computer Vision (BMCV), p. 249-262,2002.

108. Sinha P., Torralba A. Detecting faces in impoverished images. AI Memo 2001028, CBCL Memo, 2001.

109. Smeraldi F., Carmona A., Bigun J. Saccadic search with Gabor features applied to eye detection and real-time head tracking. Электронный ресурс. - [1998].1. Режим доступа:http://www.dcs.qmul.ac.uk/~fabri/publications/downloads/gaboreve.ps.gz

110. Sobattka К., Pitas I. A Novel Method for Automatic Face Segmentation. Facial Feature Extraction and Tracking. Signal Processing & Image Communication, 12(3), p. 263-281,1998.

111. Sun Z., Bebis G., Miller R. Quantized wavelet features and support vector machines for on-road vehicle detection. The Seventh International Conference on Control, Automation, Robotics and Vision, Singapore, December, 2002.

112. Sung К. K., Poggio Т., Example-based learning for view-based human face detection. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 20, no. l,p. 39-51,1998.

113. Thilak kumar R., Kumar Raja S., Ramakrishnan A. G. Eye detection using color cues and projection functions. Электронный ресурс. - [2001]. - Режим доступа: http://eprints.iisc.ernet.in/archive/00000515/01/eve detection.pdf

114. Tieu К., Viola P. Boosting image retrieval. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2000.

115. Tomaz F.,Candeias Т., Shahbazkia H. Improved Automatic Skin Detection in Color Images. Электронный ресурс. [2003]. - Режим доступа: http://www.cmis.csiro.au/Hugues.Talbot/dicta2003/cdrom/pdf/0419.pdf

116. Turk М., Pentland A. Eigen Faces for Recognition. Journal of Cognitive Neuroscience, 3(1), 1991.

117. Vapnik V. The Nature of Statistical Learning Theory. Springer, New York, 1995.

118. Vezhnevets V., Andreeva A. A Comparative Assessment of Pixel-based Skin Detection Methods. Электронный ресурс. [2005]. - Режим доступа: http://research.graphicon.ru/files/papers/skin2005.pdf

119. Vezhnevets V., Degtiareva A. Robust and Accurate Eye Contour Extraction. Электронный ресурс. [2003]. - Режим доступа: http://graphics.cs.msu.ru/en/publications/text/gc2003vd.pdf

120. Vezhnevets V., Sazonov V., Andreeva A. A Survey on Pixel-Based Skin Color Detection Techniques. Proc. Graphicon-2003, P. 85-92, Moscow, Russia, September 2003.

121. Viola P., Jones M. Fast and robust classification using asymmetric AdaBoost and Detector Cascade. Электронный ресурс. [2002]. - Режим доступа: http://books.nips.cc/papers/files/nipsl4/VS08.pdf

122. Viola P., Jones M. Rapid Object Detection using a Boosted Cascade of Simple Features. IEEE CVPR, 2001.

123. Viola P., Jones M. Robust Real-Time Face Detection. International Journal of Computer Vision 57(2), 137-154,2004.

124. Viola P., Jones M. Robust Real-Time Object Detection. International Journal of Computer Vision, 2002.

125. Wang P., Green M. В., Ji Q., Wayman J. Automatic Eye Detection and Its Validation. Электронный ресурс. - [2004]. - Режим доступа: h ttp://www.ecse.rpi.eduA~qii/Papers/frgc eve.pdf

126. Whitehill J., Omlin C. Haar features for FACS AU recognition. Электронный ресурс. [2003]. - Режим доступа: http://mplab.ucsd.edu/~iake/haar.pdf

127. Wiskott L., Fellous J.-M., Krueger N., Malsburg C. Face Recognition by Elastic Bunch Graph Matching. IEEE Transactions on Pattern Analysis and Machine Intelligence 1997. Vol. 19. P. 775-779,1997.

128. Wu C., Liu C., Shum H.-Y. Automatic Eyeglasses Removal from Face Images. Электронный ресурс. [2002]. - Режим доступа: http://people.csail.mit.edu/celiu/pdfs/ACCV Eveglasses.pdf

129. YALE database. Электронный ресурс. - Режим доступа: http://cvc. vale.edu/ proi ects/val efaces/val efaces. html

130. Yang M. H., Kriegman D., Ahuja N. Detecting faces in images: A survey. PAMI, 24(1), p. 34-58, January 2002.

131. Yoon H., Kim D., Chi S.Y. Elliptical Head Detection Method For Human Tracking. Intelligent Systems and Control, 2006.

132. Yuille A. Y., Cohen D. S., Hallinan P.W. Feature Extraction from Faces Using Deformable Templates in CVPR, p. 104-109,1989.

133. Zhang L., Sun Y., Li M. Automated red-eye detection and correction in digital photographs. Электронный ресурс. [2004]. - Режим доступа: http://research.microsoft.com/users/leizhang/Paper/ICIPQ4-Lei.pdf

134. Zhang Y., Martinez A.M. A weighted probabilistic approach to face recognition from multiple images and video sequences. Электронный ресурс. [2006]. -Режим доступа: http://www.ece.osu.edu/~aleix/lMVC06.pdf

135. Zhao W., Chellapa R. SFS based view synthesis for robust face recognition. In Proc. IEEE Face and Gesture Recognition, p. 285-292,2000.

136. Zheng J., Hao C., Fan Y. Adaptive skin detection under unconstrained lighting conditions using a bigaussian model and illumination estimation. Электронный ресурс. [2005]. - Режим доступа: http://www.wise-t.com/ias/Magazine/2005/3/03 Zeng.pdf

137. Брилюк Д., Старовойтов В. Распознавание человека по изображению лица и нейросетевые методы. Электронный ресурс. [2002]. - Режим доступа: http://library. graphicon.ru: 8080/catal о g/183

138. Брилюк Д.В., Старовойтов В.В. Нейросетевые методы распознавания изображений. Электронный ресурс. Режим доступа: http://rusnauka.narod.ru/lib/author/brilukdb/1 /

139. Вежневец А. Популярные нейросетевые архитектуры. Электронный ресурс. [2004]. - Режим доступа: http://www.ict.edu.ru/ft/002406/num5neiro.pdf

140. Вежневец А., Вежневец В. Boosting Усиление простых классификаторов. Электронный ресурс. - [2006]. - Режим доступа: http://cgm.graphicon.rU/content/view/l 12/66/

141. Вежневец А., Вежневец В. Нестандартные нейросетевые архитектуры. Электронный ресурс. [2004]. - Режим доступа: http://vvww.ict.edu.ru/ft/002439/nuni6neiro.pdf

142. Вежневец А.П. Методы классификации с обучением по прецедентам в задаче распознавания объектов на изображениях. Электронный ресурс. -[2006]. Режим доступа: http://www.graphicon.ru/proceedings2006/papers/fr 10 34 VezhnevetsA.doc

143. Вежневец В. Введение в Computer Vision. Электронный ресурс. [2003]. -Режим доступа: http://cgm.graphicon.ru/content/view/20/62/

144. Вежневец В. Оценка качества работы классификаторов. Электронный ресурс. - [2006]. - Режим доступа: http://cgm.graphicon.ru/content/view/106/66/

145. Вежневец В., Дегтярева А. Обнаружение и локализация лица на изображении. Электронный ресурс. [2003]. - Режим доступа: http://www.ict.edu.ru/ft/002403/num2face.pdf

146. Вежневец В.П. Алгоритмы анализа изображения лица человека для построения интерфейса человек-компьютер. Электронный ресурс. -[2004]. Режим доступа: http://graphics.cs.msu.su/ru/publications/text/wezhauto.pdf

147. Вежневец В.П. Использование контурных моделей для вычленения черт лица на фронтальном изображении. Электронный ресурс. Режим доступа: http://graphics.cs.msu.ru/ru/publications/text/mmrolOcontour.pdf

148. Визильтер Ю.В., Каратеев С. JL, Бекетова И. В. Методы биометрическое идентификации человека по изображениям его лица. / Визильтер Ю.В., Каратеев С. JL, Бекетова И. В. //Вестник компьютерных и информационных технологий. 2005. - №11. - С.2-10.

149. Воронов К. В., Лекции по статистическим (байесовским) алгоритмам классификации. Электронный ресурс. [2007]. - Режим доступа: http://www.ccas.ru/voron/download/Baves.pdf

150. Конушин А. Эволюционные нейросетевые модели с незаданным заранее числом связей. Электронный ресурс. [2003]. - Режим доступа: http://www. ict. edu. ru/ft/002414/num 1 evol .pdf

151. Мариничев К., Вежневец В. Алгоритмы выделения параметрических кривых на основе преобразование Хафа. Электронный ресурс. [2006]. -Режим доступа: http://cgm.graphicon.ru/content/view/107/62/

152. Хайкин С. Нейронные сети: полный курс / С. Хайкин. 2-е изд. - Москва: Вильяме, 2006.-1104 с.

153. Цифровая библиотека лаборатории компьютерной графики и мультимедиа ВМиК МГУ. Электронный ресурс. - Режим доступа: http://library. graphicon.ru/catalog/217