автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Экспресс-методы обработки изображений лиц для биометрических систем

На правах рукописи

Ву Зуи Линь

ЭКСПРЕСС-МЕТОДЫ ОБРАБОТКИ

ИЗОБРАЖЕНИЙ ЛИЦ ДЛЯ БИОМЕТРИЧЕСКИХ СИСТЕМ

Специальность 05.13.18 - Математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ диссертации на соискание учёной степени кандидата технических наук

! I) ,-.1.1 ¿у ||

Санкт-Петербург - 2011

4843960

Работа выполнена в Санкт-Петербургском государственном электротехническом университете «ЛЭТИ» им. В. И. Ульянова (Ленина)

Научный руководитель -

доктор технических наук, профессор Кухарев Георгий Александрович Официальные оппоненты:

заслуженный работник высшей школы РФ, доктор технических наук, профессор Немирко Анатолий Павлович

кандидат технических наук, с.н.с. Чихман Валерий Николаевич

Ведущая организация - ООО «Центр Речевых технологий», Санкт-Петербург, Россия

Защита диссертации состоится " 20 " апреля 2011 г. в 15 часов на заседании совета по защите докторских и кандидатских диссертаций Д212.238.01 Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» имени В. И. Ульянова (Ленина) по адресу: 197376, Санкт-Петербург, ул. проф. Попова, 5.

С диссертацией можно ознакомиться в библиотеке университета. Автореферат разослан "Я?'" марта 2011 г.

Ученый секретарь совета по защите докторских и кандидатских диссертаций, к.т.н.

Щеголева Н. Л.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Биометрические технологии распознавания людей являются одной из быстро развивающихся областей практической биометрии. Особенно привлекательны технологии, основанные на геометрии лица, поскольку распознавание людей и наблюдение за ними можно проводить "на расстоянии" -незаметно для человека и, не требуя от него каких-либо действий. В рамках этих технологий, изображения лиц наблюдаемых людей сравниваются с изображениями лиц, хранящимися в базе эталонов систем распознавания лиц (Face Recognition System - FaReS). При этом если изображения лиц отвечают стандартам на биометрические данные, а база эталонов FaReS репрезентативна, то задача распознавания решается успешно. Однако такие идеальные условия выполнимы только для FaReS, работающих в режиме аутентификации людей по лицам и/или под контролем параметров лиц и их освещенности.

В реальных условиях работы FaReS, исходные изображения с лицами не отвечают стандарту и для успешной работы таких систем необходим этап предварительного анализа этих изображений и этап последующей их обработки -выравнивания и нормализации. И, хотя задачи эти не новы, поиск их нового решения остается всегда актуальным. Главные аргументы этому - интенсивное проникновение биометрии в повседневную жизнь людей и развитие биометрии в двух новых направлениях: «Soft Biometrics» и «Mobile Biometric».

«Проникновение биометрии...» можно увидеть, например, при переходе от задач идентификации по геометрии лица, к задачам планирования и моделирования пластических операций на лицах, моделирования макияжа лиц и моделирования масок-клонов лиц людей. В этом случае очень важно знать точные характеристики лиц и главное - положение осей симметрии лица, линии глаз и линии рта, а также антропометрических точек, по которым стоятся модели лиц.

Задачи «Soft Biometrics» используют такие уникальные характеристики на лице каждого человека, которые присущи только ему одному, а число их измеряется единицами. Такими характеристиками являются, например, родинки и родимые пятна, рубцы и шрамы, царапины, угревые точки. Ранее такие характеристики не использовались в биометрии, поэтому необходима разработка принципиально нового способа их обнаружения, получения и применения.

Задачи «Mobile Biometric» - это перенос решений задач биометрии на всевозможные классы мобильных устройств связи и обработки и интеграция технологий биометрии непосредственно в мобильные системы (например, автомобили и роботы - андроиды). Особенность этих решений - их реализация в условиях ограниченного ресурса на быстродействие и память, а также ограничения на встроенные методы обработки изображений. И здесь, очевидно, требуются более простые методы анализа и обработки изображений с лицами, которые можно отнести к классу экспресс-методов.

В этих условиях разработка новых простых методов анализа и обработки изображений с лицами, в том числе и экспресс-методов, создание необходимых алгоритмов и программных средств, а также моделей и методик, развивающих применение этих методов в биометрии, являются актуальными задачами.

Цель работы: Разработка, реализация и исследование экспресс-методов обработки изображений лиц в приложении к задачам биометрии.

Для достижения поставленной цели решались следующие задачи:

• обоснование и представление (описание) новых методов предобработки изображений с лицами;

• разработка алгоритмов и программных модулей для постановки и реализации компьютерного моделирования и экспериментального исследования предложенных методов обработки;

• разработка унифицированного состава функциональных блоков для построения систем, реализующих решения прикладных задач биометрии;

• разработка комплекса программ для моделирования и реализации экспресс-методов обработки изображений лиц в приложении к задачам биометрии.

Объектом исследований являются экспресс-методы обработки цифровых изображений лиц в задачах биометрии.

Предметом исследования являются алгоритмы обработки изображений лиц и их программная реализация.

Методы исследования. Исследование базируются на методах цифровой обработки изображений, методах распознавания образов, аппарате матричной алгебры и линейных преобразований.

Методология исследований включает:

• анализ литературы и аналитический обзор по методам обработки изображений с лицами в задачах биометрии;

• математический аппарат в матричной форме в приложении к задачам обработки изображений как двумерных объектов;

• вербальную и формальную запись выполненных компьютерных экспериментов, анализ результатов экспериментов и выводы из них;

• выводы, рекомендации и предложения по применению экспресс-методов обработки изображений с лицами в задачах биометрии.

Новые научные результаты

1. Разработан новый метод определения центральной и локальных линий симметрии для изображений лиц «анфас». Метод основан на процедуре сравнения двух зеркально расположенных полос, которые синхронно перемещаются в горизонтальном направлении в выделенной области лица. Положение линии симметрии определяется по минимуму расстояния между этим полосами. Метод обеспечивает высокую точность и требует операций умножения и сложения, гдеЛГхМ- размер изображения, IV- ширина полос и !¥<№.

2. Разработан новый метод определения центральной линии симметрии для изображений лиц, повернутых в плоскости ХУ на произвольный угол. Метод основан на трансформации анализируемой области лица в развернутую полярную систему координат. Новым элементом в методе является соотношение, приводящее текущие параметры привязки полярной системы координат к размеру исходного изображения, углу и знаку поворота лица на изображении и к заданным точкам интереса на лице. Метод обеспечивает заданную точность нахождения линий симметрии и требует не более 103ЛСУ операций сложения и умножения, где МхЯ - размеры исходного изображения.

3. Разработан экспресс-метод определения линии симметрии для случая, когда область лица не находится в центре изображения, а фон не однороден по текстуре и цвету. Метод основан на свойствах зеркальной симметрии изображений с лицами и требует MN операций умножения, сложения и переписи.

4. Разработан экспресс-метод определения угла наклона лица для случая, когда область лица не находится в центре изображения, а фон не однороден по текстуре и цвету. Метод основан на определении положения линий глаз в каждой половине исходного изображения и приближенной оценке угла между ними. Метод требует 3 MN операций сложения и умножения.

5. Разработан экспресс - метод стабилизации яркости изображений. Метод основан на использовании регрессионной модели гамма-коррекции изображения по параметрам средней яркости исходного изображения и заданной яркости. Метод требует ЪМЫ операций умножения и сложения.

6. Предложены новые подходы к решению 4-х типовых задач биометрии: детекции области лиц на цветных изображениях; сравнения двух изображений лиц между собой; проверки области лица на соответствие биометрическому стандарту; оценки текущего психофизического состояния человека по его глазам. При этом разработан состав базовых функциональных блоков для построения систем и решения задач прикладной биометрии.

7. Определен состав процедур (программных модулей) и разработана структура исследовательского комплекса программ для моделирования задач биометрии на основе экспресс-методов обработки изображений лиц. Комплекс программ реализован в среде пакета МАТЛАБ, имеет пользовательский интерфейс и возможность подключения собственных программных модулей.

Практическая ценность

1. Предложенные экспресс-методы определения линий симметрии лица, угла наклона лица и линий глаз, а также алгоритмы решения 4-х типовых задач биометрии и соответствующие им структуры систем, могут быть использованы в задачах «Soft Biometrics» и «Mobile Biometrie».

2. Предложенный в диссертации метод стабилизации яркости можно использовать для цифровых изображений на входе систем ЦОС и при решении задач распознавания изображений с тенями на лицах и освещением с разных сторон.

3. Комплекс программ позволяет проводить вычислительные эксперименты по обработке изображений лиц в задачах биометрии на основе разработанных экспресс-методов и примеров решенных прикладных задач. На базовые модули комплекса получены свидетельства о государственной регистрации программ для ЭВМ

Научные положения, выносимые на защиту:

1. Метод определения линий симметрии лица, обеспечивающий высокую точность для изображений лиц анфас и заданную точность для изображения лица повернутого в плоскости AT на произвольный угол.

2. Экспресс - методы определения линии симметрии лица, угла наклона лица и линий глаз для случая, когда область лица не находится в центре изображения, а фон не однороден по текстуре и цвету.

3. Экспресс - метод стабилизации яркости изображений с лицами. Метод основан на регрессионной модели гамма-коррекции изображения по параметрам средней яркости исходного изображения и заданной яркости на выходе.

4. Алгоритмы решения 4-х прикладных задач биометрии и структуры соответствующих систем. При этом все разработанные системы основаны на общих функциональных блоках, что создает основу для унификации технических и программных средств биометрии в прикладных задачах.

Внедрение результатов работы.

Предложенные методы и алгоритмы, исследовательский комплекс программ использованы в ОКР, выполняемых ОАО «Океанприбор», в НИР, выполняемых ОАО «Научно-инженерный центр Санкт-Петербургского электротехнического университета» и НИР, выполняемых в ООО «Центре речевых технологий», Санкт-Петербург, Россия.

Результаты диссертационной работы использованы в учебных дисциплинах «Компьютерные методы идентификации личности» и «Цифровая обработка изображений» на кафедре МО ЭВМ Санкт-Петербургского государственного электротехнического университета (ЛЭТИ).

Апробация работы.

Результаты диссертации обсуждались:

. на XV международной конференции «Современное образование -содержание, технологии, качество» (г. Санкт-Петербург, 2009 г.); . на XIII Международной конференции по мягким вычислениям и измерениям "SCM-2010" (Санкт-Петербург, 2010 г.); . на семинарах кафедры МО ЭВМ Санкт-Петербургского государственного электротехнического университета (ЛЭТИ).

Публикации. По теме диссертации опубликовано 11 работ, из них: 9 - в научных журналах (3 из перечня ВАК, 6 в российских и иностранных журналах); 2 - на международных конференциях. Получено 2 свидетельства государственной регистрации на программы для ЭВМ.

Структура и объем диссертации.

Диссертационная работа состоит из введения, четырех тематических глав с выводами, заключения, списка литературы.

Общий объем текста -128 страниц, включая 106 рисунков, 7 таблиц. Список литературы состоит из 108 наименований.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертации.

В первой главе диссертации выполнен анализ предметной области.

Отмечается, что в практике распознавания изображений с лицами, необходим этап предварительного анализа исходных изображений и этап последующей их предобработки по результатам выполненного анализа. Эти два этапа призваны обеспечивать улучшение качества исходных изображений, и приводят, в конечном счете, к повышению результативности их дальнейшей обработки в задачах биометрии. Отмечается при этом, что поиск нового решения задач анализа и предобработки изображений лиц остается всегда актуальным.

В заключение главы сформулирована цель диссертации и задачи, требующие решения.

В главе 2 представлены два подхода для решения задач прикладной биометрии. Первый ориентирован на использование мощных компьютеров, имеющих в своем составе пакеты обработки изображений. Этот подход определяет группу «точных методов». Второй подход определяет группу «экспресс-методов» и ориентирован на использование процессоров, имеющих ограниченные ресурсы быстродействия, памяти и ограничения на встроенные методы обработки изображений.

В разделе 2.1 представлен метод определения линий симметрии лица, когда лицо на изображении ориентировано строго «анфас». Метод основан на процедуре сравнения с эталоном: в процессе поиска линии симметрии на изображении лица, между собой сравниваются две вертикальные полосы, зеркально расположенные относительно некоторой линии. При этом одна из полос является текущим эталоном, а вторая - объектом сравнения. Полосы синхронно перемещаются в горизонтальном направлении в выделенной области лица. На каждом шаге перемещения оценивается расстояние между полосами. Минимум расстояния будет свидетельствовать о нахождении границы, разделяющей два одинаковых участка на лице. И этот минимум будет соответствовать положению оси симметрии на лице - локальной или глобальным (глобальная линия симметрии находится в центре лица, а локальные - в области глаз).

На рисунке 1 показан пример поиска линии симметрии на исходном изображении по представленному методу.

M

s ■ S

60 40 ,

Minimum

20

и

Distance =117 Distance = 11 Distance = 87 Window position

Рис. 1. Процесс поиска линии симметрии на исходном изображении

Window position Medium

Distance 100

Оценка расстояния между полосами осуществляется двумя методами: непосредственным сравнением полос между собой в метрике Ьг или с использованием гистограммного подхода, где также используется метрика ¿2:

d(xt) =\\ЦХ,)-ЩХ1)\\, V xt. (1)

где: Цх,) и Л(х,) - левая и правая полосы, зафиксированные на шаге х, работы алгоритма; bf" BIN)(x,) и гйч(х,) - гистограммы с числом интервалов равным BIN для левой и правой полосы; d(x¡) - оценка расстояния.

При этом показано, что второй подход менее чувствителен к локальным изменениям текстуры сравниваемых областей лиц.

В разработанном методе анализируются не только последовательности расстояний, но и конечные разности функции расстояний, что позволяет, в конечном счете, более точно определить положение линии симметрии.

Метод требует не более NM{W+1) операций умножения и сложения, где NxM- размер изображения, W- ширина полос и W<N.

Совокупность перечисленных характеристик этого метода отличает его от известных подходов, представленных в технической литературе. Полностью метод представлен в работах [5, 7], а программа, реализующая этот метод, имеет свидетельство государственной регистрации программ для ЭВМ [10].

В разделе 2.2 представлен метод определения линии симметрии для лица, повернутого в плоскости XY на некоторый угол 9 влево или вправо. Метод основан на трансформации анализируемой области лица в развернутую полярную систему координат. Это позволяет применить в дальнейшем методы сравнения изображений, представленных в декартовых координатах. Кроме того, такое представление области лица является инвариантом поворота и масштаба, что создает предпосылки для использования разработанного метода в современных системах распознавания лиц.

Идею реализованного метода представляет рис. 2, где показан результат трансформации центральной части изображения лица из декартовой системы координат в полярную и развернутую полярную систему.

Три системы Исходное Результат

координат изображение L R

Р

(1,1) —

Рис. 2. Представление части лица в трех системах координат

Используемое пространство координат полярной системы настраивается на текущие центры "О" привязки (точки интереса на лице) и адаптируется к сектору

Щ. ■ Щ

обзора, что позволяет находить локальные (для глаз) оси симметрии и глобальную ось симметрии лица при априори неизвестном угле и знаке поворота лица в плоскости ХУ на исходном изображении. Этот результат показан на рис. 3.

Рис. 3. Результаты определения линий симметрии

Новым элементом в методе является соотношение, приводящее текущие параметры привязки полярной системы координат к размеру исходного изображения, углу и знаку поворота лица на изображении и к заданным точкам интереса на лице. Метод обеспечивает заданную точность нахождения линий симметрии и требует не более 103МУ операций сложения и умножения, где МхУУ - размеры исходного изображения.

Совокупность перечисленных характеристик отличает разработанный метод от известных методов. Полностью метод представлен в публикации [2].

В разделе 2.3 и 2.4 обсуждаются экспресс-методы нахождения линии симметрии лица, угла наклона лица и линий глаз для случая, когда область лица не находится в центре изображения, а фон не однороден по текстуре и цвету.

Методы основаны на элиминировании влияния неравномерного фона и цвета с помощью временных окон; использовании свойств зеркальной симметрии и параметрическом выделения области лица по его границам. Линией симметрии в этом случае является линия середины выделенной области лица. Положение этой линии переносится на исходное изображение, что представлено на рис. 4.

Исходное изображение

Рис. 4. Результаты определения линий симметрии

Метод нахождения линии симметрии лица требует МЫ операций умножения, сложения и переписи.

Угол наклона лица определяется после оценки положения линий глаз в каждой половине выделенной области лица. Метод требует ЗАШ операций сложения и умножения. Идею метода представляет рис. 5.

Положение Линии симметрии

Поиск линии симметрии

Рис. 5. Экспресс-метод определения угла наклона лица Для приближенной оценки угла наклона используется соотношение:

ЗдМу, -у2)

(3)

{N12)11 N

где: в- искомый угол; 1 - линия середины выделенной области лица; У\ и У2 -координаты положения линий глаз 2 и 3; N - ширина выделенной области.

Полностью эти методы опубликованы в работах [1] и [6].

В разделе 2.5 представлен метод выравнивания яркости цветного изображения. Метод основан на регрессионной модели гамма-коррекции исходного изображения по параметрам его средней ,/ и требуемой яркости Р. Значение параметра гамма-коррекции упе„ определено следующим образом:

Уп

(4)

к=О

/=0

где коэффициенты Ь(к, I) из (4) рассчитаны экспериментально и принимают следующие значения:

К 0,0

0,392250 0,007421 -0,000109

6(1,0 0,017252 0,000492 0,000004

6(2,0 0,000196 -0,000001 0,000000

Результат применения этого метода для стабилизации яркости изображений лиц показан на рис. 6. В левой стороне рисунка показаны исходные изображения и эти же изображения, полученные после стабилизации их яркости.

Исходные данные

Результат стабилизации

0 20 40 60 Э0 100

Рис. 6. Результаты по стабилизации яркости изображений базы БасеЭб

и

В правой стороне рисунка показаны результаты стабилизации яркости для 100 изображений базы Face96. Волнистая линия представляет текущие значения яркости J исходных изображений, а три, почти параллельные линии, -представляют оценку значений яркости этих изображений после их гамма-коррекции для трех заданных уровней стабилизации (значений Р = 80,100, 120).

Полностью метод представлен в публикациях [3,4].

Далее в разделе показано применение методов выравнивания яркости изображений при решении задач распознавания изображений с тенями, освещением с разных сторон и другими случаями неконтролируемого освещения изображений с лицами. Эксперименты выполнены на изображениях лиц базы YaleB. Модель выполненного эксперимента имеет следующий вид:

YaleB(3 8/1 /2414) {2DPCA/2DKLT: 192><168^10xl0}[KMP/Ll/rank=l]. (5)

Здесь база FaReS содержит только 38 эталонов (по одному изображению на человека), а число тестовых изображений 2414 (они сгруппированы в составы Subi •J-Sub5). Экстракция признаков выполнена в рамках метода двумерного анализа главных компонент с редукцией размерности с 192x168 до 10x10. Использован классификатор по минимуму расстояния в метрике Li (KMP/L1) и рангом результата равным 1. Результаты эксперимента представлены на рис. 7.

Recognition Result

Экспериментом показано, что без выравнивания яркости результат распознавания 2414 изображений составил 40%.

С использованием процедуры выравнивания яркости получен результат распознавания на уровне не ниже 92%.

Рис. 7. Результаты распознавания изображений базы YaleB по модели (5)

В главе 3 обсуждаются известные и рассматриваются новые подходы к решению 4-х прикладных задач биометрии: детекции области лиц на цветных изображениях; сравнения двух изображений лиц между собой; проверки области лица на соответствие биометрическому стандарту; оценки текущего состояния внимания и утомленности человека по его глазам.

В разделе 3.1 предложена новая структура детектора области лиц, представлен алгоритм его работы и показаны все промежуточные результаты обработки. Детектор включает 7 новых функциональных блоков. Первые три из них обеспечивают точное определение границ областей "skin-color с различными оттеками и их выделение. 4-й и 5-й блоки реализуют проверку выделенной области лица на соответствие стандарту и оптимизирует работу детектора лиц при нестабильных данных на входе. Два последних блока реализуют функции определения базовых параметров лица - угла наклона, расстояния между центрами глаз, коэффициента перемасштабирования, а также процедуру приведения выделенной области лица к стандарту. Эти особенности отличают предложенные в детекторе лиц решения от известных технических решений. Результат работы детектора лиц на примере портрета базы FERET приведен на рис. 8.

Рис. 8. Результаты работы детектора лиц.

Изображение на входе детектора выравнивается по яркости и выполняется первый уровень детекции: выделяется область лица, определяется угол его наклона и производится выравнивание (по углу); определяются центры глаз и расстояние между ними. Далее выделенное лицо приводится к стандарту.

Задача сравнения двух изображений лиц представлена в разделе 3.2. Её новое решение основано на предварительной оценке базовых параметров изображений лиц, их нормализации по размеру и совмещению по линии симметрии и линии глаз. Этот подход обеспечивает более простой механизм сравнения изображений лиц и более точное определение границ областей их различий. На основе этого подхода разработана базовая структура соответствующей системы и представлен алгоритм ее функционирования. В структуру системы также введен блок вычисления бинарных кодов лиц, предназначенный для представления изображений лиц и их сравнения между собой. Пример вычисления таких кодов и результат их сравнения приведен на рис. 9 для изображений лиц, построенных на основе композитного метода.

№ Ф '

■ $

Подобные внешне женское и мужское лицо и соответствующие им бинарные коды.

Видно отличие кодов между собой в верхней и нижней части. Сравнение двух лиц по их бинарным кодам: обнаружено отличие в области бровей, в нижней части носа и в области между носом и губами.

Рис. 9. Представление изображений лиц бинарными кодами и их сравнение

Задача проверки портрета на соответствие биометрическому стандарту представлена в разделе 3.3. Анализ этой задачи позволил сформулировать подходы для ее решения и определить перечень подзадач, обеспечивающий это решение, а также определить структуру соответствующей системы (см. рис. 10).

Вход: исходное изображение

Определение размеров и параметров исходного изображения с лицом

Нормализация области лица

Координаты центров глаз

_+

-1

Изображение после нормализации

I

Размеры областей (внешней, внутренней)

1

— 5—| Выравнивание области

лица в границах (внешней, внутренней)

Расчет границ внешней и внутренней областей и координат глаз

Значение Ш

Нормализация яркости области лица

Выход

Рис. 10. Система проверки портрета на соответствие стандарту

Система проверки включает часть функциональных блоков, используемых в перечисленных выше вариантах систем. При этом предложенные решения более просты в реализации по сравнению, например, с известной работой "РОЕСШЕТ", представляющей аналогичную коммерческую разработку.

Задача оценки состояния внимания и утомленности человека представлена в разделе 3.4 и решается на примере оценки состояния «бодрствования» и сна человека по его глазам. Вариант работы системы представлен на рис. 11.

СОСТОЯНИЕ

Рис. 11. Вариант работы системы для оценки состояния человека

В разделе обсуждаются задачи, требующие оценки такого состояния человека. Определены подходы для решения этой задачи, предложена структура системы для ее реализации, представлены алгоритмы ее функционирования.

Система работает в рамках реального времени: при этом реализуется наблюдение за текущим ракурсом лица человека, выполняется классификация состояния глаз (открыты/закрыты) и выполняется подсчет времени для этих состояний. В критических случаях система формирует сигналы тревоги и специальные предупреждающие сообщения, что отражено на рис.12.

АЛАРМ!!!

Рисунок 12. Система для оценки состояния внимания человека

Таким образом, в главе 3 представлено решение четырех прикладных задач биометрии. Решение каждой задачи представлено соответствующей системой, со структурой, отражающей специфику решаемой задачи и особенности реализованного алгоритма. При этом все разработанные системы основаны на общих функциональных блоках. Это создает основу для унификации компонентов при разработке и реализации соответствующего комплекса программ.

В главе 4 представлены результаты экспериментальных исследований разработанных в диссертации методов и алгоритмов. Результаты выполненных экспериментов получены в рамках представленного в главе исследовательского комплекса программ.

В разделе 4.1 описана методология реализации экспериментов. Она основана на определении цели эксперимента; выборе структуры моделируемой задачи (системы) и ее параметров; подборе соответствующей тестовой базы изображений лиц; анализе характеристик моделируемых задач и алгоритмов.

Такой методологический подход (см. рис. 13) достаточно точно представляет реализованный в эксперименте алгоритм или решаемую задачу.

Рис.13. Схема организации и выполнения компьютерных экспериментов

При этом каждый конкретный алгоритм (задача) реализуется на основе состава тех базовых блоков, структура и функции которых были определены в рамках глав 2 и 3. Эти блоки составили ядро исследовательского комплекса программ, представленного в главе. Основные модули иссследовательскоко комплекса программ и задачи, решенные в рамках комплекса, представлены на рис. 14.

Рисунок 14. Модули комплекса программ и решаемые задачи

В разделе 4.2 приводится обоснование выбора тестовых баз изображений лиц, использованных в экспериментальных исследованиях в рамках настоящей диссертации. Выбраны базы изображений лиц: Similar-composite, ORL, BioID, FERET, face94-96, YaleB. Эти обоснования могут послужить также примерами для планирования и реализации других аналогичных исследований в биометрии.

В разделе 4.3 представлены оценки характеристик разработанных методов и алгоритмов. Показано, что экспресс-методы обладают быстродействием в 3 раза выше, но обеспечивают одинаковую точность в сравнении с другими методами разработанными и представленными в диссертации. Эти выводы подкреплены результатами обширных экспериментальных исследований, представленными в разделе. Пример сравнительных характеристик показан в таблице 1 для методов определения положения линии симметрии (для экспресс-метода оценки в скобках)

Таблица 1

Параметры базы изображений лиц Характеристика метода

База Всего изображений и размер изображения Средняя ошибка (в пикселях) Время (сек)

ORL 160(112x92) 2(2) 0.09 (0.02)

FERET 1000 (184хх224) 3(3) 0.1 (0.03)

BIOID 1300(286x384) 2(2) 0.18(0.04)

SIMILAR 60 (240x320) 1(1) 0.12(0.04)

Характеристики алгоритмов нахождения центров глаз для разных баз изображений лиц приведены в таблице 2. Отмечается, что точность нахождения центров глаз зависит от качества изображений, а быстродействие от их размера. _ _Таблица 2

База Количество изображений Средняя ошибка Время (с)

и их размер (в пикселях)

SIMILAR 60 (240x320) 0 0.08

FERET 1000(184x224) 2 0.06

BIOID 1300 (286x384) 3 0.13

Рис. 15 представляет результаты определения угла наклона на исходных изображениях. Здесь верхняя строка - исходные изображения, а нижняя строка -результат их поворота на угол, рассчитанный экспресс-методом.

_Оценка угла поворота области лица_

Л85 1 Й)3 20° I ^

Рисунок 15. Результат работы метода

При этом следует отметить, что экспресс-метод (определения угла наклона области лица) работает достаточно быстро: время обработки одного изображения составляет не более 0.07 секунд.

Суммарные результаты оценки точности и времени работы алгоритма "стабилизации" для трех тестовых баз показаны в таблице 3.

Таблица 3

База Количество изображений (размер) точности Время (с)

Face96 3016(196x196) 1 0.006

Grimace 360(180x200) 1 0.006

Face94 2530(256x384) 1 0.008

На рис. 16 представлен результат оценки точности стабилизации яркости для N контрольных изображений (здесь №=140, Р - граница порога яркости).

А-................................-..............................................

120

100

60

60 ---- ---

0 20 4) 60 ВО 100 120 N

Рисунок 16. Оценка точности стабилизации яркости изображений

Здесь волнистая кривая - значения исходной яркости отдельных изображений. Грубые линии - заданные пороги яркости: 80, 100 и 120. Почти прямые линии - отклонения, полученные после выравнивания яркости.

В Заключение сформулированы основные научные и практические результаты. Отмечается, что диссертация характеризуется методологическим единством представленного материала, а совокупность полученных результатов отвечает поставленной цели диссертации.

При этом:

. определены подходы для реализации новых методов обработки изображений лиц в биометрии и на их основе разработаны экспресс-методы и соответствующие им алгоритмы;

• с учетом этих методов определен базовый состав функциональных модулей, на основе которых показано решение типовых задач биометрии;

• на основе базового состава функциональных модулей разработаны программные модули и реализован исследовательский комплекс программ, предназначенный для моделирования задач биометрии;

. в рамках комплекса исследованы характеристики разработанных методов и алгоритмов.

Публикации по теме диссертационной работы

Публикации в изданиях, рекомендованных ВАК России:

1. Кухарев Г.A., By Зуи Линь. Экспресс-метод определения линии симметрии лица [Текст] И Известия СПбГЭТУ «ЛЭТИ», 2010, № 7, стр. 30-35.

2. Кухарев Г.А., By Зуи Линь. Метод определения линии симметрии на изображении лица повернутого в плоскости XY на произвольный угол [Текст] // Известия СПбГЭТУ «ЛЭТИ», 2010, №2, стр. 7-11.

3. By Зуи Линь, Кухарев Г.А. Экспресс-метод выравнивания яркости цветных изображений с лицами для систем ввдеонаблюдения [Текст] // Известия СПбГЭТУ «ЛЭТИ», 2011,№ 1, стр. 24-29.

Публикации в других изданиях:

4. By Зуи Линь. Алгоритм компенсации теней на цифровых изображениях лиц [Текст] II Известия Санкт-Петербургского государственного электротехнического университета «ЛЭТИ», 2009, № 7, стр. 32-39.

5. Кухарев Г.А., Каменская Е.И., By Зуи Линь. Метод определения линии симметрии лица в приложении к задачам биометрии [Текст] // Известия Санкт-Петербургского государственного электротехнического университета «ЛЭТИ», 2009, № 7, стр. 39-44.

6. Кухарев Г.А., By Зуи Линь. Экспресс-метод определения наклона лица [Текст] // сборник научных трудов НГТУ, 2010, № 2 (60), с. 53-58.

7. Kukharev G., Vu Duy Linh. A Method of Symmetry Line Detection on Digital Images [Текст] (Метод определения линии симметрии лица,на цифровых изображениях) // Journal of Science and Technology Univesity of Danang, No. 4, (39), 2010, pp. 1-6.

8. By Зуи Линь, Повышение качества работы систем компьютерного распознавания обучаемых с использованием метода симметрии [Текст] // Материалы XV Международной конференции "СО: СПС'. 22 апреля 2009 г., СПб, Том 1, стр. 297-299.

9. By Зуи Линь. Методы обработки и нормализации изображений с лицами [Текст] // XIII Международная конференция по мягким вычислениям и измерениям SCM-2010 Saint-Petersburg, 23-25 June 2010.

Зарегистрированные программы

10. Кухарев Г.A., By Зуи Линь. Программа для определения линии симметрии лиц [программа] // Программы для ЭВМ/ RU ОБПБТ 07.07.2010, Свидетельство №2010614428.

11. Кухарев Г.A., By Зуи Линь. Стабилизация яркости цветных изображений с лицами для систем видеонаблюдения [программа] // - Программы для ЭВМ/ RU ОБПБТ 04.02.2011, Свидетельство № 2011611180.

Подписано в печать 17.03.11. Формат 60*84 1/16. Бумага офсетная. Печать офсетная. Печ. л. 1,0. Тираж 100 экз. Заказ 13.

Отпечатано с готового оригинал-макета в типографии Издательства СПбГЭТУ "ЛЭТИ"

Издательство СПбГЭТУ "ЛЭТИ" 197376, С.-Петербург, ул. Проф. Попова, 5

ВВЕДЕНИЕ.

1. АНАЛИЗ ПРЕДМЕТНОЙ ОБЛАСТИ,.

ПОСТАНОВКА ЦЕЛИ И ЗАДАЧ ИССЛЕДОВАНИЙ.

1.1. Введение в проблемы биометрии, основанной на геометрии лица

1.2. Линии симметрии и их использование в приложениях.

1.3. Симметрия лица: оценка и использование в биометрии.

1.4. Проблема нестабильности яркости изображений.

1.5. Цель диссертации и постановка задачи исследований.

2. МЕТОДЫ АНАЛИЗА И ПРЕДОБРАБОТКИ ИЗОБРАЖЕНИЙ.

2.1. Метод «1» определения линий симметрии на лице.

2.2. Метод «2» определения линий симметрии на лице.

2.3. Экспресс-метод обработки изображений с лицами.

2.4. Экспресс-метод определения наклона области лица.

2.5. Стабилизация яркости цветных изображений.

2.6. Выводы по главе 2.:.

3. РЕШЕНИЕ ПРИКЛАДНЫХ ЗАДАЧ БИОМЕТРИИ.

3.1. Локализация области лиц на цветных изображениях.

3.2. Сравнение двух изображений лиц.

3.3. Проверка изображения на соответствие стандарту.

3.4. Оценка состояния внимания человека.

3.5. Выводы по главе 3.

4. ИССЛЕДОВАТЕЛЬСКИЙ КОМПЛЕКС ПРОГРАММ.

4.1. Методология реализации экспериментов.

4.2. Обоснование выбора тестовых баз.

4.3. Оценка характеристик алгоритмов.

4.4. Выводы по главе 4.

Биометрические технологии распознавания людей являются одной из быстро развивающихся областей практической биометрии. Особенно привлекательны технологии, основанные на геометрии лица, поскольку распознавание людей и наблюдение за ними можно проводить "на расстоянии" - незаметно для человека и, не требуя от него каких-либо действий. В рамках этих технологий, изображения лиц наблюдаемых людей сравниваются с изображениями лиц, хранящимися в базе эталонов систем распознавания лиц (Face Recognition System - FaReS)[16]. При этом если изображения лиц отвечают стандартам на биометрические данные, а база эталонов FaReS репрезентативна, то задача распознавания решается успешно. Однако такие идеальные условия выполнимы только для систем, работающих в режиме аутентификации людей по лицам и/или под контролем параметров лиц и их освещенности.

В реальных условиях работы систем распознавания людей, исходные изображения с лицами не отвечают стандарту и для успешной работы таких систем необходим этап предварительного анализа этих изображений и этап последующей их обработки - выравнивания, нормализации и экстракции признаков.

И, хотя задачи эти не новы, поиск их нового решения остается всегда актуальным. Главные аргументы этому — интенсивное проникновение биометрии в повседневную жизнь людей и развитие биометрии в двух новых направлениях: «Soft Biometric»[3] и «Mobile Biometrie» [8].

Проникновение биометрии.» можно увидеть, например, при переходе от задач идентификации по геометрии лица, к задачам планирования и моделирования пластических операций на лицах, моделирования макияжа лиц и моделирования масок-клонов лиц людей. В этом случае очень важно знать точные параметры и характеристики лиц: положение оси симметрии и линии глаз, а также основных антропометрических точек лиц.

Задачи «Soft Biometrie» используют такие уникальные характеристики на лице каждого человека, которые присущи только ему одному, а число их измеряется единицами. Такими характеристиками являются, например, родинки и родимые пятна, рубцы и шрамы, царапины, угревые точки. Ранее такие характеристики не использовались в биометрии, поэтому необходима разработка принципиально нового способа их обнаружения, получения и использования.

Задачи «Mobile Biometrie» - это не только перенос решений задач биометрии на всевозможные классы мобильных устройств связи, но также и интеграция решений биометрии непосредственно в мобильные системы (например, автомобили и роботы - андроиды). Особенность этих решений -их реализация в устройствах и системах имеющих ограниченные ресурсы быстродействия и памяти, а также ограничения на встроенные методы обработки изображений.

Таким образом, дальнейшее развитие биометрических технологий связано с необходимостью разработки новых более простых, но относительно надежных методов анализа и обработки изображений лиц и созданием соответствующих им алгоритмов и программных средств. Эту группу методов можно определить как экспресс-методы. Проверка и уточнение реализованных в них алгоритмов и их методическая проработка потребуют в свою очередь проведения обширного компьютерного моделирования этих методов с привлечением «бенчмарковых» баз изображений лиц.

Цель работы: Разработка, реализация и исследование экспресс-методов обработки изображений лиц в приложении к задачам биометрии.

Для достижения поставленной цели решались следующие задачи: обоснование и представление (описание) новых методов предобработки изображений с лицами; разработка алгоритмов и программных модулей для постановки и реализации компьютерного моделирования и экспериментального исследования предложенных методов обработки; разработка унифицированного состава функциональных блоков для построения систем, реализующих решения прикладных задач биометрии; разработка комплекса программ для моделирования и реализации экспресс-методов обработки изображений лиц в приложении к задачам биометрии.

Объектом исследований являются экспресс-методы обработки цифровых изображений лиц в задачах биометрии.

Предметом исследования являются алгоритмы обработки изображений лиц и их программная реализация.

Методы исследования. Исследование базируются на методах цифровой обработки изображений, методах распознавания образов, аппарате матричной алгебры и линейных преобразований.

Методология исследований включает: анализ литературы и аналитический обзор по методам обработки изображений с лицами в задачах биометрии;

• математический аппарат в матричной форме в приложении к задачам обработки изображений как двумерных объектов;

• вербальную и формальную запись выполненных компьютерных экспериментов, анализ результатов экспериментов и выводы из них;

• выводы, рекомендации и предложения по применению экспресс-методов обработки изображений с лицами в задачах биометрии.

Новые научные результаты

1. Разработан новый метод определения центральной и локальных линий симметрии для изображений лиц «анфас». Метод основан на процедуре сравнения двух зеркально расположенных полос, которые синхронно перемещаются в горизонтальном направлении в выделенной области лица. Положение линии симметрии определяется по минимуму расстояния между этим полосами. Метод обеспечивает высокую точность и требует ИМ(]¥+\) операций умножения и сложения, где тУхМ - размер изображения, IV- ширина полос и ]¥<И.

2. Разработан новый метод определения центральной линии симметрии для изображений лиц, повернутых в плоскости ХУ на произвольный угол.

Метод основан на трансформации анализируемой области лица в развернутую полярную систему координат. Новым элементом в методе является соотношение, приводящее текущие параметры привязки полярной 4 системы координат к размеру исходного изображения, углу и знаку поворота лица на изображении и к заданным точкам интереса на лице. Метод обеспечивает заданную точность нахождения линий симметрии и требует не более 10 МЫ операций сложения и умножения, где МхЫ - размеры исходного изображения.

3. Разработан экспресс-метод определения линии симметрии для случая, когда область лица не находится в центре изображения, а фон не однороден по текстуре и цвету. Метод основан на свойствах зеркальной симметрии изображений с лицами и требует МЫ операций умножения, сложения и переписи.

4. Разработан экспресс-метод определения угла наклона лица для случая, когда область лица не находится в центре изображения, а фон не однороден по текстуре и цвету. Метод основан на определении положения линий глаз в каждой половине исходного изображения и приближенной оценке угла между ними. Метод требует 3 МЫ операций сложения и умножения.

5. Разработан экспресс - метод стабилизации яркости изображений. Метод основан на использовании регрессионной модели гамма-коррекции изображения по параметрам средней яркости исходного изображения и заданной яркости. Метод требует ЪМЫ операций умножения и сложения.

6. Предложены новые подходы к решению 4-х типовых задач биометрии: детекции области лиц на цветных изображениях; сравнения двух изображений лиц между собой; проверки области лица на соответствие биометрическому стандарту; оценки текущего психофизического состояния человека по его глазам.- При этом разработан состав базовых функциональных блоков для построения систем и решения задач прикладной биометрии.

7. Определен состав процедур (программных модулей) и разработана структура исследовательского комплекса программ для моделирования задач биометрии на основе экспресс-методов обработки изображений лиц. Комплекс программ реализован в среде пакета МАТЛАБ, имеет пользовательский интерфейс и возможность подключения собственных программных модулей.

Практическая ценность

1. Предложенные экспресс-методы определения линий симметрии лица, угла наклона лица и линий глаз, а также алгоритмы решения 4-х типовых задач биометрии и соответствующие им структуры систем, могут быть использованы в задачах «Soft Biometrics» и «Mobile Biometric».

2. Предложенный в диссертации метод стабилизации яркости можно использовать для цифровых изображений на входе систем ЦОС и при решении задач распознавания изображений с тенями на лицах и освещением с разных сторон.

3. Комплекс программ позволяет проводить вычислительные эксперименты по обработке изображений лиц в задачах биометрии на основе разработанных экспресс-методов и примеров решенных прикладных задач. На базовые модули комплекса получены свидетельства о государственной регистрации программ для ЭВМ

Научные положения, выносимые на защиту:

1. Метод определения линий симметрии лица, обеспечивающий высокую точность для изображений лиц анфас и заданную точность для изображения лица повернутого в плоскости XY на произвольный угол.

2. Экспресс - методы определения линии симметрии лица, угла наклона лица и линий глаз для случая, когда область лица не находится в центре изображения, а фон не однороден по текстуре и цвету.

3. Экспресс - метод стабилизации яркости изображений с лицами. Метод основан на регрессионной модели гамма-коррекции изображения по параметрам средней яркости исходного изображения и заданной яркости на выходе.

4. Алгоритмы решения 4-х прикладных задач биометрии и структуры соответствующих систем. При этом все разработанные системы основаны на общих функциональных блоках, что создает основу для унификации технических и программных средств биометрии в прикладных задачах.

Внедрение результатов работы.

Предложенные методы и алгоритмы, исследовательский комплекс программ использованы в ОКР, выполняемых ОАО «Океанприбор», в НИР, выполняемых ОАО «Научно-инженерный центр Санкт-Петербургского электротехнического университета» и НИР, выполняемых в ООО «Центре речевых технологий», Санкт-Петербург, Россия.

Результаты диссертационной работы использованы в учебных дисциплинах «Компьютерные методы идентификации личности» и «Цифровая обработка изображений» на кафедре МО ЭВМ Санкт-Петербургского государственного электротехнического университета (ЛЭТИ).

Апробация работы.

Результаты диссертации обсуждались: на XV международной конференции «Современное образование - содержание, технологии, качество» (г. Санкт-Петербург, 2009 г.); на ХШ Международной конференции по мягким вычислениям и измерениям "SCM-2010" (Санкт-Петербург, 2010 г.); на семинарах кафедры МО ЭВМ Санкт-Петербургского государственного электротехнического университета (ЛЭТИ).

Публикации. По теме диссертации опубликовано 11 работ, из них: 9 - в научных журналах (3 из перечня ВАК, 6 в российских и иностранных журналах); 2 - на международных конференциях. Получено 2 свидетельства государственной регистрации на программы для ЭВМ.

Структура и объем диссертации.

Диссертационная работа состоит из введения, четырех тематических глав с выводами, заключения, списка литературы.

Эти выводы подкреплены результатами обширных экспериментальных исследований, представленными в разделе.

ЗАКЛЮЧЕНИЕ

В диссертации выполнен анализ задач и методов, используемых в биометрических технологиях, основанных на геометрии лица.

Показано, что дальнейшее развитие биометрических технологий связано с необходимостью разработки новых более простых, но относительно надежных методов анализа и обработки изображений лиц и созданием соответствующих им алгоритмов и программных средств.

Эта группа методов определена в диссертации как экспресс-методы.

Главный результат диссертации состоит в разработке, реализации и исследовании экспресс-методов обработки изображений лиц в приложении к задачам биометрии.

Для достижения поставленной цели решены следующие задачи:

Анализ современного этапа развития биометрических технологий (методов, средств), основанных на геометрии лица;

Обоснование, разработка и представление новых методов и алгоритмов анализа и обработки исходных данных — изображений с лицами;

Разработка состава и функций программных модулей для постановки и реализации компьютерного эксперимента и создание исследовательского комплекса программ на базе этих модулей;

Разработка новых подходов и алгоритмов для решения прикладных задач биометрии;

Представление результатов выполненных компьютерных экспериментов по моделированию и исследованию характеристик предложенных методов и алгоритмов.

Решение этих задач представлено в четырех главах диссертации, а полученные при этом результаты сводятся к следующему:

1. Разработан новый метод определения центральной и локальных линий симметрии для изображений лиц «ан фас». Метод основан на процедуре сравнения двух зеркально расположенных полос, которые синхронно перемещаются в горизонтальном направлении в выделенной области лица. Положение линии симметрии определяется по минимуму расстояния между этим полосами. Метод обеспечивает высокую точность и

117 требует ЫМ(]¥+1) операций умножения и сложения, где ЫхМ - размер изображения, ¡V- ширина полос и ¡¥<Ы;

2. Разработан новый метод определения центральной линии симметрии для изображений лиц, повернутых в плоскости ХУ на произвольный угол. Метод основан на трансформации анализируемой области лица в развернутую полярную систему координат. Новым элементом в методе является соотношение, приводящее текущие параметры привязки полярной системы координат к размеру исходного изображения, углу и знаку поворота лица на изображении и к заданным точкам интереса на лице. Метод обеспечивает заданную точность нахождения линий симметрии и требует не более 103МЛ^ операций сложения и умножения, где МхN - размеры исходного изображения.

3. Разработан экспресс-метод определения линии симметрии для случая, когда область лица не находится в центре изображения, а фон не однороден по текстуре и цвету. Метод основан на свойствах зеркальной симметрии изображений с лицами и требует всего МЫ операций умножения, сложения и переписи;

4. Разработан экспресс-метод определения угла наклона лица для случая, когда область лица не находится в центре изображения, а фон не однороден по текстуре и цвету. Метод основан на определении положения линий глаз в каждой половине исходного изображения и приближенной оценке угла между ними. Метод требует 3 МЫ операций сложения и умножения;

5. Разработан экспресс - метод стабилизации яркости изображений. Метод основан на использовании регрессионной модели гамма-коррекции изображения по параметрам средней яркости исходного изображения и заданной яркости. Метод требует 3МЫ операций умножения и сложения;

6. Предложены новые подходы к решеншо 4-х типовых задач биометрии: детекции области лиц на цветных изображениях; сравнения двух изображений лиц между собой; проверки области лица на соответствие биометрическому стандарту; оценки текущего психофизического состояния человека по его глазам. При этом разработан состав базовых

118 функциональных блоков для построения соответствующих систем, которые могут служить также для решения и других задач прикладной биометрии.

7. Определен состав процедур (программных модулей) и разработана структура исследовательского комплекса программ для моделирования задач биометрии на основе экспресс-методов обработки изображений лиц. Комплекс реализован в среде пакета "МАТЛАБ", а на два его модуля получены свидетельства о регистрации в реестре "Программы для ЭВМ".

Таким образом, диссертация характеризуется методологическим единством представленного материала, а совокупность полученных результатов отвечает поставленной цели диссертации.

Кратко это можно выразить следующим образом: . Определены подходы для реализации новых методов обработки изображений лиц в биометрии и наих основе разработаны экспресс-методы и соответствующие им алгоритмы; С учетом этих методов определен базовый состав функциональных модулей, на основе которых показано решение типовых задач биометрии; На основе базового состава функциональных модулей разработаны программные модули и реализован исследовательский комплекс программ, предназначенный для моделирования задач биометрии; В рамках комплекса исследованы характеристики разработанных методов и алгоритмов.

По теме диссертации опубликовано 11 работ, из них:

9 - в научных журналах (3 из перечня ВАК, 6 в российских и иностранных журналах);

Получено 2 свидетельства государственной регистрации на программы для ЭВМ.

Результаты диссертации обсуждались на XV международной конференции «Современное образование - содержание, технологии, качество» (г. Санкт-Петербург, 2009 гг.), ХШ Международная конференция по мягким вычислениям и измерениям 8СМ-2010 Санкт-Петербург и на семинарах кафедры математического обеспечения и применения ЭВМ СПбГЭУ ("ЛЭТИ").

1. Ding L. and Martinez Aleix M. Precise Detailed Detection of Faces and Facial Features // Computer Vision and Pattern Recognition, 23-28 June 2008, pp. 1-7.

2. Demirkus M., Guler S. Automated person categorization for video surveillance using soft biometrics // Biometric Technology for Human Identification VII, Vol. 7667, No. 1. (2010), pp. 23-34

3. Facial Marks: Soft Biometric for Face Recognition//IEEE International Conference on Image Processing (ICIP), Cairo, Nov. 2009, pp. 1-4.

4. Unsang Park, Anil K. Jain. Face Matching and Retrieval Using Soft Biometrics // IEEE Transactions on Information Forensics and Security (TIFS), 2010, pp. 1-10.

5. Dantcheva, A., Dugelay, J.-L., Elia, P. Person recognition using a bag of facial soft biometrics (BoFSB) // Multimedia Signal Processing (MMSP) IEEE ,4-6 Oct. 2010, pp. 511-516.

6. D'Angelo, A.; Dugelay, J.-L. Color based soft biometry for hooligans detection // Paris, May 30 2010-June 2 2010, pp. 1691 1694.

7. A. K. Jain, S. C. Dass, and K. Nandakumar. Soft biometric traits for personal recognition systems // in Proc ICBA, 2004, pp. 731-738.

8. Mobile Biometric (Мобильная биометрия)

9. Mbaitiga Zacharie. Security Guard Robot Detecting Human Using Gaussian Distribution Histogram Method // Journal of Computer Science 6 (10), 2010, pp. 1144-1150

10. Emerging Devices ©2010 AT&T Inc. Applying Biometrics Technology in a Mobile World // 16-12-2009.

11. Motorola white page. Mobile Biometric Identification // 2008, 8p.

12. Trixan Ronoel B. Driver monitoring system // CMSC 190 Special problem, Institute of computer science. 2007, pp. 1-3.

13. Adrian POCOVNICU. Biometric Security for Cell Phones // Informatica Economica Journal.: Vol. 13 No. 1/2009, pp. 57-63.

14. Thirumathyam, Derawi, M. О. Biométrie template data protection in mobile device environment using XML-database // IEEE 2010, pp. 1-7.

15. Marcel, Sébastien McCool. Mobile Biometry (MOBIO) Face and Speaker Verification Evaluation // Istanbul, 23-08-1010.

16. N. Clarke and S. Furnell. Authentication of users on mobile telephones -a survey of attitudes and practices // Computers & Security, vol. 24, no. 7 2005, pp. 519-527.

17. Face Recognition (Распознавание лиц)

18. Li S., Jain A. Handbook of Face Recognition / Springer, 2005, 395 p.

19. Кухарев Г. А. Биометрические системы: Методы и средства идентификации личности человека / СПб.: Политехника, 2001, 240с.

20. Jain А.К. et al. An Introduction to Biométrie Recognition // IEEE Transactions on Circuits and Systems for Video Technology, Vol. 14, No. 1, January 2004, pp.4-20.

21. Кухарев Г.А., Щеголева H.JI. Системы распознавания человека по изображению лица. (Face Recognition Systems) / Из-во СПбГЭТУ «ЛЭТИ», СПб, 2006, 176с.

22. Delac Kresimir and Grgic Mislav. Face Recognition / I-Tech, Vienna, Austria, June 2007, 559 p.

23. Кухарев Г.А. Поиск изображений лиц в больших базах данных // Журнал «МИР ИЗМЕРЕНИЙ» 4(98) 2009, стр. 22-30

24. Delac Kresimir, Grgic Mislav and Stewart Bartlett Marian. Recent Advances in Face Recognition / I-Tech, Croatia, December 2008, 236 p.

25. J.Yang, X. Ling, Y. Zhu, Z. Zheng. A face detection and recognition system in color image series // Mathematics and Computers in Simulation Vol. 77, 2008, pp. 531-539

26. Forczmanski P., Kukliarev G. Comparative analysis of simple facial features extractors // Journal Real-Time Image Processing, (2007), № 1, pp. 239255.

27. Kukliarev G., Kuzminski A. Techniki Biometriczne. Metody Rozpoznawania Twarzy / Szczecin (Poland): Pracownia Poligraficzna WI PS, 2003,-310p.

28. Peng К, Chen L, Ruan Su, and Kukharev G. "A Robust Algorithm for Eye Detection on Gray Intensity Face without Spectacles" — Journal OF COMPUTER SCIENCE & TECHNOLOGY, 2005, Vol. 5, No. 3, pp. 127 132.

29. Face Symmetry (Симметрия лиц)

30. Young-Jun Song,Young-Gil Kim., Un-Dong Chang, Heak Bong Kwon. Face recognition robust to left/right shadows; facial symmetry // Pattern Recognition 39 (2006), pp.1542 1545.

31. Liu Y., S. Mitra. Facial Asymmetry Quantification for Expression Invariant Human Identification // Journal Computer Vision and Image Understanding, Vol. 91, No. 1/2, July, 2003, pp. 138 159.

32. Ekaterina Kamenskaya, Georgy Kukharev. Recognition of psychological characteristics from face // Metody Informatyki Stosowanej, nr 2/2008, Poland, May 2008, pp. 59-73,

33. E Kamenskaya., G.Kukharev. Some aspects of automated recognition of person's psychological characteristics from the facial image // Metody Informatyki Stosowanej, Vol. 15, No. 2, 2008, pp. 29-37.

34. Rajinda Senaratne and Saman Halgamuge. Driver Fatigue Detection by Fusing Multiple Cues // Lecture Notes in Computer Science, Volume 4492/2007, pp. 801-809.

35. K. Sclimid, D. Marx, A. Samal. Computation of a face attractiveness index based on neoclassical canons, symmetry, and golden ratios // Pattern Recognition Vol.41, 2008, pp. 2710 2717.

36. B. Fink, N. Neave, J. T. Manning, K. Grammer. Facial symmetry and the «five-big» personality factors // Personality and Individual Differences, Vol. 39, 2005, pp. 523-529.

37. Marola, G. On the detection of the axes of symmetry of symmetric and almost symmetric planar images // IEEE Trans on PAMI. Vol. 11. (1989) pp.104108.

38. Sun, C., Sherrah, J. 3D symmetry detection using the extended Gaussian image // IEEE Trans, on PAMI. Vol. 19, no. 2. (1997) pp.164-168.

39. Loy, G., Zelinsky, A. "Fast radial symmetry for detecting points of interest" IEEE Trans, on PAMI. Vol. 25. no. 8. (2003) pp.959-973.

40. Reisfeld, D., Yeshurun, H.W.Y. Context free attentional operators: the generalized symmetry transform // Int. J. Сотр. Vis. Vol. 14. (1995) pp.l 19-130.

41. Mitra, S., Liu, Y. Local facial asymmetry for expression classification // Proc. CVPR. (2004).

42. Stentiford, F.W.M. An estimator for visual attention through competitive novelty with application to image compression. Picture Coding Symposium // (2001) Seoul.

43. Горбань, A.C. Методы обнаружения отражательной симметрии полутоновых изображений // Интеллектуальные системы принятия решений и прикладные аспекты информационных технологий. Т.1. Херсон: Изд. Херсонского морского института, 2006, стр. 57-61.

44. Mikkel В. Stegmann. Analysis and Segmentation of Face Images using Point Annotations and Linear Subspace Techniques // Technical report, Technical University of Denmark, 2002.

45. Biometric Data Interchange Formats (Биометрический стандарт)

46. Biometric Data Interchange Formats. ISO/IEC JTC 1/SC 37 N 506: / Part 5: Face Image Data. (March 22, 2004).

47. Gao X. et al. Standardization of Face Image Sample Quality // Lecture Notes in Computer Science, Volume 4642/2007, pp. 242-251.

48. Li C., Alastair A.R. An Image Quality Metric based on Corner, Edge and Symmetry Maps // 2008,www.comp.leeds.ac.uk/bmvc2008/proceedings/papers/187.pdf

49. Бекетова И.В. и др. Программноаппаратный комплекс подготовки и контроля цифровых фотографий для биометрических документов // Вестник компьютерных и информационных технологий, № 2, 2008, стр. 9-14.

50. L, Cui; A, Allen. An image quality metric based on corner, edge and symmetry maps // 2008, pp. 1-10.

51. ISO/IEC JTC 1/SC 37 N 1477. Biometric Sample Quality Standard / Part 1: Framework. (January 30, 2006)

52. ISO/IEC JTC 1/SC 37 N 1477. Biometric Sample Quality / Part 5: Face Image Data Sample Quality(Working Draft for comment). (February 12, 2007)

53. Jitao Sang, Zhen Lei, and Stan Z. Li. Face Image Quality Evaluation for ISO/DEC Standards 19794-5 and 29794-5 // ICB 2009, LNCS 5558, pp. 229-238, 2009.50. ГОСТИСО/МЭК 19794 5-2006.

54. Face Database (Базы изображений лиц)

55. Face DB Face data bases: http://www.face-rec.org/databases52 г ORL DB The ORL database of faces:www.uk.research.att.com/pub/data/attfaces.zip.

56. F94 DB Collection of Facial Images (faces94 , faces95 , faces96 , grimace): http://cswww.essex.ac.uk/mv/allfaces/index.html

57. YaleB The YaleB - Data base. http://cvc.yale.edu/projects/yalefacesB/yalefacesB.html

58. BioID DB The BioID Face Database. http://www.bioid.com/researcli/index.html

59. FERET FERET database: http://www.nist.gov/humanid/feret/feretmaster.html

60. Variable Illuminations (Проблема освещения)

61. Kuang-Chih Lee, Jeffrey Ho, David Kriegman. Acquiring Linear Subspaces for Face Recognition under Variable Lighting // IEEE Transaction, on PAMI, VOL. 27, no 5, MAY 2005, pp. 1-15.

62. Xiaoyang Tan and Bill Triggs. Preprocessing and Feature Sets for Robust Face Recognition // 11-2006, pp. 1-8 http://class.inrialpes.fr/pub/107-tan-cvpr07.pdf

63. Xiaoyang Tan and Bill Triggs. Enhanced Local Texture Feature Sets for Face Recognition under Difficult Lighting Conditions // IEEE Transactions on Image Processing, June 2010, Vol. 19, no. 6, pp.1635 1650.

64. Ganesh Bhat, K.K. Achary. Face Recognition using FSS-DSOP for Small Sample Size Problem with Illumination Variations // Int. J. Advance. Soft Comput. Appl., Vol. 1, No. 2, November 2009, pp.105-118.

65. Ming Shao, Yunhong Wang. Joint Features for Face Recognition under Variable Illuminations //15th International conference on Image and Graphics-2009, pp.922-927.

66. Xudong Xie, Kin-Man Lam. An efficient illumination ormalization method for face recognition // Pattern Recognition Letters 27 (2006) pp.609-617.

67. Heng Fui Liau, and Dino Isa. New Illumination Compensation Method for face Recognition // (IJCNS) International Journal of Computer and Network Security,Vol. 2, No. 3, March 2010, pp. 5-12.

68. Gaoyun An, Jiying Wu, Qiuqi Ruan. An illumination normalization model for face recognition under varied lighting conditions // Pattern Recognition Letters 31 (2010) pp.1056-1067.

69. Ganesh V. Bhat, К. K. Achary. Face Recognition Using Sign Only Correlation // ACEEE International Journal on Signal and Image Processing Vol 1, No. 1, Jan 2010, pp. 1-7.

70. Xuan Zou, Josef Kittler and Kieron Messer. Illumination Invariant Face Recognition: A Survey // First IEEE International Conference on Biometrics: Theory, Applications, and Systems, 2007, l-8p.

71. A. Shashua. On photometric issue in 3D visual recognition from a single 2D image // Int. J. Comput. Vision 21 (1997) pp.99-122.

72. A.U. Batur, M.H. Hayes Ш, "Linear subspaces for illumination robust face recognition" in: Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, vol. 2, 2001, pp. 296-301.

73. A.S. Georghiades, P.N. Belhumeur. From few to many: illumination cone models for face recognition under variable lighting and pose // IEEE Trans. Pattern Anal. Mach. Intell. 23 (2) (2001) pp.643-660.

74. J.C. Lee, J. Ho, D. Kriegman. Nine points of light: acquiring subspaces for face recognition under variable lighting // in: Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, vol. 1,2001, pp. 519-526.

75. R. Basri, D.W. Jacobs. Lambertian reflectance and linear subspaces // IEEE Trans. Pattern Anal. Mach. Intell. 25 (2) (2003) 218-233.

76. Sang-Il Choi, Chunghoon Kim, Chong-Ho Choi. Shadow compensation in 2D images for face recognition // Pattern Recognition 40 (2007) 2118 2125.1. Mathematics (Математика)

77. Ту Дж., Гонсалес Р. Принципы распознавания образов / Мир, 1978, 416 с.

78. Прэтт У. Цифровая обработка изображений / Мир. 1982. кн. 1 и 2.

79. Фисенко В.Т., Фиеенко Т.Ю. Компьютерная обработка и распознавание изображений / СПб: СПбГУ ИТМО, 2008,192 с.

80. Стрижов . В.В., Крымова Е.А. Методы выбора регрессионных моделей / ВЦ РАН, 2010. 60 стр.

81. Потемкин, В.Г. Система инженерных и научных расчетов MATLAB / Диалог-МИФИ, 1999 г.

82. Face and eyes detection (Детекция лиц и глаз)

83. F. Тек, Face detection using learning networks / Master's thesis, The Middle East Technical University, Ankara, Turkey, 2002.

84. R.-J. Huang. Detection strategies for face recognition using learning and evolution / PhD thesis, George Mason University, Fairfax, Virginia, 1998.

85. M.-H. Yang, D. Kriegman, N. Ahuja. Detecting faces in images: a survey // IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI) 24 (1) (2002) 34-58.

86. H. Rowley, S. Baluja, T. Kanade. Neural network-based face detection // IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI) 20 (1) (1998) 23-38.

87. R. Lienhart, A. Kuranov, V. Pisarevsky. Empirical analysis of detection cascades of boosted classifiers for rapid object detection // in: Proceedings of the 25th DAGM-Symposium, Magdeburg, Germany, 2003, pp. 297-304.

88. O. Jesorsky, K. Kirchberg, R. Frischholz. Robust face detection using the hausdorff distance // in: Proceedings of the Third International Conference on Audio- and Video-based Biometric Person Authentication (AVBPA), Halmstad, Sweden, 2001, pp. 90-95.

89. V. Popovici, Y. Rodriguez, J.-P. Thiran, S. Marcel. On performance evaluation of face detection and localization algorithms // in: Proceedings of the International Conference on Pattern Recognition (ICPR), Cambridge, UK, 2004, pp. 313-317.

90. Kim, H., Kang, W., Shin, J., Park, S. Face detection using template matching and ellipse fitting // ffilCE Trans. Inform. Syst., 2000, E38-D(ll):2008-2011

91. Cai, J., Goshtasby, A. Detecting human faces in color images // Image \ and Vision Computing, 1999, 18(1), pp. 63-75.

92. Viola, P. Rapid. Object Detection Using a Boosted Cascade of Simple Features // Proc. IEEE Conference on CVPR, 2001, pp. 511-518.

93. Sobotka K., Pitas I. Looking for Faces and Facial Features in Color Images // In 4th Open Russian-German Workshop: Pattern Recognition and Image Analysis, Valday, The Russian Federation, March 3-9, 1996.

94. Z. Qian, D. Xu. Automatic eye detection using intensity filtering and K-means clustering // Pattern Recognition Letters 31 (2010) pp. 1633-1640.

95. Zhou, Z., Geng, X., Projection functions for eye detection // Pattern Recognition 2004 37 (5), pp. 1049-1056.

96. Lam, K., Yan, H., Locating and extracting the eye in human face images // Pattern Recognition 1996 29(5), pp. 771-779.

97. D'Orazio, Т., Leo, M., Cicirelli, G., Distante, A., An algorithm for real time eye detection in face images // In: Proc. IEEE Conf. on Pattern Recognition, 2004, pp. 278-281.

98. Liu, Hong; Wu, Yuwen; Zha, Hongbin Eye state detection from color facial image sequence //Proc. SPIE Vol. 4875, 31 July 2002, p. 693-698.

99. T. Cootes, C. Taylor, D. Cooper, and J. Graham. Active shape models -their training and application // Comput. Vis. Image Understand, 1995 (61), pp., 18-23.

100. T. Cootes, G. J. Edwards, and C. Taylor. Active appearance models // IEEE Trans. Patt. Anal. Mach. Intell, 2001 (23), pp. 681-685.

101. Xiaoxing Li; Mori, G.; Hao Zhang. Expression-Invariant Face Recognition with Expression Classification // Canadian Conf. on Computer and Robot Vision, 07-09 June 2006, pp. 77-85.

102. K.M. Нюнышн, Определение углов наклонов головы человека на изображениях// Украина «Искусственный интеллект» 01-2004, стр. 243-250.

103. Steven С. Dakin, Steven С. Dakin Biological bar codes in human faces // Journal of Vision (2009) 9(4):2, pp.1-10.1. Собственные публикации

104. Кухарев Г.А., Каменская Е.И., By Зуи Линь "Метод определения линии симметрии лица в приложении к задачам биометрии" // Известия Санкт-Петербургского государственного электротехнического университета «ЛЭТИ», 2009, № 7, стр. 39-44.

105. By Зуи Линь. Алгоритм компенсации теней на цифровых изображениях лиц П Известия Санкт-Петербургского государственного электротехнического университета «ЛЭТИ», 2009, № 7, стр. 32-39.

106. By Зуи Линь. Повышение качества работы систем компьютерного распознавания обучаемых с использованием метода симметрии // Материалы XV Международной конференции "СО: СТК". 22 апреля 2009 г., СПб, Том 1, стр. 297-299.

107. Кухарев Г.А. , By Зуи Линь. Метод определения линии симметрии на изображении лица повернутого в плоскости XY на произвольный угол // Известия СПбГЭТУ «ЛЭТИ», 2010, №2, стр. 7-11.

108. Кухарев Г.A., By Зуи Линь. Экспресс-метод определения линии симметрии лица // Известия СПбГЭТУ «ЛЭТИ», 2010, № 7, стр. 30-35.

109. Кухарев Г.А., By Зуи Линь. Экспресс-метод определения наклона лица // сборник научных трудов НГТУ, 2010, № 2 (60), с. 53-58.

110. Kukharev G., Vu Duy Linh. A Method of Symmetry Line Detection on Digital Images // Journal of Science and Technology Univesity of Danang, No. 4, (39), 2010, pp. 1-6.

111. By Зуи Линь. Методы обработки и нормализации изображений с лицами // ХШ Международная конференция по мягким вычислениям и измерениям SCM-2010 Saint-Petersburg, 23-25 June 2010.

112. By Зуи Линь, Кухарев Г.А. Экспресс-метод выравнивания яркости цветных изображений с лицами для систем видеонаблюдения // Известия СПбГЭТУ «ЛЭТИ», 2011, № 1, стр. 24-29.