автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Методическое обеспечение верификации личности по индивидуальным особенностям сосудистого рисунка и геометрическим пропорциям лица человека в естественных условиях

На правах рукописи

Баша Наталия Сергеевна

МЕТОДИЧЕСКОЕ ОБЕСПЕЧЕНИЕ ВЕРИФИКАЦИИ ЛИЧНОСТИ ПО ИНДИВИДУАЛЬНЫМ ОСОБЕННОСТЯМ СОСУДИСТОГО РИСУНКА И ГЕОМЕТРИЧЕСКИМ ПРОПОРЦИЯМ ЛИЦА ЧЕЛОВЕКА В ЕСТЕСТВЕННЫХ УСЛОВИЯХ

Специальность 05.13.01 — «Системный анализ, управление и обработка информации» (в науке и промышленности)

Автореферат диссертации на соискание ученой степени кандидата технических наук

1 г ДЕК 2013

Дубна-2013

005543944

005543944

Работа выполнена в Государственном бюджетном образовательном учреждении высшего профессионального образования Московской области Международном университете природы, общества и человека «Дубна», в Институте системного анализа и управления на кафедре системного анализа и управления.

Научный руководитель:

доктор технических наук, профессор Черемисина Евгения Наумовна

Официальные оппоненты:

Хижняк Евгений Павлович, доктор физико-математических наук, старший научный сотрудник Федерального государственного бюджетного учреждения науки «Институт теоретической и экспериментальной биофизики Российской академии наук»

Смуров Сергей Владимирович, доктор технических наук, профессор, Первый заместитель генерального директора по научной работе - главный конструктор Межрегионального общественного учреждения «Институт инженерной физики»

Ведущая организация: Федеральное государственное бюджетное учреждение науки Вычислительный центр им. А. А. Дородницына Российской академии наук, г. Москва

Защита состоится « 23 » декабря 2013 г. в 14 ч. 30 мин. на заседании диссертационного совета Д 520.033.01 в Межрегиональном общественном учреждении «Институт инженерной физики» по адресу: 142210, г. Серпухов, Б. Ударный пер., д. 1а.

Отзывы на автореферат в 2-х экз. просьба направлять по адресу: 142210, г. Серпухов, Б. Ударный пер., д. 1а, Межрегиональное общественное учреждение «Институт инженерной физики», ученому секретарю диссертационного совета Д 520.033.01.

С диссертацией можно ознакомиться в библиотеке Межрегионального общественного учреждения «Институт инженерной физики» по адресу: г. Серпухов, Б. Ударный пер., д. 1а.

Автореферат разослан « ¿т.» ноября 2013 г.

Ученый секретарь диссертационного совета

кандидат технических наук, доцент

Коровин О. В.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Термография — одно из молодых и перспективно развивающихся направлений биометрических систем верификации личности. Достоинствами термографии являются дистанционностъ, устойчивость к изменению освещенности, возможность пресекать попытки фальсификации личности посредством внешней маскировки и использования муляжа.

Методы верификации личности по портретным термографическим изображениям разрабатываются в Университетах Лав ала (Канада), Нотр-Дама (США), Национальном университете Ченг Кунга (Тайвань) и многими другими. В России данное направление только начинает развиваться, схожими исследованиями занимаются в Институте теоретической и экспериментальной биофизики РАН, г. Пущино.

Известные методы тестировались на базах термографических портретов (Equinox, Laval University Database и др.), содержащих изображения разных людей с учетом поворотов головы, изменений внешнего вида и освещенности. Однако, в них нет изображений, полученных в естественных условиях (на открытом воздухе, при наличии источников теплового излучения и др.) и они предполагают наличие на термограмме единственного объекта - лица человека, локализуемого областью эллиптической формы или значением температуры кожи.

В связи с расширением класса задач, решаемых биометрическими системами (верификация в местах массового скопления людей), возникает необходимость верификации личности не только в лабораторных условиях (или близких к ним), но и в естественных условиях.

Например, существующий метод, предложенный Р. Буддхарайя, И. Павлидисом и основанный на индивидуальных особенностях сосудистого рисунка показывает хорошие результаты работы в лабораторных условиях (при значении вероятности ложной верификации 0,05 достигается вероятность ложного отказа доступа, равная 0,3), однако в естественных

условиях данный метод дает неудовлетворительные результаты (вероятность ложного отказа доступа 0,56).

Таким образом, повышение точности верификации личности в естественных условиях является актуальной задачей, для решения которой необходимо решить дополнительные задачи, отсутствующие при верификации личности в лабораторных условиях: детекция лица на изображении, выявление зависимости температуры лица от температуры окружающей среды, учет наклона и поворота головы и др.

Одним из путей решения может являться методика верификации личности по индивидуальным особенностям сосудистого рисунка и геометрическим пропорциям лица человека, с использованием информации о расположении внутренних углов глаз и геометрических пропорциях лица человека, детекцией характерных признаков, инвариантных к наклону, повороту и масштабированию области лица, уточнением условий существования характерных точек сосудистого рисунка лица.

Объект исследования: биометрическая система верификации личности по термографическим изображениям лица.

Предмет исследования: методики и алгоритмы детектирования лица и анализа характерных особенностей сосудистого рисунка по термографическим изображениям среднего и дальнего ИК-диапазона.

Цель исследования: повышение точности и расширение условий применения систем верификации личности по индивидуальным особенностям сосудистого рисунка и геометрическим пропорциям лица человека.

Научная задача состоит в разработке методик и алгоритмов выделения лиц и индивидуальных характерных особенностей, обеспечивающих повышение точности и расширение условий применения биометрических систем верификации личности по термографическим изображениям лица.

На защиту выносятся:

1. Алгоритм автоматического выделения области лица на термографическом изображении на основе выявления внутренних углов глаз и геометрических пропорций лица человека.

2. Методика верификации личности по индивидуальным температурным особенностям сосудистого рисунка лица.

3. Результаты экспериментальных исследований биометрической системы верификации личности по термографическим изображениям лица.

Научная новизна:

1. Научная новизна первого результата заключается в том, что решена задача автоматического выделения области лица на термограмме. В отличие от существующих подходов, использующих сети Байеса либо нейронные сети, нуждающихся в предварительном задании априорных вероятностей принадлежности точки объекту или фону или в обучении, предложенный алгоритм использует эмпирическую зависимость температуры кожи от температуры окружающей среды и расположение внутренних углов глаз для уточнения границ детектированной области.

2. Научная новизна второго результата заключается в том, что решена задача формирования биометрического шаблона характерных особенностей сосудистого рисунка лица в не рассматриваемых ранее условиях и ограничениях: инвариантности к масштабу и наклону лица на термографическом изображении, особенностям окрестностей конечных точек и точек ветвления сосудистого рисунка (изменение ориентации сосудистого рисунка, значения величин углов, образуемых при ветвлении).

Практическая ценность полученных результатов заключается в том, что применение разработанной методики позволило повысить точность верификации и расширить условия применения систем верификации личности по термографическим изображениям лица. Разработанный алгоритм автоматического выделения области лица, позволяет найти и

выделить масштабированную область лица с вероятностью 0,98; инвариантную к поворотам и наклонам головы меньше 15°, температуре окружающей среды в диапазоне -15 - +30°С, наличию усов и бороды. Применение предложенного способа выделения характерных точек сосудистого рисунка снизило вероятность выделения ложных точек ветвления сосудистого рисунка на 0,08 и конечных точек на 0,12 за счет использования уточненных условий характерных точек. Собрана база термографических изображений, содержащая 1573 снимков 146 человек разного возраста, пола, телосложения и состояния здоровья; термограммы получены в разное время суток, при различных условиях окружающей среды (температуре в диапазоне -15 - +30°С, освещенности, влажности). Применение предложенной методики верификации личности на собранной базе данных позволило снизить вероятность ложного отказа верификации в естественных условиях на 0,15 (по сравнению с методом Р. Буддхарайя, И. Павлидиса).

Апробация работы. Основные положения и результаты работы докладывались и обсуждались на следующих конференциях:

— Первая Российская научно-практическая конференция по биометрическим технологиям "БТ-2011", Москва, 29-30 марта 2011.

— ХХ-я Международная Конференция по Компьютерной Графике и Зрению «СгарЫСоп'2010», Санкт-Петербург, 20-24 сентября 2010.

— ХУН-я Международная конференция «Математика, компьютер, образование», Дубна, 25-30 января 2010.

Публикации и личный вклад. Диссертация основана на теоретических, методических и экспериментальных исследованиях, выполненных непосредственно автором в период 2009-2013 г.

По результатам проведенных исследований опубликовано семь печатных работ, отражающих основные выводы диссертации, в том числе две работы (первая и вторая в списке опубликованных работ) в изданиях из перечня ВАК ведущих рецензируемых научных журналов и изданий.

Внедрение результатов исследований. Результаты работы реализованы и внедрены в учебный процесс кафедры системного анализа и управления университета «Дубна» и используются при проведении лекций и семинарских занятий в курсах «Интеллектуальные системы принятия решений» и «Теория принятия решений», во ФГУП «НИИ Прикладной Акустики» при разработке специального программного обеспечения верификации личности по термографическим изображениям лица, что подтверждено соответствующими актами об использовании результатов.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения и списка литературы, включающего 105 наименований. Основная часть работы изложена на 121 странице машинописного текста. Работа содержит 55 рисунков и 16 таблиц.

СОДЕРЖАНИЕ РАБОТЫ

Во введении приведена общая характеристика работы, обоснована ее актуальность, сформулирована цель исследования, показана новизна и практическая значимость полученных данных, изложены защищаемые положения.

В первой главе проведен анализ существующих методов верификации личности по термографическим изображениям. Рассмотрен состав биометрической системы верификации личности. Приведены определения ошибок в системе верификации.

Заданы две гипотезы:

- Я0: рк'= Рк — введенный образец человека соответствует введенному ключу (т.к. введенный образец и образец из базы одинаковы);

- Я,: Ркрк — введенный образец человека не соответствует введенному ключу (т.к. образцы разные), обнаружен злоумышленник.

Решение системы верификации основывается на сравнении меры сходства образцов $(РК\РК), я е[0,1] с пороговой величиной Т. Могут быть получены четыре решения: (я0,.у £ т) — правильная верификация, (Н„^<Т) — ложный отказ верификации, (я^^г) - ложная верификация, (я,,^ < т) -

правильный отказ верификации. Вычисление вероятностей правильной верификации Ргм, ложного отказа верификации Р№Я (ошибки первого рода), ложной верификации РГАЯ (ошибки второго рода), и правильного отказа верификации Ртм приведено в (1).

щнв.1ЪТ) лг(я„даг)

™ ЛГ(Я0) ' ™ Я(Я,) '

где ЛГ(Я0,$£Г) — число людей, удовлетворяющих гипотезе Я0 и условию

одновременно.

Обоснованы требования к точности, исходя из ошибок верификации. Разработана функциональна схема системы верификации личности. Обоснованы следующие выводы: оценка качества поступающих термограмм и выделенных индивидуальных признаков способствует снижению времени и повышению качества верификации; регулярное обновление базы данных снижает влияние фактора старения, препятствующего стабильной верификации.

Постановка задачи

Задано термографическое изображение, описываемое матрицей температур Т = (/,;)| = 1,и, у = 1,от. Термографическое изображение содержит лицо человека, полученное при температуре фона в диапазоне -15 - +30°С.

Заданы условия положения лиц при регистрации термограммы: лицо анфас находится на расстоянии 0,8 - 1,5 м от ИК-камеры, положение ограничивается углом поворота меньше 15° и углом наклона меньше 35°.

Заданы условия, что человек при регистрации термограммы снимает очки, если их оправа закрывает внутренние углы глаз, поправляет головной убор и прическу так, чтобы они не закрывали более половины щек и лба.

Задано условие, что у человека во время регистрации термограммы нет воспалительных заболеваний, следствиями которых является гипертермия области переносицы с температурой выше 35,0°С.

Необходимо:

— провести верификацию личности в поставленных условиях;

— провести оценку точности верификации личности в виде расчета вероятностей ошибок первого PFRR и второго рода PFAR согласно (1);

— обосновать зависимость величины меры сходства S(PK',PK) от фактора старения;

— обосновать зависимость характерных признаков от температуры фона.

Вторая глава посвящена алгоритму автоматического выделения области лица на термографическом изображении на основе выделения внутренних углов глаз и геометрических пропорциях лица человека. Алгоритм состоит из 4 этапов.

1 Этап: выбор порога для выделения области лица из фона. Этап заключается в предварительной обработке изображения с целью выделения из окружающей среды объекта, который может оказаться человеком. Методом k-средних получают значение fi„ для фона, соответствующее центру самого холодного кластера, рассчитывают отклонение aN. По значению температуры фона определяется среднее значение температуры кожи лица (ts и отклонение ers, используя экспериментально полученную зависимость температуры кожи лица от температуры окружающей среды.

Полученные значения fiN, crN, fts и crs используются для выделения области, соответствующей коже лица, моделируя распределения температур для кожи и фона одновременно (2-3).

где о, - вес точек, соседних х, I(i,j), IUASK(J,j), IFACEifJ) - точка (i,j) термограммы, значение маски отклика на кожу в точке (i,j) и результат выделения кожи лица в точке (/,/) соответственно; Рж;л,(х) и PSK/W(x) —

h

О если pSKm(l(i,j))^p ]

NON_SKIN

NON_SKIN

вероятности, что температура в точке х является кожей или фоном соответственно.

Для каждой строки ] изображения находится левая х\ и правая х'г граница области предполагаемого лица; для всего изображения определяется точка У,, соответствующая верхней точке потенциальной области лица (рисунок 1а).

а) б) в)

Рисунок 1 — Процесс выделения лица: а — этап I: пороговая фильтрация и определение верхней границы лица; б - этап И: определение моды правой и левой границ лица; в - этап III: выделение и корректировка линии глаз

2 Этап: расчет участка для нахождения линии глаз. Находятся моды левой и правой границы (X, и Хг), мода для средней линии области Хш и мода ширины области ^(рисунок 16). Исходя из пропорций лица, значения верхней точки головы и значения средней ширины рассчитывается теоретическое значение линии глаз: Yeye = Y, + round(0,68xfV).

Задается область для поиска реального значения линии глаз (4) с учетом масштаба (рисунок 1в).

IУеуе ~ border х кх ; У^ + borders х кх j. (4)

3 Этап: нахождение линии глаз на выделенном участке. Установлено, что внутренние углы глаз на профиле являются двумя локальными максимумами, симметричными относительно границ и серединной линии лица (рисунок 2).

а)

34

32

* 30 к*

28 26

Левая фншша

Серел! нна

*и

Правая граница

0

100

250

150 200 X,

Расстояние, пиксель б)

Рисунок 2 - Нахождение линии внутренних углов глаз: а - часть исходного изображения термограммы лица, содержащий линию глаз; б - тепловой профиль, соответствующий линии глаз

На выделенной области (4) находится строка термограммы у0, удовлетворяющая условиям (5).

Х!\ -X, - Хг ■

(5)

*/>, ~ Xr xF2 т -t > 0 5 °Г

, шах v-

где U - значение температуры в точке (i, у0), ах, - абсцисса точки (х„ у0), Тшу. - максимум температуры на интервале для нахождения линии глаз, X, и Хг— левая и правая границы лица, соответственно, Xm.d - средняя линия области, «подозрительной» на лицо.

Установлено, что альтернативные зоны гипертермии лица, представленные симметричными зонами гипертермии на границе открытых и

закрытых участков тела, воспалительными процессами, вегетососудистой дистонией, не удовлетворяют разработанному набору условий (4) и (5).

4 Этап: вычисление границ области лица. На изображении расставляются маркеры глаз (соответствующие выбранным пикам Р1 и Р2). Вычисляется ширина области предполагаемого лица на уровне глаз: г/ = 2х тгх(1У — Х,,ХГ -IV). В зависимости от ширины лица, рассчитывается верхний угол прямоугольника, заключающего потенциальное лицо, его длина и ширина. Выделенная таким образом область принимается за лицо.

Приведено сравнение предложенного алгоритма с существующим алгоритмом, основанным на Байесовских сетях (Р. Буддхарайя, И. Павлидис). Алгоритмы тестировались на трех различных базах данных:

- Лабораторные условия: 25 человек, 125 изображения, температура фона в диапазоне 20 - 25°С, влажность воздуха 40 - 60%, экранированы источники теплового излучения, исключено движение воздуха в помещении в момент получения данных;

- Условия холода: 12 человек, 112 изображений, температура фона в диапазоне -15 - 0 °С, влажность воздуха 80 - 90%, осадки, ветер;

- Естественные условия: 135 человек, 1377 изображений, температура фона в диапазоне +15 - +30°С, влажность воздуха 50 - 90%.

Результат выделения лица приведен в таблице 1.

Таблица 1. Выделение области лица двумя алгоритмами

Название базы данных Вероятность выделения лица

Существующий Предложенный

Лабораторные условия 0,98 0,98

Условия холода 0,71 0,92

Естественные условия 0,78 0,97

Третья глава посвящена разработке методики верификации личности по термографическим изображениям лица. Методика состоит из четырех основных блоков: выделения области лица на термографическом

изображении, экстракции характерных признаков, создания шаблона признаков и сравнения двух шаблонов (рисунок 3).

Рисунок 3 - Методика верификации личности по термограммам лица

Термографическое изображение поступает в блок выделения области лица (I), рассмотренный во второй главе. Производится компенсация наклонов головы (II), для чего на отрезке (4) находят два максимума температуры, точки (*,,;>>,) и (х2, у2). Угол, образованный прямой, проходящей через два максимума, соответствующих внутренним углам глаз, и положительным направлением оси X, соответствует углу наклона головы а.

Детектированная область лица с учетом проведенного поворота масштабируется (III) до размеров rmn pix. Дальнейшая экстракция характерных признаков производится по масштабированным изображениям. Преобразование позволяет в дальнейшем выделять признаки, инвариантные к масштабу и наклону головы.

Следующим этапом является экстракция характерных признаков (IV), для чего по выделенной масштабированной области лица выделяется сосудистый рисунок (IV.I). Повысить контраст границ сосудов, размытых по

причине диффузии тепла, можно с помощью фильтра анизотропной диффузии (алгоритм Р. Буддхарайя, И. Павлидиса).

После этого сосудистый рисунок сглаживается (заполняются локальные пустоты, удаляются отростки) с помощью морфологических операций обработки изображений. Рисунок 4а демонстрирует результат применения фильтра анизотропной диффузии.

*

а) б) в)

Рисунок 4 - Выделение индивидуальных физиологических данных: а -подкожный сосудистый рисунок; б -характерные точки на скелетизованном сосудистом рисунке (синие маркеры - точки ветвления, желтые - конечные точки); в - пример характерных точек: вверху -ветвления; внизу - конечная

Вычисляется локальная ориентация сосудов помощью модифицированного фильтра Габора (IV.II), проводится бинаризация рисунка (IV.HI) и утоныпение до ширины в один пиксель (IV.IV, рисунок 46, скелет выделен зеленым цветом, алгоритм Лам, Ли, Суена).

Выделяются характерные точки скелетизованного сосудистого рисунка (1У.У, рисунок 4в). Характерными точками называют точки ветвления скелета, т.н. точки ветвления (рисунок 4е сверху) и конечные точки (рисунок 4е внизу).

Предложен способ, рассматривающий восьмисвязную окрестность каждой точки с радиусом 1 и 2. Точка является характерной, если выполняются оба условия (6).

7 15 7 15

£ Л'', = 3 и 2 N. = 3 -> т. ветвления, ^ Ы, = 1 и ^ Л^. = 1 -» конечная т. (6)

¡-С ¡-0 1-0 у^}

Проведена экспериментальная апробация предложенного способа и его сравнение с двумя существующими методами (первый — Буддхарайя и Павлидиса, второй - по работам Сеала и Насипури; оба метода основаны на детекции точек с радиусом 1 и последующим удалением ложных точек; друг от друга отличаются условиями нахождения точек ветвления). Выбрано 15 термографических портретов людей разного возраста, пола, снятых в различных условиях окружающей среды; на выбранных термограммах детектировано лицо, проведена компенсация наклонов головы и масштабирование; выделен, бинаризован и скелетизирован сосудистый рисунок. По сосудистому рисунку выделялись характерные точки тремя вышеизложенными способами. Визуальным анализом устанавливалось, являются ли детектированные точки действительными точками ветвления или конечными точками. Средние значения вероятностей правильного выделения и ложного выделения для трех способов приведены в Таблице 2.

Таблица 2. Вероятности выделения характерных точек

Среднее значение Вероятность правильного выделения Вероятность ложного выделения

Метод 1 Метод 2 Предложенный способ Метод 1 Метод 2 Предложенный способ

Точки ветвления 0,93 0,95 0,96 0,11 0,09 0,05

Конечные точки 0,92 0,92 0,93 0,19 0,19 0,07

Экспериментально установлено, что предложенный способ снизил вероятность выделения ложных точек ветвления сосудистого рисунка на 0,08 и конечных точек на 0,12.

Для создания шаблона характерных признаков (V) вычисляются признаки характерных точек (УЛ). Каждой выделенной характерной точке К ставится в соответствие определенный набор атрибутов: {X, У, Туре, в}, где X и У - координаты точки, Туре - тип (точка ветвления или конечная) и в-

функция ориентации гребня в точке с координатами (X, У). Все характерные точки, выделенные на одном термографическом портрете, объединяются в один вектор признаков (7).

Ьк {{X,, Г,, Туре,, %}, , У2, Туре2, Т2}... {Х„, ¥„, Туре„, 4>к }}. (7)

Полученный вектор признаков образует биометрический шаблон (У.П), который является уникальным для каждого человека и отражает индивидуальные особенности сосудистого рисунка.

Механизм сравнения двух шаблонов (VI) состоит в сравнении попарно всех ХТ шаблонов (У1.1). . Каждая характерная точка К первого вектора сравнивается со всеми точками второго вектора критериям (8).

где Аа и — допустимые отклонения между координатами точек и углами, соответственно, функция <Щ0 вычисляет разницу между двумя углами ориентаций в полуинтервале [0,2л).

Точки К и К' помечаются как совпавшая пара, если их типы совпадают и абсолютные разницы между координатами и ориентациями меньше пороговых значений Аа и Лт. Возможна ситуация, когда одной точке К по данным критериям соответствует больше одной точки второго вектора и наоборот. Это вносит нестабильность в процесс выделения совпавших пар. Для взаимно однозначного нахождения соответствующих пар точек (VI.II), автором предложен способ, основанный на «венгерском алгоритме».

Для вычисления результирующего значения меры сходства (VI.HI) между тестовым термографическим изображением и изображением из БД использована метрика (9).

Туре, = Туре' ]

(8)

где N — количество совпавших пар особых точек, N, и N, - общее число особых точек в тестовом векторе i и векторе термограммы j из БД, соответственно. Если вычисленное значение меры сходства выше некоторого порогового значения - тестовая термограмма классифицируется как идентичная изображению из БД.

Четвертая глава посвящена тестированию разработанной системы верификации по термографическим изображениям лица. Автором получена база термографические данных. Термограммы получены ИК-камерой «ИРТИС-2000МЕ», представляют собой матрицу температур размером 240x320 пикселей, снятых в спектральном диапазоне 3-5 мкм, с температурным разрешением 0,02°С (согласно технической документации).

База содержит 1377 снимков 135 человек разного возраста, пола, телосложения и состояния здоровья. Сбор данных проводился еженедельно в течение 5 недель летом 2011г. Термограммы снимались в различных помещениях с освещением в диапазоне 80 - 700 лк, термограф выставлялся на расстоянии от объектов в диапазоне 0,8 — 1,5 м. Снималось по пять термограмм каждого человека; если человек в обычной жизни носит очки -снимались 5 термограмм сначала в очках, а потом 5 без очков (аналогично экспериментам Университета Нотр-Дам с базой Equinox).

Результат сравнения предложенной методики верификации личности с существующей методикой Буддхарайя и Павлидиса приведен в Таблице 3.

Таблица 3 Вероятность правильной идентификации

Порог Вероятность правильной Вероятность отказа от

меры верификации (Ртм) верификации (PFm)

сходства предложенная существующая предложенная существующая

0,2100 1 1 0,55 0,70

0,1950 0,98 0,98 0,48 0,62

0,1850 0,97 0,96 0,43 0,57

0,1785 0,94 0,92 0,40 0,52

0,1650 0,90 0,89 0,37 0,47

0,1500 0,82 0,80 0,36 0,44

Приведены кривые зависимости величины ошибок первого и второго рода от порога меры сходства (рисунок 5а) и DET (рисунок 56), выражающая зависимость PFJR от РН№ для обеих методик. По первому графику (рисунок 5а) видно, что точка пересечения FAR и FRR (точка EER) для предложенной методики находится дальше от начала координат (0,130; 0,30), чем для существующей (0,127; 0,34). График DET (рисунок 56) показывает, что при вероятности правильной верификации 0,95 (FAR=0,05), вероятность отказа от верификации предложенной методики 0,41, что на 0,15 меньше чем у существующей методики (0,56).

—♦—Предложенная методика, FAR —■—Существующая методика, FAR —» - Предложенная методика, FRR —Существующая методжа, FRR

\ ^

\ X "

О 0.05 0,1 0.15 0.2 0,25

Мерз сходства

а)

-*- Предложенная методика

\ « Сущэствующая методика

V -*- FAR=0,05

, , , ч

0,00 0,20 0,40 0,60 0,80 1,00 FAR

б)

Рисунок 5 - Рабочие характеристики системы, а - зависимость величины ошибок первого и второго рода от порога меры сходства; б - ОЕТ-кривая

Для сравнения качества предложенной и существующей методики построена ROC-кривая (рисунок 6, графическая характеристика качества бинарного классификатора). В роли общей характеристики качества классификации, не зависящей от порога меры сходства, выступает площадь под ROC-кривой (area under curve). Для существующей методики площадь равна 0,667, для предложенной - 0,723. Увеличение площади под кривой говорит об улучшении качества верификации предложенной методикой.

Система Верификации разработана в среде Matlab. Приложение позволяет работать в трех режимах: добавления шаблона в БД, редактирования уже существующего шаблона и процедуры верификации. Приложение по верификации доступно всем пользователям, тогда как вкладки, позволяющие добавить и редактировать шаблоны, доступны только администратору.

о: <

—•— Предложенная методика,

3=0,723 -*— Существующая методика,

3=0,667 -*— Самая лучшая методика, Б=1

Самая худшая методика,

3=0,5

Рисунок 6 - Сравнение двух методик верификации: БЮС-кривая

Исследована устойчивость работы системы верификации к различным условиям окружающей среды. С этой целью проведен дополнительный сбор 84 термограмм 4 человек на открытом воздухе. Температура окружающей среды находилась в диапазоне -15 —10°С. Участники исследования все

время сбора данных находились на открытом воздухе. Результат верификации показал необходимость снижения порога меры сходства для верификации людей в условиях холода и сильного ветра (рисунок 7). Этот результат связан с тем, что на морозе температура лица равномерно снижается, поэтому мелкие сосуды сложнее детектировать.

О 0,05 0,1 0,15 0,2 0,25

мера сходства

Рис. 7 - Зависимость ЯКЯ от порога меры сходства для термограмм, полученных на холоде и в помещении

Исследована устойчивость работы системы верификации к фактору старения. Показано, что вероятность ложного отказа доступа Рпт не изменяется, если термограммы из базы данных и поступающие на верификацию сделаны с разницей в одну-четыре недели.

Результаты тестирования предложенной методики верификации личности по индивидуальным особенностям сосудистого рисунка и геометрическим пропорциям лица человека показали снижение вероятности ложного отказа доступа на 0,15 по сравнению с результатами Буддхарайя и Павлидиса на базе данных, собранной в естественных условиях. Установлена возможность верификации в условиях изменения освещенности, при изменении температуры окружающей среды в диапазоне -15 — +30°С, маскировке, что говорит о достижении цели исследования.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ И ВЫВОДЫ

1. Разработан алгоритм автоматического детектирования лица на термографических портретных изображениях, основанный на физиологических особенностях лица человека. Установлено, что алгоритм обнаруживает присутствие человека на термограмме с вероятностью 0,98 и работает при различной температуре окружающей среды (проведена проверка в диапазоне -15 — +30°С) и поворотах и наклонах головы не более 15°, наличию усов и бороды.

2. Разработан способ выделения индивидуальных характерных особенностей по портретным термографическим изображениям, основанный на детектировании конечных точек и точек ветвления скелетизованного сосудистого рисунка. Предложенный способ снизил вероятность выделения ложных точек ветвления сосудистого рисунка на 0,08 и конечных точек на 0,12 за счет использования уточненного набора условий для существования конечной точки и точки ветвления сосудистого рисунка лица.

3. Собрана база термографических изображений, содержащая 1573 снимков 146 человек разного возраста, пола, телосложения и состояния здоровья; термограммы получены в разное время суток, при различных условиях окружающей среды (температуре в диапазоне -15 - +30°С, освещенности в диапазоне 80 - 700 лк).

4. Разработана система автоматической верификации по термографическим изображениям, основанная на предложенной методике верификации личности по индивидуальным особенностям сосудистого рисунка и. геометрическим пропорциям лица человека. Показано, что применение методики позволило снизить вероятность отказа от верификации на 0,15.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИОННОЙ РАБОТЫ

1 Баша, Н. С. Алгоритм автоматической выделения лица на

термографических изображениях / Н. С. Баша, Л. А. Шульга // Научный

журнал «Информатика и ее применение». — 2011. — Т. 5. — № 1. — С. 73— 77.

2 Баша, Н. С. Система выделения подкожного кровеносного рисунка по термографическим изображениям / Н. С. Баша, JI. А. Шульга // Журнал «Вестник МГТУ им. Н.Э. Баумана. Сер. Естественные науки». — 2012. — №2(45). — С. 98—106.

3 Черемисина Е. Н. Распознавание личности по термографическим изображениям лица: современное состояние, перспективы развития [Электронный ресурс] / Е. Н. Черемисина, Н. С. Баша // Электронное научное издание «Системный анализ в науке и образовании». ISSN: 2071-9612. — 2012. — №2. — Режим доступа: http://www.sanse.ru/archive/24.

4 Баша, Н. С. Метод верификации личности по термографическим изображениям лица в реальных условиях [Электронный ресурс] / Н. С. Баша // Электронное научное издание «Системный анализ в науке и образовании». ISSN: 2071-9612. — 2013. — №3. — Режим доступа: http://www.sanse.ru/archive/29.

5 Баша, Н. С. Алгоритм автоматического выделения лица на термографических изображениях / Н. С. Баша, Л. А. Шульга // XX Междунар. конф. по компьютерной графике и зрению «Графикон'2010»: Сб. трудов. — Санкг Петербург. — 2010. — С. 300-303.

6 Баша, Н. С. Автоматическое выделение пор отпечатков пальцев в задачах идентификации личности на основе метода k-средних [Электронный ресурс] / Н. С. Баша, JI. А. Шульга // Электронное научное издание «Молекулярные технологию). ISSN: 1996-5362. — 2010. — Т. 4. — Режим доступа: http://www.niipa.ru/iournal/articles/10.pdf.

7 Баша, Н. С. Применение метода k-средних для выделения круглых пор отпечатка пальца / Н. С. Баша, JI. А. Шульга // Тезисы докладов XVII-й Международной конференции «Математика, компьютер, образование», Сборник тезисов. — ОИЯИ, Дубна. — 2010. — С.90.

Подписано в печать 20.11.2013. Формат 60x84 1/16. Усл. печ. л. 1,15. Тираж 100 экз. Заказ 186. Типография «Фабрика Переплета Триумф» 125009, Москва, Страстной б-р. 6 ст.1 Тел.8 (916) 351-39-43

ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ МОСКОВСКОЙ ОБЛАСТИ МЕЖДУНАРОДНЫЙ УНИВЕРСИТЕТ ПРИРОДЫ, ОБЩЕСТВА И ЧЕЛОВЕКА «ДУБНА»

МЕТОДИЧЕСКОЕ ОБЕСПЕЧЕНИЕ ВЕРИФИКАЦИИ ЛИЧНОСТИ ПО ИНДИВИДУАЛЬНЫМ ОСОБЕННОСТЯМ СОСУДИСТОГО РИСУНКА И ГЕОМЕТРИЧЕСКИМ ПРОПОРЦИЯМ ЛИЦА ЧЕЛОВЕКА В ЕСТЕСТВЕННЫХ УСЛОВИЯХ

Специальность 05.13.01 - «Системный анализ, управление и обработка информации» (в науке и промышленности)

УДК 004.931

04201452Ш

На правах рукописи

БАША НАТАЛИЯ СЕРГЕЕВНА

Диссертация на соискание ученой степени кандидата технических наук

Научный руководитель доктор технических наук, профессор Черемисина Евгения Наумовна

Дубна— 2013

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ.......................................................................................................................5

Глава 1. Обзор и анализ методов биометрической идентификации личности по термографическим изображениям..................................................................................9

1.1 Основные понятия биометрической аутентификации личности.....................9

1.2 Термография........................................................................................................13

1.2.1 Инфракрасное излучение и его измерение................................................15

1.2.2 Тепловое излучение человека......................................................................19

1.2.3 Факторы, влияющие на тепловое излучение человека.............................20

1.2.4 Распознавание личности по термографическим изображениям..............22

1.3 Базы термографических изображений..............................................................29

1.4 Результаты анализа литературы........................................................................32

1.5 Биометрические подсистемы.............................................................................33

1.5.1 Биометрическая идентификация и верификация......................................34

1.5.2 База биометрических данных......................................................................35

1.5.3 Регистрация в биометрической базе данных.............................................36

1.6 Сопоставление биометрических образцов.......................................................37

1.7 Вычисление ошибок............................................................................................40

1.7.1 Определение FAR и FRR, положительная аутентификация....................41

1.8 Качество работы системы и вопросы разработки............................................43

1.9 Функциональная схема системы верификации личности...............................45

1.10 Постановка задачи.............................................................................................47

1.11 Выводы...............................................................................................................47

Глава 2 Алгоритм автоматического выделения области лица на термографическом изображении................................................................................49

2.1 Исследование температурных особенностей лица человека..........................49

2.2 Алгоритм выделения лица..................................................................................53

2.3 Апробация алгоритма выделения лица.............................................................57

2.3 Выводы.................................................................................................................59

Глава 3. Методика верификации личности..................................................................60

3.1 Методика верификации личности по индивидуальным температурным

особенностям сосудистого рисунка лица...............................................................60

3.2 Компенсация наклона головы............................................................................61

3.3 Масштабирование области лица........................................................................62

3.4 Выделение индивидуальных физиологических особенностей......................62

3.4.1 Алгоритм выделения сосудистого рисунка...............................................62

3.4.2 Определение ориентации сосудистого рисунка........................................66

3.4.3 Бинаризация сосудистого рисунка..............................................................67

3.4.3 Утоныпение сосудистого рисунка..............................................................67

3.4.4 Выделение характерных признаков............................................................68

3.5 Создание шаблона признаков............................................................................72

3.6 Разработка решающего правила........................................................................74

3.7 Вычисление меры сходства................................................................................76

3.8 Вычисление порога меры сходства на обучающей выборке......................78

3.8.1 Результат распознавания на тестируемой выборке...................................80

3.9 Выводы.................................................................................................................81

Глава 4. Апробация системы верификации личности................................................82

4.1 База Термографических Данных.......................................................................82

4.1. Технические характеристики ИК-камеры «ИРТИС-2000МЕ».................82

4.1.2Состав Базы Данных......................................................................................84

4.1.3Порядок создания записи в Базе Данных....................................................84

4.2 Результаты тестирования: показатели эффективности разработанной системы.......................................................................................................................85

4.3 Результаты тестирования: сравнение с существующей методикой..............90

4.4 Результаты тестирования системы: время верификации................................93

4.5 Интерфейс системы верификации пользователя по термографическим изображениям............................................................................................................97

4.6 Исследования устойчивости экстрагированных признаков в зависимости от различных условий..................................................................................................100

4.6.1 Фактор старения..........................................................................................100

4.6.2 Действие отрицательных температур.......................................................101

4.6.3 Маскировка..................................................................................................103

4.7 Исследования устойчивости верификации в зависимости от возраста верифицируемого....................................................................................................104

4.8 Исследования устойчивости верификации в зависимости от пола верифицируемого....................................................................................................105

4.9 Выводы...............................................................................................................106

ЗАКЛЮЧЕНИЕ.............................................................................................................107

СПИСОК ЛИТЕРАТУРЫ............................................................................................111

ВВЕДЕНИЕ

Актуальность работы

Термография — одно из молодых и перспективно развивающихся направлений биометрических систем верификации личности. Достоинствами термографии являются дистанционность, устойчивость к изменению освещенности, возможность пресекать попытки фальсификации личности посредством внешней маскировки и использования муляжа.

Методики верификации личности по портретным термографическим изображениям разрабатываются в Университете Лавала (Канада) [45, 46], в Лаборатории Компьютерного зрения Университета Нотр-Дам (США) [48, 49, 50, 52, 53], научной группой Национального университета Ченг Кунга (Тайвань) [54, 55, 56] и многими другими. В России данное направление только начинает развиваться, схожими исследованиями занимаются в Институте теоретической и экспериментальной биофизики РАН г. Пущино [10, 12, 14, 17].

Известные методики тестировались на базах термографических портретов (Equinox [57], Laval University Database [58, 59], UTK-IRIS Database [60] и др.), содержащих изображения разных людей с учетом поворотов головы, изменений внешнего вида и освещенности. Однако, в них нет изображений, полученных в естественных условиях (на открытом воздухе, при наличии источников теплового излучения и др.) и они предполагают наличие на термограмме единственного объекта - лица человека, локализуемого областью эллиптической формы или значением температуры кожи.

В связи с расширением класса задач, решаемых биометрическими системами (верификация в местах массового скопления людей), возникает необходимость верификации личности не только в лабораторных условиях (или близких к ним), но и в естественных условиях.

Например, существующая методика, предложенная Р. Буддхарайя, И. Павлидисом в [48, 49, 50, 52, 53] и основанная на индивидуальных особенностях сосудистого рисунка, показывает хорошие результаты работы в

лабораторных условиях (при значении вероятности ложной верификации 0,05 достигается вероятность ложного отказа доступа, равная 0,3), однако в естественных условиях данный метод дает неудовлетворительные результаты (вероятность ложного отказа доступа 0,65).

Таким образом, повышение точности верификации личности в естественных условиях является актуальной задачей, для решения которой необходимо решить дополнительные задачи, отсутствующие при верификации личности в лабораторных условиях: детекция лица на изображении, выявление зависимости температуры лица от температуры окружающей среды, учет наклона и поворота головы и др.

Одним из путей решения является методика верификации личности по индивидуальным особенностям сосудистого рисунка и геометрическим пропорциям лица человека, с использованием информации о расположении внутренних углов глаз и геометрических пропорциях лица человека, детекцией характерных признаков, инвариантных к наклону, повороту и масштабированию области лица, уточнением условий существования характерных точек сосудистого рисунка лица.

Объект исследования: биометрическая система верификации личности по термографическим изображениям лица.

Предмет исследования: методики и алгоритмы детектирования лица и анализа характерных особенностей сосудистого рисунка по термографическим изображениям среднего и дальнего ИК-диапазона.

Цель исследования: повышение точности и расширение условий применения систем верификации личности по термографическим изображениям лица.

Основные задачи:

1 Анализ существующих методик верификации личности и обоснование требований к разработке новой методики.

2 Разработка методики верификации личности по индивидуальным температурным особенностям сосудистого рисунка лица

3 Разработка системы верификации личности по термографическим изображениям лица;

4 Экспериментальная апробация разработанной системы верификации личности на термографических изображениях, полученных в естественных условиях.

Научная задача состоит в разработке методик и алгоритмов выделения

лиц и индивидуальных характерных особенностей, обеспечивающих повышение

точности и расширение условий применения биометрических систем

верификации личности по термографическим изображениям лица. На защиту выносятся:

1. Алгоритм автоматического выделения области лица на термографическом изображении на основе выявления внутренних углов глаз и геометрических пропорций лица человека.

2. Методика верификации личности по индивидуальным температурным особенностям сосудистого рисунка лица.

3. Результаты экспериментальных исследований биометрической системы верификации личности по термографическим изображениям лица.

Научная новизна:

1. Научная новизна первого результата заключается в том, что решена задача автоматического выделения области лица на термограмме. В отличие от существующих подходов, основанных на сегментации с использованием сетей Байеса или нейронных сетей, нуждающихся в предварительном задании априорных вероятностей принадлежности точки объекту или фону или в обучении, предложенный алгоритм использует эмпирическую зависимость температуры кожи от температуры окружающей среды и расположение внутренних углов глаз для уточнения границ детектированной области.

2. Научная новизна второго результата заключается в том, что решена задача формирования биометрического шаблона характерных особенностей сосудистого рисунка лица в не рассматриваемых ранее условиях и ограничениях: инвариантности к масштабу и наклону лица на

термографическом изображении, особенностям окрестностей конечных точек и точек ветвления сосудистого рисунка (изменение ориентации сосудистого рисунка; значения величин углов, образуемых при ветвлении).

Практическая ценность полученных результатов заключается в том, что применение разработанной методики позволило повысить точность верификации и расширить условия применения систем верификации личности по термографическим изображениям лица. Разработанный алгоритм автоматического выделения области лица, позволяет найти и выделить масштабированную область лица с точностью 0,98; инвариантную к поворотам и наклонам головы меньше 15°, температуре окружающей среды в диапазоне -15 -+30 °С, наличию усов и бороды. Предложенная методика выделения характерных точек сосудистого рисунка увеличила точность выделения точек ветвления сосудистого рисунка на 0,08 и конечных точек на 0,12. Применение предложенной методики верификации личности позволяет снизить вероятность ложного отказа при верификации в естественных условиях на 0,15 (по сравнению с методикой Р. Буддхарайя, И. Павлидиса [48, 49, 50, 52, 53]).

Глава 1. Обзор и анализ методов биометрической верификации личности по термографическим изображениям

В первой главе приводится основная используемая в диссертации терминология, дается описание существующим подходам к распознаванию личности по термографическим портретам, способам тестирования и критериям сравнения различных методик верификации. Рассматриваются области их применения, достоинства и недостатки методов с точки зрения удобства использования и с точки зрения их устойчивости по отношению к угрозам. Обосновывается актуальность разработки нового метода верификации личности по портретным термографическим изображениям, позволяющего частично снять недостатки существующих методов.

Рассматривается вопрос построения биометрической системы верификации. Дается общее представление биометрической системы как системы распознавания образов; описываются две основные подсистемы: регистрация и верификация. Рассматривается вопрос определения ошибок в системах биометрической верификации. Приводится список основных требований, предъявляемых к биометрическим системам и системам распознавания образов. Разрабатывается функциональная схема для системы верификации личности по термографическим изображениям.

Формулируется постановка задачи исследований, проводимых в работе.

1.1 Основные понятия биометрической аутентификации личности

С задачей распознавания личности человек сталкивается ежедневно, так как для многих видов приложений необходимым условием является гарантия идентичности личности. Надежная аутентификация становится необходимым атрибутом повседневной жизни: люди ее используют при совершении финансовых операций, посадке на самолет, входе в систему компьютера. Верификация личности становится трудной задачей, когда требуется высокая точность, то есть низкая вероятность ошибок. Одновременно пользователь

должен испытывать как можно меньше неудобств при прохождении процедуры верификации.

Идентификационные карты могут быть утеряны или подделаны, а пароль может быть забыт или передан другому человеку, поэтому традиционные методы идентификации, основанные на идентификационных картах, номерах или на недоступных другим знаниях (таких, как пароль или номер страховки), являются ненадежными. Одним из решений надежной и положительной идентификации личности является использование биометрических параметров.

Биометрия - это наука об идентификации или верификации человека по физиологическим или поведенческим отличительным характеристикам [1, с. 19]. Физиологические биометрические параметры, такие как отпечатки пальцев или геометрия руки, являются физическими характеристиками, которые обычно измеряются в определенный момент времени. Поведенческие параметры, например, подпись, голос, представляют собой последовательность действий и длятся в течение определенного периода времени. Общие понятия аутентификации личности

Выделяют три традиционных способа аутентификации (рисунок 1.1):

• По собственности - аутентификация осуществляется по физическим предметам, таким как ключи, паспорт и смарт-карты;

• По знаниям - аутентификация осуществляется по информации, которая должна храниться в секрете и которую может знать только определенный человек, например, пароль или парольная фраза. Знания могу представлять собой относительно конфиденциальную информацию, которая может и не быть секретной, например, девичья фамилия матери.

• По биометрическим параметрам - аутентификация осуществляется по физиологическим или поведенческим характеристикам индивида.

Рисунок. 1.1 - Три основных способа подтверждения личности человека

Формально можно использовать любую индивидуальную особенность, у которой есть биометрические характеристики, такие как уникальность, постоянство и т.д.

Три способа аутентификации могут использоваться в комбинации, особенно при автоматической аутентификации. Например, вариант «пароль плюс идентификационный номер» объединяет в себе общеизвестные знания с секретной информацией, банковская карта, как собственность, требует знаний для совершения операций, паспорт - это собственность с изображением лица и подписью, которые относятся к биометрическим параметрам [1, с. 21]. В биометрии различают два аутентификационных метода:

1 Верификация, основанная на биометрическом параметре и на уникальном идентификаторе, который выделяет конкретного человека (�