автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Метод обработки дистанционной биометрической информации в системах контроля и управления доступом

На правах рукописи

Десятников Андрей Александрович

Метод обработки дистанционной биометрической информации в системах контроля и управления доступом

Специальность 0513 11 - «Математическое и программное _ обеспечение вычислительных машин, комплексов и компьютерных сетей»

Автореферат диссертации на соискание ученой степени кандидата технических наук

Москва 2007

Работа выполнена в Вычислительном центре им. A.A. Дородницы Российской академии наук

Научный руководитель доктор физико-математических наук,

Цурков Владимир Иванович

Официальные оппоненты:

доктор технических наук Гостев Иван Михайлович,

кандидат технических наук

Кринов Сергей Николаевич.

Ведущая организация - ФГУП ГосНИИАС

Защита диссертации состоится " { " 2007 г.

в часов на заседании диссертационного совета Д 002.017.02

в Вычислительном Центре им. A.A. Дородницына Российской академии наук по адресу: 119333 Москва, ул. Вавилова, д. 40.

С диссертацией можно ознакомиться в библиотеке ВЦ РАН. Автореферат разослан csu-Cfr&üfog 2007 г.

Ученый секретарь

диссертационного совета Д 002.017.02 А

доктор физико-математических наук [а/Л^^^ В.В.Рязанов

Общая характеристика работы

Актуальность темы

Обработка биометрической информации служит для решения ряда важных задач с точки зрения обеспечения безопасности и повышения качества обслуживания Биометрическая система используют для идентификации набор неотъемлемых признаков людей, что является предпочтительным с точки зрения защиты от краж, копирования или потери идентификационных признаков Вариантами применения биометрических технологий на текущий момент являются внедрение их в системы контроля и управления доступом в качестве основных или вспомогательных средств идентификации, внедрение вспомогательных идентификационных технологий в сферу обслуживания (в том числе, при обслуживании важных лиц) и в системы безопасности повышенной надежности, а также в правоохранительные системы Применения не ограничиваются контролем физического перемещения субъектов или объектов, но включают управление правами пользования материальными и информационными ресурсами В полуавтоматическом режиме биометрические системы позволяют быстро решать технические проблемы, связанные с поиском идентификационной информации и формированием гипотез для обоснованного принятия решения человеком

С точки зрения практического применения биометрических технологий актуальны вопросы взаимодействия человека с системой время считывания идентификационных признаков, время идентификации, физические и психологические препятствия для считывания признаков, удобство и естественность протоколов взаимодействия с системой Время считывания во многом зависит от природы используемых биометрических признаков Квазидинамические признаки (например, голос, динамика подписи или печати на клавиатуре) требуют значительно большего времени считывания для обеспечения достоверного результата Время идентификации определяется скоростью работы алгоритмов системы На практике обычно

3

требуют работы систем в режиме реального времени, то есть время идентификации должно мало отличаться от времени считывания признаков Некоторые биометрические технологии вызывают на практике психологическое отторжение у пользователей (например, считывание радужной оболочки или сетчатки глаза) или при современном развитии малопригодны для взаимодействия с людьми нестандартного телосложения (например, считывание радужной оболочки) Естественность требований к поведению пользователя также определяет его лояльность к системе Самым удобным вариантом является отсутствие каких-либо требований и дополнительных действий (например, передвижений или контакта с системой) В этом плане актуально использование дистанционной идентификации Специфичностью действий объясняется ограниченность практического применения таких признаков, как клавиатурный почерк Практически приемлемо выполнение только простейших естественных действий

С точки зрения применения биометрических систем в полуавтоматическом режиме и организации внешнего контроля над деятельностью систем биометрической идентификации актуальна возможность простого взаимодействия с оператором или аудитором Идентификационная информация должна быть представлена в таком виде, чтобы оператор или аудитор смог быстро принять по ней самостоятельное идентификационное решение

Биометрические решения, использующие только один идентификационный признак подвержены специфическим проблемам и угрозам атак. Квазистатические признаки подделываются при помощи муляжей Квазидинамические подменяются обычно более сложными копиями Изменения в окружающих условиях и физические изменения в организме пользователя могут повлиять на результаты идентификации Более надежным является подход, основанный на использовании нескольких биометрических признаков разной природы, как квазистатических, так и

4

квазидинамических При этом возникает дополнительная потребность в вычислительных ресурсах Актуальным также становится решение проблемы роста вычислительной сложности и понижения надежности идентификации с ростом количества пользователей (так называемой масштабируемости)

Возникает вопрос разработки метода идентификации на базе биометрических данных, учитывающего все описанные выше особенности При этом актуальность архитектуры системы связана с уменьшением влияния основных возникающих практических угроз и проблем идентификации Цель работы.

Целью нашей работы является разработка и тестирование метода идентификации человека на базе дистанционных биометрических данных в контексте задачи контроля и управления доступом, работающего в режиме реального времени и позволяющего решать следующие задачи а Устранение зависимости характеристик метода от числа пользователей, Ь Повышение надежности метода идентификации, с. Повышение защищенности от ложных отказов в доступе, связанных со сложными условиями освещения, изменениями во внешнем виде человека или выражении лица, помехами на лице или предельньми ракурсами съемки, (1 Повышение защищенности от несанкционированного доступа при помощи грима или муляжей, а также других вариантов копирования статического изображения лица или голоса

е Обеспечение приемлемых для практического использования характеристик времени доступа и сложности взаимодействия пользователя с методом,

Г Возможность удобного контроля и аудита работы метода Методы исследования.

Для решения вышеперечисленных задач использованы методы теории обработки данных, теории распознавания образов, теории вероятностей,

компьютерного зрения Реализация этих методов осуществлена в виде программного обеспечения на языках программирования С/С++ и Ма^аЬ Научная новизна.

Автором впервые предложен эффективный метод дистанционной идентификации человека в режиме реального времени на базе биометрических данных, объединяющий способы распознавания человека по изображениям лица и голосу, а также использующий методы распознавания речи для замедления роста вычислительной сложности и устранения снижения надежности распознавания человека с ростом числа пользователей Автором предложен оригинальный подход к оценке качества изображения объекта с целью повышения надежности распознавания.

Получены новые численные оценки надежности идентификации человека в рамках представленного метода, объединяющего технологии распознавания человека по изображениям лица и голосу с применением распознавания речи

Практическая значимость.

Представлена практическая реализация разработанного метода в виде дистанционного мультимодального биометрического комплекса для идентификации человека в режиме реального времени по изображениям лица и голосу, который удовлетворяет требованиям к удобству пользования Продемонстрировано на практике повышение надежности распознавания на базе описанного подхода по оценке качества изображения При помощи разработанных методов и программно-аппаратных комплексов произведено накопление уникальной базы биометрических данных Продемонстрирована пригодность накопленных биометрических данных для отладки и тестирования биометрических технологий Положения, выносимые на защиту: 1 Методология дистанционной идентификации человека в режиме реального времени по последовательностям изображений лица и по речевым данным, включающая распознавание голоса и лица человека,

позвояяющиая сократить число анализируемых гипотез при помощи распознавания речи Программное обеспечение для програмнно-аппаратного комплекса, которое реализует методологию

2 Методология контроля качества изображений лица в мультимодальной системе дистанционной биометрической идентификации Программное обеспечение для програмнно-аппаратного комплекса, которое реализует методологию

3 Методология получения синхронных биометрических данных по изображениям лица, голосу и речи, используемых для отладки и тестирования комплекса дистанционной идентификации человека в режиме реального времени Программное обеспечение для програмнно-аппаратного комплекса, которое реализует методологию

4 Методология принятия совместного решения при верификации человека по последовательностям изображений лица и голосу, основанная на линейном разделении пространства мер сходства

5 Результаты тестирования надежности мультимодального комплекса дистанционной биометрической идентификации человека с применением разработанных методов и собранных биометрических данных, в том числе верификации по изображениям лица, верификации по голосу, связанной идентификации по липу и голосу

Для подтверждения научных положений приведены теоретические обоснования Полученные выводы подтверждены экспериментально

Личный вклад автора в проведенное исследование.

Вклад автора работы в результаты, выносимые на защиту, является определяющим

Апробация работы. Работа в целом и отдельные результаты докладывались и обсуждались на семинарах в ВЦ РАН им А А Дородницына, а также на следующих конференциях

1 Всероссийская научно-практическая конференция «Современный экстремизм в Российской Федерации особенности проявления и средства противодействия», Москва, 2006

2 Международная биометрическая конференция «Транспортные и пассажирские системы», Москва, 2006

3 Международная биометрическая конференция «Паспортные и правоохранительные системы», Москва, 2006.

4 бе Рабочее совещание Российской секции международного общества по интеллектуальным вычислениям «Биометрические системы» (IEEE Computational Intelligence Society, «Biometrics»), Москва, 2006.

Публикации. По теме диссертации опубликовано 5 печатных работ (из них 3 в списках журналов рекомендованных ВАК РФ)

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения и списка литературы, включающего 96 наименований Диссертация содержит 101 страницу машинописного текста, 4 таблицы и 24 рисунка

Содержание работы

Во введении дается обоснование актуальности темы, сформулирована цель работы и приведено описание основных полученных результатов Дана характеристика научной новизны и практической значимости диссертационной работы, а также представлена аннотация диссертационной работы по главам

В первой главе представлена основная используемая в диссертации терминология, содержится описание существующих подходов к идентификации человека, анализируются используемые методы биометрической идентификации, а также способы тестирования и критерии сравнения различных методов идентификации Приведены достоинства и недостатки технологий идентификации с точки зрения пользования и с точки зрения их устойчивости по отношению к угрозам В связи с этим для повышения устойчивости технологий, обоснована необходимость разработки

метода многофакторной идентификации на базе биометрических признаков различной природы Проанализированы существующие способы объединения биометрических признаков На базе изложенных принципов тестирования биометрических технологий обсуждаются результаты, полученные другими разработчиками Формулируются решаемые в работе задачи

Проведен анализ биометрических технологий и способов объединения признаков и на базе него сформулированы требования к методу идентификации человека в контексте контроля и управления доступом, включающие дистанционный захват биометрических признаков, обеспечение работоспособности с ростом числа пользователей, обеспечение приемлемых для пользователей длительности и сценария идентификации, обеспечение возможности контроля и аудита работы метода По результатам выбрана комбинация биометрических признаков - сочетание распознавания по изображениям лица и распознавания по голосу

Предложенный набор признаков хорош тем, что оба признака допускают дистанционное считывание Признаки имеют принципиально разную природу и характеристики, так как лицо является квазистатическим идентификационным признаком, а голос - квазидинамический признак Практической возможностью объединения квазистатических и квазидинамических признаков идентификации является сокращение длительности считывания квазидинамического признака Дополнительный анализ изображений лица в совокупности с синхронной записью голоса помогает убедиться, что перед системой находится живой человек и именно он произносит речевые фразы С точки зрения удобства признаков важно то, что идентификация по лицу и голосу является привычной для людей Данные признаки позволяют легко производить дополнительный контроль, что важно при использовании технологии в полуавтоматическом режиме, или проводить последующий аудит результатов идентификации

Во второй главе представлен разработанный метод мультимодальной идентификации человека и представлено подробное описание функциональной схемы для него Описана последовательность функциональных состояний и условий переходов между ними Приводятся характеристики функциональных элементов, выполняющих данные функции Обсуждаются варианты практической реализации блоков функциональных элементов и рассматривается наиболее удобный сценарий взаимодействия с пользователем при идентификации при помощи разработанного метода в контексте контроля и управления доступом

Пусть X - биометрический шаблон, Е,, £л, - набор эталонов для N пользователей, с1(,)~ мера сходства шаблона и эталона, тогда положительное решение идентификации принимается, если 3; е 1,N с1(Х,Е:) > Л, где //г - порог идентификации При биометрической идентификации, основанной на сравнении шаблона пользователя со всеми зарегистрированными эталонами, с ростом числа зарегистрированных пользователей понижается надежность идентификации и растет время идентификации. Обычно, проблему роста времени идентификации решают при помощи грубых методов сравнения шаблона с эталонами, которые позволяют выбрать подпоследовательность эталонов Е,, «N, что приводит к дополнительному ухудшению

надежности

Предложенный нами метод дистанционной идентификации человека по изображениям лица и голосу позволяет решить указанные проблемы за счет использования квазидинамического идентификационного признака как носителя аутентификационной информации Такой подход получил название связанная идентификация Произносимая речевая фраза Я является индивидуальным аутентификатором пользователя, который считывается при помощи распознавания речи Таким образом, формируется короткий список Ец (5), Е^ (5),п « N рассматриваемых при идентификации гипотез, где п не зависит от количества пользователей При этом для устранения сильной

зависимости речевых данных от шумовых условий проводится коррекция заданного количества ошибок в распознавании речевой фразы или в ее произнесении пользователем В результате производится пополнение и проверка списка гипотез распознавания по существующим

аутентификаторам Использование распознавания речи позволяет сделать распознавание голоса диктора зависящим от содержания фразы, что позволяет существенно упростить применяемые алгоритмы Распознавание голоса, зависящее от содержания, и применение нескольких биометрических признаков позволяют сократить длительность фразы, используемой для речевой аутентификации и идентификации по голосу

л«р««»»г »

изменения

Вывод решения

Порохед б 1 •

Рис. 1. Функциональная схема обработки биометрических признаков при идентификации: диагональной штриховкой отмечены функциональные элементы, относящиеся к обработке изображений лица, вертикальной - функциональные элементы, относящиеся к обработке звука; серой заливкой - операции логического выбора, точечной текстурой - операции со смешанными эталонами, отсутствием заливки - внешние операции по взаимодействию с пользователем.

Последовательность действий разработанного метода идентификации демонстрирует представленная на рис. 1 функциональная схема мультимодальной идентификации. В первом состоянии детектор изменений на сцене отслеживает появление в последовательности изображений определенных изменений. В случае обнаружения изменений производится

Смешанная идентификация

переход к состоянию детектирования лица Результатом работы метода в этом состоянии и критерием перехода к следующему состоянию является получение шаблона на базе качественного изображения лица Для этого производится первичное обнаружение лица при помощи последовательного использования детектора головы человека и детектора лица человека Если в результате их работы лицо не найдено, то изменение не рассматривается как появление пользователя и происходит переход к состоянию детектирования изменений на сцене При обнаружении лица производится инициализация слежения за лицом и оценивается качество изображения лица В случае выделения некачественного изображения лица продолжается слежение и опционально даются указания пользователю или оператору по изменению характеристик съемки Для качественного изображения лица строится шаблон и осуществляется переход в состояние детектирования речевых данных Продолжается слежение за лицом и происходит пополнение шаблона на базе качественных изображений лица При этом добавляется синхронная обработка звука Она заключается в очистке звукового сигнала от шумов, предобработке и параметризации, а также в детектировании наличия речи в звуковом сигнале Если обнаружена речь, то производится переход к состоянию связанной идентификации При этом продолжается слежение за лицом и пополнение шаблона Одновременно по звуковому каналу производится распознавание обнаруженного речевого фрагмента, генерация списка рассматриваемых гипотез и проверка качества голосовых данных В случае качественных голосовых данных шаблон идентификации пополняется ими, и производится смешанная верификация шаблона по эталонам из полученного списка гипотез Результат идентификации выводится для выполнения последующих действий, и происходит переход в первое состояние Если качество речевых или голосовых данных низкое, то выдается сообщение об ошибке

Наиболее удобный сценарий взаимодействия с пользователем при применении рассмотренного метода идентификации в рамках системы

контроля и управления доступом следующий пользователь входит в зону доступа и идет к точке доступа, произносит парольную фразу и получает право доступа в контролируемую зону, не прекращая движения,

В третьей главе представлено описание реализации разработанного метода дистанционной идентификации человека в режиме реального времени в виде программного обеспечения комплекса идентификации Представлены протоколы взаимодействия пользователя с комплексом при идентификации и регистрации Приведено описание используемых в комплексе способов обработки последовательностей изображений, способов обработки звука, разработанного метода смешанной идентификации человека по лицу и голосу, а также метода регистрации биометрических данных пользователя Подробно рассматривается разработанный метод оценки качества изображения. Представлены основные технические характеристики комплекса

Комплекс дистанционной идентификации человека состоит из аппаратных средств и программного обеспечения, позволяющих производить видеозахват пар изображений с разрешением 320*240 пикселей с частотой 15 кадров/с, запись аудиоданных в стерео режиме с частотой 22 кГц, выдавать команды для диалога с пользователем на экран и колонки и обрабатывать данные видео- и аудиопотоков для принятия объединенного решения по идентификации человека на базе персонального компьютера с частотой процессора 3 ГГц Использование двух аудиоканалов объясняется необходимостью подавления шумов в речевом сигнале Применение стереоскопического видео дает возможность обнаруживать голову человека как трехмерный объект на любом фоне и обеспечивает дополнительную защиту от попыток атак при помощи фотографии или видеофильма

Разработанный комплекс в состоянии детектирования изменений на сцене реализует анализ разностей последовательных изображений для двух каналов Производятся фильтрация шумов, выравнивание цвета и

14

освещенности на изображениях Появление существенных изменений в некоторой области изображения активирует процесс восстановления карты диспарантности в этой области Производится пирамидальное восстановление трехмерных характеристик объекта и поиск его составной части, близкой по форме к трехмерному эллипсоиду с диапазоном размеров, присущих реальной голове человека Обнаружение на изображениях объекта, похожего на голову человека, запускает детектирование лица в данной области Первичный анализ положения лица включает выделение области лица на голове по цвету кожи Детектирование лица и слежение за ним производится алгоритмами с применением эластичных графов черт лица, выделенных на основе анализа геометрии откликов вейвлетов Габора с заданными направлениями, и проверкой и уточнением положения лица, осуществляемых при помощи нейронной сети. Лицо обнаруживается при положениях головы в пределах 20 градусов к фронтальному положению Для выделенного лица производится инициализация слежения на последующих кадрах, которое использует предыдущую информацию о размере и положении лица Слежение продолжается, даже если не удалось провести проверку и уточнение лица нейронной сетью Обнаруженное лицо подвергается нормализации и передается вместе с параметрами детектирования на оценку качества При неудовлетворительном качестве изображения лица по одному из параметров производится вывод совета пользователю по исправлению данного параметра Выделение качественного изображения лица приводит к созданию шаблона распознавания по этому изображению на базе разложения в пространстве главных компонент или линейного дискриминантного анализа на базе главных компонент. Создание шаблона распознавания по изображениям лица активирует захват звуковых данных В программном обеспечении для обработки видеопоследовательностей изображений использованы методы предобработки изображений, детектирования и распознавания лица, реализованные в виде библиотеки И.А Матвеевым

Разработан и реализован контроль качества изображения лица по следующим выбранным параметрам фокус, контрастность, выдержка (экспозиция) - появление засвеченных или темных областей на изображении лица, разрешение изображения лица в пикселях, информативность изображения лица, уверенность в наличии лица при детектировании, точность выделения изображения лица При этом учтено предварительное выравнивание освещения и регистрация различных поз и выражений в эталоне

Реализованы следующие метрики оценки качества изображений лица для представленных параметров

• Метрика для оценки фокуса задается соотношением E(F(I))/Е(1), где I- интенсивность, F() - высокочастотный фильтр, Е() - взвешенная энергия

• Метрика для оценки засвеченных (темных) областей оценивает долю областей с определенным процентом засвеченных (темных) пикселей среди всех рассматриваемых локальных областей изображения лица

• Метрика для оценки контрастности реализована на основе максимума

гистограммы контрастности для всего изображения лица:

2>n{j f(xl)-t\,\f(x2)-t\] max, G{t) = w '2W)-—-, при N(t) ф 0, где

S(t) = {(xl,x2) e S l(x1) < t < I(x 2) v I(x2) <t< I(x1)}, где S - множество соседних пар пикселей (xl,x2); I(xl)- интенсивность в xl, N(t)= #S(t)~ мощность S(t)

• Метрика для оценки информативности изображения лица реализована

при помощи взвешенной суммы количества переходов через ноль оператора Марра V2G(*, у) * Их, у) в локальных областях

• Метрика для оценки уверенности в наличии лица является результатом работы детектора лица

• Разрешение определяется по результатам работы детектора и равно расстоянию в пикселях между центрами глаз

• Метрика точности применяется на базе оценки отклонений отношений расстояний между чертами лица по нескольким кадрам

Весовой коэффициент по локальной области ц определяется при помощи замещения на изображении лица этой области областью Ц' со средним значением интенсивности и вычисления меры сходства (!(,) между

этими изображениями лиц- =с1(Ц, Ц'), м>, = ^'

2А

1

Для установления пороговых значений отсева изображений разработана процедура последовательного ухудшения изображений по каждому отдельному параметру качества для набора эталонных изображений Качественными изображениями лица считаются те, значения метрик по всем параметрам на которых превосходят данные пороговые значения

С точки зрения практической применимости обработка звука допускает акустико-фоновую обстановку с отношением сигнал/шум более +15 дБ Распознавание речи и идентификация голоса производится на основе коротких по длительности выборок из ограниченного словаря (фраз из пяти цифр средней продолжительностью 2-3 с, Персонального Идентификационного Номера, ПИН) Поэтому распознавание голоса базируется на сравнении параметров произнесения звуков, выделенных распознавателем речи.

Очистка шума основана на Винеровской фильтрации Для очищенного звука производится оценка параметров - кепстральных коэффициентов и их первых производных в шкале мелов Детектор наличия речи декодирует с помощью Скрытой Марковской Модели (СММ) из двух состояний (речь и пауза) последовательность параметров речевого сигнала в последовательность этих состояний Если в течение заданного промежутка времени с момента обнаружения речи одновременно не произошло событие, заключающееся в одновременном детектировании лица и речи, то комплекс останавливает попытки создания шаблона идентификации и переходит в исходное состояние Распознавание речи заключается в преобразовании параметров речевого сигнала в последовательность слов словаря, состоящего

из цифр и вспомогательных команд Речевой сигнал представляется как последовательность звуков Звук моделируется при помощи СММ из трех состояний, распределение значений параметров которых задано с помощью кодовых книг - самоорганизующихся карт признаков Каждая единица словаря имеет одну или несколько произносительных транскрипций, которые определяют возможные варианты произнесения слова На основании произносительных транскрипций компилируется представление всего произносительного словаря в виде префиксного дерева Распознавание речи осуществляется, как поиск на этой сети, и реализовано на основе алгоритма Виттерби На выходе распознавателя речи выдается список из п (п < 10) наиболее правдоподобных гипотез о последовательности слов Производится пополнение списка рассматриваемых гипотез за счет коррекции одной возможной ошибки распознавания слова

Модель голоса диктора определяется как множество шаблонов произнесения для каждого слова из словаря Шаблоном произнесения является вектор параметров речевого сигнала, усредненных по состояниям акустических моделей звуков Идентификация голоса проводится на базе оценки локальных расстояний, вычисляемых между шаблонами произнесения Методы обработки звука разработаны совместно с В Я Чучупалом, К А Маковкиным и Д В Ковковым

В комплексе реализованы два способа распознавания лица метод главных компонент (МГК) и линейный дискриминантный анализ (ЛДА, метод Фишера) Метод ЛДА дает лучшие результаты, чем МГК при тех же вычислительных затратах на этапе классификации, хотя предъявляет повышенные требования к обучающей выборке В шаблоне используются качественные кадры, выбранные с заданной частотой Результатом распознавания лица является минимальное значение расстояния по всем парам нормализованных изображений лиц из шаблона и эталона

Совместное решающее правило построено как линейный классификатор в двумерном пространстве с компонентами, соответствующими мерам

сходства лицевых и голосовых шаблонов Каждое сравнение в этом пространстве представлено вектором с компонентами, соответствующими мерам сходства по лицу и по голосу Классификатор разделяет сравнения на два класса «сравнение одного человека» и «сравнение разных людей» Классификатор минимизирует относительное количество ошибок первого рода (FRR) при заданном фиксированном относительном уровне ошибок второго рода (FAR)

Регистрация пользователя подразумевает создание персонального эталона (по звуку и видеоизображениям) в контролируемых условиях Контролируемые условия включают контроль присутствия посторонних шумов, заданный фон, заданное положение лица по отношению к камере и равномерное освещение лица В предложенном сценарии регистрации человек смотрит на экран, отображающий визуальные команды, которые задают последовательность поворотов головы и предписывают произносить определенные фразы

Практическая реализация комплекса на базе доступных средств захвата изображений лица и записи звука не позволяет реализовывать наиболее удобный протокол взаимодействия пользователя с комплексом, так как разрешение съемки маленькое, а микрофон недостаточно чувствителен. Поэтому в процессе идентификации пользователь, подходящий к точке доступа, должен остановиться перед камерой на определенном расстоянии и посмотреть прямо перед собой

В четвертой главе представлены описания системы, метода и программного обеспечения для записи синхронных последовательностей изображений лица и речевых данных, получаемых при регистрации пользователя и при создании базы биометрических данных с целью отладки и тестирования комплекса Приведены результаты тестирования, как отдельных технологий, так и всего мультимодального комплекса

дистанционной биометрической идентификации по собранным биометрическим данным

Система сбора биометрических данных человека состоит из аппаратных средств и программного обеспечения, позволяющих создавать равномерное освещение изображений лица, оценивать параметры системы, производить видеозахват пар изображений и запись аудиоданных в стерео режиме, выдавать видео- и аудиокоманды для помощи пользователю в выполнении сценария, заполнять и сохранять индивидуальные параметры пользователя, а также параметры, присущие данной записи, сохранять данные видео- и аудиопотоков, а также протокол, по которому производилась съемка При этом обеспечивается постоянство фона и цветовой экспозиции, чувствительности микрофона и камер, а также определена позиция головы человека по отношению к камере и микрофону Регламентируются протокол поведения оператора и записываемого человека Этот протокол реализован при помощи вывода на экран визуальных команд, которые должен выполнять посетитель, и воспроизведения звуковых сигналов. Команды задают последовательность поворотов головы и предписывают произносить определенные фразы Протокол включает в себя сценарий поведения пользователя, который определяет последовательность действий, время и скорость выполнения каждого действия, язык произнесения.

Собранная при помощи описанной системы база биометрических данных содержит синхронные записи стереовидеоизображений и стереофонического звука В базе зарегистрировано 1673 персоны, 3246 визита, 15234 сессии В базе представлены люди с различным полом, возрастом, местом рождения, образованием и социальным статусом Каждый человек, чьи данные использовались для отладки и тестирования, был снят как минимум по четыре раза в два разных дня (визита) в соответствии с расписанием с интервалом не менее двух недель В один визит по возможности собирались сессии с разным языком произношения и скоростью исполнения сценария

С целью обучения и тестирования распознавателя лица база данных была разбита на две непересекающиеся выборки обучающую (1154 сессий, 312 персон) и тестовую (14080 сессий, 1361 персона). Для построения пространства главных компонент по изображениям лиц обучающей выборки и для создания качественных эталонов производилась полуавтоматическая разметка черт на видеопоследовательностях изображений

Для тестирования распознавателя речи и распознавателя голоса база данных была разделена на 3 части обучающая выборка (654 персоны, 1534 сессии, 1228 - мужских и 306 - женских), настроечная выборка (197 персон) и тестовая выборка (822 персоны, 1019 сессий) Надежность распознавания персонального идентификационного номера варьировалась от 85,7% при рассмотрении наиболее вероятной гипотезы до 93% при рассмотрении списка из 10 наиболее вероятных гипотез

Для того чтобы провести тестирование программной реализации идентификации с учетом сравнений для одного и разных людей были выделены сессии 700 людей, содержавшие произнесения ПИН друг для друга В табл 1 приведены доли ошибок распознавания первого рода признаков при заданном пороге на ошибки второго рода, равном 0,3%

Режим работы FRR

Связанная идентификация по лицу, голосу и речи, при FAR=0 003 0 054

Верификация по лицу при FAR=0 003 0 15

Неполная идентификация по лицу и речи, при FAR=0 003 0 13

Связанная идентификация по голосу и речи, при FAR=0 003 015

Табл. 1, Надежность распознавания человека при различных комбинациях признаков

Смешанная идентификация показала существенное сокращение уровня ошибок по сравнению с идентификацией по отдельным признакам, что видно на характеристических кривых для рассмотренных методов (рис 2)

Сравнение надежности идентификации человека нашего комплекса с результатами тестирования других биометрических технологий показывает

сопоставимость с учетом различных условий проведения тестов. При этом важно учитывать, что на базе разработанного метода идентификации достигнут ряд важных свойств с точки зрения практического применения, таких как дистанционное считывание сразу нескольких биометрических признаков различной природы и связанное с этим повышение надежности распознавания, отсутствие проблем при росте числа пользователей, сокращение длительности речевой фразы.

1 ' I I 1 44+1 1 ■' 1 1 1 11 ■1

I ■ --"-1——1—3 -Голос

——- Лицо

ПЙТчРЛИНРШ/Р

0,01 0,1 1 РАИ

Рисунок 2. Характеристические кривые для идентификации по изображениям лица, идентификации по голосу и смешанной идентификации

Заключение

1. Разработан метод дистанционной идентификации человека в режиме реального времени по последовательностям изображений лица и по речевым данным, включающий распознавание голоса и лица человека,

позволяющий сократить число анализируемых гипотез при помощи распознавания речи.

2 Разработан метод контроля качества изображений лиц в мультимодальной системе дистанционной биометрической идентификации

3 Разработан метод получения синхронных биометрических данных по изображениям лица, голосу и речи, используемых для отладки и тестирования системы

4 Разработан метод принятия совместного решения при верификации человека по последовательностям изображений лица и голосу, основанный на выборе наиболее близких изображений лица шаблона и эталона по мере сходства и линейном разделении пространства мер сходства по изображениям лица и голосу.

5 Разработаны архитектура комплекса дистанционной идентификации на базе разработанного метода идентификации, позволяющие сократить длительность фрагмента речи пользователя, требующегося для идентификации, и программное обеспечение для объединения биометрических технологий на базе аудио- и видеопотоков

6 Метод контроля качества изображений лиц реализован в виде программного обеспечения

7 Разработаны протокол взаимодействия с пользователем и программное обеспечение для реализации метода получения синхронных биометрических данных по изображениям лица, голосу и речи

8 Накоплена база биометрических данных с применением разработанных метода, протокола и программного обеспечения для получения синхронных биометрических данных по изображениям лица, голосу и речи

9. Проведено тестирование и оценена эффективность биометрической идентификации с применением разработанных методов и базы биометрических данных, в том числе верификации по изображениям

лица, верификация по голосу, связанной идентификации по лицу и голосу Продемонстрировано, что связанная идентификация сокращает уровень ошибок по сравнению с идентификацией по отдельным признакам

Основные результаты диссертации опубликованы в следующих работах-

1 Десятчиков А А , Мурынин А.Б, Тресков Ю П , Чучупал В Я , Синхронная биометрическая многофакторная идентификация / Труды ИСА РАН Динамика неоднородных систем Вып 9 (1), М УРСС, 2005, с 188-194

2 Десятчиков А А, Мурынин А.Б., Оценка качества изображений при идентификации человека / Труды ИСА РАН Динамика неоднородных систем Вып 9 (1), М УРСС, 2005, с 181-187

3 Десятчиков А А, Ковков Д В , Лобанцов В В , Маковкин К А , Матвеев И А, Мурынин А Б , Чучупал В Я, Комплекс алгоритмов для устойчивого распознавания человека / Известия РАН Теория и системы управления 2006, т 45 №6, с 73-85

4 Десятчиков А А, Лобанцов В В , Матвеев И А, Мурынин А Б, Об объединении дистанционных биометрических методов распознавания человека, / Современный экстремизм в Российской Федерации особенности проявления и средства противодействия. Материалы всероссийской научно-практической конференции в Академии Управления МВД России, М. Академия управления МВД РФ, 2006, с 374-379

5 Десятчиков А А, Матвеев И А, Мурынин А Б, Биометрические технологии дистанционного распознавания человека, / Мир и безопасность М Витязь-М, 2006, №4 Тезисы конференции «Транспортные и пассажирские системы», 2006, с 17

Отпечатано в ООО «Компания Спутник+» ПД № 1-00007 от 25.09.2000 г Подписано в печать 25.09 07 Тираж 100 экз. Уел п л 1,5 Печать авторефератов (495) 730-47-74,778-45-60

Введение.

Глава 1. Анализ методов обработки биометрической информации в системах контроля и управления доступом.

1.1 Словарь терминов.

1.2 Обзор существующего состояния биометрических технологий.

1.3 Постановка задачи.

Глава 2. Метод дистанционной биометрической идентификации по последовательностям изображений лица и голосу.

2.1 Общее описание и функциональная схема метода дистанционной биометрической идентификации.

2.1.1 Общее описание особенностей предлагаемого метода.

2.1.2 Протокол взаимодействия с пользователем при идентификации с помощью дистанционного биометрического метода идентификации человека.

2.1.3 Функциональная схема метода идентификации.

2.2 Описание функциональных элементов метода идентификации.

2.2.1 Функциональные элементы обработки изображений лица.

2.2.2 Функциональные элементы обработки звука.

2.2.3 Функциональные элементы смешанной идентификации.

2.2.4 Внешние функциональные элементы.

Глава 3. Программно-алгоритмический комплекс идентификации человека по лицу и голосу.

3.1 Описание комплекса идентификации человека.

3.2 Методы обработки последовательностей изображений лица человека.

3.3 Метод контроля качества изображений лица.

3.4 Методы обработки звукового сигнала.

3.5 Метод совместного принятия решения по изображениям лица и голосу человека.

3.6 Протокол и метод регистрации биометрических признаков.

3.7 Протокол взаимодействия пользователя с комплексом при идентификации.

Глава 4. Тестирование мультимодального биометрического комплекса. комплекса.о J

4.2 База биометрических данных для отладки и тестирования комплекса.

4.4 Результаты тестирования распознавания речи и идентификации голоса.

4.5 Результаты тестирования распознавания лица.

4.6 Результаты тестирования связанной идентификации.

Актуальность темы.

Обработка биометрической информации служит для решения ряда важных задач с точки зрения обеспечения безопасности и повышения качества обслуживания. Биометрическая система используют для идентификации набор неотъемлемых признаков людей, что является предпочтительным с точки зрения защиты от краж, копирования или потери идентификационных признаков. Вариантами применения биометрических технологий на текущий момент являются внедрение их в системы контроля и управления доступом в качестве основных или вспомогательных средств идентификации, внедрение вспомогательных идентификационных технологий в сферу обслуживания (в том числе, при обслуживании важных лиц) и в системы безопасности повышенной надежности, а также в правоохранительные системы. Применения не ограничиваются контролем физического перемещения субъектов или объектов, но включают управление правами пользования материальными и информационными ресурсами. В полуавтоматическом режиме биометрические системы позволяют быстро решать технические проблемы, связанные с поиском идентификационной информации и формированием гипотез для обоснованного принятия решения человеком.

С точки зрения практического применения биометрических технологий актуальны вопросы взаимодействия человека с системой: время считывания идентификационных признаков, время идентификации, физические и психологические препятствия для считывания признаков, удобство и естественность протоколов взаимодействия с системой.

Время считывания во многом зависит от природы используемых биометрических признаков. Квазидинамические признаки (например, голос, динамика подписи или печати на клавиатуре) требуют значительно большего времени считывания для обеспечения достоверного результата. Время идентификации определяется скоростью работы алгоритмов системы. На практике обычно требуют работы систем в режиме реального времени, то есть время идентификации должно мало отличаться от времени считывания признаков. Некоторые биометрические технологии вызывают на практике психологическое отторжение у пользователей (например, считывание радужной оболочки или сетчатки глаза) или при современном развитии малопригодны для взаимодействия с людьми нестандартного телосложения (например, считывание радужной оболочки).

Естественность требований к поведению пользователя также определяет его лояльность к системе. Самым удобным вариантом является отсутствие каких-либо требований и дополнительных действий (например, передвижений или контакта с системой). В этом плане актуально использование дистанционной идентификации. Специфичностью 5 действий объясняется ограниченность практического применения таких признаков, как клавиатурный почерк. Практически приемлемо выполнение только простейших естественных действий.

С точки зрения применения биометрических систем в полуавтоматическом режиме и организации внешнего контроля над деятельностью систем биометрической идентификации актуальна возможность простого взаимодействия с оператором или аудитором. Идентификационная информация должна быть представлена в таком виде, чтобы оператор или аудитор смог быстро принять по ней самостоятельное идентификационное решение.

Биометрические решения, использующие только один идентификационный признак подвержены специфическим проблемам и угрозам атак. Квазистатические признаки подделываются при помощи муляжей. Квазидинамические подменяются обычно более сложными копиями. Изменения в окружающих условиях и физические изменения в организме пользователя могут повлиять на результаты идентификации. Более надежным является подход, основанный на использовании нескольких биометрических признаков разной природы, как квазистатических, так и квазидинамических. При этом возникает дополнительная потребность в вычислительных ресурсах. Актуальным также становится решение проблемы роста вычислительной сложности и понижения надежности идентификации с ростом количества пользователей (так называемой масштабируемости).

Возникает вопрос разработки метода идентификации на базе биометрических данных, учитывающего все описанные выше особенности. При этом актуальность архитектуры системы связана с уменьшением влияния основных возникающих практических угроз и проблем идентификации.

Цель работы.

Целью нашей работы является разработка и тестирование метода идентификации человека на базе дистанционных биометрических данных в контексте задачи контроля и управления доступом, работающего в режиме реального времени и позволяющего решать следующие задачи: a. Устранение зависимости характеристик метода от числа пользователей; b. Повышение надежности метода идентификации; c. Повышение защищенности от ложных отказов в доступе, связанных со сложными условиями освещения, изменениями во внешнем виде человека или выражении лица, помехами на лице или предельными ракурсами съемки; d. Повышение защищенности от несанкционированного доступа при помощи грима или муляжей, а также других вариантов копирования статического изображения лица или голоса. e. Обеспечение приемлемых для практического использования характеристик времени доступа и сложности взаимодействия пользователя с методом; f. Возможность удобного контроля и аудита работы метода.

Методы исследования.

Для решения вышеперечисленных задач использованы методы теории обработки данных, теории распознавания образов, теории вероятностей, компьютерного зрения. Реализация этих методов осуществлена в виде программного обеспечения на языках программирования C/C++ и MatLab.

Научная новизна.

Автором впервые предложен эффективный метод дистанционной идентификации человека в режиме реального времени на базе биометрических данных, объединяющий способы распознавания человека по изображениям лица и голосу, а также использующий методы распознавания речи для замедления роста вычислительной сложности и устранения снижения надежности распознавания человека с ростом числа пользователей.

Автором предложен оригинальный подход к оценке качества изображения объекта с целью повышения надежности распознавания.

Получены новые численные оценки надежности идентификации человека в рамках представленного метода, объединяющего технологии распознавания человека по изображениям лица и голосу с применением распознавания речи.

Практическая значимость.

Представлена практическая реализация разработанного метода в виде дистанционного мультимодального биометрического комплекса для идентификации человека в режиме реального времени по изображениям лица и голосу, который удовлетворяет требованиям к удобству пользования. Продемонстрировано на практике повышение надежности распознавания на базе описанного подхода по оценке качества изображения. При помощи разработанных методов и программно-аппаратных комплексов произведено накопление уникальной базы биометрических данных. Продемонстрирована пригодность накопленных биометрических данных для отладки и тестирования биометрических технологий.

Положения, выносимые на защиту: 1. Метод дистанционной идентификации человека в режиме реального времени по последовательностям изображений лица и по речевым данным, включающая распознавание голоса и лица человека, позволяющиая сократить число анализируемых гипотез при помощи распознавания речи. Программное обеспечение для программно-аппаратного комплекса, которое реализует метод.

2. Метод контроля качества изображений лица в мультимодальной системе дистанционной биометрической идентификации. Программное обеспечение для программно-аппаратного комплекса, которое реализует метод.

3. Метод получения синхронных биометрических данных по изображениям лица, голосу и речи, используемых для отладки и тестирования комплекса дистанциониой идентификации человека в режиме реального времени. Программное обеспечение для программно-аппаратного комплекса, которое реализует метод.

4. Метод принятия совместного решения при верификации человека по последовательностям изображений лица и голосу, основанная на линейном разделении пространства мер сходства.

5. Результаты тестирования надежности мультимодального комплекса дистанционной биометрической идентификации человека с применением разработанных методов и собранных биометрических данных, в том числе: верификации по изображениям лица, верификации по голосу, связанной идентификации по лицу и голосу.

Для подтверждения научных положений приведены теоретические обоснования. Полученные выводы подтверждены экспериментально.

Личный вклад автора в проведенное исследование.

Вклад автора работы в результаты, выносимые на защиту, является определяющим.

Апробация работы. Работа в целом и отдельные результаты докладывались и обсуждались на семинарах в ВЦ РАН им. А.А. Дородницына, а также на следующих конференциях:

1. Всероссийская научно-практическая конференция «Современный экстремизм в Российской Федерации: особенности проявления и средства противодействия», Москва, 2006.

2. Международная биометрическая конференция «Транспортные и пассажирские системы», Москва, 2006.

3. Международная биометрическая конференция «Паспортные и правоохранительные системы», Москва, 2006.

4. Шестое рабочее совещание Российской секции международного общества по интеллектуальным вычислениям «Биометрические системы» (IEEE Computational Intelligence Society, «Biometrics»), Москва, 2006.

Публикации. По теме диссертации опубликовано 5 печатных работ (из них 3 в списках журналов рекомендованных ВАК РФ) [13-17].

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения и списка литературы, включающего 96 наименований. Диссертация содержит 101 страницу машинописного текста, 4 таблицы и 24 рисунка.

Заключение

1. Разработан метод дистанционной идентификации человека в режиме реального времени по последовательностям изображений лица и по речевым данным, включающий распознавание голоса и лица человека, позволяющий сократить число анализируемых гипотез при помощи распознавания речи.

2. Разработан метод контроля качества изображений лиц в мультимодальной системе дистанционной биометрической идентификации.

3. Разработан метод получения синхронных биометрических данных по изображениям лица, голосу и речи, используемых для отладки и тестирования системы.

4. Разработан метод принятия совместного решения при верификации человека по последовательностям изображений лица и голосу, основанный на выборе наиболее близких изображений лица шаблона и эталона по мере сходства и линейном разделении пространства мер сходства по изображениям лица и голосу.

5. Разработаны архитектура комплекса дистанционной идентификации на базе разработанного метода идентификации, позволяющие сократить длительность фрагмента речи пользователя, требующегося для идентификации, и программное обеспечение для объединения биометрических технологий на базе аудио- и видеопотоков.

6. Метод контроля качества изображений лиц реализован на языке C/C++ и включен в состав программного обеспечения мультимодальной биометрической системы в виде динамической библиотеки.

7. Разработаны протокол взаимодействия с пользователем и программное обеспечение для реализации метода получения синхронных биометрических данных по изображениям лица, голосу и речи.

8. Накоплена база биометрических данных с применением разработанных метода, протокола и программного обеспечения для получения синхронных биометрических данных по изображениям лица, голосу и речи.

9. Проведено тестирование и оценена эффективность биометрической идентификации с применением разработанных методов на базе собранных биометрических данных около 1600 персон. Оценивалась эффективность следующих методов: верификации по изображениям лица, верификация по голосу, связанной идентификации по лицу и голосу. Продемонстрировано, что связанная идентификация в ~3 раза сокращает уровень ошибок по сравнению с идентификацией по отдельным признакам.

1. Атал Б. Автоматическое опознавание дикторов по голосам. // ТИИЭР, 1976, т. 64, №4, с. 48-66.

2. Блейхут Р. Быстрые алгоритмы цифровой обработки сигналов. М.: Мир-1989.

3. Бовель Е.И., Хейдоров И.Э. Статистические методы распознавания речи: скрытые марковские модели. // Успехи современной радиоэлектроники. 1998, №3, с. 45-65.

4. Вапник В.Н., Червоненкис А.Я. Теория распознавания образов. М.:Наука, 1974. 416с.

5. Власенко В.А., Лаппа Ю.М., Ярославский Л.П. Методы синтеза быстрых алгоритмов свертки и спектрального анализа сигналов. М.: Наука, 1990.

6. Верхаген К., Дейн Р., Грун Ф., Йостен Й., Вербек П. Распознавание образов: состояние и перспективы. М.:Радио и связь, 1985. 104с.

7. Волковицкий В.Д., Волхонский В.В. Системы контроля и управления доступом. СПб: Экополис и культура, 2003,167 стр.

8. Гайдышев И.П. Анализ и обработка данных. Специальный справочник. С.Петербург: Питер. 2001.

9. Глухов Д.Н., Иванов А.И. Оценка стойкости тайных биометрических образов человека//Современные технологии безопасности 2003, № 2(5)., с. 30-32.

10. Горелик А.Л., Скрипкин В.А. Методы распознавания. М.:Высшая школа, 1984. 208с.

11. ГОСТ Р51241-98. Средства и системы контроля и управления доступом. Классификация. Общие технические требования. Методы испытаний. М.: Госстандарт России.

12. Гуревич И.Б. Проблема распознавания изображений // Распознавание, классификация, прогноз. М: Наука, 1989, выпуск 1, с. 280-329.

13. Десятчиков А.А, Ковков Д.В., Лобанцов В.В., Маковкин К.А., Матвеев И.А., Мурынин А.Б., Чучупал В.Я., Комплекс алгоритмов для устойчивого распознавания человека // Известия РАН. Теория и системы управления. 2006, т. 45 №6, с. 73-85.

14. Десятников А.А, Матвеев И.А., Мурынин А.Б, Биометрические технологии дистанционного распознавания человека, // Мир и безопасность. М: Витязь-М, 2006, №4. Тезисы конференции «Транспортные и пассажирские системы», 2006, с. 17

15. Десятчиков А.А, Мурынин А.Б., Оценка качества изображений при идентификации человека // Труды ИСА РАН. Динамика неоднородных систем. Вып. 9 (1), М.: УРСС, 2005, с. 181-187

16. Десятчиков А.А., Мурынин А.Б, Тресков Ю.П., Чучупал В.Я., Синхронная биометрическая многофакторная идентификация. // Труды ИСА РАН. Динамика неоднородных систем. Вып. 9 (1), М.: УРСС, 2005, с. 188-194

17. Зинин A.M., Кирсанова J1.3. Криминалистическая фотопортретная экспертиза, М.Изд. МВД СССР, 1991

18. Иванов А.И. Оценка систем биометрической аутентификации.// Защита информации. Конфидент. N2,1998, с. 77-81.

19. Иванов А.И. Биометрическая идентификация личности по динамике подсознательных движений. Пенза: Из-во Пензенского государственного университета, 2000, 188 с.

20. Кузнецов В.Д., Матвеев И.А., Мурынин А.Б., Идентификация объектов по стереоизображениям. Оптимизация информационного пространства. // Изв. РАН. ТиСУ. 1998. V. 37. № 4. Р. 557-560.

21. Кухарев Г.А., Биометрические системы: Методы и средства идентификации личности человека. СПб.: Политехника, 2001,240 стр.

22. Маркел Дж. Д., Грей А.Х. Линейное предсказание речи. -М.: Радио и связь, 1980, 248 с.

23. Марр Д. Зрение. Информационный подход к изучению представления и обработки зрительных образов. Пер с англ. М.:Радио и связь, 1987

24. Матвеев И.А., Мурынин А.Б. Идентификация объектов по стереоизображениям. Оптимизация алгоритмов восстановления поверхности // Изв. РАН. ТиСУ. 1998 V. 37. № 3. Р. 487-493.

25. Мурынин А.Б. Автоматическая система распознавания личности по стереоизображениям // Изв. РАН. ТиСУ. 1999. V 38. № 1. Р. 100-108.

26. Новикова Е.Г., Петраков А.В., Рабовский С.В., Урьев Г.А. Бизнес безопасность -телекоммуникации: Терминологический словарь, 2-е изд., М: Радио и связь, 2002, 328 стр.

27. Прэтт У. Цифровая обработка изображений. Пер с англ. М.:Мир, 1982

28. Рабинер Jl.Р., Шафер Р.В. Цифровая обработка речевых сигналов. Пер. с англ.-М.: Радио и связь, 1981.

29. Розенберг А. Автоматическая верификация диктора: Обзор. // ТИИЭР, 1976, т. 64, №4, с. 66-79

30. Самаль Д.И., Старовойтов В.В. Методика автоматизированного распознавания людей по фотопортретам // Цифровая обработка изображений. Минск: ИТК, 1999. с.81-85.

31. Скородумов Б.И. Программно-аппаратные комплексы защиты от несанкционированного доступа к информации: Учебное пособие. / Моск. гос. инженер.-физ. ин-т, Центр, банк Рос. Федерации. М., 1996. 107 с.

32. Ту Дж., Гонсалес Р. Принципы распознавания образов: Пер с англ. М.:Мир, 1978

33. Умнов А.В. Считыватели и идентификаторы.// Средства и системы контроля и управления доступом: Каталог. М., 2003, с.24-25.

34. Фор А. Восприятие и распознавание образов. М. Машиностроение, 1989, 273 с.

35. Фуканага К. Введение в статистическую теорию распознавания образов. М.: Наука, 1979, 368 с.

36. Хорн Б.К.П. Зрение роботов. М.:Мир. - 1989. - 487с.

37. Цыпкин Я.З. Информационныя теория идентификации. М.:Наука, Физматлит, 1995

38. Яншин В.В. Анализ и обработка изображений: принципы и алгоритмы. М.:Машиностроение, 1994

39. ANSI Tl.801.03, American National Standard for Telecommunications Digital transport of one-way video signals. Parameters for objective performance assessment, American National Standars Institute, 2003.

40. Bazanov P., Buryak D., Mun W. et al. Comparison of Gabor Wavelet and Neural Network-based Face Detection Algorithms // Proc. IASTED Conf. On Signal and Image Processing. Honolulu. Acta Press. 2006. P. 178-184.

41. Bazanov P., Tae-Kyun Kim, Seok Cheol Kee, Sang Uk Lee, Hybrid and Parallel Face Classifier based on artificial neural networks and principal component analysis. Proc. of International Conference on Image Processing. 2002 , Volume: 1, Page(s): 916 -919

42. Belhumeur N., Hespanha J. Kriegman D. Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection // IEEE Trans. PAMI. 1997. V. 19. № 7. P. 711-720.

43. Ben-Yacoub S., Abdeljaoued Y., Mayoraz E. Fusion of face and speech data for personal identity verification // IEEE Trans. Neural Networks. 1999. V. 10. № 5. P. 1065-1074.

44. Bigun J., Borgerforce G., Sanniti di Baja G. Audio- and Video-Based Biometric Person Authentication. Berlin: Springer. 1997.

45. Chuchupal V., Makovkin К., Gorokhovsky К. et al. A Study of the Acoustic Model Choice for Russian Speech Recognition // Proc. Int. Workshop "Speech and Computer". St. Petersburg. 2002. P. 53-56.

46. Daugman J, Biometric decision landscapes. Technical Report TR482. Cambridge: University of Cambridge Computer Laboratory. 2000.

47. Daugman J. High confidence visual recognition of persons by a test of statistical independence//IEEE Trans. PAMI. 1993. V. 15. № 11. 1148-1161.

48. Daugman J. How iris recognition works, IEEE Trans. Circuits Syst. Video Technol., vol.14, no.l, pp.21—30, 2004

49. Duda R., Hart P., Stork D. Pattern Classification. New York: John Wiley and Sons. 2001.

50. European Telecommunication Standard Institute. ETSI Standard ES 202 050. Sophia-Antipolis, France: Sophia-Antipolis. 2004. www.etsi.org.

51. Face Recognition Grand Challenge, NIST, http://www.frvt.org/FRGC/

52. Face Recognition Vendor Test 2006, NIST, http://www.frvt.org/FRVT2006/

53. Faugeras O., Hotz В., Mathieu H. Real-time correlation based stereo: algorithm, implementations and applications // Internat. J. Computer Vision. 1996. № 1.

54. Fingerprint Vendor Technology Evaluation (FpVTE) 2003, NIST, http://fpvte.nist.gov/FpVTEMain.html.

55. Gomm K., U.K. Passport agency: 'Iris recognition needs work', ZDNet UK: 2005 http://www.zdnetasia.eom/news/securitv/0.39044215.39283306.00.htm

56. Griffin P. Optimal Fusion for Identity Verification. New Jersey: Identix. 2003.

57. Haberman W., Fejfar A., Automatic ID of Personnel through Speaker and Signature Verification System Description and Testing // Proc. Of Carnahan Conference on Crime Countermeasures, University of Kentucky, 1976

58. Historical Timeline, Iridian Technologies, http://www.iridiantech.com/

59. Hong L., Jain A., Pankanti S. Can Multibiometrics Improve Performance? // Proc. IEEE Workshop on Automatic Identification Advanced Technologies. New Jersey. 1999. P. 59-64.

60. Husken M., Brauckmann M., Gehlen S. et al. Strategies and Benefits of Fusion of 2D and 3D Face Recognition // Proc. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington. IEEE Computer Society. 2005.

61. ISO/IEC 2005 "Biometric Performance Testing and Reporting Part 1 Principles and Frameworks"

62. Jain A., Ross A. Multibiometric Systems // Communications of the ACM. 2004. V. 47. № 1. P. 34-40.

63. Jain A., Ross A. Learning User-specific Parameters in a Multibiometric System // Proc. ШЕЕ International Conference on Image Processing. Rochester. 2002. P. 57-60.

64. Kittler J., Hatef M., Duin R. et al. On combining classifiers // IEEE Trans. PAMI. 1998. V. 20. № 3. P. 226-239.

65. Kohonen T. Self-organizing maps. Berlin: Springer-Verlag. 1995.

66. Kuznetsov V., Matveev I., Murynin A. et al. Development of the robust human feature detection algorithm for surveillance system // Proc. Samsung Tech. Conference 2004. Seoul. Samsung. 2004. P. 53-57.

67. Li X., Blind image quality assessment, in Proc. IEEE Int. Conf. Image Proc., 1, pp. 449452, Sept. 2002.

68. Macho D., Mauuary L„ Noe В., Cheng Y.M., Ealey D., Jouvet D., Kelleher H., Pearce D., and Saadoun F., "Evaluation of a noise-robust DSR front-end on Aurora databases," in Proc. ICS LP, Denver, Colorado, U.S.A., Sept. 2002, pp. 17--20.

69. Mansfield J., Kelly G., Chandler D. et al. Biometric product testing final report. Report for CESG and Biometrics Working Group. 2001.

70. Mansfield A. J., Wayman J. L. Best Practices in Testing and Reporting Performance of Biometric Devices. 2002

71. Marr D., Hildreth E. Theory of Edge Detection, Proceedings of the Royal Society of London, Series B, Vol. 207, p.187-217,1980.

72. Moghaddam В., Pentland A.P. An automatic system for model-based coding of faces // IEEE Data Compression Conf., Snowbird, Utah, March 1995

73. Moghaddam В., Pentland A.P. Face Recognition Using View-Based and Modular Eigenspaces // Automatic Systems for the Identification and Inspection of Humans, SPIE, V.2277, July 1994

74. Moghaddam В., Pentland A.P. Probabilistic visual learning for object detection // 5th Int. Conf. on Computer Vision, Cambridge Massuchusetts, June 1995

75. Open Source Computer Vision Library, Intel, 2002. http://www.intel.com/research/mrl/research/opencv/

76. Pankanti Sh., Bolle R.M., Jain A. Biometrics: The future of identification. IEEE Computer, February 2000, pp. 46-49.

77. Phillips P. J., Martin A., Wilson C. L., Przybocki M. An Introduction to evaluating biometric systems. IEEE Computer, February 2000, pp. 50-55.

78. Pinson M.H., Wolf S. A new standardized method for objectively measuring video quality, IEEE Transactions on broadcasting, Vol. 50, Issue: 3, pp. 312-322, Sept, 2004.

79. Pinson M.H., Wolf S. Reduced reference video calibration algorithms, NTIA Report TR-06-433, Oct 2005. Available at www.its.bldrdoc.gov/n3/video/documents.htm.

80. Rabiner L., Juang B-H. Fundaments of Speech Recognition. Englewood Cliffs: Prentice Hall Signal Processing Series, 1993.

81. Reynolds D.A., Quatieri T.F., Dunn R.B. Speaker Verification Using Adapted Gaussian Mixture Models //Digital Signal Processing. 2000. № 10. P. 19-41.

82. Ries M., Puglia R., Tebaldi Т., Nemethova O., Rupp M., Audiovisual Estimation for Mobile Streaming Services, Proc. Of International Symposium on Wireless Communication Systems IEEE Ed., Sept, 2005.

83. Samaria F. Face Recognition Using Hidden Markov Models // PhD thesis, Engineering Department, Cambridge University, 1994.

84. Sedgwick N. The Need for Standardisation of Multi-Modal Biometric Combination. Cambridge. Cambridge Algorithmica Limited. 2003.

85. Sheikh H.R., Bovik A.C., Cormack L., No-reference quality assessment using natural scene statistics: JPEG2000, IEEE Trans. Image Processing , 2004.

86. Sirovich L., Kirby M. Low-dimensional procedure for the characterization of human faces // J. Optical Society Am., 1987. V. 4. № 3. P. 519-524.

87. Snelick R., Uludag U., Mink A., Indovina M., Jain A., Large Scale Evaluation of Multimodal Biometric Authentication Using State-of-the-Art Systems, // NIST, MSU, Computer Science and Engineering, USA, 2005.

88. Turk M., Pentland A. Eigenfaces for Recognition // J. of Cognitive Neuroscience. 1991. V. 3.№1.P. 71 86.

89. Wang Z., Sheikh H. R., Bovik A. C., No-reference perceptual quality assessment of JPEG compressed images, in Proc. IEEE Int. Conf. Image Proc., (Rochester), Sept. 2002.

90. Winkler S., Quality metric design: A closer look, Proc. SPIE Human Vision and Electronic Imaging, vol. 3959, San Jose, California, January 22-28, 2000, pp. 37-44.

91. Winkler S., Dufaux F. Video Quality Evaluation for Mobile Applications, Proc. of SPIE Conference on Visual Communications and Image Processing, Lugano, Switzerland, vol. 5150, pp.593-603, July 2003.

92. Wiskott L., Fellous J.-M., Krueger N and Malsburg C. Face Recognition by Elastic Bunch Graph Matching. IEEE Transactions on Pattern Analysis and Machine Intelligence 1997, Vol. 19, pp. 775-779.

93. Wolf S., Pinson M. Video quality measurement techniques, NTIA Report 02-392, Jun. 2002. Available at www.its.bldrdoc.gov/n3/video/documents.htm.

94. Wolf S., Pinson M. Low bandwidth reduced reference video quality monitoring system, in Proc. First International Workshop on Video Processing and Quality Metrics for Consumer Electronics, Scottsdale, Arizona, Jan. 23-25, 2005.

95. Zhang Z., Faugeras O.D. Tracking and motion estimation in a sequence of stereo images // Proc. 9th European Conf. on Artificial Intelligence, pp. 747-752, Stockholm, August 1990