автореферат диссертации по приборостроению, метрологии и информационно-измерительным приборам и системам, 05.11.16, диссертация на тему:Разработка методов распознавания и построение информационно-поисковых систем идентификации человека по его фотопортрету

На правах рукописи

ДОЛГОВ Сергей Викторович

РАЗРАБОТКА МЕТОДОВ РАСПОЗНАВАНИЯ И ПОСТРОЕНИЕ ИНФОРМАЦИОННО-ПОИСКОВЫХ СИСТЕМ ИДЕНТИФИКАЦИИ ЧЕЛОВЕКА ПО ЕГО ФОТОПОРТРЕТУ

Специальность 05.11.16 Информационно-измерительные и управляющие системы

Автореферат диссертации на соискание ученой степени кандидата технических наук

Москва-2003

Работа выполнена на кафедре информационных технологий Московского авиационного института (государственного технического университета)

Научный руководитель:

Официальные оппоненты:

кандидат технических наук, доцент Максимов Н.А.

доктор технических наук, профессор Павлова Н.В.

доктор технических наук, старший научный сотрудник Подлесный А.В.

Ведущая организация: Государственный научно-исследовательский

институт авиационных систем

Зашита состоится «_»_2003 года в_часов на заседании

диссертационного совета Д 212.125.11 при Московском авиационном институте (государственном техническом университете) по адресу: 125993, г. Москва, Волоколамское шоссе, д.4, зал заседаний Ученого Совета.

Отзыв на реферат в одном экземпляре, заверенный печатью, просим выслать по адресу: 125993, ГСП-3, А-80, г. Москва, Волоколамское шоссе, д.4, Ученый Совет, ученому секретарю диссертационного совета Д 212.125.11.

Автореферат разослан «3¿> » OKTJ?$f~bjj 2003 года.

Ученый секретарь диссертационного совета, кандидат технических наук, доцент . ¿у^ / Горбачев Ю.В.

17702

з

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность исследования

В последнее время широкое распространение получает технология информационно-поисковых систем распознавания лица с целью идентификации личности.

Эта технология идентификации, наряду с технологиями распознавания голоса, наилучшим образом подходит для интеллектуальных сред нового поколения. Подсистемы идентификации личности с использованием технологии распознавания лица могут быть использованы в автоматизированных системах безопасности, например, на государственных пунктах пропуска, в крупных аэропортах, различных общественных местах и пр. с целью идентификации разыскиваемых персон с одновременной передачей соответствующей оперативной информации службам, занимающимся установлением личности.

В настоящее время разрабатывается и внедряется общегосударственная система сбора и обработки данных о проследовавших через государственную границу РФ лицах. Сентябрьские терракты 2001 года в Соединенных Штатах Америки и последовавшие за этим события заставляют пересмотреть взгляд на проблему автоматической идентификации личности на основе использования фактографической информации, накопленной в специализированных базах данных (БД).

Поиск и установление личности чаще проводится с использованием конкретных данных о ней (фамилия, имя, отчество, дата рождения, пол, гражданство). Такой вариант поиска имеет большую скорость, но обладает и недостатками. Так, например, если устанавливаемое лицо проходит под разными установочными данными, то только наличие точных установочных данных может помочь найти его в базе данных. Альтернативой приведенному выше варианту поиска может служить метод идентификации личности по её фотографии, фотороботу или штриховому наброску её лица, выполненному художником.

Сложившиеся подходы к идентификации персон по изображениям человеческих лиц практически устоялись. Необходимо совершенствование существующих алгоритмов с целью оптимизации обеспечиваемых ими временных и точностных характеристик поиска за счет использования ключевых признаков, автоматически

Л

РОС. НАЦИОНАЛЬНА* БИБЛИОТЕКА

извлекаемых из изображения персоны (например, её пол, наличие бороды, очков, ракурс лица и др.), позволяющих повысить скорость и точность поиска.

Дальнейшим развитием систем идентификации личности по изображению человеческого лица может служить создание дополнительной подсистемы выбора из видеоряда, формируемого, например, путем автоматического считывания с видеокамер слежения за окружающей обстановкой, изображений человеческих лиц с последующим использованием этой информации в качестве входной для системы идентификации личности.

Цель и задачи исследования

Основной целью настоящей работы является разработка методов распознавания и построение информационно-поисковых систем специального применения (ИПС СП), обеспечивающих автоматическую идентификацию личности человека в реальном масштабе времени по изображению его лица.

Достижение поставленной в работе цели диктует необходимость решения ряда следующих основных задач:

• разработка «быстрых» алгоритмов распознавания и выделения основных характеристик изображения человеческого лица, обеспечивающих высокую достоверность идентификации объекта поиска;

• разработка алгоритма хранения и кодирования вспомогательной информации, характеризующей объект поиска, обеспечивающего приемлемые объемно-временные показатели функционирования ИПС СП;

• разработка алгоритма надежной идентификации лиц на основе хранящейся в базе данных ИПС СП информации;

• разработка опытного образца ИПС СП, реализующего перечисленные выше алгоритмы с целью проверки на практике правильности сделанных в настоящей работе теоретических выводов, выдачи по результатам опытной эксплуатации ИПС СП рекомендаций по её дальнейшему совершенствованию.

' ■» »и*; * \'1»'|, -,, -*г л*}*.* .

Методы исследования

Теоретические методы исследования основывались на методах цифровой обработки изображений, распознавания образов, дискретных преобразований и системного анализа. Экспериментальная часть исследования базировалась на анализе результатов обработки цифровых изображений с помощью ЭВМ с последующей их численной и визуальной оценкой. Для программной реализации разработанных алгоритмов и ИПС использовались методы создания программных систем и языки высокого уровня.

Научная новизна полученных результатов

• Разработаны методы распознавания, что позволило решить важную прикладную задачу поиска и идентификации человека по изображению его лица в реальном масштабе времени.

• Установлена допустимая степень сжатия изображений, подвергающихся обработке в алгоритме эластичного графа, используемом в качестве базового алгоритма распознавания в разработанной ИПС.

• Разработан алгоритм определения пола человека, изображенного на фотопортрете. Экспериментально показано, что разработанный алгоритм успешно идентифицирует тип лица человека, изображенного на фотопортрете. Использование указанного алгоритма позволяет сократить время поиска информации в БД.

• Разработаны алгоритмы определения угла поворота лица, представленного на изображении, в глубину (ракурс лица), отличающиеся низкими затратами на их численную реализацию и допустимой точностью.

• Разработан алгоритм, способы хранения информации, идентифицирующей персону, в реляционной БД с целью уменьшения объема хранимой информации, а также схема информационного хранилища, которая может бьггь адаптирована для решения задачи распознавания объектов, отличных от человеческих лиц.

• Разработаны алгоритмы идентификации и поиска данных о персоне в реляционной БД. Их основными отличиями от существующих алгоритмов

являются: работа в условиях неполной априорной информации о персонах (отсутствуют данные о изменениях внешности персоны, ей пола и условий съемки), изображенных на сравниваемой паре фотографий; отсутствие признака (атрибута) поиска и необходимость вычисления меры подобия в процессе самого поиска; отсутствие необходимости в предварительном обучении системы; возможность работы в реальном масштабе времени. Практическая значимость полученных результатов Разработана и построена ИПС, которая имеет следующие основные отличия: открытость, возможность масштабируемости системы, возможность адаптации к решению задачи распознавания объектов, отличных от человеческих лиц, возможность простого внедрения в качестве подсистемы в системы безопасности и поддержки принятия решений.

Разработанные алгоритмы и методы могут быть эффективно использованы в автоматизированных системах проведения криминалистической фотопортретной экспертизы, а также в автоматических контрольно-пропускных устройствах. Они также мо1уг быть применены в системах обеспечения информационной безопасности (например, при контроле доступа к ЭВМ и отдельным программам, базам данных, криптографическим приложениям, медицинским сведениям, сетевым ресурсам, системам электронной торговли и пр.). Кроме того, предложенные алгоритмы могут быть использованы в целях обнаружения и идентификации различных графических объектов на цифровых изображениях (например, обнаружение определенных объектов на фотоснимках со спутников, идентификация и индексирование видео и фотоматериалов в мультимедийных базах данных).

Результаты диссертационной работы в виде законченной динамически подключаемой библиотеки программ и разработанного программного комплекса ИПС «Персона» внедрены в отдельных разработках ЗАО «Эскорт-Центр» (г. Москва), производящем комплексные системы безопасности, в том числе, программно-аппаратные комплексы для контрольно-пропускных пунктов, эксплуатируемых в системе Федеральной пограничной службы Российской Федерации.

На защиту выносятся следующие положения:

• Оценка влияния степени сжатия обрабатываемого изображения на вероятность распознавания;

• Алгоритм определения пола человека по фронтальному изображению лица (фотопортрету);

• Алгоритм определения угла поворота лица в глубину (ракурс лица), представленного на изображении;

• Технология проектирования информационно-поисковой системы распознавания человека по изображению лица;

• Технология хранения данных о персоне, включая фотопортрет, в реляционной БД;

• Алгоритм хранения и кодирования вспомогательной информации в реляционной БД;

• Алгоритмы идентификации и поиска персоны в реляционной БД.

Личный вклад соискателя

Основные результаты и положения, выносимые на защиту, получены автором лично. Научный руководитель принимал участие в обсуждении цели и задач исследования, а также анализе результатов проведенных экспериментов.

Апробация работы

Все разработанные автором алгоритмы прошли экспериментальную апробацию на реальных данных, результаты которой подтвердили их работоспособность.

Основные теоретические положения и результаты диссертационной работы докладывались и обсуждались на научной сессии «МИФИ-2003» (г.Москва, 2003 г.), 10-ой Всероссийской межвузовской научно-технической конференции студентов и аспирантов «Микроэлектроника и информатика - 2003» (г.Москва, 2003 г.), IX Международном НТС «Современные технологии в задачах управления, автоматики и обработки информации» (г.Алушта, 2000 г.), XII Международном НТШС «Современные технологии в задачах управления, автоматики и обработки информации» (г.Алушта, 2003г.).

Публикации

По теме диссертационной работы опубликовано 5 печатных работ.

Структура и объем диссертации

Диссертация изложена на 184 страницах, состоит из введения (9 стр.), четырех глав (160 стр.), заключения (2 стр.) и библиографического списка.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность и практическая значимость темы диссертационной работы, сформулирована цель и определены основные задачи исследования, кратко изложено состояние вопроса в исследуемой предметной области.

В первой главе производится постановка задачи разработки методов распознавания и построения информационно-поисковой системы специального применения, обеспечивающей автоматическую идентификацию личности человека по изображению его лица в реальном масштабе времени.

В качестве исходной рассматривалась задача автоматического распознавания персоны по изображению её лица на пограничном контрольно-пропускном пункте «Международный Аэропорт Шереметьево-2» (г. Москва).

В централизованной базе данных собираются установочные данные (ФИО, дата рождения, гражданство, номер и вид документа личности, визовые данные), а также фотопортрет персоны, полученный из документа с помощью считывателя машиносчитываемых документов. Опыт работы показал, что пограничникам необходимо идентифицировать персону не только по её установочным данным, но и по фотопортрету или фотороботу. Поиск персоны возможен не только по специализированной базе данных нежелательных лиц (террористы, незаконные эмигранты) (около 15 тыс. записей), но и в хранилище накопленной фактографической информации о пассажирах (более 9,3 млн. записей).

В связи с возможностью использования идентификации персоны по фотопортрету, полученному со считывателя машиносчитываемых документов, технология обработки пассажиропотока на контрольно-пропускном пункте несколько

изменилась. На рис. 1. представлена структурная схема технологического цикла обработки пассажиропотока на контрольно-пропускном пункте.

Пассажир из общего потока подходит к кабине паспортного контроля, где контролер (Оператор) устанавливает личность пассажира и проверяет документы. Установочные данные пассажира, а также информация о визе, фотография пассажира, полученная со считывателя машиносчитываемых документов, сохраняется в единой базе данных о проследовавших через государственную границу лицах.

Рис.1. Технология обработки пассажиропотока на контрольно-пропускном

В случае, когда у пассажира имеется машиносчитваемый паспорт и возможно получение фотографии пассажира из документа, выполняется поиск в базе данных по фотографии пассажира. Вероятность того, что у пассажира имеется машино-считываемый паспорт, равна 0,8.

Кроме того, контролер проверяет прохождение данных пассажира в оперативных учетах, учетах утерянных и похищенных документов и бланков виз. После

пункте

контроля по учетам контролером принимается решение по пассажиру: пропустить или временно задержать (при сомнении контролера в подлинности документов пассажира или в случае, когда пассажир проходит по учетам). Соотношение вероятностей пропуска и временного непропуска составляет 0,95 и 0,05 соответственно. Если пассажир задерживается, то он передается на обработку в группу углубленной проверки. После этого, пассажир либо пропускается, либо депортируется, но в любом случае заканчивает обрабатываться в системе.

Временные характеристики для каждого из этапов обработки пассажиропотока представлены в таблице.

Временные характеристики этапов обработки пассажиропотока

» - . Щеп обЦЯби

Интенсивность пассажиропотока 0,033 1/сек.

Обработка пассажира Оператором ~ 1 мин.

Сохранение информации в базе данных - 20 сек.

Поиск по фотографии ~ 1 мин.

Принятие решения ~ 5 сек.

Углубленная проверка пассажира ~ 10-15 мин.

Необходимо разработать и построить информационно-поисковую систему, а также методы автоматического распознавания и поиска персоны по изображению её лица, обеспечивающие высокую достоверность идентификации персоны в реальном масштабе времени и минимизацию общего времени обработки информации о персоне. Необходимо отметить, что разрабатываемая информационно-поисковая система носит рекомендательный характер и окончательно решение должен принимать Оператор.

В первой главе представлен также обзор состояния проблемы «автоматического распознавания человека по изображению лица». Эта проблема рассмотрена с позиций решения следующих трех ключевых задач:

1) обеспечение автоматического контроля удостоверений личности или верификация человека по предъявляемому удостоверению личности;

2) обеспечение автоматического контроля доступа;

3) обеспечение идентификации человека по фотографии - поиск в базе данных фотографий людей, похожих на объект поиска.

Определены основные требования к системам указанных типов, выявлены отдельные сложности и препятствия для их реализации, установлено, что задачи автоматического контроля удостоверений личности и поиска фотопортретов в базах данных являются наименее исследованными.

Приводится обзор методов и подходов, применяемых с целью идентификации личности по ев фотопортретам. Среди таких методов следует отметить, как наиболее перспективные, метод эластичного графа, метод главных компонент, геометрический подход. Рассмотрена структура и особенности каждого из представленных методов. Проведен сравнительный анализ методов с точки зрения решения основных задач диссертационного исследования, показано, что для их решения наиболее подходящим является метод эластичного графа, базирующийся на вейв-лет-преобразовании Габора.

Дан обзор существующих отечественных и зарубежных коммерческих систем идентификации личности по её фотопортретам. Установлено, что рассмотренные системы обладают рядом недостатков, таких, например, как высокая цена предлагаемых средств, закрытость, недостаточная прозрачность применяемых методов для разработчика, что затрудняет их применение при разработке систем обеспечения безопасности. Кроме того, часто отсутствует возможность использования рассмотренных систем распознавания в качестве подсистем более сложных систем обеспечения безопасности и поддержки принятия решений.

Вторая глава посвящена исследованию и разработке алгоритма распознавания человека по изображению лица. Изучение алгоритма распознавания человека по изображению лица направлено на решение поставленных задач диссертационного исследования и требует исследования таких вопросов, связанных с алгоритмом распознавания, как:

1) уточнение требований к информационно-поисковой системе, налагаемые выбранным методом распознавания, с точки зрения повышения качества распознавания отдельного изображения и системы в целом, а также с учетом минимизации ресурсов разрабатываемой ИПС, таких как объем памяти, выделяемой для сохранения данных в системе об одной персоне;

2) автоматическое выделение ключевых признаков из изображения лица (например, пол человека, представленного на изображении, угол поворота лица в глубину (ракурс лица) и др.), что позволит не только хранить максимально детализированное описание персоны в системе, но и выполнить более точное распознавание персоны и её поиск в системе.

Разработана и поэтапно расписана общая технология распознавания человека по изображению лица. Дается подробное описание алгоритма эластичного графа, f

выбранного в качестве основного алгоритма распознавания для построения информационно-поисковой системы. Оценена максимальная погрешность процедуры автоматической разметки графа.

Исследовано влияние степени сжатия обрабатываемых изображений человеческих лиц на результаты распознавания выбранным алгоритмом эластичного графа. Показано, что для наибольшей эффективности алгоритма наряду с несжатыми изображениями возможно также использование изображений сжатых алгоритмом JPEG с сохранением допустимого уровня распознавания. Установлена максимально допустимая степень сжатия изображения по алгоритму JPEG (обеспечивающая 90% вероятность распознавания) равная 25%, что позволило снизить объем памяти, требуемой для хранения изображения персоны в разрабатываемой системе в 7 раз (например, для изображения размерностью 128x128 пикселей с 13,7 Кб до 1,8 Кб).

Кроме того, степень сжатия изображения по алгоритму JPEG влияет на величину комплексных коэффициентов Габора (джеты). Наибольшее расхождение в значениях мер подобия соответствующих джетов зарегистрировано в областях с однородным характером — светлое пространство между глаз, лоб. Однако в областях, где графической информации много (плотность её высока) и она важна (область глаз, область кончика носа), мера подобия соответствующих джетов остает- » ся высокой. Установленная закономерность позволила ввести весовой коэффициент в стоимостную функцию меры подобия графов, который характеризует вклад каждого джета в общее определение величины меры подобия. Это дополнение дало повышение вероятности распознавания для отдельных изображений в среднем на 3%, а в некоторых случаях и на 4,5%.

Исследуется задача автоматического определения по изображению лица таких характеристик, как пол человека (по фронтальному изображению лица) и угол поворота лица в глубину (ракурс лица). Определение обеих этих характеристик основано на геометрических особенностях строения лица человека. В частности, в качестве априорных данных используется информация об опорных лицевых точках (центры зрачков, кончик носа, крайние левая и правая границы лица, центр губ, нижняя точка лица) (рис.2), определение которых возможно используя алгоритм эластичного графа.

Рис.2. Опорные лицевые точки, использующиеся в алгоритмах автоматического определения пола человека на фронтальном изображении и определения угла поворота лица в глубину

В результате проведенных экспериментов с различными соотношениям геометрических расстояний между опорными лицевыми точками для автоматического определения пола человека по фронтальному изображению его лица был пред ложено использование меры потенциала лица Е

Е =

Г1

J

где Ьц, - расстояние между центрами зрачков левого и правого глаза,

1Н - расстояние от линии зрачков до нижней точки лица. Проведен эксперимент с выборкой из 690 изображений человеческих лиц мужского (356 лиц) и женского (334 лица) пола. Статистическими методами уста-

новлен уровень потенциала для мужских и женских лиц: у женских лиц уровень потенциала значительно выше, чем у мужских. Использован математический аппарат теории статистических решений для вероятностного распознавания, позволивший установить пороговое значение потенциала, равное 0,384. При этом ошибки первого и второго рода были равны 0,25 и 0,31 соответственно.

Следует также отметить, что в процессе эксперимента были найдены так называемые «женские» лица у мужчин и «мужские» лица у женщин. Из приведенных результатов эксперимента можно сделать вывод о том, что предлагаемым алгоритмом нельзя гарантированно определить пол человека, фронтальное изображение лица которого подвергается обработке. Тем не менее, можно говорить о типе лица - «мужское» или «женское», что дает возможность более полно и точно описать лицо человека при автоматизированном поиске (позволяет в 1,5-^-2 раза сократить время поиска) в базе данных или регистрации в базе данных.

Решение задачи автоматического определения угла поворота лица в глубину позволяет автоматически преобразовать повернутое лицо человека во фронтальное (угол поворота равен 0 градусов) и проводить распознавание человека уже для фронтального изображения его лица. Это значительно снижает затраты на оптимизацию алгоритма распознавания человека по повернутому изображению его лица, а также избавляет от необходимости хранить в базе данных несколько изображений лиц одного и того же человека при разных углах поворота в глубину для осуществления качественного поиска персоны в базе данных.

Так как изображение лица человека является двумерным, то для определения угла поворота в основном были использованы методы, применяемые в геометрии на плоскости. Воспользовавшись предположением о пространственной геометрии лица человека, в частности, о том, что кончик носа имеет некоторую высоту над плоскостью, проходящей через другие опорные точки (центры зрачков глаз, центр губ, нижняя точка лица), были применены методы пространственной геометрии.

Разработаны три алгоритма определения поворота лица в глубину, основанные на геометрических методах и преобразованиях:

1) алгоритм с использованием площадей треугольников, образованных опорными точками (плоскостной);

2) алгоритм с использованием угла между векторами, образованными опорными точками (векторный);

3) алгоритм с использованием объема пирамиды, образованной опорными точками (объемный).

Результаты сравнительного анализа алгоритмов показал, что алгоритм определения угла поворота в глубину через величину суммарной площади треугольников, образованных опорными точками, с наименьшей погрешностью позволяет определить угол поворота в глубину с учетом максимальной погрешности определения координат опорных лицевых точек. Кроме того, приемлемую точность определения угла поворота лица в глубину возможно достичь используя полиномы первой и второй степени, а значит, требуется меньше вычислительной трудоемкости, нежели при использовании полиномов третьей и выше степеней.

Отмечено, что алгоритм определения угла поворота лица в глубину через угол между векторами, образованными опорными точками, показал наилучшую точность определения угла поворота при идеальных условиях. Но указанный алгоритм очень чувствителен к точности измерения угла между указанными векторами, а, следовательно, чувствителен к точному определению местоположения опорных точек, что и показал анализ с учетом максимальной погрешности определения опорных лицевых точек.

Использование разработанных алгоритмов позволяет значительно (на 4(Н50 %) сократить объем памяти, потребной для хранения джетов в базе данных. Сокращение объема памяти достигается за счет хранения джетов, соответствующих только фронтальному положению лица.

В третьей главе разрабатываются принципы построения информационно-поисковых систем распознавания человека по изображению лица. Приведены тре-1 бования к таким системам и исследован вопроса хранения данных о персоне в ре-

ляционной БД, определен минимальный набор данных, необходимый для хранения данных о персоне, в т.ч. фамилия, имя, отчество персоны, её пол, наличие дополнительных признаков (наличие бороды, наличие очков, цвет волос, угол поворота в глубину, тип лица и т.д.), данные о модели (топология , джеты), фотоизображение лица. Разработана и описана схема информационного хранилища, кото-

рую с небольшой адаптацией можно применить и для автоматизированных систем распознавания графических объектов, отличных от изображения человеческого лица (например, объектов на аэрофотоснимках). Также разрабатывается алгоритм хранения данных в реляционной БД.

В главе также исследуются вопросы поиска данных о персоне в реляционной БД с целью разработки алгоритма, выполняющего поиск в реальном масштабе времени. При поиске персоны, похожей на заданную, в БД следует ответить на вопрос «Похожа ли персона из базы данных на заданную?». А значит, существует мера неопределенности поиска, связанная с тем, что не существует признака (атрибута) для персоны, точно описывающего изображение лица персоны, и по которому можно было бы провести точный поиск в БД.

Таким образом, основное отличие поиска персоны в рассматриваемой БД от существующих методов поиска заключается в том, что меру подобия необходимо вычислять и оценивать непосредственно в процессе поиска, что может быть сопряжено с возможными временными затратами, которые необходимо оптимизировать и, в конечном счете, свести к реальному масштабу времени.

Исследована задача идентификации персоны по двум изображениям, заключающаяся в вынесении решения о принадлежности обоих изображений одной персоне. При этом одно из изображений (эталон) в виде эластичного графа-модели содержится в БД, а результатом идентификации является значение меры подобия эластичных графов-моделей входного изображения и эталона. Разработан соответствующий алгоритм идентификации персоны по двум изображениям, являющийся частным решением задачи поиска персоны в БД.

В общем виде алгоритм поиска персоны в БД содержит разработанную процедуру идентификации, которая выполняется для каждой записи о персоне в БД (т.н. «полный перебор»).

Разработаны следующие алгоритмы поиска персоны:

1) алгоритм «полного перебора»;

2) алгоритм поиска с применением пользовательских функций и представлений;

3) алгоритм поиска с использованием хранимой процедуры.

Два последних алгоритма оптимизируют работу алгоритма «полного перебора» и приближающие временные характеристики поиска к реальному масштабу времени.

Для сравнительного анализа была создана и использована база изображений лиц (фотопортретов), используемых в документах личности. Общее число фотопортретов в базе - 1067, разных персон в базе - 1065. Алгоритм «полного перебора» выполняет сравнение с одной персоной в БД в среднем за 264 мсек. (время поиска по всей БД - 4 мин. 38 сек.), для алгоритма с применением пользовательский функций и представлений - 167 мсек., а с алгоритм использованием хранимой процедуры 33 мсек.

По результатам проведенного сравнительного анализа сделан вывод о том, что с наилучший стороны себя проявил алгоритм поиска с использованием хранимой процедуры. Помимо собственно скорости поиска (алгоритм затрачивает 30-К35 сек. для БД из 1067 записей), данный алгоритм оказался очень удобен для разработки и сопровождения.

Все три алгоритма имеют право на существование, т.к. выбор алгоритма следует делать с учетом вида конкретной реляционной БД, а также программно-аппаратной среды функционирования ИПС.

Разрабатываются варианты функциональной структуры ИПС, приводятся преимущества и недостатки каждого из вариантов:

1) стандартная схема функционирования ИПС;

2) схема функционирования с использованием сервера видеообработки;

3) схема функционирования с использованием У/ЕВ-технологий.

С целью обоснованного выбора варианта функциональной структуры ИПС проведено сравнение разработанных вариантов с использованием аналитических методов исследования марковских стохастических сетей массового обслуживания (СеМО). Проведенное аналитическое исследование каждой из сетевых моделей для вариантов 1 и 2, показало, что построенные сетевые модели позволили провести выбор среди представленных вариантов по критерию минимума времени обслуживания пассажиров. Подтверждается выбор функциональной структуры ИПС с использованием сервера видеообработки (вариант 2), что позволило

уменьшить время обслуживания пассажиров в 2,3 раза по сравнению со стандартной схемой функционирования (вариант 1). Кроме того, полученные в процессе моделирования характеристики системы согласовываются с реальными характеристиками работы контрольно-пропускного пункта.

Четвертая глава посвящена вопросам разработки, программной реализации и экспериментальной проверки опытного образца ИПС - изделие ИПС «Персона», включающая в себя модули «Регистрация» и «Поиск» (рис. 3). Формулируются требования к ИПС и описывается блок-схема организации вычислительного процесса в ИПС. Рассматриваются вопросы конструктивного оформления комплекса разработанных алгоритмов в виде стандартной для ОС Microsoft Windows динамически подключаемой библиотеки программ, реализующих функции обработки изображений и реализации алгоритма эластичного графа - «GaborLib.DLL».

Рис. 3. Внешний вид главной формы модуля «Поиск» изделия ИПС «Персона»

Для комплексного тестирования ИПС «Персона» создан испытательный стенд и была подготовлена уникальная база данных изображений лиц (фотопортретов) персон, включающая в себя 1080 фотопортретов персон (по одной для каждой персоны) - 757 мужских и 323 женских. В процессе тестирования проводи-

лись ряд тестов, показавших достаточно высокую вероятность автоматического распознавания персоны (выше 90%), оставляя принятие окончательного решения Оператору, т.к. разработанная ИПС носит рекомендательный характер.

ОСНОВНЫЕ ВЫВОДЫ И РЕЗУЛЬТАТЫ

На основе проведенных исследований можно сделать следующие выводы:

1. Поставлена задача разработки методов распознавания и построения информационно-поисковой системы специального применения, обеспечивающей автоматическую идентификацию личности человека по изображению его лица в реальном масштабе времени.

2. Для наибольшей эффективности алгоритма распознавания наряду с несжатыми изображениями возможно также использование изображений сжатых алгоритмом JPEG. Оценено влияние степени сжатия JPEG и показано, чгго максимально допустимая степень сжатия (обеспечивающая 90% вероятность распознавания) составляет 25%, а необходимый объем хранимой информации снижается при этом в 7 раз при сохранении допустимого уровня распознавания.

3. Введен коэффициент вклада джета в общую формулу определения меры подобия графов в алгоритме эластичного графа, что позволило увеличить вероятность распознавания в среднем на 3%, а в некоторых случаях и на 4,5%.

4. Разработан и прошел экспериментальную апробацию алгоритм автоматического определения пола, а также типа лица человека, изображенного на обрабатываемом изображении. Использование этих данных позволяет в 1,5-2 раза сократить время поиска в базе данных.

5. Разработаны и описаны алгоритмы для автоматического определения угла поворота в глубину лица человека, изображенного на обрабатываемом изображении, позволившие решить задачу распознавания человека по повернутому до 40° изображению его лица. Применение этих алгоритмов дает возможность увеличить почти в 2 раза допустимый угол ракурса лица по сравнению с максимально допустимым в алгоритме эластичного графа равном 22°.

6. Исследована задача построения информационно-поисковой системы распознавания человека по фотопортрету. Разработаны и исследованы функциональные модели ИПС, а также даны рекомендации по организации, хранению и поиску информации в специализированной реляционной БД. Определен минимальный набор данных, которые необходимо хранить. Разработана схема информационного хранилища, детально рассмотрены функциональность каждой из реляционных таблиц хранилища. Разработан алгоритм хранения данных о регистрируемой персоне в реляционной базе данных.

7. Исследована задача идентификации персоны по двум изображениям. Разработаны алгоритмы поиска персоны в реляционной БД, способные осуществлять поиск в реальном масштабе времени. Экспериментально показано, что наилучшую скорость поиска показал алгоритм с использованием хранимой процедуры (33 мсек/запись).

8. Проведена разработка и комплексное тестирование опытного образца ИПС распознавания человека по фотопортрету - изделие ИПС «Персона». При разработке ИПС использовались разработанные методологические принципы проектирования ИПС и новые результаты, полученные в диссертационном исследовании.

Использование совокупности новых результатов, полученных в рамках проведенных исследований, обеспечивает решение важной прикладной задачи распознавания образов - поиск человека в базе видеоданных и его распознавание по изображению его лица в реальном масштабе времени. Методологические принципы разработки ИПС распознавания человека по фотопортрету, разработанные алгоритмы, программно реализованные в виде динамически подключаемой библиотеки программ, а также набор хранимых процедур, пользовательских функций и представлений для реляционной системы управления базами данных (СУБД) Microsoft SQL Server 2000, были внедрены и использованы при создании программно-аппаратных комплексов контрольно-пропускных пунктов, эксплуатируемых в системе Федеральной пограничной службы Российской Федерации (ЗАО «Эскорт-Центр», г.Москва).

СПИСОК РАБОТ, ОПУБЛИКОВАННЫХ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Долгов C.B. Выбор метода распознавания человека по изображению лица // Труды научной сессии МИФИ-2003. - Москва, 2003.

2. Долгов C.B. Исследование влияния качества изображения лица при распознавании человека по фотопортрету // Современные технологии в задачах управления, автоматики и обработки информации. Труды XII Международной НТШС. - Алушта, 2003.

3. Долгов C.B. Применение преобразования Габора в автоматизированных системах распознавания человека по изображению лица // Микроэлектроника и информатика - 2003. Тез.докл. 10-ой Всероссийской межвузовской научно-технической конференции студентов и аспирантов. - Москва, 2003.

4. Долгов C.B. Современные системы распознавания человека по изображению лица // Труды научной сессии МИФИ-2003. - Москва, 2003.

5. Долгов C.B., Максимов H.A. Использование WEB-технологий при проектировании информационно-поисковых систем // Современные технологии в задачах управления, автоматики и обработки информации. Труды IX Международного НТС. - Алушта, 2000.

i

1177 О 2

2.003- А

~ I77°2- "

w

f"

Список сокращений.

Введение.

1 РАСПОЗНАВАНИЕ ЧЕЛОВЕКА ПО ИЗОБРАЖЕНИЮ ЛИЦА. СОСТОЯНИЕ ВОПРОСА.

1.1. Постановка задачи.

1.2. Задача распознавания человека по изображению лица. Использование результатов ее решения.

1.3. Основные классы решаемых задач.

1.3.1. Поиск изображения в больших базах данных.

1.3.2. Задача контроля доступа.

1.3.3. Задача контроля фотографии в документах.

1.4. Методы распознавания человека по изображению лица. Сравнительный анализ.

1.4.1. Метод главных компонент.

1.4.2. Метод линейного дискриминантного анализа.

1.4.3. Метод гибких контурных моделей лица.

1.4.4. Метод сравнения эластичных графов.

1.4.5. Методы, основанные на геометрических характеристиках лица.

1.4.6. Метод сравнения эталонов.

1.4.7. Оптический поток.

1.4.8. Сравнительный анализ методов распознавания изображений.

1.5. Коммерческие системы распознавания и приложения.

1.5.1. Отечественные коммерческие разработки.

1.5.2. Зарубежные коммерческие разработки.

1.6. Выводы.

2 АЛГОРИТМ РАСПОЗНАВАНИЯ ЧЕЛОВЕКА ПО ИЗОБРАЖЕНИЮ ЛИЦА.

2.1. Необходимость исследования алгоритма распознавания.

2.2. Технология распознавания человека по изображению лица.

2.3. Алгоритм эластичного графа.

2.3.1. Вейвлеты.

2.3.2. Эластичный граф

2.3.3. Понятие джета.

2.3.4. Представление лица и общее знание о структуре лица.

2.3.5. Сравнение джетов.

2.3.6. Функция подобия графов.

2.3.7. Алгоритм автоматической разметки графа.

2.3.8. Распознавание.

2.4. Влияние степени сжатия изображения лица на результат распознавания.

2.5. Выделение ключевых признаков.

2.5.1. Необходимость выделения ключевых признаков при распознавании человека.

2.5.2. Определение пола человека по фронтальному изображению его лица.

2.5.3. Алгоритмы определения угла поворота лица в глубину.

2.6. Выводы.

3 МЕТОДОЛОГИЧЕСКИЕ ПРИНЦИПЫ ПОСТРОЕНИЯ ИПС РАСПОЗНАВАНИЯ ЧЕЛОВЕКА ПО ИЗОБРАЖЕНИЮ ЛИЦА.

3.1. Требования к системе.

3.2. Хранение данных.

3.3. Описание информационного хранилища.

3.4. Алгоритм сохранения данных.

3.5. Поиск данных.

3.5.1. Алгоритм идентификации персоны по двум изображениям. Алгоритм поиска персоны в базе данных.

3.5.2. Оптимизация алгоритма поиска персоны в базе данных. Алгоритм поиска персоны в базе данных с использованием пользовательских функций и представления.

3.5.3. Алгоритм поиска персоны в базе данных с использованием хранимой процедуры.

3.5.4. Иерархический поиск персоны в базе данных.

3.6. Сравнительный анализ алгоритмов поиска персоны в базе данных.

3.7. Выбор функциональной структуры ИПС.

3.8. Сравнительный анализ функциональных структур ИПС.

3.9. Выводы.

4 РАЗРАБОТКА, ПРОГРАММНАЯ РЕАЛИЗАЦИЯ И

ЭКСПЕРИМЕНТАЛЬНАЯ ПРОВЕРКА ОПЫТНОГО ОБРАЗЦА ИПС

4.1. Требования, предъявляемые к опытному образцу ИПС.

4.2. Блок-схема организации вычислительного процесса.

4.3. Средства разработки и тестирования.

4.4. Библиотека функций для обработки изображений и реализации алгоритма эластичного графа.

4.5. Структура опытного стенда.

4.6. Комплексное тестирование опытного образца ИПС.

4.7. Выводы.

Актуальность исследования

В последнее время широкое распространение получает технология информационно-поисковых систем распознавания лица с целью идентификации личности. Эта технология идентификации, наряду с технологиями распознавания голоса, наилучшим образом подходит для интеллектуальных сред нового поколения. Подсистемы идентификации личности с использованием технологии распознавания лица могут быть использованы в автоматизированных системах безопасности, например, на государственных пунктах пропуска, в крупных аэропортах, различных общественных местах и пр. с целью идентификации разыскиваемых персон с одновременной передачей соответствующей оперативной информации службам, занимающимся установлением личности.

В настоящее время разрабатывается общегосударственная система сбора и обработки данных о проследовавших через государственную границу РФ лицах. Сентябрьские терракты 2001 года в Соединенных Штатах Америки и последовавшие за этим события заставляют пересмотреть взгляд на проблему автоматической идентификации личности на основе использования фактографической информации, накопленной в специализированных базах данных (далее

БД).

Поиск и установление личности чаще проводится с использованием конкретных данных о ней (фамилия, имя, отчество, дата рождения, пол, гражданство). Такой вариант поиска имеет большую скорость, но обладает и недостатками. Так, например, если устанавливаемое лицо проходит под разными установочными данными, то только наличие точных установочных данных может помочь найти его в базе данных. Альтернативой приведенному выше варианту поиска может служить метод идентификации личности по её фотографии, фотороботу или штриховому наброску её лица, выполненному художником.

Сложившиеся подходы к идентификации персон по изображениям человеческих лиц практически устоялись. Необходимо совершенствование существующих алгоритмов с целью оптимизации обеспечиваемых ими временных и точностных характеристик поиска за счет использования ключевых признаков, извлекаемых автоматически из изображения персоны (например, пол, наличие бороды, очков, ракурс лица и др.), и, таким образом, повысить скорость и точность поиска.

Дальнейшим развитием систем идентификации личности по изображению человеческого лица может служить создание дополнительной подсистемы выбора из видеоряда, формируемого, например, путем автоматического считывания с видеокамер слежения за окружающей обстановкой, изображений человеческих лиц с последующим использованием этой информации в качестве входной для системы идентификации личности.

Цель и задачи исследования

Основной целью настоящей работы является разработка методов распознавания и построение информационно-поисковых систем специального применения (далее по тексту - ИПС СП), обеспечивающих автоматическую идентификацию личности человека в реальном масштабе времени по изображению его лица.

Достижение поставленной в работе цели диктует необходимость решения ряда следующих основных задач:

- разработка «быстрых» алгоритмов распознавания и выделения основных характеристик изображения человеческого лица, обеспечивающих высокую достоверность идентификации объекта поиска;

- разработка алгоритма хранения и кодирования вспомогательной информации, характеризующей объект поиска, обеспечивающего приемлемые объемно-временные показатели функционирования ИПС СП;

- разработка алгоритма надежной идентификации лиц на основе хранящейся в базе данных ИПС СП информации;

- разработка опытного образца ИПС СП, реализующего перечисленные выше алгоритмы с целью проверки на практике правильности сделанных в настоящей работе теоретических выводов, выдачи по результатам опытной эксплуатации ИПС СП рекомендаций по ее дальнейшему совершенствованию.

Методы исследования

Теоретические методы исследования основывались на методах цифровой обработки изображений, распознавания образов, дискретных преобразований и системного анализа. Экспериментальная часть исследования базировалась на анализе результатов обработки цифровых изображений с помощью ЭВМ с последующей их численной и визуальной оценкой. Для программной реализации разработанных алгоритмов и ИПС использовались методы создания программных систем и языки высокого уровня.

Научная новизна полученных результатов

• Разработаны методы распознавания, что позволило решить важную прикладную задачу поиска и идентификации человека по изображению его лица в реальном масштабе времени.

• Установлена допустимая степень сжатия изображений, подвергающихся обработке в алгоритме эластичного графа, используемом в качестве базового алгоритма распознавания в разработанной ИПС.

• Разработан алгоритм определения пола человека, изображенного на фотопортрете. Экспериментально показано, что разработанный алгоритм успешно идентифицирует тип лица человека, изображенного на фотопортрете. Использование указанного алгоритма позволяет сократить время поиска информации в БД.

• Разработаны алгоритмы определения угла поворота лица, представленного на изображении, в глубину (ракурс лица), отличающиеся низкими затратами на их численную реализацию и допустимой точностью.

• Разработан алгоритм, способы хранения информации, идентифицирующей персону, в реляционной БД с целью уменьшения объема хранимой информации, а также схема информационного хранилища, которая может быть адаптирована для решения задачи распознавания объектов, отличных от человеческих лиц.

• Разработаны алгоритмы идентификации и поиска данных о персоне в реляционной БД. Их основными отличиями от существующих алгоритмов являются: работа в условиях неполной априорной информации о персонах (отсутствуют данные о изменениях внешности персоны, её пола и условий съемки), изображенных на сравниваемой паре фотографий; отсутствие признака (атрибута) поиска и необходимость вычисления меры подобия в процессе самого поиска; отсутствие необходимости в предварительном обучении системы; возможность работы в реальном масштабе времени.

Практическая значимость полученных результатов Разработана и построена ИПС, которая имеет следующие основные отличия: открытость, возможность масштабируемости системы, возможность адаптации к решению задачи распознавания объектов, отличных от человеческих лиц, возможность простого внедрения в качестве подсистемы в системы безопасности и поддержки принятия решений.

Разработанные алгоритмы и методы могут быть эффективно использованы в автоматизированных системах проведения криминалистической фотопортретной экспертизы, а также в автоматических контрольно-пропускных устройствах. Они также могут быть применены в системах обеспечения информационной безопасности (например, при контроле доступа к ЭВМ и отдельным программам, базам данных, криптографическим приложениям, медицинским сведениям, сетевым ресурсам, системам электронной торговли и пр.). Кроме того, предложенные алгоритмы могут быть использованы в целях обнаружения и идентификации различных графических объектов на цифровых изображениях (например, обнаружение определенных объектов на фотоснимках со спутников, идентификация и индексирование видео и фотоматериалов в мультимедийных базах данных).

Результаты диссертационной работы в виде законченной динамически подключаемой библиотеки программ и разработанного программного комплекса ИПС «Персона» внедрены в отдельных разработках ЗАО «Эскорт-Центр» (г. Москва), производящем комплексные системы безопасности, в том числе, программно-аппаратные комплексы для контрольно-пропускных пунктов, эксплуатируемых в системе Федеральной пограничной службы Российской Федерации.

На защиту выносятся следующие положения:

• Оценка влияния степени сжатия обрабатываемого изображения на вероятность распознавания;

• Алгоритм определения пола человека по фронтальному изображению лица (фотопортрету);

• Алгоритм определения угла поворота лица в глубину (ракурс лица), представленного на изображении;

• Технология проектирования информационно-поисковой системы распознавания человека по изображению лица;

• Технология хранения данных о персоне, включая фотопортрет, в реляционной БД;

• Алгоритм хранения и кодирования вспомогательной информации в реляционной БД;

• Алгоритмы идентификации и поиска персоны в реляционной БД. Личный вклад соискателя

Основные результаты и положения, выносимые на защиту, получены автором лично. Научный руководитель принимал участие в обсуждении цели и задач исследования, а также анализе результатов проведенных экспериментов.

Апробация работы

Все разработанные автором алгоритмы прошли экспериментальную апробацию на реальных данных, результаты которой подтвердили их работоспособность.

Основные теоретические положения и результаты диссертационной работы докладывались и обсуждались на научной сессии «МИФИ-2003» (г.Москва, 2003 г.), 10-ой Всероссийской межвузовской научно-технической конференции студентов и аспирантов «Микроэлектроника и информатика - 2003» (г.Москва, 2003 г.), IX Международном НТС «Современные технологии в задачах управления, автоматики и обработки информации» (г.Алушта, 2000 г.), XII Международном НТШС «Современные технологии в задачах управления, автоматики и обработки информации» (г.Алушта, 2003г.).

Публикации

По теме диссертационной работы опубликовано 5 печатных работ.

Структура и объем диссертации

Диссертация изложена на 184 страницах, состоит из введения (8 стр.), четырех глав (160 стр.), заключения (2 стр.) и библиографического списка.

4.7. Выводы

В рамках данной главы получены следующие результаты:

- определены требования к информационно-поисковой системе распознавания человека по изображению лица (фотопортрету). Также определен состав необходимых организационных и технологических операций;

- разработана и описана блок-схема вычислительного процесса в разрабатываемой ИПС;

- разработана и описана библиотека функций обработки изображений и реализации алгоритма эластичного графа. Библиотека функций реализована в виде динамически подключаемого модуля «GaborLib.DLL», стандартного для ОС Microsoft Windows;

- создан опытный образец программного комплекса ИПС «Персона», дано описание его структуры;

- создана и описана структура опытного стенда, на котором проводилось комплексное тестирование опытного образца разработанной ИПС «Персона»;

- разработаны тесты и проведено комплексное тестирование опытного образца разработанной ИПС «Персона», показавшее достаточно высокую вероятность автоматического распознавания персоны (выше 90%), оставляя принятие окончательного решения Оператору, т.к. разработанная ИПС носит рекомендательный характер.

ЗАКЛЮЧЕНИЕ

Разработаны методы распознавания и построена ИПС, что позволило решить важную прикладную задачу - поиск и идентификация человека по изображению его лица в масштабе реального времени. Исследовано и показано, что для наибольшей эффективности алгоритма распознавания наряду с несжатыми изображениями возможно также использование изображений сжатых алгоритмом JPEG. Оценено влияние степени сжатия JPEG и показано, что максимально допустимая степень сжатия (обеспечивающая 90% вероятность распознавания) составляет 25%, а необходимый объем хранимой информации снижается при этом в 7 раз при сохранении допустимого уровня распознавания.

Введен коэффициент вклада джета в общую формулу определения меры подобия графов в алгоритме эластичного графа, что позволило увеличить вероятность распознавания в среднем на 3%, а в некоторых случаях и на 4,5%.

Разработан и прошел экспериментальную апробацию на реальных данных алгоритм автоматического определения пола, а также типа лица человека, изображенного на обрабатываемом изображении. Использование этих данных позволяет в 1,5 + 2 раза сократить время поиска в базе данных. Разработаны и описаны алгоритмы для автоматического определения угла поворота в глубину лица человека, изображенного на обрабатываемом изображении, позволившие решить задачу распознавания человека по повернутому до 40° изображению его лица. Применение этих алгоритмов дает возможность увеличить почти в 2 раза допустимый угол ракурса лица по сравнению с максимально допустимым в алгоритме эластичного графа равном 22°.

Исследована задача построения информационно-поисковой системы распознавания человека по фотопортрету. Разработаны и исследованы функциональные модели ИПС, а также даны рекомендации по организации, хранению и поиску информации в специализированной реляционной СУБД. Определен минимальный набор данных, которые необходимо хранить. Разработана схема информационного хранилища, детально рассмотрены функциональность каждой из реляционных таблиц хранилища. Разработан алгоритм хранения данных о регистрируемой персоне в реляционной базе данных.

7. Исследована задача идентификации персоны по двум изображениям. Разработаны алгоритмы поиска персоны в реляционной СУБД, способные осуществлять поиск в реальном масштабе времени. Экспериментально показано, что наилучшую скорость поиска показал алгоритм с использованием хранимой процедуры (33 мсек./запись).

8. Проведена разработка и комплексное тестирование опытного образца ИПС распознавания человека по фотопортрету - изделие ИПС «Персона». При разработке ИПС использовались разработанные методологические принципы проектирования ИПС и новые результаты, полученные в диссертационном исследовании.

Использование совокупности новых результатов, полученных в рамках проведенных исследований, обеспечивает решение важной прикладной задачи распознавания образов - распознавание человека по цифровому фотопортрету. Методологические принципы разработки ИПС распознавания человека по фотопортрету, разработанные алгоритмы, программно реализованные в виде динамически подключаемой библиотеки программ, а также набора хранимых процедур, пользовательских функций и представлений для реляционной СУБД Microsoft SQL Server 2000, были внедрены и использованы при создании программно-аппаратных комплексов контрольно-пропускных пунктов, эксплуатируемых в системе Федеральной пограничной службы Российской Федерации (ЗАО «Эскорт-Центр», г.Москва).

1. Абламейко С.В., Лагуновский Д.М. Обработка изображений: технология, методы, применение. Учебное пособие. Мн.: Амалфея, 2000. - 304 с.

2. Горелик А.Л. и др. Современное состояние проблемы распознавания: Некоторые аспекты. М: Радио и связь, 1985.

3. Долгов С.В. Выбор метода распознавания человека по изображению лица //Труды научной сессии МИФИ-2003. Москва, 2003.

4. Долгов С.В. Исследование влияния качества изображения лица при распознавании человека по фотопортрету // Современные технологии в задачах управления, автоматики и обработки информации. Труды XII Международной НТШС. Алушта, 2003.

5. Долгов С.В. Современные системы распознавания человека по изображению лица // Труды научной сессии МИФИ-2003. Москва, 2003.

6. Долгов С.В., Максимов Н.А. Использование WEB-технологий при проектировании информационно-поисковых систем // Современные технологии в задачах управления, автоматики и обработки информации. Труды IX Международного НТС. Алушта, 2000.

7. Зинин A.M., Кирсанова Л.З. Криминалистическая фотопортретная экспертиза. М.: Наука, 1991

8. Каллан Р. Основные концепции нейронных сетей. Пер. с англ. М.: Издательский дом «Вильяме», 2001. - 284 с.

9. Кухарев Г.А. Биометричские системы: Методы и средства идентификации личности человека. СПб.: Политехника, 2001.-240 с.

10. Максимов Н.А., Тучкин А.В. Аналитические методы исследования комплексов обработки результатов летных испытаний JTA. М.: МАИ, 1987.-64 с.

11. Мамаев Е., Шкарина JT. Microsoft SQL Server 2000 для профессионалов. -СПб: Питер, 2001.- 1088 с.

12. Пентланд А., Чаудхари Т. Распознавание лиц для интеллектуальных сред // Открытые системы. 2000 - №3.

13. Самаль Д.И. Построение систем идентификации личности на основе антропометрических точек лица // Цифровая обработка изображений. -Минск: Ин-ттехн. кибернетики НАН Беларуси, 1998. с.72-79

14. Самаль Д.И., Старовойтов В.В. Подходы и методы распознавания людей по фотопортретам (Препринт/ Ин-т техн. кибернетики НАН Беларуси, №8). -Минск, 1998.-54 с.

15. Старовойтов В.В. Локальные геометрические методы цифровой обработки и анализа изображений. Мн:, 1997. - 284 с.

16. Abdi Н. A generalized approach for connectionist auto-associative memories: interpretation, implications and illustration for face processing // Artificial Intelligence and Cognitive Sciences. 1988. - Manchester.

17. Abdi H. Additive-tree representations (with an application to face processing) // Lecture Notes in Biomathematics. 1990. - 84. - PP.43-59.

18. Abdi H., Valentin D., Edelman B.E., O'Toole A.J. More about the difference between men and women: Evidence from linear neural networks and the principal component approach // Perception. 1995. - 24. - PP.539-562.

19. Abdi H., Valentin D., O'Toole A.J. A generalized auto-associator model for face semantic processing // Journal of Mathematical Psychology. 1996. - 40. -PP. 175-182.

20. Belhumeur P. N., Hespanha J. P., Kriegman D. J. Eigenfaces vs Fisherfaces: Recognition Using Class Specific Linear Projection // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1997. - vol. 19. - PP.711-720.

21. Beymer D.J. Face Recognition Under Varying Pose // MIT AI Lab / AI memo 1461 / Technical Report. December 1993.

22. Beymer D.J. Face recognition under varying pose // Center for Biological and Computational Learning, M.I.T. / A.I.Memo 1461.- 1993.

23. Brunelli R., Poggio T. Face recognition: features versus templates // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1993. - vol.15. -№10.-PP. 1042-1052

24. Choudhury T. et al. Multimodal Person Recognition Using Unconstrained Audio and Video // Proceedings 2nd Conf. Audio- and Video-Based Biometric Person Authentication. -1999. Univ. of Maryland. - PP. 176-181

25. Cox I.J., Ghosn J., Yianilos P.N. Feature-based face recognition using mixture distance // NEC Research Institute / Technical Report 95-09. 1995.

26. Esme В., Sankur В., Anarim E. Facial feature extraction using genetic algorithms // 8-th European Signal Processing Conference. 1996. — Trieste. -PP.1511-1514.

27. Essa I., Pentland A. A Vision System for Observing and Extracting Facial Action Parameters // MIT Media Lab / Technical report 247. 1993.

28. Etemad K., Chellapa R. Discriminant Analysis for Recognition of Human Face Images // Journal of the Optical Society of America. 1997. - PP. 1724-1733

29. Fleming M., Cotterell G. Categorization of faces using unsupervised feature extraction // Proceedings of IEEE IJCNN International Joint Conference on Neural Networks. 1990. - PP. 65-70.

30. Graham D.B., Allinson N.M. Face recognition using virtual parametric eigenspace signatures // Image Processing and its Applications.- 1997. PP. 106110.

31. Grudin M. A., Lisboa P. J., Harvey D. M. Compact Multi-Level Representation of Human Faces for Recognition// 6th Int. Conf. on Image Processing and its Applications. 1997. - Trinity College, Dublin. - PP. 111-115.

32. Heisele В., Ho P., Poggio T. Face recognition with support vector machines: global versus component-based approach// Proceedings of 8th International Conference on Computer Vision. 2001. - Vancouver.

33. Hormel M., Konen W., Fuhrmann S., Flugel A. Neural systems for complex identification tasks: the access control system ZN-Face and the alarm identification SENECA // Proceedings of ICANN95. 1995. - Paris.

34. Kirby M., Sirovich L. Application of the Karhunen-Loeve Procedure for Characterization of Human Faces // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1990. - PP. 103-108.

35. Kohonen T. Self-Organization and Associative Memory, Springer-Verlag, Berlin, 1989

36. Konen W. Comparing facial line-drawings with gray-level images: A case study on PHANTOMAS // Proceedings of ICANN96. 1996. - Bochum.

37. Konen W., Schulze-Kriiger E. ZN-Face: A system for access control using automated face recognition // Proceedings of Int. Workshop on Automated Face and Gesture-Recognition. 1995. - Zurich.

38. Kriiger N. An Algorithm for the Learning of Weights in Discrimination Functions Using a Priori Constraints // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1997. - vol. 19. - PP. 764-768.

39. Kruger V., Sommer G. Gabor wavelet networks for object representation // Proceedings of the Int. Dagstuhl 2000 Workshop. -2000. LNCS. Springer.

40. Kruizinga P., Petkov N. Optical flow applied to person identification // Proceedings of the 1994 EUROSIM Conference on Massively Parallel Processing Applications and Development. 1994. - Elsevier, Amsterdam. -PP.871-878.

41. Lades M., Vorbruggen J. C., Buhmann J., Lange J., Von der Malsburg C., Wurtz R. P., Konen W. Distortion Invariant Object Recognition in the Dynamic Link Architecture // IEEE Transactions on Computers. 1993. - vol.42. - №3.- PP. 300-311.

42. Lanitis A., Taylor C. J. and Cootes T. F. Automatic Interpretation and Coding of Face Images Using Flexible Models // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1997. - vol. 19. - PP. 743-756.

43. Lawrence S, Giles C.L., Tsoi A.C., Back A.D. Face Recognition: A Convolutional Neural Network Approach // IEEE Transactions on Neural Networks, Special Issue on Neural Networks and Pattern Recognition. 1997. -vol. 8. - № 1.- PP. 98-113.

44. Lawrence S., Lee Giles C., Tsoi A.C., Back A.D. Face Recognition: A Hybrid Neural Network Approach // IEEE Transactions on Neural Networks. 1996.

45. Lee T.S. Image representation using 2D Gabor wavelets // IEEE Transactions on Pattern Recognition and Machine Intelligence. 1996. - vol. 18. - №10.

46. Lyons M.J., Budynek J., Akamatsu S. Automatic Classification of Single Facial Images // IEEE Transactions on Pattern Analysis and Machine Intelligence. -1999. vol.21. - №12. - PP.1357-1362.

47. Lyons M.J., Budynek J., Plante A., Akamatsu S. Classifying facial attributes using a 2-D Gabor wavelet representation and discriminant analysis // IEEE Conf. on Automatic Face and Gesture Recognition. 2000. - Grenoble, France. - PP.202-207.

48. Moghaddam В., Pentland A. An Automatic System for Model-Based Coding of Faces // IEEE Data Compression Conference. 1995. - Snowbird, Utah.

49. Moghaddam В., Pentland A. Probabilistic Visual Learning for Object Representation // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1997. - vol. 19. - PP. 696-710.

50. Nastar C., Pentland A. Matching and Recognition Using Deformable Intensity Surfaces // IEEE International Symposium on Computer Vision. 1995. - Coral Gables.

51. Nefian A.V., Hayes M.H. An embedded hmm-based approach for face detection and recognition // Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing. 1999. - vol.6. - PP. 3553-3556.

52. O'Toole A.J., Abdi H. Deffenbacher, K.A., Valentin, D. A low dimensional representation of faces in the higher dimensions of the space // Journal of the Optical Society of America. 1993.-№10.-PP. 405-411.

53. Penev P., Tick J.A. Local Feature Analysis: A General Statistical Theory for Object Representation // Network: Computation in Neural Systems. 1996. -PP.477-500.

54. Pentland A. Smart Rooms, Smart Clothes, Scientific American, Apr. 1996, pp.68-76

55. Pentland A. Wearable Intelligence // Scientific American. 1998. - PP. 90-95.

56. Pentland A., Moghaddam В., Starner T. View-Based and Modular Eigenspaces for Face Recognition // MIT Media Lab Vismod /Technical report 245. 1993.

57. Perkins C., Fricke T. Wavelets // Department of Electrical Engineering University of California at Berkeley. 2000, - 18 P.

58. Philippe G. Schyns and Heinrich H. Bulthoff: Conditions for Viewpoint Dependent Face Recognition // MIT AI Lab / AI memo 1432 / Technical Report.- 1993.

59. Phillips P. et al. The Feret Database and Evaluation Procedure for face Recognition Algorithms // Image and Vision Computing. 1998. - PP.295-306.

60. Potzsch M., Kriiger N., Von der Malsburg C. Improving object recognition by transforming Gabor filter responses //Network: Computation in Neural Systems.- 1996. vol.7. - №2.- PP.341-347.

61. Rajesh P. N. Rao and Dana H. Ballard: Natural Basis Functions and Topographic Memory for Face Recognition // Proceedings of the International Joint Conference on Artificial Intelligence (IJCAI). 1995. - PP. 10-17.

62. Rosenblum M., Yacoob Y., Davis L.S. Human Emotion Recognition from Motion Using a Radial Basis Function Network Architecture // IEEE Workshop on Motion of Non-Rigid & Articulated Objects. 1994. - Austin, TX. - PP.4349.

63. Samaria F. Face Segmentation For Identification Using Hidden Markov Models // Proceedings of 4th British Machine Vision Conf. 1993. - Springer-Verlag.

64. Samaria F., Fallside F. Automated Face Identification Using Hidden Markov Models // Proceedings of the Int. Conf. Advanced Mechatronics, The Japan Society of Mechanical Engineers. 1993.

65. Samaria F., Fallside F. Face Identification and Feature Extraction Using Hidden Markov Models // Image Processing: Theory and Applications. 1993. -Elsevier.

66. Sirovitch L., Kirby M. Low-dimensional procedure for the characterization of human faces // Journal of the Optical Society of America. 1987. - №2. - PP. 519-524.

67. Sung К. K., Poggio T. Learning Human Face Detection in Cluttered Scene // Lecture Notes in Computer Science Computer Analysis of Images and Patterns. - 1995. - PP. 432-439.

68. Turk M., Pentland A. Eigenfaces for Recognition // Journal of Cognitive Neuroscience. 1991. - PP. 71-86.

69. Valentin D., Abdi H. Can a linear autoassociator recognize faces from new orientations //Journal of the Optical Society of America. 1996. - №13.

70. Valentin D., Abdi H., O'Toole A.J. Principal component and neural network analyses of face images: Explorations into the nature of information available for classifying faces by sex // Progress in Mathematical Psychology. 1996. -Hillsdale, Erlbaum.

71. Valentin D., Abdi H., O'Toole A.J., Cottrell G.W. Connectionist models of face processing: A survey // Pattern Recognition. 1994. - №27. - PP. 1208-1230.

72. Valentin D., Abdi H., O'Toole. Categorization and identification of human face images by neural networks: A review of linear auto-associator and principal component approaches // Journal of Biological Systems. 1994. - №2. -PP.413-429.

73. Weiser M. The Computer for the 21st Century // Scientific American. 1991. -PP. 66-76.

74. Wilson C. L., Barnes C.S., Chellappa R., Sirohey S.A. Technical Report NISTIR 5465.- 1994.

75. Wiskott L., Fellous J.M., Kruger N., Von der Malsburg C. Face Recognition and Gender Determination // Proceedings of the International Workshop on Automatic Face and Gesture Recognition. 1995. - Zurich. - PP. 92-97.

76. Wiskott L., Fellous J.M., Kruger N., Von der Malsburg C. Face Recognition by Elastic Bunch Graph Matching // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1997. - vol.19. - №7. - PP. 775-779.

77. Wiskott L., Von der Malsburg C. A Neural System for the Recognition of Partially Occluded Objects in Cluttered Scenes // Int. Journal of Pattern Recognition and Artificial Intelligence. 1993. - vol.7. - №4. - PP. 935-948.

78. Wurtz R. P. Object Recognition Robust Under Translations, Deformations, and Changes in Background // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1997. - vol.19. - PP. 769-775.

79. Yacoob Y., Davis L.S. Computing Spatio-Temporal Representations of Human Faces // IEEE Conference on Computer Vision and Pattern Recognition. 1994. - Seattle, WA. - PP. 70-75.

80. Yacoob Y., Davis L.S. Recognizing Facial Expressions by Spatio-Temporal Analysis // 12th International Conference on Pattern Recognition. 1994. -Jerusalem, Israel. - PP. 747-749.

81. Yacoob Y., Lam H., Davis L.S. Recognizing Faces Showing Expressions // International Workshop on Automatic Face- and Gesture-Recognition. 1995. -Zurich.