автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Численные методы и программный комплекс анализа документальных портретных изображений

□□31ТТ586

На правах рукописи МЯСНИКОВ Евгений Валерьевич

ЧИСЛЕННЫЕ МЕТОДЫ И ПРОГРАММНЫЙ КОМПЛЕКС АНАЛИЗА ДОКУМЕНТАЛЬНЫХ ПОРТРЕТНЫХ ИЗОБРАЖЕНИЙ

Специальность 05 13 18 - Математическое моделирование, численные методы и комплексы программ

Автореферат диссертации на соискание ученой степени канди^ту тц^рч^^цх наук

САМАРА - 2007

003177586

Работа выполнена в Государственном образовательном учреждении высшего профессионального образования «Самарский государственный аэрокосмический университет имени академика С П Королева» и Институте систем обработки изображений Российской академии наук

Научный руководитель: доктор технических наук, профессор

Сергеев Владислав Викторович

Официальные оппоненты: доктор технических наук, профессор

Прохоров Сергей Антонович, заведующий кафедрой информационных систем и технологий, ГОУ ВПО «Самарский государственный аэрокосмический университет имени академика С П Королева»,

кандидат технических наук, доцент Свиридов Вячеслав Павлович, заместитель декана факультета автоматики и информационных технологий ГОУ ВПО «Самарский государственный технический университет»

Ведущее предприятие. Институт автоматики и электрометрии

Сибирского отделения Российской академии наук

Защита состоится " 28 " декабря 2007 г в 12 часов на заседании диссертационного совета Д212215 05 при Государственном образовательном учреждении высшего профессионального образования «Самарский государственный аэрокосмический университет имени академика С П Королева» (СГАУ) по адресу 443086, Самара, Московское шоссе, 34

С диссертацией можно ознакомиться в библиотеке СГАУ Автореферат разослан " 27 " ноября 2007 г

Ученый секретарь диссертационного совета д т н , профессор

А А Калентьев

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Диссертация посвящена разработке численных методов и программного комплекса обработки и анализа документальных портретных изображений

Актуальность темы

В настоящее время в связи с бурным развитием информационных технологий и их применением в различных сферах жизнедеятельности общества все более широкое распространение получают автоматизированные системы идентификации личности по биометрическим данным Важное место среди подобных систем занимают системы распознавания личности по изображению лица, получаемого с использованием сканирующей, фото- и видеоаппаратуры Актуальность более узкой задачи - идентификации личности по изображению лица на документальной фотографии обусловлена растущими потребностями автоматизации обработки видеоинформации в следующих областях деятельности пограничный паспортный контроль, регистрация пассажиров на авиарейсах, внутренний или наружный видеоконтроль с целью обеспечения безопасности, контроль доступа с целью предотвращения несанкционированного доступа, поиск разыскиваемых лиц и т д

К настоящему времени разработано множество методов распознавания личности по фотоизображению лица, которые могут быть разделены на три группы

1) глобальные методы, которые основаны на вычислении и использовании признаков изображений, характеризующих область лица в целом (так называемые "собственные лица", "фишеровские лица", метод опорных векторов и т д ),

2) локальные методы, основанные на выделении признаков локальных областей изображения, соответствующих деталям лица глазам, носу, рту (гибкое сравнение графов, скрытые марковские модели и др ),

3) гибридные методы, сочетающие в себе оба подхода

Изучению различных аспектов проблемы распознавания личности по изображению лица посвящены труды В В Старовойтова, Н Г Федотова, М Кирби (М Kirby), Т Кохонена (Т Kohonen), А Пентланда (A Pentland) J1 Сирович (L Sirovich), М Турка (М Turk) и других российских и зарубежных ученых

В настоящее время известен ряд программных систем, предназначенных для распознавания личности, наиболее известными из которых являются системы автоматической идентификации и верификации людей компании "ZN Vision Technologies", система распознавания лиц FaceTools компании Vnsage, система Facelt компании Identix, система FaceVACS компании Cognitec, система Face-Инспектор компании Intelligent security system

Несмотря на востребованность подобных систем их широкое распространение ограничивается следующими факторами

- чрезвычайно высокая стоимость, трудности с сопровождением и поддержкой,

- закрытость архитектуры,

- отсутствие достоверных показателей эффективности распознавания и зачастую рекламный характер таких показателей,

- закрытость используемых информационных технологий, а также методов и алгоритмов, входящих в их состав

Учитывая указанные факторы, а также то, что при решении задачи анализа документальных портретных изображений есть возможность в полной мере учесть специфику именно этого класса изображений, разработку численных методов и программного комплекса анализа документальных портретных изображений следует считать целесообразной

Разработанные методы могут быть применены при решении задач идентификации и поиска личности по портретным изображениям на документах Разработанный программный комплекс позволяет решать задачу контроля документов для идентификации личности

Исследования по тематике диссертации были поддержаны грантами Российского фонда фундаментальных исследований проекты № 06-01-00616-а, 07-07-97610-р_офи и в рамках российско-американской программы "Фундаментальные исследования и высшее образование" (CRDF Project RUX0-014-SA-06)

Цель и задачи исследования

Целью диссертации является автоматизация процесса идентификации личности по изображению лица на документах Для достижения этой цели в диссертации решаются следующие задачи

1 Разработка математической модели лица и метода ее построения

2 Разработка метода отбора информативных признаков для поиска изображений

3 Разработка численного метода поиска изображений в базе данных

4 Разработка численного метода сопоставления изображений

5 Разработка архитектуры и реализация экспериментального программного комплекса обработки и анализа документальных портретных изображений

6 Проведение экспериментальных исследований, подтверждающих эффективность разрабатываемых методов

Методы исследований

В диссертационной работе используются методы математического анализа, теории вероятностей и статистического анализа, теории цифровой обработки сигналов и изображений, теории распознавания образов, теории оптимизации

Научная новизна работы

1 Предложена математическая модель лица, предназначенная для быстрого выделения информативной области на документальных портретных изображениях Разработан метод построения (определения параметров) этой модели на основе анализа локальных статистических характеристик изображений

2 Разработан трехэтапный метод отбора информативных признаков, основанный на автоматическом выборе информативных точек на полях признаков, процедурах присоединения-отбрасывания, построении субоптимальных пар "система признаков - классификатор"

3 Разработан двухэтапный численный метод поиска изображений в базе данных, включающий в себя предварительную селекцию изображений-претендентов и последующую классификацию отобранных изображений с использованием набора классификаторов-экспертов и классификатора-агрегатора.

4 Разработан численный метод сопоставления портретных изображений, основанный на оценке геометрического рассогласования изображений по их спектрам, представленным в логарифмически-полярных координатах

5 Разработана архитектура экспериментального программного комплекса обработки и анализа документальных портретных изображений

Практическая ценность работы

Разработанные методы открывают возможности для повышения эффективности решения задач идентификации и поиска личности по портретным изображениям на документах Разработанный программный комплекс позволяет решать задачу контроля документов для идентификации личности

Реализация результатов работы

Результаты диссертации использованы при выполнении ряда госбюджетных и хоздоговорных НИР в Институте систем обработки изображений РАН, Самарском государственном аэрокосмическом университете и ОАО «Самара Информспутник», что подтверждено актами внедрения

Апробация работы

Основные результаты диссертации докладывались на следующих конференциях

- 9-ой Всероссийской научной конференции «Электронные библиотеки, перспективные методы и технологии, электронные коллекции» (RCDL'2007), г Переславль-Залесский, Россия, 2007,

- 8-ой Международной конференции «Распознавание образов и анализ изображений Новые информационные технологии» (8-th International Conference on Pattern Recognition and Image Analysis New Information Technologies - PRIA-8-2007), г Йошкар-Ола, 2007,

- 13-ой Всероссийской конференции «Математические методы распознавания образов», Ленинградская обл , г Зеленогорск, 2007,

- Научно-технической конференции с международным участием «Перспективные информационные технологии в научных исследованиях, проектировании и обучении» (ПИТ-2006), г Самара, 2006,

- Всероссийском семинаре по моделированию, дифракционной оптике и обработке изображений, г Самара, 2006,

- Международной конференции «Second IASTED International Multi-Conference «Automation, Control, and Information Technologies Software Engineering» (ACIT-SE) г Новосибирск, 2005,

- 7-ой Международной конференции «Распознавание образов и анализ изображений Новые информационные технологии» (7-th International Conference on Pattern Recognition and Image Analysis New Information Technologies - PRIA-7-2004), г Санкт-Петербург, 2004,

- 2-ой летней школе молодых ученых по дифракционной оптике и обработке изображений, г Самара, 2004,

- VI международной конференции "Распознавание образов и анализ изображений новые информационные технологии" (РОАИ-6-2002), г Великий Новгород, 2002

Публикации

По теме диссертации опубликовано девятнадцать работ, в том числе шесть статей в ведущих рецензируемых научных журналах и изданиях, определенных Высшей аттестационной комиссией

Структура диссертации

Диссертация состоит из введения, трех разделов, заключения, списка использованных источников и трех приложений Она изложена на 140 страницах машинописного текста (без приложений), содержит 43 рисунка, 23 таблицы, список использованных источников из 88 наименований

На защиту выносятся

1 Математическая модель лица и метод ее построения на основе анализа локальных характеристик документальных портретных изображений

2 Трехэтапный метод отбора информативных признаков для классификации изображений

3 Двухэтапный численный метод поиска изображений в базе данных на основе совместной классификации

4 Численный метод сопоставления изображений на основе оценки параметров их геометрических преобразований

5 Архитектура экспериментального программного комплекса обработки и анализа документальных портретных изображений

6 Результаты экспериментальных исследований, подтверждающие эффективность разработанных методов

Первый раздел диссертации посвящен решению задачи поиска документальных портретных изображений в базе данных (БД) Приведена постановка задачи, обоснованы подходы к ее решению Предлагаемый подход к решению задачи поиска состоит из трех основных этапов-

1 Построение математической модели лица для выделения информативной области лица

2 Расчет информативных признаков изображения лица

3 Поиск личности в БД

На первом этапе по изображению лица производится построение математической модели лица (ММЛ) на основе анализа локальных статистических характеристик изображения ММЛ представляет собой определенную совокупность параметров и ограничений Важнейшими параметрами модели являются координаты так называемых опорных точек, характеризующих

дисперсией на изображении Области с высокой дисперсией соответствуют глазам, носу, губам, с низкой — скулам, щекам, переносице Параметрами модели лица также являются координаты центров роговиц глаз (ЦРГ) и размер и расположение собственно информативной области лица Ограничения, входящие в модель, касаются взаимного расположения опорных точек, а также ЦРГ

КРАТКОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

области

локальной

Разработанный метод построения модели лица используется как на этапе обучения, так и на этапе применения На этапе обучения формируется так называемое эталонное изображение, представляющее собой усредненное по обучающей выборке из БД поле локальных дисперсий с найденными на нем

опорными точками Sq J = ' ' = Ф°РмиРУемое таким

образом эталонное изображение обеспечивает адаптивность MMJI к конкретной БД

При применении разработанный метод построения модели лица состоит из следующих основных этапов

1 Определение положения опорных точек

2 Уточнение координат ЦРГ

3 Определение положения и параметров информативной части изображения лица

Определение положения опорных точек для конкретного изображения производится с использованием эталонного изображения При этом предполагается, что положение опорных точек изображения сохраняется по сравнению с эталонным изображением с точностью до независимых линейных преобразований вдоль осей координат

Опираясь на данное предположение, параметры указанного преобразования (a,b,c,d) определяются для конкретного изображения, исходя из минимизации функционала, вычисляемому по полю локальных дисперсий изображения h(x,y)

SM v J s(-) v ' a'b'c'd

Используя найденные параметры преобразования, определяются координаты опорных точек на обрабатываемом изображении Несмотря на очевидную приближенность использованного предположения, найденные опорные точки позволяют выделить небольшую (по сравнению с размером изображения) область для дальнейшего уточнения наиболее важных параметров MMJ1 Такими параметрами являются центры роговиц глаз, а собственно метод уточнения координат ЦРГ состоит в следующем (см рис 1) Для каждого шаблона, соответствующего различным размерам роговицы глаза строится корреляционное поле, на котором выделяются пики Далее из всех пиков выбирается наиболее перспективная пара, удовлетворяющая всем ограничениям MMJI и характеризующаяся максимальными значениями корреляции

После определения координат ЦРГ информативная область лица определяется как усеченный эллипс, положение и размер которого однозначно связаны с параметрами эталона и уточненными координатами ЦРГ В целях упрощения процедуры расчета признаков после построения MMJI изображение подвергается геометрической нормализации, и участки изображения за границами информативной области игнорируются

С целью определения точности модели на двух важнейших этапах построения ММЛ проводились экспериментальные исследования метода. Во-первых, оценивалась точность определения области поиска глаз, определяемая как вероятность попадания

истинных координат обоих глаз внутрь зоны поиска. Во-вторых, оценивалась точность

определения координат ЦРГ (см. рис. 2).

Критерием при проведении эксперимента было

отклонение найденных

координат центров роговиц от истинных значений (которые были введены вручную). В результате исследований установлено, что

максимальное отклонение найденных координат ЦРГ от их истинных значений не превышает 4 пикселей (1/4 диаметра роговицы) с вероятностью 0.955.

Описанная выше ММЛ поступающего изображения, информативной области лица.

Рис. 1. Метод уточнения координат ЦРГ

Р 0.9 0.8 0.7 0.6 0.5 0.4

(/

/

/ / — Модуль максимального отклонения — Евклидово отклонение

/ /

/1

1 § |

0

1

5

Рис. 2. Оценка интегральной функции распределения вероятности отклонения найденных координат ЦРГ от их истинных значений

используется для предварительной обработки а именно для нормализации и выделения Выполняемая таким образом предварительная обработка обеспечивает инвариантность рассчитываемых в дальнейшем признаков к вариациям прически, одежды, фона и других факторов, которые могут иметь место на документальной портретной фотографии.

Следующим этапом после нормализации и выделения информативной части лица является расчет признаков, используемых для поиска или сохранения в БД. При этом размерность исходного пространства признаков, представляющих собой собственно пиксели изображения (или компоненты спектральных преобразований изображений), может достигать десятков и сотен тысяч, и обучение классификаторов на таком пространстве признаков затруднительно. Учитывая, что существующие методики не позволяют отобрать признаки в случае столь высокой размерности исходного пространства, и, признавая, что использование только эмпирического подхода к выбору системы признаков не является целесообразным, в рамках диссертационной работы был предложен новый метод отбора информативных признаков. Разработанный метод используется в режиме обучения и позволяет не только снизить размерность исходного пространства

признаков, до нескольких десятков признаков, но и подобрать субоптимальные пары «система признаков - классификатор» в смысле используемых критериев классификации.

На первом этапе

предложенного метода

производится так называемый предварительный отбор признаков (см. рис.3). Для каждого изображения из обучающей выборки БД производится построение первичного

(избыточного) набора полей признаков. Рассматриваются

различные типы признаков, как глобальные спектральные, так и локальные, рассчитываемые в скользящем окне. Для каждого типа признаков строится поле

отношений общих и

внутриклассовых дисперсий

(классы, соответствующие

личностям, задаются при формировании обучающей

выборки). Рис.3. Предварительный отбор признаков

В зависимости от того, является ли поле признаков спектральным, на поле отношений выбираются точки, соответствующие глобальным или локальным максимумам. Положение этих точек и определяет набор признаков для дальнейшего отбора.

На втором этапе отбор также осуществляется с использованием обучающего подмножества из БД. Для всех рассматриваемых в рамках работы классификаторов и критериев классификации рассчитываются признаки, отобранные на первом этапе, и задача отбора решается сначала методом последовательного присоединения - отбрасывания признаков. Таким образом, итогом второго этапа отбора признаков для каждого используемого критерия классификации является множество пар «система признаков - классификатор».

На третьем этапе отбора признаков для каждой выбранной пары «система признаков - классификатор» производится обучение классификатора на расширенной обучающей выборке из БД, а затем тестирование на контрольной выборке из БД. Исходя из полученных результатов, итогом всей процедуры отбора признаков становится одна или несколько субоптимальных в смысле используемого критерия пар «система признаков - классификатор».

Численный метод поиска изображений, используемый на третьем этапе технологии, представляет собой двухэтапную процедуру, на первом этапе которой осуществляется предварительный отбор претендентов, а на втором этапе с использованием метода совместной классификации производится окончательный отбор. Такое построение метода поиска обеспечивает как высокие вероятностные показатели, так и приемлемое время поиска.

Фурье

Основной целью первого этапа поиска изображений, называемого также селекцией, является существенное сокращение числа претендентов, попадающих на второй этап поиска.

При этом критерием при р обучении классификатора

является минимизация ошибки второго рода (пропуска объекта), так как пропуск искомого объекта на первом этапе означает неверное решение задачи поиска в целом. При проведении

экспериментальных исследований

необходимо было найти -4...............1 Г -Инварианты

Соэ -Хартли

компромисс между

вероятностными

характеристиками решения задачи селекции, количеством

используемых признаков и отбираемых изображений.

Результаты экспериментальных исследований приведены на Рис.4. Зависимость оценки вероятности попадания рис 4 В качестве системы предъявляемого изображения в список претендентов признаков были выбраны 15 от количества признаков

признаков на основе локального среднеквадратического отклонения (СКО).

Второй этап поиска реализуется с использованиемСЭ^ражмле.. процедуры совместной

классификации (см. рис.5), в которой решения, выносимые классификаторами-экспертами, объединяются классификатором-агрегатором.

Классификатор-агрегатор представляет собой байесовский классификатор в виде отношения правдоподобия для бинарных векторов признаков. Применение совместной классификации позволило добиться результатов, не достижимых по сравнению с использованием любого из рассмотренных в работе классификаторов-экспертов.

В рамках работы были исследованы следующие классификаторы-эксперты:

1) байесовский классификатор для нормально-распределенных векторов признаков (КНРВП),

2) байесовский классификатор на основе непараметрической оценки Парзена плотности вероятности (КОППВ),

3) классификатор по пороговым ограничениям (КПО).

Экспериментальные исследования классификаторов-экспертов производились совместно с выбором субоптимальных систем признаков. Были исследованы

Рис.5. Схема совместной классификации

следующие типы признаков: глобальные спектральные признаки (Фурье, Хартли и др.), локальные признаки (средние значения яркости, локальные СКО, свертки с шаблонами элементов лица и др.). Размерности всех указанных типов признаков совпадали с размерностью исходного изображения. Некоторые результаты

Рис.6. Зависимости оценки вероятностей правильной идентификации от количества признаков: а) признаки на основе преобразования Хартли; б) признаки на основе локальных средних значений

Результаты экспериментальных исследований разработанного метода подтвердили эффективность применения двухэтапной схемы с процедурой совместной классификации. Для использованной при моделировании БД, состоящей из 4800 изображений, были получены следующие оценки вероятностей

• в случае, когда искомый класс присутствует в БД:

- вероятность верного обнаружения объекта - 0.912,

- вероятность ошибки обнаружения (нахождения другого объекта) - 0.014,

- вероятность пропуска объекта - 0.074;

• в случае, когда искомый класс отсутствует в БД:

- вероятность правильного подтверждения отсутствия в эталонной выборке объектов - 0.855,

- вероятность ложного обнаружения отсутствующих в эталонной выборке объектов - 0.145.

Второй раздел диссертации посвящен решению задачи сопоставления документальных портретных изображений. Предложен метод сопоставления портретных изображений на основе оценки параметров их геометрических преобразований. Оценка параметров геометрических преобразований производится с использованием корреляционного подхода и представления модулей Фурье-образа исходных изображений в логарифмически-полярной системе координат.

Пусть исходный сигнал f(x,y), заданный в декартовых координатах, путем поворота на угол <р, масштабирования с коэффициентом а и сдвига на величины гх, Ту вдоль осей х, у соответственно, преобразуется к сигналу g(x,y). Тогда связь модулей спектров исходного и преобразованного сигналов в логарифмически-полярных координатах может быть выражена в следующем виде: ||G'(logt р, Р)|| = а2 ||Г (log, а + log, р, (3 + <р)||.

Здесь р и /? образуют в спектральной области полярную систему координат, Ь -основание логарифма. Учитывая указанную взаимосвязь, алгоритм оценивания параметров преобразования может быть представлен следующим образом. Шаг 0. Предварительная обработка изображений: фильтрация, яркостная нормализация, наложение радиально-симметричной маски для выделения области интереса на изображении.

Шаг 1. Расчет спектров Р(иу) и С(и,у) двумерных полей яркости исходного /(х,у) и

преобразованного g(x,y) изображений.

Шаг 2. Вычисление модулей спектров Ц^м.у^Ц и Цс^м.у^Ц.

Шаг 3. Переход к полярным координатам в соответствии с выражениями

И = рС05р, у = р5тр

и логарифмированием шкалы по оси радиального аргумента:

|^(гьР)|| = ||Г (1 Р,р)||, |Ип,Р)| = |сГ(1с^ Р,р)[|.

Шаг 4. Расчет двумерной корреляции модулей спектров, полученных на шаге 3, и соответствующих нормирующих корреляционных множителей. Шаг 5. Нахождение корреляционного пика т}тах, Ртах и определение по координатам пика параметров масштабирования а и поворота <р\

а = ¿1»«, ф = рта>,.

Шаг 6. Поворот и масштабирование исходного изображения хСо,!^) по полученным значениям а и <р параметров преобразования:

у)' уГ^Ф + ^Ф ~Х$}ТМр + у С05 ф ^ V а а )

Шаг 7. Расчет взаимной корреляционной функции изображения/'(х,у), полученного на шаге 6, и преобразованного изображения g(x,y). Учитывая особенности портретных изображений, на данном шаге возможно использование только центральной части изображения.

Шаг 8. Расчет значения корреляционного пика и определение по координатам пика параметров взаимного сдвига изображений тх, гу .

Полученное на последнем шаге значение корреляции может быть использовано в качестве меры при сопоставлении. Проведены экспериментальные исследования, показавшие эффективность оценки параметров геометрических преобразований по сравнению с известным методом моментов (см. рис.7).

масштаб □ а поворот ■р сдвиг

1: [0.83Д.2] [-0.2-Д2] [-10Д0]

2: [0.77; 1.3] [-0.4;0.4] [-11;11]

3: [0.67; 1.5] [-0.6;0.6] [-12;12]

4: [0.5^.0] [-0.8;0.8] [-13;13]

Рис. 7. Отношение средних значений ошибки оценки параметров геометрического рассогласования для Фурье-метода и метода моментов

Произведены исследования по повышению эффективности разработанного метода путем выбора вида применяемого окна маскирования, а также выбора применяемого способа интерполяции в рамках метода сопоставления портретных

изображений Произведена оценка эффективности метода сопоставления портретных изображений, результаты которой составили

• вероятность верного сопоставления идентичных фотографий - 0 9987,

• вероятность ошибки сопоставления различных фотографий - 0 0006

Полученные результаты позволили сделать вывод об эффективности

применения разработанного метода сопоставления в задаче идентификации личности по изображению лица на документальной фотографии

Третий раздел диссертации посвящен разработке архитектуры и реализации программного обеспечения экспериментального комплекса анализа документальных портретных изображений Определены требования, предъявляемые на этапе проектирования программного комплекса, основными из которых являются

- возможность одновременной обработки запросов, поступающих с нескольких рабочих мест (контроля документов),

- возможность удаленного доступа с рабочих мест,

- ввод фотоизображения документа с использованием устройства ввода,

- выделение фотографии лица на изображении документа и распознавание находящейся на документе семантической информации,

- поиск в базе данных изображений лиц, наиболее похожих на лицо, изображенное на поступившем документе,

- извлечение изображения лица из базы данных по известной семантической информации документа и сопоставление его с фотографией на поступившем документе,

- накопление базы данных фотоизображений лиц, проходящих контроль

В соответствии с приведенными требованиями был спроектирован экспериментальный программный комплекс, архитектура которого представлена на рисунке 8 Основными особенностями предложенной архитектуры и реализации являются клиент - серверная модель построения архитектуры, использование многопоточного режима обработки данных, а также реализация критических ко времени выполнения функций в виде расширенных хранимых процедур, исполняемых в процессе системы управления базами данных В диссертации описан состав и назначение подсистем программного комплекса, определены интерфейсы взаимодействия между подсистемами (см табл 1) и обоснован выбор используемых системных средств

Таблица 1 Интерфейсы взаимодействия между подсистемами

№ на рис. Интерфейс взаимодействия

1 Протокол, функционирующий на базе Windows Sockets на TCP/IP

2 Интерфейсы соответствующих классов и процедур С++

3 Интерфейсы функций динамически подключаемых библиотек

4 Интерфейсы соответствующих компонентов, реализованные в рамках стандарта компонентной объектной модели (СОМ)

5 Интерфейс доступа к данным ADO (ActiveX Data Objects)

6 Интерфейс динамически подключаемых библиотек, созданных на основе Open Data Services API (ODS API)

7 Интерфейс драйверов устройства ввода

Клиентская машина

Клиентская машина

Устройство ввода

Клиентская машина

_Клиентский про.цесс

ПО устройства _ввода_

Выделение фотографии

Подсистема

взаимодействия с устройством ввода

Графический

интерфейс пользователя

Распознавание семантики

Очередь запросов

Рис. 8. Архитектура программного обеспечения информационной системы: а) серверная часть, б) клиентская часть

ЗАКЛЮЧЕНИЕ

Основные результаты диссертационной работы

1. Предложена математическая модель лица на документальном портретном изображении, разработан численный метод определения ее параметров, позволяющий с высокой точностью и скоростью определять информативную область изображения лица.

2. Разработан трехэтапный метод отбора информативных признаков, использование которого позволяет определять наиболее информативные признаки и субоптимальные пары «система признаков - классификатор» для поиска изображений.

3. Разработан двухэтапный численный метод поиска изображений в базе данных, позволяющий производить поиск с высокой скоростью и эффективностью (вероятность правильного результата поиска изображения в базе данных, содержащей 4800 изображений - не менее 0.91).

4. Разработан численный метод сопоставления изображений, обеспечивающий высокую надежность установления идентичности изображений (с вероятностью ошибок - менее 0.001).

5. Разработана архитектура и выполнена реализация экспериментального программного комплекса обработки и анализа документальных портретных изображений.

6 Выполнены экспериментальные исследования, подтвердившие работоспособность и эффективность разработанных численных методов, а также, в целом, информационной технологии обработки и анализа документальных портретных изображений, составленной из этих методов

Основные положения диссертации отражены в следующих публикациях:

в ведущих рецензируемых научных журналах и изданиях, определенных Высшей аттестационной комиссией

1 Гашников, М В Программная система для разработки алгоритмов обработки и анализа цифровых изображений [Текст] / Гашников М В , Глумов Н И , Мясников Е В , Сергеев В В , Чернов А В , Чичева М А // Компьютерная оптика - 2004 - № 26 -С 112-114

2 Глумов, Н И Метод отбора информативных признаков на цифровых изображениях [Текст] / Глумов Н И , Мясников Е В //Компьютерная оптика. - 2007 - Том 31, №3 -С 73-76

3 Мясников, Е В Определение параметров геометрических трансформаций для совмещения портретных изображений [Текст] / Мясников Е В //Компьютерная оптика -2007 -Том 31, №3 - С 77-82

4 Chernov, А V Software tool system for digital image processing and analysis [Text] / Chernov A V , Chicheva M A , Gashnikov M V , Glumov NI, Myasmkov E V , Sergeev VV //Pattern Recognition and Image Analysis - 2005 -Vol 15, No 2 -pp 368-370

5 Chernov, A V Program System for Distributed Image Processing [Text] / Chernov A V , Myasmkov E V , Myasmkov V V , Sergeev V V // Pattern Recognition and Image Analysis -2003 - Vol 13, No 2 - pp 228-230

6 Gashnikov, M V Software Environment for Simulating Algorithms for Image Analysis and Processing [Text] / Gashnikov M V , Glumov N I, Myasmkov E V , Sergeev V V , Chernov A V , Chicheva MA// Pattern Recognition and Image Analysis - 2007 -Vol 17, No 2 -pp 279-283

в других изданиях

1 Гашников, М В Инструментальная программная система обработки и анализа цифровых изображений [Текст] / Гашников М В , Глумов Н И , Мясников Е В , Сергеев В В , Чернов А В , Чичева М А // 2-я летняя школа молодых ученых по дифракционной оптике и обработке изображений Сборник тезисов докладов / Самарский государственный аэрокосмический университет - Самара, 2004 -С 54-55

8 Глумов, Н И Метод быстрой корреляции с использованием множества шаблонов в задачах анализа изображений [Текст] / Глумов Н И, Копенков В Н, Мясников ЕВ, Чичева МА // Математические методы распознавания образов 13-я Всероссийская конференция Сборник докладов / М МАКС Пресс - г Зеленогорск, 2007 г - С 559-562

9 Глумов, Н И Программная система визуализации и анализа изображений [Текст] / Глумов Н И , Копенков В Н , Мясников Е В , Сергеев А В // Сборник трудов всероссийского семинара по моделированию, дифракционной оптике и обработке изображений —Самара, 2006 - С 17-20

10 Мясников, Е В Нейросетевые алгоритмы кластеризации отсчетов цветных изображений [Текст] / Мясников ЕВ // Перспективные информационные технологии в научных исследованиях, проектировании и обучении (ПИТ-2006) труды научно-технической конференции с международным участием Том 2 /

Самарский государственный аэрокосмический университет - Самара, 2006 -С 118-123

11 Мясников, Е В Автоматизированная интеллектуальная система поиска изображений в базе данных [Текст] / Мясников Е В , Солдатова О П // Тезисы докладов XXX Юбилейной самарской областной студенческой научной конференции Часть I Общественные, естественные и технические науки / Департамент по делам молодежи Самарской области, Самарский областной совет по научной работе студентов - Самара, 2004 -С 155

12 Мясников, Е В Программная система распределенной обработки изображений [Текст] / Мясников Е В , Мясников В В , Сергеев В В , Чернов А В // Труды VI международной конференции "Распознавание образов и анализ изображений новые информационные технологии" (РОАИ-6-2002) Том 2 - Великий Новгород, 2002 -С 397-400

13 Мясников, Е В Разработка метода навигации по коллекциям цифровых изображений [Текст] / Мясников ЕВ // Труды 9-ой Всероссийской научной конференции «Электронные библиотеки перспективные методы и технологии, электронные коллекции» (RCDL'2007) - Переславль-Залесский, 2007 - С 185194

14 Мясников, Е В Навигация по коллекциям цифровых изображений на основе методов автоматической классификации [Текст] / Мясников ЕВ // Интернет-Математика 2007 Сборник работ участников конкурса / Екатеринбург Издательство Уральского Университета -2007 -С 144-152

15 Chernov, А V Software system for development of algorithms for digital images processing and analysis [Text] / Chernov A V, Chicheva M A, Gashnikov M V , Glumov NI, Myasnikov E V , Sergeev V V // Proceedings of the Second IASTED International Multi-Conference SOFTWARE ENGINEERING (ACIT-SE) - Russia, Novosibirsk, 2005 -pp 139-142

16 Chernov, A V Software tool system for digital image processing and analysis [Text] / Chernov A V , Chicheva M A , Gashnikov M V , Glumov NI, Myasnikov E V, Sergeev V V // 7-th International Conference on Pattern Recognition and Image Analysis New Information Technologies (PRIA-7-2004) Conference Proceedings Volume II -St Petersburg, 2004 - pp 445-447

17 Chicheva, M A Fast correlation method using pattern set in image analysis tasks [Text] / Chicheva M A, Glumov NI, Myasnikov E V , Kopenkov V N , // 8-th International Conference on Pattern Recognition and Image Analysis New Information Technologies (PRIA-8-2007) Conference Proceedings Volume 2 - Yoshkar-Ola, 2007 - pp 93-96

18 Chihonadskih, A P A person recognition program - researching system by a face facsimile on the documents [Text] / Chihonadskih A P , Glumov NI, Koryakin A V , Myasnikov E V , Sergeev V V , Terent'eva I Yu // 8-th International Conference on Pattern Recognition and Image Analysis New Information Technologies (PRIA-8-2007) Conference Proceedings Volume 1 - Yoshkar-Ola, 2007 - pp 254-257

19 Myasnikov, E V Comparison of two methods for evaluation of portrait images misregistration parameters [Text] / Myasnikov E V // 8-th International Conference on Pattern Recognition and Image Analysis New Information Technologies (PRIA-8-2007) Conference Proceedings Volume 2 - Yoshkar-Ola, 2007 - pp 322-325

Подписано в печать 23 11 2007 Тираж 100 экз Отпечатано с готовых оригинал-макетов СГАУ 443086, Самара, Московское шоссе, 34

ВВЕДЕНИЕ.

1 РАЗРАБОТКА ЧИСЛЕННЫХ МЕТОДОВ И МОДЕЛИ ДЛЯ ПОИСКА ДОКУМЕНТАЛЬНЫХ ПОРТРЕТНЫХ ИЗОБРАЖЕНИЙ.

1.1 Постановка задачи поиска личности по фотоизображению лица

1.1.1 Задача поиска личности по портретному изображению как задача поиска изображений по содержанию.

1.1.2 Задача поиска личности по фотоизображению лица как задача распознавания.

1.1.3 Критерии качества классификации и поиска, принятые в работе.

1.2 Математическая модель лица и ее построение.

1.2.1 Описание математической модели лица.

1.2.2 Метод построения математической модели лица.

1.2.3 Экспериментальные исследования метода построения математической модели лица.

1.2.4 Нормализация изображения и выделение области изображения для расчета признаков.

1.3 Метод отбора информативных признаков на цифровых изображениях.

1.3.1 Предварительный отбор информативных признаков первый этап отбора).

1.3.2 Формирование множеств информативных признаков второй этап отбора).

1.3.3 Окончательный отбор признаков (третий этап отбора).

1.3.4 Применение разработанного метода.

1.4 Двухэтапный численный метод поиска изображений в базе данных на основе совместной классификации.

1.4.1 Исследуемые классификаторы.

1.4.2 Процедура совместной классификации как способ повышения эффективности поиска.

1.4.3 Двухэтапный метод поиска изображений в базе данных как способ повышения скорости поиска.

1.5 Общее описание информационной технологии поиска.

1.6 Выводы и результаты.

2 ЧИСЛЕННЫЙ МЕТОД СОПОСТАВЛЕНИЯ ПОРТРЕТНЫХ ИЗОБРАЖЕНИЙ НА ОСНОВЕ ОЦЕНКИ ПАРАМЕТРОВ ИХ ГЕОМЕТРИЧЕСКИХ ПРЕОБРАЗОВАНИЙ.

2.1 Обзор методов оценки параметров рассогласования изображений

2.2 Разработка метода оценки параметров геометрического рассогласования, основанного на преобразовании Фурье.

2.2.1 Теоретическое обоснование метода.

2.2.2 Описание метода.

2.2.3 Влияние маски на эффективность работы метода.

2.2.4 Выбор способа интерполяции при переходе к логарифмически-полярной системе координат.

2.3 Моментный метод оценки параметров геометрического рассогласования.

2.4 Экспериментальные исследования методов оценки параметров геометрического рассогласования.

2.5. Экспериментальные исследования метода сопоставления портретных изображений.

2.6. Выводы и результаты.

3 АРХИТЕКТУРА И РЕАЛИЗАЦИЯ ЭКСПЕРИМЕНТАЛЬНОГО ПРОГРАММНОГО КОМПЛЕКСА АНАЛИЗА ДОКУМЕНТАЛЬНЫХ ПОРТРЕТНЫХ ИЗОБРАЖЕНИЙ.

3.1 Разработка серверной части программного комплекса.

3.1.1 Функции, выполняемые серверной частью программного комплекса.

3.1.2 Состав и назначение компонентов серверной части программного комплекса.

3.1.3 Подсистема взаимодействия с клиентской частью программного комплекса.

ЗЛА Логика обслуживания клиентских запросов.

3.1.5 Реализация логики обслуживания запросов со стороны СУБД.

3.1.6 Генерация отчетов.

3.1.7 Основные динамически подключаемые библиотеки.

3.2 Разработка клиентской части программного комплекса.

3.2.1 Подсистема взаимодействия с серверной частью программного комплекса.

3.2.2 Подсистема взаимодействия с устройством ввода.

3.2.3 Очередь запросов к серверу.

3.2.4 Основные динамически подключаемые библиотеки.

3.3 Разработка модели данных экспериментального программного комплекса анализа документальных портретных изображений.

3.3.1 Логическая модель данных программного комплекса.

3.3.2 Физическая модель данных программного комплекса.

3.4 Выводы и результаты.

Диссертация посвящена разработке численных методов и программного комплекса обработки и анализа документальных портретных изображений.

Актуальность темы

В настоящее время в связи с бурным развитием информационных технологий и их применением в различных сферах жизнедеятельности общества все более широкое распространение получают автоматизированные системы идентификации личности по биометрическим данным. Важное место среди подобных систем занимают системы распознавания личности по изображению лица, получаемого с использованием сканирующей, фото- и видеоаппаратуры. Актуальность более узкой задачи - идентификации личности по изображению лица на документальной фотографии обусловлена растущими потребностями автоматизации обработки видеоинформации в следующих областях деятельности: пограничный паспортный -контроль, регистрация пассажиров на авиарейсах, внутренний или наружный видеоконтроль с целью обеспечения безопасности, контроль доступа с целью предотвращения несанкционированного доступа, поиск разыскиваемых лиц и т.д.

Среди первых компьютерных систем распознавания лиц наиболее известной является система Т.Кохонена (Т. КоЬопеп) из Технологического университета Хельсинки [68]. Она продемонстрировала, что распознавание выровненных (по геометрии) и нормализованных (по яркости) изображений можно выполнить с помощью простой нейронной сети. Сеть, которую использовал Кохонен, вычисляла описание лица, аппроксимируя собственные вектора матрицы автокорреляции изображения. Эти собственные вектора получили название «собственных лиц» (Е1§е^асе). Однако система Кохонена не нашла практического применения, поскольку базировалась на точном выравнивании и нормализации изображений. И в последующие годы предпринимались многочисленные попытки реализации подобных информационных технологий распознавания лиц с использованием различных нейросетевых методов. Удалось сделать несколько систем, успешно работавших с небольшими базами данных выровненных изображений [21, 69]. Но не было ни одной эффективной реализации для более жизненной ситуации - крупномасштабной базы данных изображений, в которой расположение и размеры лиц неизвестны. Кроме того, существенным препятствием для практического применения указанных систем являлась очень высокая вычислительная сложность алгоритмов получения "собственных лиц".

Ситуация изменилась, когда М. Кирби (М. Kirby) и JI. Сирович (L. Sirovich) из Университета Брауна [67] ввели алгебраическую операцию, упростившую вычисление «собственных лиц». Кроме того, они показали, что для достаточно полного описания ("аккуратного" кодирования) тщательно выровненных и нормализованных изображений нужно не более 100 собственных лиц. М. Турк (М. Turk) и А. Пентланд (A. Pentland) из Массачусетского технологического института [76] продемонстрировали, что остаточную погрешность, которая возникает при кодировании фрагментов изображения с помощью собственных лиц, можно использовать для обнаружения лиц в неупорядоченном естественном изображении, для определения точного расположения и размера лица. Затем они показали, что объединение методов обнаружения, локализации и распознавания, основанных на "собственных лицах", обеспечивает решение задачи распознавания лиц в режиме реального времени, при этом на среду (условия) распознавания накладываются лишь минимальные ограничения. Когда стало очевидно, что комбинация простых методов распознавания позволяет найти весьма эффективные информационные технологии и создать системы, действующие в реальном времени, интерес к распознаванию лиц стремительно вырос.

К 1993 году было заявлено о существовании нескольких методов и алгоритмов, правильно решающих задачу распознавания лиц в условиях наблюдения с минимальным числом ограничений. Чтобы выявить их реальный потенциал, агентство DARPA (Defense Advanced Research Projects Agency) и Исследовательская лаборатория армии США (Army Research Lab) инициировали исследовательскую программу FERET (Face Recognition Technology) [34, 37-39, 55, 60, 61, 78, 81], целью которой являлась оценка эффективности предложенных методов и алгоритмов, а также стимулирование развития лучших из них. В работе [48] указано, что в ходе реализации программы FERET три алгоритма продемонстрировали самый высокий уровень точности распознавания для больших баз данных (1200 человек) в наиболее сложных для распознавания условиях тестирования:

- алгоритм, разработанный в Университете Южной Калифорнии [88], который осуществляет распознавание лица путем "гибкого сравнения графов" (Elastic Graph Matching);

- алгоритм Университета штата Мэриленд [41], использующий дискриминантный анализ;

- алгоритм, созданный в Media Laboratory Массачусетского технологического института [73], который основан на методе собственных лиц с использованием моделирования наружности и моделирования отличий.

К настоящему времени разработано множество методов распознавания личности по фотоизображению лица, которые могут быть разделены на три группы[51]:

Глобальные методы, которые основаны на вычислении и использовании признаков изображений, характеризующих область лица в целом. Сюда могут быть отнесены уже упомянутые "собственные лица" (метод главных компонент) [28, 77], "фишеровские лица" (Fisherfaces) или метод линейного дискриминанта Фишера [32, 28], метод опорных векторов [57], генетические алгоритмы [70, 71], нейросетевые методы [13,29-31].

Локальные методы, основанные на выделении признаков локальных областей изображения, соответствующих деталям лица: глазам, носу, рту [43,

83, 86]. Примерами таких подходов являются: гибкое сравнение графов (см., например, [64, 40]), использование скрытых Марковских моделей (Hidden Markov Models), самоорганизующиеся карты признаков (Self-organizing Feature Maps) [29, 68, 69,31].

Гибридные методы, сочетающие в себе оба подхода, указанных выше. В методах этой группы анализируется как все лицо в целом, так и локальные признаки [27, 43, 48, 65, 75, 83, 86], что, вероятно, в наибольшей степени соответствует человеческому восприятию.

Изучению различных аспектов проблемы распознавания личности по изображению лица посвящены труды В.В. Старовойтова, Н.Г. Федотова, М. Кирби (М. Kirby), Т. Кохонена (Т. Kohonen), А. Пентланда (A. Pentland) JL Сирович (L. Siróvich), М. Турка (М. Turk) и других российских и зарубежных ученых.

В настоящее время известен ряд программных систем, предназначенных для распознавания личности, наиболее известными из которых являются:

- системы автоматической идентификации и верификации людей компании "ZN Vision Technologies" [2];

- система распознавания лиц FaceTools компании Viisage [85, 56].

- система распознавания лиц Facelt компании Identix [25, 35, 36, 53, 54];

- система распознавания лиц FaceVACS компании Cognitec [52].

По понятным причинам, использованные в этих системах математические методы и вычислительные алгоритмы не раскрываются, если они и описываются в научных публикациях, обзорах и на web-сайтах фирм-разработчиков, то только в самых общих чертах или в рекламном плане.

Несмотря на заметные успехи в области создания систем распознавания лиц остаются нерешенные проблемы, связанные с чувствительностью алгоритмов к различным искажающим факторам, таким как смена освещения, изменение позы и выражения лица, окклюзия (частичное закрытие лица или попадание в тень). Однако в задаче идентификации личности по документальной фотографии эти факторы присутствуют в меньшей степени, чем, например, в системах видеонаблюдения и т.п.

Необходимо также отметить, что широкое распространение подобных систем ограничивается следующими факторами:

• чрезвычайно высокая стоимость систем, трудности с сопровождением и поддержкой,

• закрытость архитектуры систем,

• отсутствие достоверных показателей эффективности распознавания и зачастую рекламный характер таких показателей,

• закрытость используемых технологий, а также методов и алгоритмов, входящих в их состав.

Учитывая указанные факторы, а также тот факт, что при решении задачи анализа документальных портретных изображений есть возможность в полной мере учесть специфику именно рассматриваемого класса изображений, разработку информационной технологии и программного комплекса анализа документальных портретных изображений следует считать целесообразной.

Настоящая диссертационная работа посвящена разработке численных методов и программного комплекса обработки и анализа документальных портретных изображений. Разработанные методы могут быть применены при решении задач идентификации и поиска личности по портретным изображениям на документах. Разработанный программный комплекс позволяет решать задачу контроля документов для идентификации личности.

Исследования по тематике диссертации были поддержаны грантами Российского фонда фундаментальных исследований: проекты № 06-01-00616-а, 07-07-97610-рофи и в рамках российско-американской программы "Фундаментальные исследования и высшее образование" (CRDF Project RUX0-014-SA-06).

Цель и задачи исследований

Целью диссертации является автоматизация процесса идентификации личности по изображению лица на документах. Для достижения этой цели в диссертации решаются следующие задачи.

1. Разработка математической модели лица и метода ее построения.

2. Разработка метода отбора информативных признаков для поиска изображений.

3. Разработка численного метода поиска изображений в базе данных.

4. Разработка численного метода сопоставления изображений.

5. Разработка архитектуры и реализация экспериментального программного комплекса обработки и анализа документальных портретных изображений.

6. Проведение экспериментальных исследований, подтверждающих эффективность разрабатываемых методов.

Методы исследований

В диссертационной работе используются методы математического анализа, теории вероятностей и статистического анализа, теории цифровой обработки сигналов и изображений, теории распознавания образов, теории оптимизации.

Научная новизна работы

1. Предложена математическая модель лица, предназначенная для быстрого выделения информативной области на документальных портретных изображениях. Разработан метод построения (определения параметров) этой модели на основе анализа локальных статистических характеристик изображений.

2. Разработан трехэтапный метод отбора информативных признаков, основанный на автоматическом выборе информативных точек на полях признаков, процедурах присоединения-отбрасывания, построении субоптимальных пар "система признаков - классификатор".

3. Разработан двухэтапный численный метод поиска изображений в базе данных, включающий в себя предварительную селекцию изображений-претендентов и последующую классификацию отобранных изображений с использованием набора классификаторов-экспертов и классификатора-агрегатора.

4. Разработан численный метод сопоставления портретных изображений, основанный на оценке геометрического рассогласования изображений по их спектрам, представленным в логарифмически-полярных координатах.

5. Разработана архитектура экспериментального программного комплекса обработки и анализа документальных портретных изображений.

Практическая ценность работы

Разработанные методы открывают возможности для повышения эффективности решения задач идентификации и поиска личности по портретным изображениям на документах. Разработанный программный комплекс позволяет решать задачу контроля документов для идентификации личности.

Реализация результатов работы

Результаты диссертации использованы при выполнении ряда госбюджетных и хоздоговорных НИР в Институте систем обработки изображений РАН, Самарском государственном аэрокосмическом университете и ОАО «Самара - Информспутник», что подтверждено актами внедрения.

Апробация работы

Основные результаты диссертации докладывались на следующих конференциях:

- 9-ой Всероссийской научной конференции «Электронные библиотеки: перспективные методы и технологии, электронные коллекции» (RCDL'2007), г. Переславль-Залесский, Россия, 2007;

- 8-ой Международной конференции «Распознавание образов и анализ изображений: Новые информационные технологии» (8-th International Conference on Pattern Recognition and Image Analysis: New Information Technologies - PRIA-8-2007), г. Йошкар-Ола, 2007;

13-ой Всероссийской конференции «Математические методы распознавания образов», Ленинградская обл., г. Зеленогорск, 2007;

- Научно-технической конференции с международным участием «Перспективные информационные технологии в научных исследованиях, проектировании и обучении» (ПИТ-2006), г. Самара, 2006;

- Всероссийском семинаре по моделированию, дифракционной оптике и обработке изображений, г. Самара, 2006;

- Международной конференции «Second IASTED International MultiConference «Automation, Control, and Information Technologies. Software Engineering» (ACIT-SE). г. Новосибирск, 2005;

7-ой Международной конференции «Распознавание образов и анализ изображений: Новые информационные технологии» (7-th International Conference on Pattern Recognition and Image Analysis: New Information Technologies - PRIA-7-2004), г. Санкт-Петербург, 2004;

- 2-ой летней школе молодых ученых по дифракционной оптике и обработке изображений, г. Самара, 2004;

- VI международной конференции "Распознавание образов и анализ изображений: новые информационные технологии" (РОАИ-6-2002), г. Великий Новгород, 2002.

Публикации

По теме диссертации опубликовано 19 работ, в том числе 6 статей в ведущих рецензируемых научных журналах и изданиях, определенных

Высшей аттестационной комиссией. Ниже в тексте диссертации ссылки на работы автора помечены звездочками (*). Работы [15*, 16*, 17*, 18*, 74*] выполнены автором единолично. В работе [6*] автору принадлежит разработка метода отбора информативных признаков. В работе [8*, 49*] автору принадлежит формальное описание модели лица и разработка метода ее построения. В работе [19*] автору принадлежит разработка и описание методов представления и поиска изображений. В работах [4*, 7*, 5*, 20*, 44*, 45*, 46*, 47*, 59*, 50*] автору принадлежат разработка архитектуры программных комплексов и программных систем. Во всех указанных работах автору принадлежат программная реализация и экспериментальные исследования методов и алгоритмов.

Структура диссертации

Диссертация состоит из введения, трех разделов, заключения, списка использованных источников и трех приложений. Она изложена на МО страницах машинописного текста (без приложений), содержит 43 рисунка, 23 таблицы, список использованных источников из 88 наименований.

Основные результаты диссертационной работы

1. Предложена математическая модель лица на документальном портретном изображении, разработан численный метод определения ее параметров, позволяющий с высокой точностью и скоростью определять информативную область изображения лица.

2. Разработан трехэтапный метод отбора информативных признаков, использование которого позволяет определять наиболее информативные признаки и субоптимальные пары «система признаков - классификатор» для поиска изображений.

3. Разработан двухэтапный численный метод поиска изображений в базе данных, позволяющий производить поиск с высокой скоростью и эффективностью (вероятность правильного результата поиска изображения в базе данных, содержащей 4800 изображений - не менее 0.91).

4. Разработан численный метод сопоставления изображений, обеспечивающий высокую надежность установления идентичности изображений (с вероятностью ошибок - менее 0.001).

5. Разработана архитектура и выполнена реализация экспериментального программного комплекса обработки и анализа документальных портретных изображений.

6. Выполнены экспериментальные исследования, подтвердившие работоспособность и эффективность разработанных численных методов, а также, в целом, информационной технологии обработки и анализа документальных портретных изображений, составленной из этих методов.

ЗАКЛЮЧЕНИЕ

В диссертации разработаны численные методы и программный комплекс анализа документальных портретных изображений. Полученные результаты открывают возможности для повышения эффективности решения задач идентификации и поиска личности по портретным изображениям на документах.

1. Анисимов, Б.В. Распознавание и цифровая обработка изображений Текст. / Анисимов Б.В., Курганов В.Д., Злобин В.К. М.: Высш.шк., 1983.-295 с.

2. Борзенко, А. Биометрические системы распознавания внешности Electronic resource. / Борзенко А. // Byte. 2002. - No. 11. -http://www.bytemag.ru/Article.asp?ID= 1369

3. Верхаген, К. Распознавание образов: состояние и перспективы Текст. / Верхаген К., Ф.Грун, Р.Дейн, и др. Пер. с англ. М.: Радио и связь, 1985. - 104 с.

4. Гашников, М.В. Программная система для разработки алгоритмов обработки и анализа цифровых изображений Текст. / Гашников М.В., Глумов Н.И., Мясников Е.В., Сергеев В.В., Чернов А.В., Чичева М.А. // Компьютерная оптика. 2004. - № 26. - С. 112-114.

5. Глумов, Н.И. Метод отбора информативных признаков на цифровых изображениях Текст. / Глумов Н.И., Мясников Е.В. //Компьютерная оптика. 2007. - Том 31, №3. - С. 73-76.

6. Горелик, A.JI. Методы распознавания Текст.: Учебное пособие для вузов / Горелик А.Л., Скрипкин В.А. М.: Высшая школа, 1989. - 232 с.

7. Гонсалес, Р. Принципы распознавания образов Текст. / Гонсалес Р., Ту Дж. -М.: Мир, 1978.-412с.

8. Дуда, Р. Распознавание образов и анализ сцен Текст. / Дуда Р., Харт П. -М.: Мир, 1976

9. Журавлев, Ю.И. Избранные научные труды Текст. / Журавлев Ю.И. -Изд. Магистр, 1999-417 с.

10. Заенцев, И.В. Нейронные сети: основные модели Electronic resource. / Заенцев И.В. // Учебное пособие к курсу "Нейронные сети". 1999 -http://scintific.narod.ru/neural.htm

11. Ковалевский, В.А. Методы оптимальных решений в распознавании изображений Текст. / Ковалевский В.А. М.:Наука, 1976. - 328с.

12. Мясников, Е.В. Определение параметров геометрических трансформаций для совмещения портретных изображений Текст. / Мясников Е.В. //Компьютерная оптика. 2007. - Том 31, №3. - С. 77-82.

13. Пентланд, А. Распознавание лиц для интеллектуальных сред Electronic resource. / Пентланд А., Чаудхари Т. // Открытые системы. 2000. - №03. -http://www.osp.ru/os/2000/03/028.htm

14. Понс, Ж. Компьютерное зрение. Современный подход Текст. / Понс Ж., Форсайт Д. М.: Вильяме, 2004. - 928с.

15. Прэтт, У. Цифровая обработка изображений Текст. / Прэтт У. Пер.с англ. М.: «Мир», 1982.

16. Сойфер, В.А. Методы компьютерной обработки изображений Текст. /Гашников М.В., Глумов Н.И., Ильясова Н.Ю. и др. Под редакцией В.А. Сойфера. М.: Физматлит, 2001. - 784с.

17. Технологии, оборудование и биометрические системы корпорации Identix Electronic resource. 2007 -http://www.armosystems.ru/about/partners/identix.ahtm

18. Фукунага, К. Введение в статистическую теорию распознавания образов Текст. / Фукунага К. М.: Наука, 1979. - 368с.

19. Atick, J. Local feature analysis: A general statistical theory for object representation Text. / Atick J., Penev P. // Network: Computation in Neural Systems. 1996. - Vol.7, No.3. - pp. 477-500.

20. Austin, J. Face recognition: a comparison of appearance-based approaches Text. / Austin J., Chen Z., Heseltine Т., Pears N. // Proceedings of VH-th Digital Image Computing: Techniques and Applications. 2003. - pp. 849859.

21. Back, A.D. Face recognition: a hybrid neural network approach Electronic resource. / Back A.D., Giles C.L., Lawrence S., Tsoi A.C. http:// clgiles.ist.psu.edu/papers/ UMD-CS-TR-3608.face.hybrid.neural.nets.pdf

22. Back, A.D. Face recognition: a hybrid neural network approach Text. / Back A.D., Giles C.L., Lawrence S., Tsoi A.C. // IEEE Trans, on Neural Networks. -1997. Vol.8, No.l. - pp. 98-113.

23. Belhumeur, P.N. Eigenfaces vs. fisherfaces: Recognition using class specific linear projection Text. / Belhumeur P.N., Hespanha J., Kriegman D.J. // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1997. - Vol.19, No.7.-pp. 711-720.

24. Bergman, L.D. Image Databases: Search and Retrieval of Digital Imagery Text. / Bergman L.D., Castelli V. (Editors). Wiley-Interscience, 2002. -589 p. ISBN 0-471-32116-8.

25. BioNews. "Данком Телемост". Окончательные стандарты NIST точности биометрии, защищенности от подделки и совместимости Electronic resource. - 2004 - http://www.dancom.ru/

26. BioNews. Биометрические Продукты Программы «Данком Телемост» Electronic resource. - 2004 -http://www.dancom.ru/imagedb/productsDT.pdf

27. BioNews. «Данком Телемост». О компании "Identix" Electronic resource. - 2004 - http:// www.dancom.ru/ imagedb/ 2909040905.doc

28. Blackburn D.M. Face recognition Vendor test 2002: Overview and Summary Electronic resource. / Blackburn D.M., Bone J.M., Grother P., Micheals R., Phillips P.J., Tabassi E. // http:// www.frvt.org/ DLs/ FRVT2002OverviewandSummary.pdf

29. Blackburn, D.M. Face recognition Vendor test 2002: Supplemental Report Electronic resource. / Blackburn D.M., Bone J.M., Grother P., Micheals R., Phillips P.J., Tabassi E. http:// www.frvt.org/ DLs/ frvt2002supplemental .pdf

30. Blackburn, D.M. Face recognition Vendor test 2002: Technical Appendices Electronic resource. / Blackburn D.M., Bone J.M., Grother P., Micheals R., Phillips P.J., Tabassi E. http:// www.frvt.org/ DLs/ FRVT2002TechnicalAppendices.pdf

31. Chellapa, R. Discriminant analysis for recognition of human face images Text. / Chellapa R., Etemad K. // J. Optical Soc. of Americ. 1997. - Vol.14, -pp. 1724-1733.

32. Chen, Q. Symmetric phaseonly matched filtering of fourier-mellin transforms for image registration and recognition Text. / Chen Q., Defrise M., Deconinck F. // IEEE Trans. Pattern Analysis and Machine Intelligence. 1994. - 16(12). -1156-1168

33. Cheung, H. Dynamic local feature analysis for face recognition Text. / Cheung H., Johnny NG. // Proceedings of First International Conference on Biometric Authentication (ICBA 2004). Hong Kong, 2004. - pp. 234-240.

34. Chernov, A.V. Software tool system for digital image processing and analysis Text. / Chernov A.V., Chicheva M.A., Gashnikov M.V., Glumov N.I., Myasnikov E.V., Sergeev V.V. // Pattern Recognition and Image Analysis. -2005. -Vol. 15, No.2. pp. 368-370.

35. Chernov, A.V. Program System for Distributed Image Processing Text. / Chernov A.V., Myasnikov E.V., Myasnikov V.V., Sergeev V.V. // Pattern Recognition and Image Analysis. 2003. - Vol.13, No.2. - pp. 228-230.

36. Choudhury, T. Face recognition for smart environments Text. / Choudhury T., Pentland A. // IEEE Computer. 2000. - Vol.33, No.2. - pp. 50-55.

37. Cielniak, G., People recognition by mobile robots Electronic resource. / Cielniak G., Duckett T. http://aass.oru.se/~gck/papers/gc04ails.pdf

38. Cognitec. The face recognition company Electronic resource. 2007 -http://www.cognitec-systems.de

39. Facelt Face recognition technology. Assessing the accuracy of facial recognititon thechnology Electronic resource. -http://www.dancom.ru/news2002.html

40. Facelt Face recognition technology. Frequently asked technical questions Electronic resource. - http://www.dancom.ru/news2002.html

41. Face Recognition Vendor Tests (FRVT) Electronic resource. 2006. -http://www.frvt.org/FERET/default.htm

42. Features and Benefits Electronic resource. // Viisage. FaceTOOLS SDK. -http://www.viisage.com/ww/en/pub/viisageproductsnewviisagebiometrics/viisageproductsfacetools.htm

43. Fruchterman, T. Graph Drawing by Force-Directed Replacement Text. / Fruchterman T., Reingold E. // Software—Practice and Experience. — 1991. — 21.-pp. 1129-1164.

44. Gashnikov, M. V. Software Environment for Simulating Algorithms for Image Analysis and Processing Text. / Gashnikov M. V., Glumov N. I, Myasnikov

45. E. V., Sergeev V. V., Chernov A. V., Chicheva M. A. // Pattern Recognition and Image Analysis. 2007. - Vol. 17, No. 2. - pp. 279-283.

46. Grother, P. Face recognition Vendor Test 2002 Performance Metrics Electronic resource. / Grother P., Micheals R., Phillips PJ. http:// www.frvt.org/ DLs/ Avbpa2003evaluationmetrics.pdf

47. Grother P. The NIST HumanID evaluation framework Electronic resource. / Grother P., Micheals R., Phillips P.J. http:// www.frvt.org/ DLs/ AVBPA-2003.pdf

48. Hicks, N. An IDL/ENVI implementation of the FFT-based algorithm for automatic image registration Text. / Hicks N., Huang H., Keller G.R., Kreinovich V., Xie H. // Computer & Geosciences. 2003. - No.29. -pp. 1045-1055.

49. Hines, D.C. The phase correlation image alignment method Text. / Hines D.C., Kuglin C.D. // Proc. Int. Conf. on Cybernetics and Society. 1975. -pp. 163-165.

50. Huang, J. Component-based face recognition with 3D morphable models Text. / Huang J. // IEEE Workshop on Face processing in Video (FPIV04). -Washington, D.C., 2004

51. Jain, A.K. Combining classifiers for face recognition Text. / Jain A.K., Lu X., Wangy Y. // Proc. of IEEE International Conference on Multimedia & Expo (ICME 2003). -2003. Vol.3, - pp. 13-16.

52. Kamada, T. An Algorithm for Drawing General Undirected Graphs Text. / Kamada T., Kawai S. // Information Processing Letters. 1989. - 31. - pp. 715.

53. Kirby, M. Application of the Karhunen-Loeve procedure for characterization of human faces Text. / Kirby M., Sirovich L. // Trans. IEEE Pattern Analysis and Machine Intelligence. -1990. Vol.12. - pp. 103-108.

54. Kohonen, T. Self-organization and associative memory Text. / Kohonen T. -Springer-Verlag, Berlin, 1989. 312 p.

55. Kohonen, T. Self-organizing maps Text. / Kohonen T. // Springer Series in Information Sciences. Third Extended Edition. Springer, Berlin, Heidelberg, New York, 2001.-Vol. 30. - 501 p.

56. Liu, C. Evolutionary pursuit and its application to face recognition Text. / Liu C., Wechsler H. // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2000. - Vol.22, No.6. - pp. 570-582.

57. Liu, C. Learning the face space representation and recognition Text. / Liu C., Wechsler H. // 15-th Int'l Conference on Pattern Recognition (ICPR'2000). -Barcelona, 2000. - Vol.1, - pp. 1249-1256.

58. McGuire, M. An image registration technique for recovering rotation, scale and translation parameters Text. : NEC Tech Report/ McGuire M. 1998.

59. Moghaddam, B. Probabilistic visual recognition for object recognition Text. / Moghaddam B., Pentland A. // Trans. IEEE Pattern Analysis and Machine Intelligence. Jul. 1997. - pp. 696-710.

60. Moghaddam, B. View-based and modular eigenspaces for face recognition Text. / Moghaddam B., Pentland A., Starner T. // Proceedings of IEEE Computer Vision and Pattern Recognition. Seattle, WA, 1994. - pp. 84-91.

61. Pentland, A. Eigenfaces for recognition Text. / Pentland A., Turk M. //J. Cog. Neuroscience. Jan. 1991.-Vol.3.-pp. 71-86.

62. Pentland, A. Face recognition using eigenfaces Text. / Pentland A., Turk M. // Image and Vision Computing. 1991. - Vol.13, No.3. - pp. 215-226.

63. Phillips, PJ. The FERET Evalution methodology for face-recognition algorithms Text. / Phillips P.J., Rivzi S.A. // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2000. - Vol.22, No. 10. - pp. 1090-1104.

64. Reddy, B.S. An fft-based technique for translation, rotation, and scale-invariant image registration Text. / Reddy B.S., Chatterji B.N. // IEEE Trans. Pattern Analysis and Machine Intelligence. August 1996. - 5(8). - pp. 1266-1270

65. Starovoitov, V.V. Human identification for document control / Starovoitov V. V., Samal D.I. // Proceeding of Int. Conf. on Pattern Recognition and Image Processing. Minsk, 2001. - pp. 15-20.

66. The Facial Recognition Technology (FERET) Database Electronic resource. -2004. -http://www.itl.nist.gov/iad/humanid/feret/feretmaster.html

67. The ORL Database of Faces Electronic resource. -http://www.uk.research.att.com/facedatabase.html

68. The technologies of local feature analysis Electronic resource. // Automated Identification and Data Capture Biometrics Web Site. 2005. -http://et.wcu.edu/aidc/BioWebPages/lfa.htm

69. Turkowski, K. Filters for Common Resampling Tasks Electronic resource. / Turkowski K. / Apple Computer. 1990. - http:// www.worldserver.com/ turk/computergraphics/ ResamplingFilters.pdfi

70. Viisage FaceTOOLS SDK Electronic resource. -http://www.viisage.com/ww/en/pub/viisageproductsnew/viisagebiometrics/viisageproductsfacetools.htm

71. Wang J. Reconstruction and analysis of multi-pose face images based on nonlinear dimensionality reduction Text. / Wang J., Zhang C., Zhang D., Zhao N. // Pattern Recognition Society / Elsevier Ltd. 2004. - Vol.37. - pp. 325336.

72. Window function Electronic resource. // Wikipedia. The free encyclopedia. -2007. http://en.wikipedia.org/wiki/Windowfunction

73. Wiskott, L. Face recognition by elastic bunch graph matching Text. / Wiskott L. et al. // Trans. IEEE Pattern Analysis and Machine Intelligence. July 1997. -Vol.7.-pp. 775-779.