автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Алгоритмы обработки и представления изображений лиц в пространстве канонических переменных

На правах рукописи

Каменская Екатерина Ивановна

АЛГОРИТМЫ ОБРАБОТКИ И ПРЕДСТАВЛЕНИЯ ИЗОБРАЖЕНИЙ ЛИЦ В ПРОСТРАНСТВЕ КАНОНИЧЕСКИХ ПЕРЕМЕННЫХ

Специальность 05.13.18: Математическое моделирование, численные методы и комплексы программ

Автореферат диссертации на соискание ученой степени кандидата технических наук

2 3 СЕН ?910

Санкт-Петербург - 2010

004608466

Работа выполнена в Санкт-Петербургском государственном электротехническом университете «ЛЭТИ» им. В. И. Ульянова (Ленина)

Научный руководитель -

доктор технических наук, профессор Кухарев Георгий Александрович Официальные оппоненты:

доктор технических наук, главный научный сотрудник Дорогов Александр Юрьевич кандидат технических наук, доцент Макулов Василий Борисович

Ведущая организация - Государственное образовательное учреждение высшего профессионального образования «Новгородский государственный университет имени Ярослава Мудрого»

Защита диссертации состоится " б " иЯ^иЯ 2010 г. в_часов на

заседании совета по защите докторских и кандидатских диссертаций Д212.238.01 Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» имени В. И. Ульянова (Ленина) по адресу: 197376, Санкт-Петербург, ул. проф. Попова, 5.

С диссертацией можно ознакомиться в библиотеке университета. Автореферат разослан "Зо " 2010 г.

Ученый секретарь совета по защите докторских и кандидатских диссертаций, к.т.н.

Щеголева Надежда Львовна

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. В настоящее время активно развивается область информатики, связанная с биометрическими технологиями распознавания людей. Особенно привлекательны технологии, основанные на геометрии лица, на практике связанные с обработкой изображений лиц. Эти технологии развиваются в трех основных направлениях: аутентификация и идентификация людей; распознавание эмоционального состояния людей; распознавание текущего психофизического состояния людей.

Анализ этих направлений показал, что их развитие тормозит отсутствие методов, алгоритмов и программ, а также необходимых методик выявления и использования связей между характеристиками исходных данных (изображений лиц) и соответствующими характеристикам человека. Указанные связи можно раскрыть в рамках канонического корреляционного анализа (Canonical Correlation Analysis - CCA). В рамках CCA информация переводится из исходного пространства признаков в пространство канонических переменных (ПКП), в котором осуществляются все дальнейшие операции. Признаки в ПКП связываются между собой устойчивой корреляцией, что обеспечивает возможность выявления, изучения и использования связей между ними.

Метод ССА был впервые представлен Хотеллингом в 1930-х годах (журналы Journal of Educational Psychology и Biometryka) и описывал соотношение между двумя наборами векторных данных. В цифровой обработке изображений (ЦОИ) методология применения ССА также основана на векторном представлении исходных изображений. На практике это приводило к необходимости введения операций предобработки изображений - уменьшения их размеров и/или их трансформации в вектор с последующим использованием базовых процедур ССА. Сложность и объем вычислений в ССА привели к тому, что первые публикации по методам двумерного ССА в приложении к ЦОИ появились лишь в конце 2007 года. Описанные в этих публикациях методы также содержат вышеуказанные операции предобработки, что усложняет сам процесс обработки изображений, снижает точность и быстродействие предложенных алгоритмов. При этом в доступных публикациях отсутствует детальное представление реализованных алгоритмов, не рассмотрены методические разработки по структуре и способам функционирования элементов соответствующих систем распознавания, а также не представлено точное описание выполненных экспериментов, что препятствует их повторению и, как следствие, использованию результатов из этих публикаций.

Мощный скачок в развитии компьютерных технологий (увеличение памяти и быстродействия компьютеров, широкое применение пакетов программ по ЦОИ, применение математического моделирования) создали новые возможности для исследования и развития методов ССА, а также предпосылки для их применения в задачах обработки многомерных данных - совокупностей изображений.

В этих условиях разработка новых подходов к реализации ССА, создание

соответствующих алгоритмов, отдельных программ и программных комплексов, а также необходимых моделей и методик, развивающих применение ССА в задачах обработки многомерных данных, являются актуальными задачами.

Целью данной работы является исследование и разработка алгоритмов двумерного канонического корреляционного анализа в приложении к обработке изображений лиц и их представлению в ПКП.

Для достижения поставленной цели решались следующие задачи:

. разработка и исследование алгоритмов двумерного CCA (2D ССА) применительно к задачам обработки изображений лиц;

. исследование алгоритмов представления и сравнения изображений лиц в ПКП;

. разработка структур систем распознавания в условиях известной и неизвестной принадлежности тестовых изображений к исходным категориям данных;

. разработка компактной формы записи компьютерного эксперимента (модели), отражающей характеристики моделируемых систем распознавания;

. разработка комплекса программ для организации вычислительных экспериментов и исследования задач обработки изображений с использованием алгоритмов 2D ССА;

. проведение экспериментальной апробации разработанных алгоритмов на примерах задач распознавания изображений лиц.

Объектом исследований является метод 2D ССА в приложении к обработке цифровых изображений.

Предметом исследований являются алгоритмы обработки изображений лиц в пространстве канонических переменных и их программная реализация.

Методы исследования. Исследования базируются на методах цифровой обработки изображений и методах распознавания образов, аппарате матричной алгебры и численных методах линейной алгебры.

Методология исследований включает:

• аналитический обзор и анализ литературы, посвященной ССА в приложении к задачам распознавания изображений лиц, и ее систематизацию;

• математический аппарат ССА в матричной форме и в приложении к задачам обработки изображений как двумерных объектов;

• формальную запись моделей выполненных компьютерных экспериментов, анализ результатов экспериментов и выводы из них;

• выводы, рекомендации и предложения по применению аппарата ССА к задачам обработки изображений.

Новые научные результаты

1. Разработаны параллельный и каскадный алгоритмы 2D ССА, не требующие предварительной процедуры уменьшения размеров исходных изображений, прямо реализуемые по двум направлениям координат (строкам и столбцам) исходных изображений и применимые в условиях «малой выборки». Алгоритмы 2D ССА обеспечивают вычисление матриц проекций для реализации двумерных преобразований и трансформации исходных изображений в ПКП.

2. Определены два типа базовых систем, предназначенных для распознавания тестовых изображений при известной и неизвестной их принадлежности к заданным категориям исходных данных.

3. Разработан способ представления компьютерного эксперимента в виде мнемонической модели, отражающей основные параметры моделируемой системы распознавания: базу изображений, структуру исходных и промежуточных данных, метод экстракции признаков, тип системы, классификатор и ранг оценки результата.

4. Программно реализованы алгоритмы 2D ССА и разработана структура комплекса программ, предназначенного для моделирования и исследования систем распознавания изображений лиц в пространстве канонических переменных.

Практическая ценность

1. Комплекс программ, разработанный на основе алгоритмов 2D ССА и двух типов структур систем распознавания, позволяет проводить вычислительные эксперименты по обработке изображений в различных прикладных задачах. Примеры решения некоторых задач приведены в диссертации и могут служить прототипами для решения других аналогичных задач.

2. Предложенная в диссертации методология описания компьютерных экспериментов в форме модели позволяет наглядно, компактно и в то же время точно представить поставленный эксперимент. Такую модель рекомендуется применять также для сравнения различных, решений моделируемых систем между собой. Все выполненные в рамках диссертации компьютерные эксперименты представлены соответствующими моделями, что дает возможность точно повторить выполненный эксперимент.

Научные положения, выносимые на защиту

1. Параллельный и каскадный алгоритмы 2D ССА, обладающие простотой реализации и применимые в условиях «малой выборки».

2. Два типа структур систем распознавания изображений в ПКП, используемые при известной и неизвестной принадлежности тестовых изображений к категориям исходных данных.

3. Способ описания компьютерных экспериментов в форме мнемонической модели.

4. Комплекс программ для проведения компьютерных экспериментов по обработке изображений в ПКП, основными компонентами которого являются блоки, реализующие алгоритмы 2D ССА.

Внедрение результатов работы. Теоретические положения, алгоритмы двумерного канонического корреляционного анализа, исследовательский комплекс программ использованы в НИР и ОКР, выполняемых открытым акционерным обществом «Научно-инженерный центр Санкт-Петербургского электротехнического университета». Результата диссертационной работы использованы в учебных дисциплинах «Компьютерные метода идентификации личности» и «Цифровая обработка сигналов» кафедры математического обеспечения ЭВМ Санкт-Петербургского государственного электротехнического университета.

Апробация работы. Результаты диссертации обсуждались на XIII - XV международных конференциях «Современное образование - содержание, технологии, качество» (г. Санкт-Петербург, 2007 - 2009 гг.), XIII Всероссийской конференции «Новые информационные технологии в научных исследованиях и образовании» (г. Рязань, 2008 г.) и на семинарах факультета информатики в Западно-Приморском технологическом университете (г. Щецин, Польша, 2007 и 2009 гг.).

Публикации. По теме диссертации опубликованы 14 научных работ, из них - 10 статей (4 статьи опубликованы в ведущих рецензируемых научных журналах и изданиях, одобренных ВАК), 4 работы - в трудах конференций.

Структура и объем диссертации. Диссертация состоит из введения, четырех глав с выводами, заключения, списка литературы, включающего 98 наименований, и приложения. Основная часть работы изложена на 161 страницах машинописного текста и включает 102 рисунка и 7 таблиц.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертации.

В первой главе диссертации выполнен анализ предметной области, связанной с биометрическими технологиями распознавания людей.

Анализ показал, что метод ССА позволяет выявлять и использовать скрытые связи между разными формами представления информации о людях. Носителями такой информации являются совокупности изображений, представляющие различные биометрические характеристики человека: походку, черты и выражения лица, движения рук, психофизическое состояние и т.д. Выявляя связи между этими характеристиками, можно достичь высокой результативности распознавания людей в реальных условиях, а также расширить сферы применения биометрических систем.

Метод ССА, представленный Хотеллингом (H.Hotelling) в 1936 году, изначально был ориентирован на обработку наборов векторных данных и не мог быть прямо применен для обработки изображений и наборов изображений.

Первые публикации по методам ССА в приложении к изображениям как двумерным данным (2D ССА) появились в 2007 году (Sun Но Li, Seungjin Choi, Ning Sun, Zhen-hai Ji, Cai-rong Zou, Li Zhao и др.). В представленных подходах применение метода ССА требовало введения операций предобработки изображений - выравнивания исходных изображений лиц по центрам глаз, значительного уменьшения их размера и трансформации их в вектор, что усложняет процесс обработки, снижает точность и быстродействие предложенных алгоритмов. Здесь также не показана возможность применения ССА для данных, отвечающих биометрическому стандарту на размеры изображений (минимальные размеры которых составляют 320*240 пикселей), при малом их количестве, что свойственно типовым задачам биометрии.

При этом в представленных публикациях:

. отсутствует точное описание реализованных методов и алгоритмов, что не позволяет выделить их характеристики;

• не раскрыты детали представления и интерпретации изображений лиц в ПКП и способы оперирования ими;

• не представлены точные модели выполненных экспериментов, что не позволяет ни повторить эти эксперименты, ни использовать их результаты в рамках метаанализа;

• отсутствуют методические разработки по структуре и способам функционирования элементов систем распознавания, что затрудняет их практическую реализацию;

• отсутствует (или недоступна) информация о законченном программном продукте, что препятствует широкому применению методов ССА в обработке изображений и не позволяет приступить к соответствующим исследованиям в области биометрии.

Очевидно, что необходима разработка новых (простых в реализации) алгоритмов 2D ССА в приложении к изображениям лиц без их предобработки. Необходимо также детально исследовать и описать структуру систем распознавания и соответствующих комплексов программ, основанных на этих алгоритмах. Наличие таких средств позволит решать разнообразные задачи в приложении к современным проблемам биометрии.

Вторая глава посвящена разработке алгоритмов 2D ССА. Основой этих алгоритмов является прямая реализация ССА по двум направлениям координат исходных изображений (строкам и столбцам) - без их предварительного уменьшения и конкатенации в вектор.

Структура вычислений в методе 2D ССА может быть представлена следующим образом. Пусть нам заданы два набора, состоящие из К изображений размером M*N пикселей:

и Г = [Г0)7(2)...7(К)], (1)

где XiK), ¥lK), Vke.K- пары «центрированных» и нормированных к «1» изображений, при этом MN »К.

Целью 2D ССА является нахождение четырех матриц проекции, трансформирующих исходные данные в пространство канонических переменных X{k) ->Um и Y{k) Vm так, чтобы выполнялось условие:

||£/ — V\\ min. (2)

Канонические переменные U и V связываются между собой устойчивой корреляцией, максимум которой достигается при решении следующих четырех задач на собственные значения:

'([cWr'cWfcWj-'cW)^ = wxAP

[acftrW&c&r^Wyi=; (3)

\ic^Yxc%\c^Txc^)wX2= WX2 a«

' {[c^Yxc%\c^Yxc%bwy, = wKf;

где: и С*=ХТХ;

- матрицы ковариации; знаки «г» и «с» подчеркивают факт их вычисления относительно строк (raw) и столбцов (column) исходных изображений из (1); \¥щ, и wXl, Wyi . матрицы

собственных векторов порядков Ми N соответственно; Лх и Лу - диагональные матрицы собственных значений (порядок матриц Л/и N).

Трансформация исходных данных (1) в ПКП реализуется как двумерное преобразование Карунена-Лоэва (Karhunen-Loeve Transform - KLT) в форме: v(k) = wTx(k)w v(k) = WT Y{k)w у keK (4)

Xj л2 У\ s2 ' '

где t/«,

— матрицы, представляющие исходные изображения в ПКП.

Для редукции размерности в ПКП модифицируем (4) так, чтобы в проекции участвовали только те собственные векторы, которые соответствуют «d» главным компонентам. Для этого, га матриц И^ и wj выберем «d» строк, соответствующих

«d» наибольшим собственным значениям, и на их основе сформируем матрицы редукции FXi и Fyx. Из матриц Wx и Wy выберем «d» столбцов, соответствующих «d» наибольшим собственным значениям, и на их основе сформируем матрицы

И V

Тогда «усеченное» 2D KLT представим в следующей форме:

С/(*> = Fx XWFx и Fm = Fv Y^FV , V кеК. (5)

x\ xz У i Уг

В (5) матрицы F имеют размеры d*M и Nxd соответственно (или d\ *М и N*d2 в общем случае); знак «Л» - определяет отличие результата от (4). При этом d<min{M,N) или d\<M\ d2<N, если d^d2. Нижняя граница параметра «d» выбирается экспериментально с учетом критерия (2). Результирующие матрицы в (5) имеют в общем случае размеры d\X-d2 и представляют исходные изображения в пространстве канонических переменных.

В главе 2 разработаны два алгоритма 2D ССА: параллельный, основанный на независимом анализе информации по строкам и столбцам изображений, и каскадный, основанный на взаимосвязанном анализе информации по строкам и столбцам изображений. Алгоритмы 2D ССА представлены в векгорно-матричной форме, позволяющей перейти к их прямой реализации в языках высокого уровня.

Модель вычислений параллельного алгоритма 2D ССА представлена в следующем виде:

Z Ж У, 4.\ 4 v((Л

J ' ( )

з.

Здесь, на этапе 1 выполняется реорганизация (К) структуры исходных данных, которая основана на «повороте» изображений Х^, , У к влево на 90°.

Это реализуется как транспонирование всех матриц размером M*N в наборах ЛГ и Y и составление новых наборов данных - X и Y. На этапе 2 выполняется базовая процедура ССА относительно строк (ССАг) исходных данных. На этапе 3 выполняется базовая процедура ССА относительно строк реорганизованных данных X и Y, что фактически приводит к реализации ССА относительно столбцов исходных данных (1). Этап 4 - трансформация всех исходных изображений в ПКП, что было определено в (4). Этапы 2 и 3 в (6) могут быть выполнены параллельно. Схема параллельного алгоритма 2D ССА приведена на рис. 1 слева. Здесь блоки "ССА" реализуют базовую процедуру ССА по строкам (ССАг). Блоки, обозначенные как реализуют процедуру проекции исходных данных в ПКП.

-IJ7'

ССА ССА

Рис. 1. Схемы реализации 2D ССА Модель вычислений каскадного алгоритма 2D ССА имеет следующий вид:

-^-Kt/.P}-

2. {ад-

-цил

(7)

На первом этапе базовая процедура ССА выполняется относительно строк исходных данных, входящих в наборы X и Y. После вычисления матриц проекции Wx 1 и Wy\ выполняется проекция исходных данных в ПКП и формируется набор переменных U\ и V\ . При этом в наборах Ui и V\ каждый блок переменных размером Mx-N представляет собой результат проекции каждого отдельного изображения из исходного набора данных. Этап заканчивается реорганизацией переменных U\ и Vt в новые наборы данных U\ и . На втором этапе базовая процедура ССА выполняется также относительно строк Щ и V\. При этом вычисляются новые матрицы проекций Wx2 и Wy2. Результат проекции снова подвергается реорганизации. Схема каскадного алгоритма 2D ССА приведена на рис. 1 справа.

Для параллельного и каскадного алгоритмов процедуру 2D CCA/2D KLT можно представить в следующей компактной форме:

9ПГГА

{X,Y) ->---> 2DKLT {F} лп

что можно интерпретировать как преобразование двух наборов исходных изображений X и Fb пространство канонических переменных U и V. При этом

выполняется этап 2D CCA (с вычислением 4-х матриц проекции) и отдельный этап 2D KLT.

В главе приведены характеристики разработанных алгоритмов 2D ССА:

1. На реализацию 2D KLT (4) требуется (NM2+MN2) операций. На реализацию «усеченного» преобразования (5) требуется (Md2+MNd) операций. Сокращение вычислений на этапе редукции размерности пространства признаков (РПП) можно приблизительно оценить как величину (M+N)/d, что определяет ускорение вычислений для каждого обрабатываемого изображения. С учетом параметра «К» - числа изображений в каждом из двух наборов, ускорение вычислений составляет величину, равную примерно 2K(M+N)/d на все исходные данные.

2. Степень редукции размерности пространства признаков определяется соотношением MNIc? или MN/(d\d2), где MN - число пикселей в исходном изображении, a d (или di и d2) - размеры этого изображения в ПКП.

3. Наибольший порядок матриц ковариации в 2D ССА составляет величину DIM=max{M,N}. Это предопределяет практическую возможность решения задачи на собственные значения и стабильность этого решения даже для изображений очень больших размеров, используемых, например, в биометрии.

4. Проблема SSS, когда DIM>K, успешно решена, так как вместо изображений размером A/xiV, в методе 2D ССА фактически используются N изображений размером МуЛ и М изображений размером N* 1. При таком представлении исходных данных всегда выполняется условие: DIM=max{M,N} <(M+N).

В главе также рассмотрены практические рекомендации по верификации выполнения канонического анализа. Использовались методы верификации, основанные на проверке свойств ортогональности матриц проекций; проверке структуры, характера изменений и значений элементов матрицы собственных значений; проверке качества взаимного соответствия переменных в ПКП.

Специфика изображений с лицами - большие размеры изображений, малое их количество и принадлежность к одному глобальному классу, повторение строк и столбов в исходных изображениях - определяет «плохую статистику» исходных данных. Исходя из этого, матрицы автоковариации в (3) могут быть плохо обусловленными, что приводит к сложности или невозможности их обращения. Кроме того, решение задач на собственные значения в (3) усложняется тем, что полученные в результате перемножения четырех матриц ковариации общие матрицы рассеяния в (3) не являются симметрическими. Для решения этих проблем выбран наиболее простой способ регуляризации этих матриц - увеличение всех их диагональных элементов на некоторое малое значение. В ходе решения вариационной задачи были выбраны два значения параметра регуляризации, обеспечивающие наилучшее решение задач (3). Для матриц автоковариации это 0.0001, а для общей матрицы рассеяния это значение равно 0.0005. В главе показано влияние регуляризации на результат решения задачи (3). Кроме того, показано, что выбранные значения параметров регуляризации не нужно изменять при смене тестовых баз

изображений лиц и параметров М, N и К в (1).

Далее в главе 2 рассмотрены модели изображений лиц, основанные на прямом (в форме (4) и (5)) и обратном преобразовании в собственном базисе. Обратное 2Б КХТ для значений ¿\=М и d■¿=N приводит к полной реконструкции исходных изображений из ПКП. Для значений ¿\<М и ^2<ЛГ обратное 2Б КЬТ приводит к аппроксимации исходных изображений. Качество реконструкции/ аппроксимации зависит от параметров с1\ и с1г-

На рис. 2 показаны исходные изображения и результаты их реконструкции из ПКП при с!<тах{МКак видно, реконструированные изображения достаточно хорошо сохраняют индивидуальные характеристики лиц: формы области глаз, носа, границы волос на лбу и формы области рта, усов и очков.

Рис. 2. Исходные изображения и их реконструкция из ПКП

В главе 2 представлены два типа (S1 и S2) разработанных структур систем распознавания. Процесс распознавания образов известной категории (X или Y) и полная структура соответствующей системы распознавания первого типа отображены на рис. 3 слева. Здесь выделены: блок канонического корреляционного анализа исходных данных; ® - блоки трансформации в ПКП; блоки классификации/распознавания; знак QF (Query Face) обозначает изображения-запросы. На рис. 3 справа отображена структура системы распознавания второго типа, применение которой обосновано, когда неизвестно, к какой категории образов (Хкж Y) принадлежит тестовый образ.

Данные X База данных Данные 7

1 г Ч w 1 I7 т, J JO3F)

Данные X База данных Данные 7

Классификация

и\ \9

Результат 1

X(QF) х

т

Классификация

р * ,

Результат 2

и

U

CCA I

ПЛ

7 уда Wv

y(QF)

(9+u)f г

Классификация

t

Результат

Рис. 3. Типы структур «S1» и «S2» систем распознавания

В рамках диссертации также определена новая структура баз данных, соответствующая классу решаемых задач в рамках ССА, т.е. оперированием двумя наборами исходных данных со структурой (1) и двумя наборами тестовых данных.

Третья глава посвящена экспериментальному исследованию характеристик разработанных алгоритмов 2D ССА и их применению в задачах биометрии.

Открывает главу методология организации, выполнения и описания компьютерных экспериментов. Общая схема организации и выполнения экспериментов представлена на рис. 4.

Постановка компьютерного эксперимента

Выбор струюуры FaReS (S1hjmS2) •

Стандартные базы изображений лиц

4 L

и

3 £

ь X № ей

.1

Я- р &

к щ U

Описание модели FaReS и установка параметров

I

Корректировка задания

Пробный запуск FaReS

1

Корректировка структуры и параметров

Анализ результатов

Требования выполнены Требования не выполнены

I

Исследование ССА в рамках решаемой задачи

Рис. 4. Схема организации и выполнения компьютерных экспериментов

Методология включает: вербальное описание эксперимента; использованную базу данных и ее параметры; полученные результаты и их интерпретацию; способ записи компьютерных экспериментов в форме компактной модели, точно отражающей эксперимент и параметры моделируемой системы распознавания.

В предлагаемой модели три функциональных блока системы распознавания (база данных; экстрактор признаков/редуктор РПП, тип структуры системы и выбранный классификатор) семантически разделены между собой, а их характеристики и структура обрабатываемых данных представлены в рамках своих блоков. Показано, что предложенная модель позволяет "наглядно", компактно и в то же время точно представить выполненный эксперимент и повторить его при необходимости. Такая модель

может быть также использована для сравнения различных решений моделируемых систем между собой, что позволит использовать показанные результаты в рамках метаанализа. Перечисленные характеристики отличают эту модель от известных моделей, представленных в публикациях по биометрии, а также модели, представленной автором диссертации в более ранней публикации [7].

Важным элементом систем распознавания являются экспериментальные базы изображений лиц. Широкое применение баз «FERET» и «Equinox» при тестировании систем распознавания изображений лиц и, в частности, при исследовании методов ССАстало аргументов в пользу использования их в качестве исходных данных в экспериментах. Кроме того, в экспериментах использовались базы «ZUT» и «People and Dogs», обоснование выбора которых также приведено в главе. Перечисленные базы изображений были приведены к новой структуре, отвечающей требованиям ССА и представленной в главе 2.

Огромное значение при решении поставленных задач имеют методы и инструменты сравнения изображений между собой как в исходном пространстве признаков, так и в ПКП. В качестве такого метода были использованы амплитудная и фазовая корреляция. В работе показано, что фазовая корреляция наиболее точно отображает меру подобия между изображениями. Исходя из того, что максимум корреляции соответствует минимуму расстояния, для практического использования рекомендовано применять в качестве инструмента подобия классификацию по критерию минимума расстояний, что обосновано простотой реализации и быстродействием такого классификатора в приложении к обработке изображений.

В рамках каждого эксперимента проводился контроль правильности выполнения 2D ССА. Элементами контроля являются: вид кривой уменьшения коэффициентов канонической корреляции; анализ области представления канонических переменных и результат оценки ее параметров; матрицы собственных значений; расстояние между образами. Например, компактная область представления канонических переменных, ориентированная по диагонали прямоугольника, описывающего эту область, свидетельствует о тесной связи между соответствующими каноническими переменными и их линейной зависимости.

На рис. 5 слева показан пример зависимости um=f(ym), а справа показано наложение переменных ит и vm друг на друга (здесь т=1 и представляет номер строки канонических переменных U и У).

Особое место в главе 3 занимает эксперимент для случая, когда исходные изображения не относятся к одному глобальному классу. В качестве примера таких исходных данных использована база изображений «People and Dogs», где представлены пары изображений собак и их хозяев. В ходе эксперимента был подтвержден факт наличия корреляции между этими изображениями в ПКП, в то время как они не коррелировали между собой в исходном пространстве признаков.

Полученные результаты подтвердили, что метод ССА может быть эффективно использован в задачах взаимного распознавания (классификации) и индексирования образов, принадлежащих разным глобальным классам.

Рис. 5. Варианты представления канонических переменных V и V

Ряд экспериментов, представленных в главе, выполнен с целью распознавания изображений лиц с использованием алгоритмов 2D ССА.

Модель первого эксперимента имеет вид: FERETX100/1* + 1У/1Х + 1,){224х184 -> 2D CCA: dxtf/S2/KMP/Li/rank =1}.

Здесь база исходных данных (портреты мужчин и женщин из базы FERET) содержит 2 набора по 100 пар изображений. Эталонами являются 100 пар портретов мужчин и женщин (100/1* + 1у). В качестве тестовых использованы другие 100 пар образов «Л» и «К». Каждое изображение имеет размер 224x184 пикселей, а размер переменных в ПКП составляет d*d. Выбран тип структуры системы распознавания S2 с классификатором по критерию минимума расстояния на основе метрики L\ (KMP/ii). Результат считается правильным, если на первом месте (гапк=\) в группе результатов находится образ из того же класса, что и тестовый образ. Результаты поиска образа «X» по образу «У» (и наоборот) для обоих алгоритмов 2D ССА и значений d- 5,6,...,16 показаны в таблице 1.

Таблица 1

2D ССА База FERET(100/(1+1)/1)

d 5 6 7 8 9 10 11 12 13 14 15 16 Средн.

Параплел. Тест «X->Y» 87 89 90 91 91 91 91 91 90 90 89 88 89.8

Тест «Г-»Х» 85 87 87 88 89 91 91 90 90 88 87 86 88.2

Каскадн. Тест «Х-^К» 89 i 90 91 92 93 93 93 93 92 92 92 92 91.8

Тест «У-^Х» 88 88 90 92 93 93 92 92 92 92 92 92 91.3

Наилучший результат распознавания обеспечивается при ¿МО. Степень редукции РПП составила при этом более 400 раз (224x184/100). Каскадный алгоритм обеспечивает улучшение распознавания на 2-3% по сравнению с параллельным, что существенно при решении задачи распознавания, в которой изображения мужского и женского лица «объединены» в один общий класс.

Для сравнения результативности 2D ССА с другими методами выполнен эксперимент по распознаванию тех же изображений лиц с использованием двумерного дискретного преобразования Фурье (2D DFT). Выбор этого метода обоснован тем, что в 2D DFT трансформация исходных изображений в новое пространство признаков (спектральное) также выполняется на основе строчно-столбцового преобразования по процедурам, аналогичным (4). С целью улучшения репрезентативности результатов эксперименты выполнены для

переменного количества пар образов, начиная с К— 2. Модели экспериментов принимают следующий вид:

¥ЪШ1(2+К/1х+у\х+1у){2Ъ ССА:224х184^10хЮ/82/КМР/Ь,/гапк=1}; РЕКЕТ(2+Л71^ + у\х+ \У){2Ъ ВЕТ:224х184->10х10/ 82/КМР/Ь,/гапк=1};

где: К = 2, 4,..., 10, 15, 20,. ..,100; ¿=10.

На рис. 6 представлены результаты этих экспериментов. Здесь ось ординат определяет результат правильной классификации образов (в %), а ось абсцисс определяет текущее значение параметра «К» - числа классов в базе системы распознавания. Знаками «А» и «□» отмечены результаты параллельного и каскадного алгоритмов 2D ССА, а знаком «•» отмечен результат для 20 ОРТ соответственно.

Рис. 6. Сравнение результативности алгоритмов 2D ССА и 2D DFT

Эксперименты показывают, что алгоритмы 2D ССА обеспечивают значительно более высокие результаты, чем метод, основанный на двумерном дискретном преобразовании Фурье. Для базы изображений FERET это заметно в обоих случаях уже при значениях К>4. Наконец, можно отметить, что каскадный алгоритм 2D ССА дает более стабильные результаты в сравнении с параллельным.

Целью двух других экспериментов является взаимное распознавание изображений разных категорий лиц в условиях плохого освещения или полного отсутствия освещения и в системах взаимного индексирования таких изображений.

В первом эксперименте решается задача поиска изображения в видимом свете "VIS" (состав X) по термо-изображению "Th" (состав У), и наоборот. Для этого используются изображения базы Equinox и каскадный алгоритм 2D ССА.

Модель эксперимента имеет вид:

Equinox (90(1* + 1/1х + 1,)){2D CCA:320x240/(rfxrf)/S2/KMP/L1/rank=l}.

Результат распознавания представлен в таблице 2 и оказался не ниже 96% даже при степени редукции в 320x240/100=768 раз.

_ ___Таблица 2.

Алгоритм d 8 9 10 11 12 13 14 15 16 17 18 19 Средн.

2D ССА каскадн. Тест «X—>Y» 98 98 98 98 98 98 98 98 98 98 98 98 98

Тест «У—*Хт> 93 94 96 96 96 96 96 96 96 96 96 96 95.6

Во втором эксперименте результат классификации изображений "VIS" по изображениям "IR" (в инфракрасном свете) с применением каскадного алгоритма 2D ССА составил 100%. Модель эксперимента имеет следующий вид: ZUT (10(1* + \у19у)){2\} CCA:200xl5O-^(lOxlO)/Sl/KMP/L,/rank=l}. Согласно результатам экспериментальных исследований, представленное описание алгоритмов 2D ССА является точным, поскольку реализованные по нему программы оказались результативными при решении задач представления и обработки изображений лиц в ПКП, в том числе при решении задач распознавания изображений. Программы были реализованы в среде пакета MATLAB с использованием матричных операторов пакета при реализации (3) +(7).

В четвертой главе представлен исследовательский комплекс программ, ориентированный на обработку изображений на основе алгоритмов 2D ССА.

Комплекс профамм представлен на рис. 7 и позволяет подключать любые базы изображений лиц, управлять параметрами базы (включая число базовых и тестовых изображений, их размеры), выбирать требуемый алгоритм 2D ССА, параметры редукции и тип структуры системы распознавания, а также наблюдать процесс анализа и обработки изображений посредством вывода на экран исходных данных, промежуточных и окончательных результатов.

Базовый модуль одномерного ССА

Модули обработки изображений

Программы для сравнения результатов

Демо-программа 2D ССА

Исследовательский комплекс программ

Модули отображения результатов ооработки

ч

Программа для исследования влияния параметров редукции н регуляризации ' в 2D ССА.

Демо-программы распознавания изображений на оскгове 2D СС'А

Рис. 7. Основные компоненты исследовательского комплекса программ

Комплекс программ реализован в среде пакета МАТЬАВ, и алгоритмы 20 ССА реализованы с использованием матричных операторов. Комплекс содержит 7 компонентов и не менее 14 модулей. В диссертации представлены назначение, структура и состав каждого компонента и входящих в него модулей, листинги программ и примеры их работы.

В заключении сформулированы основные научные и практические результаты, полученные автором.

Основные результаты работы

1. Разработаны параллельный и каскадный алгоритмы двумерного канонического корреляционного анализа (2D ССА), не требующие предварительной процедуры уменьшения размеров исходных изображений, прямо реализуемые по двум направлениям координат (строкам и столбцам) исходных изображений и обеспечивающие двумерное преобразование исходных изображений в ПКП. Разработанные алгоритмы 2D ССА характеризуются меньшей сложностью вычислений и применимы в условиях «малой выборки».

2. Определены два типа базовых систем, предназначенных для распознавания тестовых изображений при известной и неизвестной их принадлежности к заданным категориям исходных данных. Эти типы систем могут служить основой для любых других практических решений для систем распознавания изображений методами ССА.

3. Разработан способ представления компьютерного эксперимента в виде мнемонической модели, отражающей основные параметры моделируемой системы распознавания: базу изображений, структуру исходных и промежуточных данных, метод экстракции признаков, тип системы, классификатор и ранг оценки результата. Такие модели целесообразно применять дня сравнения различных решений моделируемых систем между собой или для точного и полного повторения выполненного эксперимента.

4. Программно реализованы алгоритмы 2D ССА, разработана структура комплекса программ, предназначенного для моделирования и исследования систем распознавания изображений лиц в пространстве канонических переменных. Примеры решения некоторых задач приведены в диссертации и могут служить прототипами для решения других аналогичных задач. Комплекс программ предлагается использовать в практике выполнения исследовательских работ, связанных с задачами обработки и распознавания изображений методами двумерного корреляционного анализа

Публикации по теме диссертации

Публикации в изданиях, рекомендованных ВАК России:

1. Kamenskaya, Е. Visible and Infrared Recognition using Canonical Variables [Текст] (Распознавание изображений в видимом и инфракрасном диапазонах с использованием канонических переменных) / Е. Kamenskaya, М. Borawski, М. Szaber // Polish Journal of Environmental Studies. -2009. - Vol. 18, № 3B. - P. 39-43.

2. Каменская, Е.И. Обзор алгоритмов канонического корреляционного анализа в области обработки изображений лиц [Текст] / Е.И. Каменская // Известия Санкт-Петербургского государственного электротехнического университета «ЛЭТИ». Сер. «Информатика, управление и компьютерные технологии». -2010.-№3.-С.16-22.

3. Kukharev, G. Application of two-dimensional canonical correlation analysis for face image processing and recognition [Текст] (Применение двумерного канонического корреляционного анализа в обработке и распознавании изображений лиц) / G. Kukharev, Е. Kamenskaya // Pattem Recognition and Image Analysis. - 2010. - Vol. 20, № 2. - P. 210-219.

4. Кухарев, ГА. Новый метод двумерного канонического корреляционного анализа для задач распознавания изображений лиц [Текст] / ГА. Кухарев, ЕМ. Каменская // Известия Санкт-Петербургского государственного электротехнического университета «ЛЭТИ». Сер. «Информатика, управление и компьютерные технологии». - 2010. - № 5. - С. 56-61.

Публикации в других изданиях:

5. Kamenskaya, Е. Recognition of Psychological Characteristics from Face [Текст] (Распознавание психологических характеристик человека по изображению лица) / Е. Kamenskaya, G. Kukharev // Metody Informalyki Stosowanej. - 2008. - Vol. 15,№ 1.-P.59-72.

6. Kamenskaya, E. Some aspects of automated recognition of person's psychological characteristics fiom the facial image [Текст] (Некоторые аспекты автоматизированного распознавания психологических характеристик человека по изображению лица)/ Е. Kamenskaya, G. Kukharev // Metody Informatyki Stosowanej. - 2008. - Vol. 15, № 2. - P. 29-37.

7. Szaber, M. Systemy rozpoznawania twarzy día obrazów widzialnych i podczerwieni z wykorzystaniem CCA [Текст] (Системы распознавания лиц на изображениях в видимом и инфракрасном свете с использованием CCA) / M. Szaber, E. Kamenskaya // Metody Informatyki Stosowanej. -2008. - Vol. 16, № 3. -P. 223-236.

8. Кухарев, ГА. Метод определения линии симметрии лица в приложении к задачам биометрии [Текст] / ГА Кухарев, Е.И. Каменская, Зуи Линь By // Известия Санкт-Петербургского государственного электротехнического университета «ЮТИ». Сер. «Информатика, управление и компьютерные технологии». - 2009. - № 7. - С. 39-44.

9. Kukharev, G.Two-dimensional canonical correlation analysis for face image processing and recognition [Текст] (Двумерный канонический корреляционный анализ в обработке и распознавании изображений лиц) / G. Kukharev, Е. Kamenskaya // Metody Informatyki Stosowanej. -2009. - Vol. 20, № 3. - P. 103-112.

10. Кухарев, ГАДвумерный канонический корреляционный анализ в приложении к обработке изображений лиц [Текст] / ГА. Кухарев, Е.И. Каменская // Известия Санкт-Петербургского государственного электротехнического университета «ЛЭТИ». Сер. «Информатика, управление и компьютерные технологии».- 2010. - № 1. - С. 23-28.

11. Каменская, ЕЖ Применение Fares Mod в обучении студентов дисциплинам по распознаванию образов [Текст] / ЕМ. Каменская // Материалы ХШ Международной конференции "Современное образование: содержание, технологии, качество". - Изд-во СПбГЭТУ "ЛЭТИ", СПб. - Том 1. -19 апреля 2007. - С. 206-207.

12. Каменская, Е.И. Распознавание психологических характеристик человека по изображению лица в приложении к задачам профориентации и дистанционного обучения [Текст] / Е.И. Каменская // Материалы XTV Международной конференции "Современное образование: содержание, технологии, качество", Изд-во СПбГЭТУ "ЛЭТИ", СПб. - Том 1. -23 апреля 2008. - С. 233-234.

13. Каменская, ЕМ. Распознавание психологических характеристик человека по изображению лица в системах дистанционного обучения [Текст] / Е.И. Каменская // Материалы ХШ Всероссийской научно-технической конференции "Новые информационные технологии в научных исследованиях и образовании". - Рязанский Государственный радиотехнический университет, Рязань. - Часть 2. -14 мая 2008. - С. 85-86.

14. Каменская, ЕМ. Метод анализа канонической корреляции в приложении к распознаванию изображений лиц [Текст] / ЕМ. Каменская // Материалы XV Международной конференции "Современное образование: содержание, технологии, качество". - Изд-во СПбГЭТУ "ЛЭТИ", СПб. - Том. 1. - 22 апреля 2009. - С. 305-306.

Подписано в печать 14.07.10. Формат 60*84 1/16. Бумага офсетная. Печать офсетная. Печ. л. 1Д Тираж 100 экз. Заказ 43.

Отпечатано с готового оригинал-макета в типографии Издательства СПбГЭТУ "ЛЭТИ"

Издательство СПбГЭТУ "ЛЭТИ" 197376, С.-Петербург, ул. Проф. Попова, 5

ВВЕДЕНИЕ.

Глава 1. АНАЛИЗ ПРЕДМЕТНОЙ ОБЛАСТИ, ПОСТАНОВКА ЦЕЛИ И ЗАДАЧ ИССЛЕДОВАНИЙ.

1.1. Проблемы биометрии и метод ССА.

1.2. Тенденции развития технологий распознавания лиц на основе ССА.

1.3. Структура вычислений в ССА.

1.4. Обзор применения и реализации ССА в задачах биометрии.

Выводы по главе 1.

Глава 2. РАЗРАБОТКА АЛГОРИТМОВ 2D ССА.

2.1. Исходная идея метода 2D ССА.

2.2. Параллельный алгоритм 2D ССА.

2.3. Каскадный алгоритм 2D ССА.

2.4. Методы верификации выполненного анализа.

2.5. Характеристики алгоритмов 2D ССА.

2.6. Распознавание изображений лиц в рамках 2D ССА.

2.7. Регуляризация вычислений в ССА.

2.7. Модели изображений лиц в ПКП.

Выводы по главе 2.

Глава 3. ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ АЛГОРИТМОВ 2D ССА.

3.1. Методология описания экспериментов.

3.2. Базы изображений лиц, используемые в экспериментах.

3.3. Оценка подобия образов в рамках 2D ССА.

3.4. Исследование ПКП для семантически разных классов изображений.

3.5. Распознавание изображений лиц в ПКП.

3.5.1. Эксперименты на изображениях базы FERET.

3.5.2. Эксперименты на изображениях базы Equinox.

3.5.3. Эксперименты на изображениях базы ZUT.

Выводы по главе 3.

Глава 4. ОПИСАНИЕ ИССЛЕДОВАТЕЛЬСКОГО КОМПЛЕКСА ПРОГРАММ.

4.1. Состав комплекса программ.

4.2. Описание демо-программ.

4.3. Описание базовых модулей.

Выводы по главе 4.

В настоящее время активно развивается область информатики, связанная с биометрическими технологиями распознавания людей. Особенно привлекательны технологии, основанные на геометрии лица, на практике связанные с обработкой изображений лиц. Эти технологии развиваются в трех основных направлениях: аутентификация и идентификация людей; распознавание эмоционального состояния людей; распознавание текущего психофизического состояния людей.

Анализ этих направлений показал, что их развитие тормозит отсутствие методов, алгоритмов и программ, а также необходимых методик выявления и использования связей между характеристиками исходных данных (изображений лиц) и соответствующими характеристикам человека. Указанные связи можно раскрыть в рамках канонического корреляционного анализа (Canonical Correlation Analysis — CCA). В рамках CCA информация переводится из исходного пространства признаков в пространство канонических переменных (ПКП), в котором осуществляются все дальнейшие операции. Признаки в ПКП связываются между собой устойчивой корреляцией, что обеспечивает возможность выявления, изучения и использования связей между ними.

Метод ССА был впервые представлен Хотеллингом в 1930-х годах (журналы Journal of Educational Psychology и Biometryka) и описывал соотношение между двумя наборами векторных данных. В цифровой обработке изображений (ЦОИ) методология применения ССА также основана на векторном представлении исходных изображений. На практике это приводило к необходимости введения операций предобработки изображений - уменьшения их размеров и/или их трансформации в вектор с последующим использованием базовых процедур ССА. Сложность и объем вычислений в ССА привели к тому, что первые публикации по методам двумерного ССА в приложении к ЦОИ появились лишь в конце 2007 года. Описанные в этих публикациях методы также содержат вышеуказанные операции предобработки, что усложняет сам процесс обработки изображений, снижает точность и быстродействие предложенных алгоритмов. При этом в доступных публикациях отсутствует детальное представление реализованных алгоритмов, не рассмотрены методические разработки по структуре и способам функционирования элементов соответствующих систем распознавания, а также не представлено точное описание выполненных экспериментов, что препятствует их повторению и, как следствие, использованию результатов из этих публикаций.

Мощный скачок в развитии компьютерных технологий (увеличение памяти и быстродействия компьютеров, широкое применение пакетов программ по ЦОИ, применение математического моделирования) создали новые возможности для исследования и развития методов ССА, а также предпосылки для их применения в задачах обработки многомерных данных — совокупностей изображений.

В этих условиях разработка новых подходов к реализации ССА, создание соответствующих алгоритмов, отдельных программ и программных комплексов, а также необходимых моделей и методик, развивающих применение ССА в задачах обработки многомерных данных, являются актуальными задачами.

Целью данной работы является исследование и разработка алгоритмов двумерного канонического корреляционного анализа в приложении к обработке изображений лиц и их представлению в ПКП.

Для достижения поставленной цели решались следующие задачи:

1) разработка и исследование алгоритмов двумерного ССА (2D ССА) применительно к задачам обработки изображений лиц;

2) исследование алгоритмов представления и сравнения изображений лиц в ПКП;

3) разработка структур систем распознавания в условиях известной и неизвестной принадлежности тестовых изображений к исходным категориям данных;

4) разработка компактной формы записи компьютерного эксперимента (модели), отражающей характеристики моделируемых систем распознавания;

5) разработка комплекса программ для организации вычислительных экспериментов и исследования задач обработки изображений с использованием алгоритмов 2D ССА;

6) проведение экспериментальной апробации разработанных алгоритмов на примерах задач распознавания изображений лиц.

Объектом исследований является метод 2D ССА в приложении к обработке цифровых изображений.

Предметом исследований являются алгоритмы обработки изображений лиц в пространстве канонических переменных и их программная реализация.

Методы исследования. Исследования базируются на методах цифровой обработки изображений и методах распознавания образов, аппарате матричной алгебры и численных методах линейной алгебры. Методология исследований включает:

1) аналитический обзор и анализ литературы, посвященной ССА в приложении к задачам распознавания изображений лиц, и ее систематизацию;

2) математический аппарат ССА в матричной форме и в приложении к задачам обработки изображений как двумерных объектов;

3) формальную запись моделей выполненных компьютерных экспериментов, анализ результатов экспериментов и выводы из них;

4) выводы, рекомендации и предложения по применению аппарата ССА к задачам обработки изображений.

Новые научные результаты

1. Разработаны параллельный и каскадный алгоритмы 2D ССА, не требующие предварительной процедуры уменьшения размеров исходных изображений, прямо реализуемые по двум направлениям координат (строкам и столбцам) исходных изображений и применимые в условиях «малой выборки». Алгоритмы 2D ССА обеспечивают вычисление матриц проекций для реализации двумерных преобразований и трансформации исходных изображений в ПКП.

2. Определены два типа базовых систем, предназначенных для распознавания тестовых изображений при известной и неизвестной их принадлежности к заданным категориям исходных данных.

3. Разработан способ представления компьютерного эксперимента в виде мнемонической модели, отражающей основные параметры моделируемой системы распознавания: базу изображений, структуру исходных и промежуточных данных, метод экстракции признаков, тип системы, классификатор и ранг оценки результата.

4. Программно реализованы алгоритмы 2D ССА и разработана структура комплекса программ, предназначенного для моделирования и исследования систем распознавания изображений лиц в пространстве канонических переменных.

Практическая ценность

1. Комплекс программ, разработанный на основе алгоритмов 2D ССА и двух типов структур систем распознавания, позволяет проводить вычислительные эксперименты по обработке изображений в различных прикладных задачах. Примеры решения некоторых задач приведены в диссертации и могут служить прототипами для решения других аналогичных задач.

2. Предложенная в диссертации методология описания компьютерных экспериментов в форме модели позволяет наглядно, компактно и в то же время точно представить поставленный эксперимент. Такую модель рекомендуется применять также для сравнения различных решений моделируемых систем между собой. Все выполненные в рамках диссертации компьютерные эксперименты представлены соответствующими моделями, что дает возможность точно повторить выполненный эксперимент.

Научные положения, выносимые на защиту

1. Параллельный и каскадный алгоритмы 2D ССА, обладающие простотой реализации и применимые в условиях «малой выборки».

2. Два типа структур систем распознавания изображений в ПКП, используемые при известной и неизвестной принадлежности тестовых изображений к категориям исходных данных.

3. Способ описания компьютерных экспериментов в форме мнемонической модели.

4. Комплекс программ для проведения компьютерных экспериментов по обработке изображений в ПКП, основными компонентами которого являются блоки, реализующие алгоритмы 20 ССА.

Теоретические положения, алгоритмы двумерного канонического корреляционного анализа, исследовательский комплекс программ использованы в НИР и ОКР, выполняемых открытым акционерным обществом «Научно-инженерный центр Санкт-Петербургского электротехнического университета». Результаты диссертационной работы использованы в учебных дисциплинах «Компьютерные методы идентификации личности» и «Цифровая обработка сигналов» кафедры математического обеспечения ЭВМ Санкт-Петербургского государственного электротехнического университета.

Результаты диссертации обсуждались на XIII - XV международных конференциях «Современное образование - содержание, технологии, качество» (г. Санкт-Петербург, 2007 - 2009 гг.), XIII Всероссийской конференции «Новые информационные технологии в научных исследованиях и образовании» (г. Рязань, 2008 г.) и на семинарах факультета информатики в Западно-Приморском технологическом университете (г. Щецин, Польша, 2007 и 2009 гг.).

По теме диссертации опубликованы 14 научных работ, из них — 10 статей (4 статьи опубликованы в ведущих рецензируемых научных журналах и изданиях, одобренных ВАК), 4 работы - в трудах конференций.

Диссертация состоит из введения, четырех глав с выводами, заключения, библиографического списка и приложения. Работа изложена на 161 страницах машинописного текста и включает 102 рисунка и 7 таблиц. Библиографический список включает 98 наименований. Ссылки на источники указываются в виде имени первого автора публикации (в некоторых случаях с заглавием) и года издания в квадратных скобках.

Основные результаты обсуждались также на 3-х международных и одной всероссийской конференциях и представлены в тезисах этих конференций (позиции [50-53] библиографического списка). Материалы диссертации использованы в учебном процессе на кафедре МОЭВМ Санкт-Петербургского государственного электротехнического университета и внедрены в НИР и ОКР, выполняемых ОАО "НИЦ СПбГЭТУ".

ЗАКЛЮЧЕНИЕ

Главный результат диссертации заключается в разработке и исследовании алгоритмов 2D ССА в приложении к обработке изображений лиц и их представлению в пространстве канонических переменных — ПКП. Это соответствует теме диссертации и поставленной цели.

В рамках настоящей работы решались следующие задачи:

1. Анализ существующих методов 2D ССА и разработка новых алгоритмов 2D ССА применительно к задачам обработки наборов изображений лиц;

2. Исследование методов представления и сравнения изображений лиц в ПКП;

3. Разработка структур систем распознавания в условиях известной и неизвестной принадлежности тестовых изображений к исходным категориям данных;

4. Нахождение компактной формы записи компьютерного эксперимента, отражающего характеристики моделируемых, систем распознавания;

5. Разработка комплекса программ для организации вычислительных экспериментов и исследования задач обработки изображений с использованием алгоритмов 2D ССА;

6. Проведение экспериментальной апробации разработанных алгоритмов на примерах задач распознавания изображений лиц.

Решения этих задач представлены в 4-х главах диссертации, а полученные при этом основные результаты сводятся к следующим:

1. Разработаны параллельный и каскадный алгоритмы 2D ССА, не требующие предварительной процедуры уменьшения размеров исходных изображений, прямо реализуемые по двум направлениям координат (строкам и столбцам) исходных изображений. Алгоритмы 2D ССА обеспечивают вычисление матриц проекций для реализации двумерных преобразований и трансформации исходных изобралсений в ПКП, характеризуются меньшей сложностью вычислений и применимы в условиях «малой выборки».

2. Определены два типа базовых систем, предназначенных для распознавания тестовых изображений при известной и неизвестной их принадлежности к заданным категориям исходных данных. Эти типы систем могут служить основой для любых других практических решений для систем распознавания изображений методом 2О ССА.

3. Разработан способ представления компьютерного эксперимента в виде мнемонической модели, отражающей основные параметры моделируемой системы распознавания: базу изображений, структуру исходных и промежуточных данных, метод экстракции признаков, тип системы, классификатор и ранг оценки результата. Такую модель можно применять для сравнения различных решений моделируемых систем между собой. Выполненные в рамках диссертации компьютерные эксперименты представлены соответствующими моделями, что дает возможность точного их повторения.

4. Программно реализованы алгоритмы 20 ССА и разработана структура комплекса программ, предназначенного для моделирования и исследования систем распознавания изображений лиц в пространстве канонических переменных. Примеры решения типовых задач приведены в диссертации и могут служить прототипами для решения других аналогичных задач.

В целом диссертация характеризуется методологическим единством представленного материала, а совокупность полученных результатов отвечает поставленной цели. Основные научные результаты теоретически обоснованы и подтверждены выполненными компьютерными экспериментами.

Результаты диссертационной работы опубликованы в 10 российских и международных журналах (из них 4 статьи в журналах, рекомендуемых ВАК), отмеченных позициями [40-49] библиографического списка.

1. Основные публикации по распознаванию изображений лиц

2. Turk, М. Eigenfaces for Face Detection/Recognition Текст. / M. Turk, A.Pentland // Journal of Cognitive Neuroscience. 1991. — Vol. 3, № 1.— P. 71-86.

3. Tian, Y.-L. Recognizing action units for facial expression analysis Текст. / Y.-L. Tian, T. Kanade, J. Cohn // IEEE Transaction on Pattern Analysis and Machine Intelligence. 2001. - 23(2). - P. 1 -19.

4. Кухарев, Г.А. Биометрические системы: Методы и средства идентификации личности человека Текст.: научное издание / СПб.: Политехника, 2001. -240 с.

5. Jain, А.К. An Introduction to Biometric Recognition Текст. / A.K. Jain, A. Ross, S. Prabhakar // IEEE Transactions on Circuits and Systems for Video Technology. January 2004. - Vol. 14, No. 1. - P. 4-20.

6. Stan, Z. Li. Handbook of Face Recognition Текст. / Z. Li. Stan, K. Jain Anil. -Springer, 2005.-395 p.

7. Дорогов, А. Ю. Быстрая классификация JPEG-изображений Текст. / А. Ю. Дорогов, Р. Г. Курбанов, В. В. Разин // Интернет-математика 2005. Автоматическая обработка веб-данных. М., 2005. - С. 147-172.

8. Нюнькин, К.М. Распознавание изображения лица человека с произвольнымракурсом (Начало) Текст. / К.М. Нюнькин // Вестник компьютерных и информационных технологий. 2006. - № 6. — С. 22-28.

9. Нюнькин, К.М. Распознавание изображения лица человека с произвольнымракурсом (Продолжение) Текст. / К.М. Нюнькин // Вестник компьютерных и информационных технологий. 2006. - № 7. - С. 11-17.

10. Кухарев, Г.А. Системы распознавания человека по изображению лица

11. Текст. / Г.А. Кухарев, Н.Л. Щеголева. СПб.: Из-во СПбГЭТУ «ЛЭТИ», 2006.-176 с.

12. Жда 06. Жданов, Ф.М. Обнаружение лиц на изображении с помощьюадаптивных методов Текст. / Ф.М. Жданов, М.Ю. Карасева // International Conference Graphicon. Novosibirsk Akademgorodok, Russia. - 2006. -(http://www.graphicon.ru/).

13. Delac, K. Face Recognition Текст. / Delac Kresimir, M. Grgic // Vienna, Austria: I-Tech, June 2007. 559 p.

14. Куд 07. Кудряшов, П.П. Быстрый поиск человеческих лиц на изображениях [Текст] / П.П. Кудряшов, С.А. Фоменков // Вестник компьютерных и информационных технологий. 2007. - №7. - С. 14-17.

15. Phillips, P.J. FRVT 2006 and ICE 2006 Large-Scale Results Текст. / PJ. Phillips [et al.] // FRVT 2006 Report: NISTTR 7408. March 2007. -(http://face.nist.gov/frvt/frvt2006/FRVT2006andICE2006LargeScaleReport.pdf).

16. Лепский, A.E. Поиск портретных изображений по содержанию Текст. / А.Е. Лепский [и др.] // Сборник работ участников конкурса "Интернет-математика 2007". Екатеринбург: изд-во Урал, ун-та, 2007. - С. 56-64.

17. Delac, К. Recent Advances in Face Recognition Текст. / К. Delac, M. Grgic, M. Bartlett. Croatia: I-Tech, December 2008. - 236 p.

18. Кухарев, Г.А. Поиск изображений лиц в больших базах данных Текст. / Г.А. Кухарев // Мир Измерений. 2009. - 4(98). - С. 22-30.

19. Ременева, Е.А. Исторические аспекты биометрии Текст. / Ременева, Е.А. // Мир Измерений. 2009. - №3. - С. 8-11.1. Мультибиометрия

20. Yang, Z. Interactive Retrieval in Facial Image Database Using Self-Organizing Maps Текст. / Z. Yang, J. Laaksonen // Journal Machine Vision and Application. 2005. - № 5. - P. 112-115.

21. Jain, A. Score normalization in multimodal biometric systems Текст. / A. Jain [et al.] // Pattern Recognition 38, 2005 P. 2270-2285.

22. Price, J.R. Face recognition using direct, weighted linear discriminant analysis and modular subspaces Текст. / J.R. Price, T.F. Gee // Pattern Recognition. -2005.-№38. -P. 209-219.

23. Ross, A. Handbook of Multibiometrics (International Series on Biometrics) Текст. / A. Ross, K. Nandakumar, A. K. Jain // Springer Publishers, 2006. -202 p.

24. Rajagopalan, A.N. Face recognition using multiple facial features Текст. / A.N. Rajagopalan [et al.] // Pattern Recognition Letters. 2007. - №28. -P. 335-341.

25. Forczmanski, P. Comparative analysis of simple facial features extractors Текст. / P. Forczmanski, G. Kukharev // Journal Real-Time Image Processing. -2007. № 1. - P. 239-255.

26. Kukharev, G. Strategy of constructions a class Face Retrieval system Текст. / G. Kukharev, M. Miklasz, B. Nguen // Metody Informatyki Stosowanej. — 2007.-Vol. 12, №2.-P. 61-72.

27. Kukharev, G. Facial dimensionality reduction and recognition by means of 2DKLT Текст. / G. Kukharev, P. Forczmanski // International Journal Machine Graphics and Vision. 2007. - Vol. 16, № 3/4. - P. 401-425.

28. Zhang, T. Multimodal biometrics using geometry preserving projections Текст. / Т. Zhang [et al.] // Pattern Recognition. 2008. - № 41. - P. 805-813.

29. Стандарты на изображения лиц

30. Biometric Data Interchange Formats Part 5: Face Image Data Текст.: ISO/TEC JTC1/SC37 N506, ISO/IEC IS 19794-5. - 2004. - Due date: July 22, 2004.54 p. (http://www.icaojnt/mrtd/download/technical.cfin).

31. Gao, X. Standardization of Face Image Sample Quality Текст. / X. Gao [et al.]//Lecture Notes in Computer Science Vol. 4642/2007. -P. 242-251.

32. Cui, L. An Image Quality Metric based on Corner, Edge and Symmetry Maps Текст. / L. Cui, A. Allen. 2008. -(http://www.comp.leeds.ac.uk/bmvc2008/proceedings/papers/187.pdf).1. Базы изображений

33. Kanade, Т. Comprehensive database for facial expression analysis. Текст. / Т. Kanade, J. F. Cohn, Y. Tian // Proceedings of the Fourth IEEE International Conference on Automatic Face and Gesture Recognition (FG'00). Grenoble, France.-2000.-P. 46-53.

34. Fierrez, J. Biosec baseline corpus: A multimodal biometric database Текст. / J. Fierrez [et al.] // Pattern Recognition. 2007. - Vol. 40. - P. 1389 - 1392.

35. The ORL database of faces Текст. / AT&T Laboratories Cambridge. -(http://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.html).

36. Samaria, F. Parameterisation of a Stochastic Model for Human Face Identification Текст. / F. Samaria, A. Harter // Proceedings of 2nd IEEE Workshop on Applications of Computer Vision. Sarasota, FL, USA. -December 1994. - P. 138-142.

37. Human Identification at a Distance (HID) Текст. Face Recognition Using Thermal Imagery. - (http:www.equinoxsensors.com/products/HID.html).

38. The BioID Face Database. Текст. 2010. (http://www.bioid.com/support/downloads/softwarc/bioid-face-database.html).

39. The Facial Recognition Technology (FERET) Database Текст. 2004. -(http://www.itl.nist.gov/iad/humanid/feret/feretmaster.html).

40. Phillips, P.J. The FERET evaluation methodology for face recognition algorithms Текст. / P.J. Phillips [et al.] // IEEE Transactions on Pattern Analysis and Machine Intelligence. October 2000. - Vol. 22, № 10. - P. 1090-1104.

41. Собственные статьи в журналах по теме диссертации

42. Kamenskaya, Е. Recognition of Psychological Characteristics from Face Текст. (Распознавание психологических характеристик человека по изображению лица) / Е. Kamenskaya, G. Kukharev // Metody Informatyki Stosowanej. -2008.-Vol. 15, № l.-P. 59-72.

43. Современные методы обработки изображений

44. Socolinsky, D. Face recognition with visible and thermal infrared imagery Текст. / D. Socolinsky, A. Selinger, J. Neuheisel // Computer Vision and Image Understanding. 2003. - № 91. - P. 72-114.

45. Kong, S. G. Recent advances in visual and infrared face recognition a review Текст. / S. G. Kong [et. al] // Computer Vision and Image Understanding. -2005.-№97(1)-P. 103-135.

46. Bebis, G. Face Recognition by fusing thermal infrared and visible imagery Текст. / G. Bebis [et. al] // Image and Vision Computing. — 2006. № 24. -P. 727-742.

47. Poh, N. Database, protocols and tools for evaluating score-level fusion algorithms in biometric authentication Текст. / N. Poh, S. Bengio // Pattern Recognition. 2006. - № 39(2). - P. 223- 233.

48. D'Orazio, T. A visual approach for driver inattention detection Текст. / Т. D'Orazio [et. al] // Pattern Recognition. 2007. - № 40. - P. 2341 - 2355.

49. Gong, S. Beyond facial expressions: learning human emotion from body gestures Текст. / Gong S., et al. // British Machine and Vision Conference.

50. Warwick. 2007. - (http://www.dcs.warwick.ac.uk/bmvc2007/proceedings/CD-ROM/papers/paper-276.pdf).

51. Han, J. Fusion of color and infrared video for moving human detection Текст. / J. Han, B. Bhanu // Pattern Recognition. 2007. - № 40. - P. 1771-1784.

52. Kong, S.G. Multiscale Fusion of Visible and Thermal IR images for illumination-invariant Face Recognition Текст. / S.G. Kong [et al.] // International Journal of Computer Vision. 2007. - № 71(2). -P. 215-233.

53. Zhou, X. Feature fusion of side face and gait for video-based human identification Текст. / X. Zhou, B. Bhanu // Pattern Recognition archive. -2008. Vol. 41, № 3. - P. 778-795.1. Применение CCA

54. Reiter, M. Estimation of Face Depth Maps from Color Textures using Canonical Correlation Analysis Текст. / M. Reiter [et al.] // Computer Winter Workshop.2006.-P. 17-21.

55. Reiter, M. 3D and Infrared Face Recognition from RGB data using Canonical Correlation Analysis Текст. / M. Reiter [et al.] // 18th International Conference on Pattern Recognition. Hong Kong. - Vol. 1. - 2006. - P. 425-428.

56. Yi, D. Face Matching Between Near Infrared and Visible Light Images Текст. / D. Yi [et al.] // Lecture Notes in Computer Science. 2007. - Vol. 4642. -P. 523-530.

57. Kim, T-K. Learning discriminative canonical correlations for object recognition with image sets Текст. / T.-K. Kim, J. Kittler, R. Cipolla // In Proc. of European Conference on Computer Vision (ECCV). Graz, Austria. - 2006. - P. 251-262.

58. Kale, A. C. Face Recognition using Canonical Correlation Analysis Текст. / A.C. Kale, R. Aravind // The National Conference on Communications.2007. P. 48-52.

59. Shan, C. Fusing gait and face cues for human gender recognition Текст. / С. Shan, S. Gong, P.W. McOwan // Nuerocomputing. 2008. - № 71. - P. 1931-1038.

60. Sun, L.A. Least Squares Formulation for Canonical Correlation Analysis

61. Текст. / L. Sun, S. Ji, J. Ye // Proceedings of the 25th International Conference on Machine Learning. Helsinki, Finland. - Vol. 307. - 2008. - P. 1024-1031.

62. Математические методы распознавания образов

63. Hotelling, Н. Analysis of complex variables into principal components Текст. / H. Hotelling // Journal of Educational Psychology. 1933. - № 24. - P. 417-441.

64. Hotelling, H. Relations between two sets of variates Текст. / H. Hotelling // Biometiyka. 1936. - № 28. - P. 321-377.

65. Крылов, В.И. Вычислительные методы высшей математики. Текст. / В.И.Крылов, В.В. Бобков, П.И. Монастырный. Т.1. Под ред. И.П. Мысовских. Мн.: Высшая школа, 1972. - 584 с.

66. Корн, Г. Справочник по математике для научных работников и инженеров Текст. / Г. Корн, Т. Корн М.: Наука, 1974. - 832 с.

67. Ту, Дж. Принципы распознавания образов Текст. / Дж. Ту, Р. Гонсалес -М.: Мир, 1978.-416 с.

68. Фукунага, К. Введение в статистическую теорию распознавания образов Текст. / К. Фукунага Пер. с английского. М.: Наука, 1979. - 368 с.

69. Прэтт, У. Цифровая обработка изображений Текст. / У. Прэтт М.: Мир, 1982.-792 с.

70. Дудкин, К.Н. Цифровая обработка изображений в физиологических исследованиях Text. / К.Н. Дудкин, Ф. Н. Макаров, В. Б. Макулов [и др.] // Рос. физиол. журн. им. И. М. Сеченова. 1998. - 84, №3. - С. 267-273.

71. Воеводин, В.В. Матрицы и вычисления Текст. / В.В. Воеводин, Ю.А. Кузнецов М.: Наука. Главная редакция физико-математической литературы, 1984. - 320 с.

72. Голуб, Дж. Матричные вычисления Текст. / Дж. Голуб, У. Лоун М.:1. Мир, 1999. 548 с.

73. Borga, М. Canonical Correlation a Tutorial Текст.: a Tutorial / М. Borga. -2001. (http://www.imt.liu.se/~magnus/cca/tutorial/tutorial.pdf).

74. Weenink, D. Canonical correlation analysis Текст. / D. Weenink // Proceedings of Institute of Phonetic Sciences, University of Amsterdam. №25. - 2003. -P. 81-99.

75. Фисенко, В.Т. Компьютерная обработка и распознавание изображений Текст. / В.Т. Фисенко, T.IO. Фисенко СПб: СПбГУ ИТМО, 2008. - 192 с.

76. Тихонов, А.Н. Регуляризирующие алгоритмы и априорная информация Текст. / А.Н. Тихонов [и др.] М.: Наука, 1983. - 200 с.

77. Воронцов, К.В. Лекции по статистическим (байесовским) алгоритмам классификации Текст. / К.В. Воронцов. 16 января 2009. -(http://www.machinelearning.rU/wiki/images/e/ed/Voron-ML-Bayes.pdf).

78. Bickel, P.J. Regularization in statistics Текст. / P.J. Bickel [at al]•// Journal TEST. September, 2006. - Vol. 15, № 2. - P. 271-344.

79. Tikhonov, A.N. Solutions of Ill-posed Problems Текст. / A.N. Tikhonov, V.A. Arsenin // Bulletin of the American Mathematical Society. 1979. - Vol. 1, № 3. - P. 521-524.2D CCA

80. Lee, S.H. Two-Dimensional Canonical Correlation Analysis Текст. / S.H. Lee, S. Choi // IEEE Signal Processing Letters. October 2007. - Vol. 14, № 10. -P. 735-738.

81. Zou, C. 2DCCA: A Novel Method for Small Sample Size Face Recognition Текст. / С. Zou [et al.] // IEEE Workshop on Application of Computer Vision, WACV'07. 2007. - P. 43-47.

82. Shan, С. Capturing correlations among facial parts for facial expression analysis Текст. / С. Shan, S. Gong, P.W. McOwan // Proceedings of BMVC'2007. -(http://www.dcs.warwick^c.uk/bmvc2007/proceedings/CD-ROM/papers/paper-169.pdf).

83. Sun, N. Two-dimensional canonical correlation analysis and its application in small size face recognition Текст. / N. Sun [et al.] // Neural Computing and Applications archive. April 2010. - Vol. 19, № 3. - P. 377-382.

84. CCA и модели изображений лиц

85. Ahlberg, J. An Active Model for Facial Feature Tracking Текст. / J. Ahlberg // EURASIP Journal on Applied Signal Processing. 2002. - № 6. - P. 566-571.

86. Kasinski, A. Application of Active Shapes to the Structural Face Model Текст. / A. Kasinski, M. Krol // Advances in Soft Computing. 2005. - Vol. 30. -P. 783-790.

87. Donner, R. Fast Active Appearance Model Search Using Canonical Correlation Analysis Текст. / R. Donner [et al.] // IEEE Transaction on PAMI. October 2006. - Vol. 28, № 10. - P. 1960-1964.

88. Kasinski, A. The Architecture of the Face and Eyes Detection System Based on Cascade Classifiers Текст. / A. Kasinski, A. Schmidt // Advances in Soft Computing. 2007. - Vol. 45. - P. 124-131.

89. Zepeda, J.A.Y. Linear tracking of pose and facial features Текст. / J.A.Y. Zepeda [et al.] // Conference on Machine Vision Application (MVA2007 IAPR), May 16-18, 2007, Tokyo, Japan. P. 182-185.

90. Mihalik, J. Human face and facial feature tracking by using geometric and texture models Текст. / J. Mihalik, M. Kasar // Journal of Electrical Engineering. 2008. - Vol. 59, № 5. - P. 266-271.