автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Автоматизированная система реконструирования и анализа текстурированных 3D моделей человеческих лиц

На правах рукописи

Де Ванса Викрамаратне Виктор Клементович

АВТОМАТИЗИРОВАННАЯ СИСТЕМА РЕКОНСТРУИРОВАНИЯ И АНАЛИЗА ТЕКСТУРИРОВАННЫХ 30 МОДЕЛЕЙ ЧЕЛОВЕЧЕСКИХ ЛИЦ

Специальность 05.13.01 Системный анализ, управление и обработка информации

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Москва 2009

003471740

Работа выполнена в Государственном образовательном учреждении высшего профессионального образования «Московский государственный институт радиотехники, электроники и автоматики (технический университет)».

Научный доктор технических наук, профессор

руководитель: Романов Михаил Петрович

Официальные доктор физико-математических оппоненты: наук, профессор

Зенкевич Станислав Леонидович (МГТУ им. Н.Э. Баумана)

кандидат технических наук, доцент Ермолов Иван Леонидович (МГТУ «Станкин»)

Ведущая Учреждение Российской академии

организация: наук Вычислительный центр им. A.A. Дородницына РАН

Защита состоится «/?- » июня 2009 г. в /1'^ часов на заседании Диссертационного Совета Д 212.131.03 при Московском государственном институте радиотехники, электроники и автоматики (техническом университете) по адресу: 119454 г. Москва, проспект Вернадского 78, ауд. Г412.

С диссертацией можно ознакомиться в библиотеке Московского государственного института радиотехники, электроники и автоматики.

Отзывы на автореферат в двух экземплярах, заверенные печатью, просим направлять по адресу: 119454 г. Москва, проспект Вернадского 78, диссертационный совет Д 212.131.03.

Автореферат разослан «/ч » mc\J\ 2009 г.

Ученый секретарь диссертационного совета

к.т.н., доцент Тягунов O.A.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ Актуальность работы. В настоящее время реконструирование 3D моделей человеческих лиц применяется в таких областях, как - охранные системы, медицина, антропометрические исследования, киноиндустрия и индустрия развлечений. В связи с участившимися угрозами безопасности по всему миру все более актуальной становится задача автоматической биометрической идентификации личности. Среди всех методов биометрической идентификации часто наиболее удобным оказывается метод идентификации по лицу так как он не обязывает человека контактировать с измерительным прибором. Существует множество методов идентификации по фотографии (2D), однако наиболее надежными (согласно отчету Face Recognition Vendor Test 2006) представляются методы, использующие 3D модели, включающие в себя информацию о текстуре (2D). Диссертационная работа направлена на решение задачи автоматического построения текстурированных 3D моделей человеческих лиц. В медицине 3D модели лиц могут быть использованы: при дистанционной и/или автоматизированной постановке диагнозов (согласно работам П. Хаммонда), для планирования пластических операций, при создании лицевых протезов. В антропометрических исследованиях разработанный метод реконструирования 3D моделей лиц позволяет существенно уменьшить время сбора информации о поверхности лица, по сравнению с традиционными методами измерения «вручную». В киноиндустрии и индустрии развлечений на базе 3D моделей лиц создаются виртуальные актеры, а так же постоянно растущий набор спецэффектов. Разработанная в диссертационной работе автоматизированная система позволит 3D художнику создавать фотореалистичные модели человеческих лиц. Ввиду обостряющейся конкуренции операционных систем все более актуальной становится проблема переноса программного обеспечения с одной платформы на другую. Изначальная ориентация системы на платформо-независимые технологии позволяет снизить издержки переноса. Отпадает необходимость

повторной сертификации программного обеспечения (на предмет защиты от несанкционированного доступа и наличия недокументированных возможностей), что особенно актуально в сфере охранных систем. В области реконструизования ЗБ моделей человеческих лиц можно отметить работы следующих авторов: 1.8аЫ, Б.Сазрц Е.Ногп, Ь.Уап Ооо1., В.Сигкэз, Ь.гЬаг^, 2.2Ьап§, а так же отечественного автора - В.А.Князя. Несмотря на бурное развитие данной области возможность построения текстурированных ЗБ моделей лиц с использованием одной фотокамеры с активной цветной подсветкой лица недостаточно изучена - остаются открытыми вопросы о надежной идентификации подсвечиваемого шаблона и удаления нежелательных разрывов в реконструируемой поверхности лица.

Цель работы и задачи исследования. Цель диссертационной работы заключается в разработке аппаратного, алгоритмического и платформо-независимого программного обеспечения автоматизированной системы реконструирования и анализа текстурированных 30 моделей человеческих лиц. Для достижения указанной цели были поставлены и решены следующие задачи:

1. разработка метода сканирования и математические модели реконструирования поверхности лица;

2. разработка методики калибровки сканирующей аппаратуры;

3. разработка макета сканирующей аппаратуры, пригодного для реконструирования ЗБ моделей реальных лиц;

4. разработка алгоритмического обеспечения и методики интерактивной визуализации ЗБ моделей лиц и локализации биометрических точек;

5. разработка базы данных для хранения реконструированных ЗБ моделей человеческих лиц с локализованными биометрических точками, а также первичной информации от ЗБ сканеров;

6. разработка алгоритма идентификации шаблона Де Брюйна на фотографии;

7. разработка алгоритма удаления разрывов в реконструируемой поверхности лица;

8. создание автоматизированной системы реконструирования и анализа 30 моделей человеческих лиц на базе платформо-независимых технологий;

9. проведение экспериментальных исследований для определения значений параметров алгоритма реконструирования и оценки технических характеристик созданной автоматизированной системы.

Методы исследования. В работе использованы эмпирические и теоретические методы исследования. Экспериментальные данные обрабатывались известными статистическими методами. В ходе теоретического исследования применялись методы линейной алгебры, цифровой обработки изображений, математического программирования, теории алгоритмов и математического моделирования. В ходе создания автоматизированной системы использовались методы объектно-ориентированного анализа и проектирования, а также методы проектирования реляционных баз данных.

Научная новизна работы

1. Создана математическая модель реконструирования ЗЭ поверхности лица с использованием структурированной цветной подсветки.

2. Разработан новый алгоритм идентификации шаблона подсветки на фотографии лица, подсвеченного шаблоном Де Брюйна.

3. Разработан новый алгоритм удаления разрывов в реконструируемой поверхности лица.

4. Разработана структура реляционной базы данных, позволяющая хранить первичные данные от 30 сканеров, а также текстурированные ЗБ модели лиц и локализованные биометрические точки.

Основные положения, выносимые на защиту:

1. Перечень критериев, которым должна удовлетворять система реконструирования ЗБ моделей человеческих лиц для внедрения в следующие отрасли народного хозяйства: системы безопасности, киноиндустрия и индустрия развлечений, медицина, антропометрические исследования, создание ЗБ портретов.

2. Абстрактная модель сканирующей аппаратуры.

3.Результаты анализа современных алгоритмов идентификации шаблона Де Брюйна на фотографии подсвеченного лица.

4. Новый алгоритм идентификации шаблона подсветки на фотографии подсвеченного лица, свободный от выявленных недостатков в современных алгоритмах идентификации шаблона Де Брюйна.

5. Алгоритм удаления разрывов в реконструироемой поверхности лица.

6. Структура реляционной базы данных, позволяющая хранить первичные данные от 30 сканеров, а так же текстурированные ЗБ модели лиц и локализованные биометрические точки.

7. Универсальная автоматизированная система реконструирования и анализа текстурированных ЗБ моделей человеческих лиц для различных отраслей народного хозяйства.

8. Результаты экспериментальных исследований реконструирования ЗБ моделей человеческих лиц.

9. Значения параметров алгоритма реконструирования 30 моделей, полученных для созданного макета сканирующего оборудования.

10. Результаты экспериментальных исследований характеристик автоматизированной системы.

Практическая значимость и реализация научных

результатов:

1. Разработана модель сканирующей аппаратуры, включающая: проектор-вспышку, источник равномерного белого освещения, модуль синхронизации и вычислительное устройство. Данная модель позволяет создавать аппаратное обеспечение 3D сканеров, специализирующихся на сканировании человеческих лиц.

2. Разработанные методы, математические модели, алгоритмы и методики могут быть использованы при разработке новых 3D сканеров и создании систем анализа и распознавания 3D моделей лиц.

3. Разработанная структура БД может входить в состав системы, интегрирующей в себя множество различных 3D сканеров, например системы безопасности крупного промышленного объекта.

4. Разработано платформо-независимое программное обеспечение, позволяющее сканировать, реконструировать, хранить, анализировать и визуализировать 3D модели лиц. Программное обеспечение может быть использовано при создании новых систем реконструирования и анализа 3D моделей человеческих лиц.

5. Разработанная автоматизированная система может входить в состав систем биометрической идентификации личности (в системах безопасности), медицинских систем, систем создания 3D графики и 3D портретов. Кроме того, данная система может использоваться для проведения антропометрических исследований лиц.

6. Реконструированные с помощью автоматизированной системы 3D модели (150 моделей пятидесяти различных индивидуумов) могут быть использованы в антропометрических исследованиях и при тестировании алгоритмов распознавания 3D моделей лиц.

Результаты диссертационной работы использованы в МИРЭА для проведения лабораторных практикумов и в ФГУГГ «СНПО «Элерон» при проведении НИР «Точка» и НИР «Идентификация», завершившихся в 2008г. созданием комплекса программ, используемых в макете 3D сканера человеческих лиц. Результаты работы рассчитаны на широкий круг специалистов.

Апробация работы: Основные положения диссертации докладывались, обсуждались и получили положительные оценки на Всероссийской конференции ММРО-13, международных конференциях PRIA-8 и PRIA-9, а также на российско-германском семинаре OGRW 2007. Доклад на конференции ММРО-13 удостоен премии за лучший доклад среди молодых ученых (диплом III степени). Доклад на конференции PRIA-8 удостоен сертификатом (Honorary award) за лучшее выступление.

Публикации. По материалам диссертации опубликовано 4 работы, в том числе 1 в журнале из перечня ВАК.

Структура и объем работы. Диссертационная работа состоит из введения, 4 глав, заключения, списка библиографических источников из 108 наименований, двух приложений. Общий объем работы составляет 186 страниц, включая 54 рисунка и 20 таблиц.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность выбранной темы диссертационной работы, сформулированы цель и задачи, научная новизна, основные защищаемые положения и практическая ценность диссертационной работы.

В первой главе в ходе анализа отечественного и зарубежного опыта применения систем реконструирования 3D моделей человеческих лиц (систем PMJI) выявлены отрасли народного хозяйства, в которых востребованы данные системы: системы безопасности; киноиндустрия и индустрия развлечений; медицина; антропометрические исследования; создание трехмерных портретов. Для каждой отрасли выделен перечень специфических критериев, которым должна удовлетворять система PMJI, чтобы соответствовать потребностям отрасли. Показано, что все полученные критерии не противоречат друг

другу, что указывает на возможность создания системы PMJ1, удовлетворяющей потребностям всех рассмотренных областей народного хозяйства. На этом основании, составлен объединенный перечень из четырнадцати обобщенных критериев (КРС), которым должна удовлетворять система PMJI для ее успешного внедрения в рассмотренные отрасли. Анализ КРС позволил выделить шесть основных критериев (КРТ), относящиеся к технологии реконструирования 3D моделей, на которой должна базироваться система PMJ1. В соответствие с КРТ был произведен сравнительный анализ современных технологии реконструирования 3D моделей, в результате которого выбрана наилучшая (с точки зрения КРТ) технология -подсветка структурированным светом. Данная технология предполагает:

а) подсвечивание объекта, 3D модель которого необходимо реконструировать, специальными шаблонами подсветки;

б) идентификацию характерных особенностей шаблонов подсветки на цифровых изображениях подсвеченного объекта;

в) применение известного метода оптической триангуляции для реконструирования 3D точек поверхности объекта, основываясь на результатах проведенной идентификации.

Сравнительный анализ современных стратегий подсветки (включающих в себя как сами шаблоны подсветки, так и алгоритмы их идентификации) позволил выбрать наилучшую (с точки зрения КРТ) стратегию - подсветку шаблоном Де Брюйна. Данная стратегия предполагает использование всего лишь одного шаблона, состоящего из последовательности цветных полос, для реконструирования 3D моделей. Выявлены недостатки известных алгоритмов идентификации шаблона Де Брюйна, с точки зрения их применения в системах PMJI и поставлена задача разработки нового алгоритма идентификации шаблона, свободного от выявленных недостатков. Сформулирована цель и задачи диссертационной работы.

Во второй главе разрабатываются математические модели и алгоритмы для решения обозначенных в первой главе задач. Разработан новый алгоритм реконструирования 3D модели лица.

Пример данных для алгоритма (полученных с макета аппаратуры, разработанного в главе 3) приведен на (Рис. 1).

Рис. 1 Изображения, полученные с макета аппаратуры. Слева:

«Изображение 1»-лицо, подсвеченное шаблоном Де Брюйна, состоящего из

N+1=125 горизонтальных цветных полос. Справа: «Изображение 2» - лицо, подсвеченное белым светом.

Алгоритм реконструирования 30 модели лица состоит из шести этапов.

Этап 1. Выделение линий шаблона (границ между цветными полосами). В каждой строке у Изображения 1 (см. Рис. 1) выделяется со 0') точек {с7- [£]}, I £ [1; со (/)], с координатами х(с/И). Решение данной задачи состоит из комбинации известных методов обработки изображений.

Этап 2. Определение цветовых перепадов. Для каждой точки

Этап_3._Идентификация_линий_шаблона.

Последовательность цветов в шаблоне Де Брюйна устроена так,

что каждая подпоследовательность из трех подряд идущих цветов перепадов (Дп[/с], Дп[/с + 1], Дп[/с + 2]), к е [1; N — 2] уникальна. При идентификации шаблона используется функция схожести цветовых перепадов sim(A1,A 2), принимающая значения от —1 (Дх максимально «не похож» на Д2) до +1 (Дг максимально «похож» на Д2). Для каждой строки j строится функция идентификации /у: {1,2,..., 0)(J)} {1,2,..., N} U {0}, ставящая в соответствие индексам i выделенных точек Cj[i] порядковые номера линий шаблона (либо 0, если точка идентифицировалась как «шум»). При построении / обычно учитываются следующие ограничения.

Огр1: 5чт(Дцу[г], Дп[/(/)]) = +1.

Огр2: при Ф i2,fj[h] Ф ¿[¿2].

ОгрЗ: почти для всех i: fj(i + 1) = /ДО + 1.

В диссертационной работе найдено еще одно существенное ограничение: по известным ограничениям объема сканирования, может быть заранее вычислен диапазон допустимых порядковых номеров индексов шаблона. Пусть и = *(сДг]), v = j.

Огр4: fj(О G d(u,v) = (cZmin[u]; тах

[U]).

, г. т (1- если q е d(u,v)

Обозначим vahd;\i,q\ = ^ ,,

JL 4 (О, если q £ d(u, v)

Для учета Огр1 и Огр4 строится матрица = ipiq) =

(sim(A4;[i], Дп[/(г)]) х validj[i, q]) в которой методом Смита-Вотермана ищется «путь» Ф = {(juk, vfe)}, такой, что:

а) при различных кг, к2: (Jufei Ф fik2) и (vfcl Ф vfcJ (Огр2);

б) ,vfc ~ Штраф(Ф) -» тах. Функция Штраф штрафует ситуации, когда fik+1 Ф ßk + l или vk+1 Ф vk + 1 (т.е. когда нарушается ОгрЗ).

В результате, fj (£) может быть задано следующим образом: Г0, i£{ßic} п

//(О —) • В ходе исследовании выяснилось, что

(Vk,i - ßk

описанный алгоритм не всегда дает приемлемый результат. В виду особенностей поверхности лица (поверхность непрерывна,

текстура неоднородна), идентификация лишь по данным из одной строки без учета соседних строк является ненадежной. Для компенсации данного недостатка алгоритм был дополнен процедурой корректировки значений /у(г)- Данная процедура позволяет учитывать результаты идентификации соседних строк изображения. Предлагается следующий подход к учету результатов идентификации соседних строк. Пусть х^ [£] - это х-координата /-той линии шаблона в /-той строке Изображения 1, либо 0 (если в /-той строке нет ¿-той линии шаблона). Имеет

место следующее соотношение: Х][1] = х (//-1(£))- Для каждого

пикселя (и, V) изображения рассматривается окно №пс!(и, у), шириной \vinW и высотой \vinH пикселей. Значения \viriW и \vinH являются параметрами алгоритма. Для каждого индекса линии шаблона ¿, пробегающего от 1 до N, подсчитывается количество /ня^п^ид?) [¿] точек, лежащих в окне \лтс1(и,р) и идентифицированных как принадлежащих г'-той линии шаблона. Если какое-либо из значений Тн^щкгсидо М превышает заданный порог (/сШо1$е), то пиксель (и, V) считается «нестабильным»:

зШЫе[и у] _ [1-если VI е [1, АГ]^^^ < ¿сШс^е)

I 0

Для того, чтобы результаты идентификации точек, находящихся в «нестабильных» пикселях, отменялись, новое значение идентификации [¿] определяется следующим образом: //[»] = Щ х 51аЫе[[Х][ф]. Этап 4. Заполнение разрывов в линиях шаблона. Разрыв длинной п > 0 в ^той линии означает ситуацию, когда:

Х][(\ Ф 0,^+1 И = ЛГу+гй = - = И = 0,^+пИ * 0-

Под заполнением разрыва понимается задание конкретных числовых значений для £л:у+1 [£], — <*/+п-1.[1']}- В

обозначениях тк = х^р] задача принимает более простой вид: по известным т0, тп найти промежуточные значения [т1, т2,..., тп_1]. Если п меньше заданного порога птах (разрыв «короткий»), то можно использовать линейную интерполяцию:

тк = то + (m"nmg) к- Прежде чем приступать к заполнению «длинных» разрывов, заполняются все «короткие» разрывы во всех линиях. Введем понятия «индекс левой полосы в строке j» leftj и «индекс правой полосы в строке j» righty.

м (0.Vp < ¡(хДр] = 0), ^ f 0, Vp > i(xj[р] = 0)

~ ] argmax(xj[p] * 0) ; rl3hti = j arg min(x,[p] * 0)

^ P<i N i<P

Если для некоторого j 6 + n] (leftj = 0 или r ightj = 0), то заполнение разрыва не производится. Разобьем диапазон строк [5; 5 + п] на сегментов {seg9 = [s9] s9 + п9]}1£д<% таких, что Vk 6 seg9(leftk = const A rightk = const) и (s1 = s,n9 > 0,s5+1 = s9 + n9,sf + 71^ = s + n). Обозначим как if = xsg+k[leftk], rk = xsg+k[rightk] и mf- дг-координаты левой, правой и искомой линий в k-той строке сегмента д. Определим к9 maxk£segg(rightk - leftk),a9 h9 - mmkesegg(rightk -leftk). Сегмент g заполняется, если h9um а9 не превышают заданные пороги hmax и amax. Искомые значения т? однозначно определяются из следующих рекурсивных соотношений:

п° = = О, ß° = 1, = If

t°0Mxs[i\ b0 =

Для всех gs[ l,f] и к £ [1,пя]: t{ Ш Ii + (г9 - l9k )ßn

bf =' Ii + W -

Для всех g 6 [l,f]: m/ = /f + (г/ - if)«/

ßg äif

0, если = 0

•n«"1 О

уЗ И

1.Я+1

—д-.если^ е[0; 1] 1о

0, если <2 [О; 1] 0, если уу+1 = 0

-Ii

■n«

, если b«+1 6 [0; 1]

'n«

-t

пЯ

0, если g [0; 1]

i - leftm

а9 Ш

right(i) - left(i)

ß9,ecnu ßg =£ 0,Ye = 0 уя, если ß9 = 0,Y9 Ф 0

ßg + ' „ J ели 5t 0,уя * 0 n»

Описанный алгоритм представляет собой предлагаемый новый алгоритм заполнения разрывов, учитывающий непрерывность линий шаблона и схожесть формы соседних линий шаблона. Благодаря учету двух данных факторов, алгоритм порождает меньше артефактов, чем алгоритмы линейной интерполяции или интерполяции сплайнами, которые учитывают лишь первый фактор.

Этап 5. Сглаживание линий шаблона. К линиям шаблона применяется сглаживающий фильтр.

Этап 6. Построение 3D модели лица (с текстурой). Для каждой точки линии шаблона решается задача оптической триангуляции (в результате реконструируется 3D вершина). Текстурными координатами вершины являются координаты исходной точки. Далее производится триангуляция полученного «облака» точек.

В третьей главе разрабатывается автоматизированная система реконструирования и анализа текстурированных 3D моделей человеческих лиц, включающая также и макет сканирующей аппаратуры. Анализ платформо-независимых технологий для разработки программного обеспечения показал целесообразность использования технологии Java, Java3D и JDBC. При проектировании программного обеспечения был использован объектно-ориентированный подход, включающий в себя принципы абстракции, инкапсуляции, наследования, полиморфизма. Активно применялись современные шаблоны объектно-ориентированного программирования. В совокупности это позволило создать гибкое, эффективное, структурированное и расширяемое платформо-независимое программное обеспечение. Для обеспечения возможности анализа 3D моделей лиц создана и реализована методика интерактивной визуализации 3D моделей лиц и локализации биометрических точек. Для решения задач хранения и анализа реконструированных 3D моделей лиц с локализованными биометрическими точками, а также для обеспечения возможности интеграции с внешними системами, разработана структура базы данных, позволяющая в одиннадцати нормализованных таблицах хранить: а) исходные данные от

аппаратуры (изображения, матрицы калибровки), на базе которых производится реконструирование; б) текстурированные 3D модели поверхности лица; в) разметку 3D моделей в виде набора 3D координат характерных точек; г) 2D и 3D эталоны лиц, содержащие эталонную разметку характерных точек. В разработанной базе данных можно хранить исходные данные от других 3D сканеров, работающих на принципах активной триангуляции и использующих фото и/или видеоданные для регистрации отраженных от лица шаблонов.

Четвертая глава посвящена экспериментальному исследованию разработанной автоматизированной системы: подбору параметров алгоритма PMJI и оценки характеристик системы. Для подбора значений параметров алгоритма PMJ1 проведена серия экспериментов, в которой реконструирована свыше 150 моделей лиц. Примеры моделей 3D моделей приведены на Рис. 2.

Рис. 2 Примеры реконструированных 3D моделей. Среднее число точек в 3D модели превысило 30 тыс. Общее время работы алгоритма реконструирования - менее 3 с на процессоре Intel Pentium 4 2.5 ГГц.

Значения параметров алгоритма РМЛ были вручную подобраны так, чтобы минимизировать количество и масштаб артефактов на поверхности лица. В результате оказалось возможным реконструировать подавляющее большинство 30 моделей без заметных артефактов на коже лица при использовании одного и того же набора параметров.

Экспериментально показана целесообразность использования нового алгоритма идентификации шаблона Де Брюйна для обеспечения меньшего количества и масштаба артефактов в реконструируемой ЗЭ модели лица. Экспериментально показано преимущество нового алгоритма удаления разрывов над линейным алгоритмом и алгоритмом, использующим сплайны: новый алгоритм учитывает как кривизну соседних линий, так и

Рис. 3. Слева: исходные данные (жирные линии) и результат работы линейного алгоритма (тонкие линии), совпадающие с результатами сплайнового алгоритма. Справа: результат работы нового алгоритма.

С помощью синтетических данных (цифровых изображений, полученных посредством математического моделирования методом обратной трассировки луча в редакторе Autodesk Maya), а также в ходе экспериментов с реальными данными были получены следующие оценки ключевых характеристик автоматизированной системы: точность калибровки - 0.12 пикселей на синтетических данных, 0.5 пикселя на реальных данных с макета; точность реконструирования - 0,01 см на синтетических данных, 0,07 см на реальных данных с макета; время сканирования - менее 0,5 с; время построения реконструированной модели - менее 3 с. Разработанная автоматизированная система позволяет успешно реконструировать 3D модели человеческих лиц и может быть внедрена в различные отрасли народного хозяйства. Исследованы характеристики системы и предложены пути ее совершенствования.

Основные результаты работы. В ходе разработки аппаратного, алгоритмического и платформо-независимого

программного обеспечения автоматизированной системы реконструирования и анализа текстурированных 30 моделей человеческих лиц, были получены следующие основные результаты:

1. Создана математическая модель реконструирования ЗО поверхности лица с использованием структурированной цветной подсветки, позволившая создать новый алгоритм реконструирования 30 моделей человеческих лиц, вошедший в состав автоматизированной системы РМЛ.

2. Разработан новый алгоритм идентификации шаблона подсветки на фотографии лица, подсвеченного шаблоном Де Брюйна, учитывающий специфику поверхности человеческого лица.

3. Разработан новый алгоритм удаления разрывов в реконструируемой поверхности лица, учитывающий непрерывность линий шаблона и схожесть формы соседних линий шаблона. Благодаря учету двух данных факторов, алгоритм порождает меньше артефактов, чем алгоритмы линейной интерполяции или интерполяции сплайнами, которые учитывают лишь первый фактор.

4. Разработана структура реляционной базы данных, позволяющая хранить первичные данные от 30 сканеров, а также текстурированные ЗО модели лиц и локализованные биометрические точки.

5. Разработана новая модель сканирующей аппаратуры, включающая: проектор-вспышку, источник равномерного белого освещения, модуль синхронизации и вычислительное устройство.

6. Разработанные методы, математические модели, алгоритмы и методики могут быть использованы при разработке новых 30 сканеров и создании систем анализа и распознавания 30 моделей лиц.

7. Разработанная структура БД может входить в состав системы, интегрирующей в себя множество различных ЗО сканеров,

например системы безопасности крупного промышленного объекта.

8. Разработано платформо-независимое программное обеспечение, позволяющее сканировать, реконструировать, хранить, анализировать и визуализировать 3D модели лиц.

9. Разработанная автоматизированная система может входить в состав систем биометрической идентификации личности (в системах безопасности), медицинских систем, систем создания 3D графики и 3D портретов.

10. Реконструированные с помощью автоматизированной системы 150 3D моделей могут быть использованы в антропометрических исследованиях и при тестировании алгоритмов распознавания 3D моделей лиц.

СПИСОК ПУБЛИКАЦИЙ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Лизунов В.А., Де Ванса Викрамаратне В.К., Дворцова С.В., Мяукин А.А., Шаипов В.Х. Построение фотореалистичных 3D моделей человеческих лиц // Состояние и развитие систем физической защиты. Сб. науч. тр. - М.: ЗАО ИПЦ Дортранспечать, 2008. с. 126-137.

2. Де Ванса Викрамаратне В.К. Автоматизированная система реконструирования текстурированных 3D моделей человеческих лиц //Сб. тр. Всероссийской конференции «Математические методы в задачах распознавания образов -13»-М.: 2007. с. 677-679.

3. De Wansa Wickramarante V.K., Ryazanov V.V., Vinogradov A.P. Accurate 3D Face Model Reconstruction Using Structured Light //Сб. тр. международной конференции «Pattern Recognition and Image Analysis - 8», Йошкар-Ола: 2007. с. 245-248

4. De Wansa Wickramarante V.K., Ryazanov V.V., Vinogradov A.P. Accurate Reconstruction of 3D Model of a Human Face Using Structured Light //Pattern Recognition and Image Analysis. Advances in Mathematical Theory and Applications, Vol. 18, No. 3 -M.: 2008. c. 442-446.

Подписано в печать 17.04.2009. Формат 60x84 1/16. Усл. печ. л. 0,93. Усл. кр.-отт. 3,72. Уч.-изд. л. 1,0. Тираж 100 экз. Заказ 262

Государственное образовательное учреждение высшего профессионального образования "Московский государственный институт радиотехники, электроники и автоматики (технический университет)" 119454, Москва, пр. Вернадского, 78

Введение.

Глава 1 Современное состояние проблемы реконструирования 3D моделей человеческих лиц.

1.1 Анализ областей применения реконструированных 3D моделей человеческих лиц.

1.1.1 Системы безопасности.

1.1.2 Киноиндустрия и индустрия развлечений.

1.1.3 Медицина.

1.1.4 Антропометрические исследования.

1.1.5 Создание 3D портретов.

1.2 Критерии для системы PMJI и технологии реконструирования, на которой она построена.

1.3 Классификация и анализ технологий реконструирования 3D моделей объектов.

1.3.1 Принцип триангуляции.

1.3.1.1 Стереоскопия.

1.3.1.2 Определение глубины по силуэтам.

1.3.1.3 Определение глубины по фокусу.

1.3.1.4 Активная триангуляция.

1.3.2 Принцип времени пролета.

1.3.3 Принцип интерферометрии.

1.3.4 Принцип анализа освещенности.

1.4 Выбор технологии сканирования.

1.5 Классификация и анализ известных стратегий подсветки.

1.6 Выбор шаблона подсветки.

1.7 Формулировка цели и постановка задач диссертационной работы

Выводы главы 1.

Глава 2 Разработка технологии реконструирования 3D моделей человеческих лиц.

2.1 Математическая модель процесса реконструирования 3D поверхности с использованием структурированной подсветки.

2.1.1 Математическая модель используемых в процессе реконструирования систем координат.

2.1.2 Построение геометрической модели камеры (и проектора).

2.1.3 Математическая модель фотографии.

2.1.4 Математическая модель шаблона подсветки.

2.1.5 Математическая модель сканируемой поверхности лица.

2.1.6 Математическая модель оптической триангуляции.

2.2 Метод создания шаблона подсветки.

2.3 Алгоритм реконструирования 3D модели лица.

2.3.1 Математическое описание задач, решаемых на каждом этапе алгоритма реконструирования.

2.3.2 Математическое описание алгоритма реконструирования текстурированных 3D моделей человеческих лиц.

Перечень параметров алгоритма реконструирования.

Выводы главы 2.

Глава 3 Создание автоматизированной системы реконструирования 3D моделей человеческих лиц.

3.1 Анализ требований к автоматизированной системе.

3.2 Выбор кросс-платформенных технологий для реализации автоматизированной системы.

3.3 Реализация автоматизированной системы.

3.3.1 Сканирующая аппаратура.

3.3.1.1 Создание макета сканирующей аппаратуры.

3.3.2 Метод сканирования.

3.3.3 Метод калибровки.

3.4 Программное обеспечение автоматизированной системы.

3.5 База данных.

Взаимодействие подсистем программного обеспечения.

Выводы главы 3.

Глава 4 Экспериментальное исследование автоматизированной системы

4.1 Подбор параметров алгоритма реконструирования.

4.2 Исследование работы автоматизированной системы при выбранных значениях параметров' алгоритма реконструирования.

4.3 Экспериметнальное исследование алгоритмов удаления разрывов и идентификации шаблона Де Брюйна.

4.4 Экспериментальное исследование характеристик автоматизированной системы.

4.4.1 Экспериментальное определение ошибки калибровки.

4.4.2 Экспериментальное определение ошибки реконструирования 159 Выводы главы 4.

В диссертационной работе под задачей реконструирования 3D модели какого-либо объекта понимается задача построения математической модели поверхности данного объекта. Под текстурированной 3D моделью понимается поверхность, с каждой точкой которой ассоциирован некоторый цвет. Часто, ассоциация производится косвенно: с каждой точкой поверхности ассоциируются координаты некоторой точки цифрового изображения, называемого текстурой. Если текстура представляет собой фотографию объекта, то при рисовании различных проекций текстурированной 3D модели можно получить фотореалистичные изображения реконструированного объекта.

Актуальность работы. В настоящее время реконструирование 3D моделей человеческих лиц применяется в таких областях, как — охранные системы, медицина, антропометрические исследования, киноиндустрия и индустрия развлечений. В связи с участившимися угрозами безопасности по всему миру все более актуальной становится задача автоматической биометрической идентификации личности. Среди всех методов биометрической идентификации часто наиболее удобным оказывается метод идентификации по лицу так как он не обязывает человека контактировать с измерительным прибором. Существует множество методов идентификации по фотографии (2D), однако наиболее надежными (согласно отчету Face Recognition Vendor Test 2006 [63]) представляются методы, использующие 3D модели, включающие в себя информацию о текстуре (2D). Диссертационная работа направлена на решение задачи автоматического построения текстурированных 3D моделей человеческих лиц. В медицине 3D модели лиц могут быть использованы: при дистанционной и/или автоматизированной постановке диагнозов (согласно работам П. Хаммонда

35], [21]), для планирования пластических операций, при создании лицевых протезов. В антропометрических исследованиях разработанный метод реконструирования 3D моделей лиц позволяет существенно уменьшить время- сбора информации о поверхности лица, по сравнению с традиционными методами измерения «вручную». В киноиндустрии и индустрии развлечений на базе 3D моделей лиц создаются виртуальные актеры, а так же постоянно растущий набор спецэффектов. Разработанная в диссертационной работе автоматизированная система позволит 3D художнику создавать фотореалистичные модели человеческих лиц. Ввиду обостряющейся конкуренции^ операционных систем все более актуальной становится проблема переноса программного обеспечения с одной платформы на другую. Изначальная- ориентация системы на платформо-независимые технологии позволяет снизить, издержки переноса. Отпадает необходимость повторной сертификации программного ' обеспечения' (на предмет защиты от несанкционированного доступа и наличия недокументированных возможностей), что особенно актуально в сфере охранных систем. В области реконструизования 3D моделей человеческих лиц можно отметить работы следующих авторов: J.Salvi, D.Caspi, E.Horn, L.Van GooL, BiCurless, L.Zhang, Z.Zhang (см. [69], [70], [36], [80], [82], [83], [88]), а так же отечественного автора - В.А.Князя [46]. Несмотря на* бурное развитие данной области возможность построения текстурированных 3D моделей лиц с использованием одной фотокамеры с активной цветной подсветкой лица недостаточно изучена - остаются открытыми вопросы о надежной идентификации подсвечиваемого шаблона и удаления нежелательных разрывов в реконструируемой поверхности лица.

Цель работы и задачи исследования. Цель диссертационной работы заключается в разработке аппаратного, алгоритмического и платформо-независимого программного обеспечения автоматизированной системы реконструирования и анализа текстурированных 3Dj моделей человеческих лиц. Для достижения указанной цели были поставлены и решены следующие задачи: I

1. разработка метода сканирования и математические модели реконструирования-поверхности лица;

2. разработка методики калибровки сканирующей аппаратуры;

3. разработка макета сканирующей аппаратуры, . пригодного для /реконструирования»3D моделей реальных лиц;

4. разработка алгоритмического обеспечения и методики интерактивной визуализации 3D моделей лиц и локализации биометрических точек;

5. разработка базы данных для хранения реконструированных 3D1 моделей человеческих лиц с локализованными- биометрических точками, а также первичной информации от 3D1 сканеров;

6. разработка алгоритма идентификации шаблона Де Брюйна на фотографии;

71 разработка алгоритма удаления разрывов в реконструируемой поверхности лица;

8. создание автоматизированной системы^ реконструирования-и анализа 3D моделей человеческих лиц на базе платформо-независимых технологий;

9. проведение экспериментальных исследований для определения значений параметров алгоритма реконструирования и оценки технических характеристик созданной автоматизированной системы.

Методы исследования. В работе использованы эмпирические и теоретические методы исследования. Экспериментальные данные обрабатывались известными статистическими методами. В ходе теоретического исследования применялись методы линейной алгебры, цифровой обработки изображений, математического программирования, теории алгоритмов и математического моделирования. В ходе создания автоматизированной системы использовались методы объектно-ориентированного анализа и проектирования, а также методы проектирования реляционных баз данных.

Научная новизна\работьг

1. Создана математическая модель-реконструирования 3D поверхности лица с использованием структурированной цветной подсветки.

2. Разработан новый алгоритм идентификации шаблона подсветки на фотографии лица, подсвеченного шаблоном Де Брюйна. 7

3. Разработан новый алгоритм удаления разрывов в реконструируемой поверхности лица.

4. Разработана структура реляционной базы данных, позволяющая хранить первичные данные от 3D сканеров, а также текстурированные 3D модели лиц и локализованные биометрические точки.

Основные положения, выносимые на защиту:

1. Перечень критериев, которым должна удовлетворять система реконструирования 3D моделей человеческих лиц для внедрения в следующие отрасли народного хозяйства: системы безопасности, киноиндустрия и индустрия развлечений, медицина, антропометрические исследования, создание 3D портретов.

2. Абстрактная модель сканирующей аппаратуры.

3. Результаты анализа современных алгоритмов идентификации шаблона Де Брюйна на фотографии подсвеченного лица.

4. Новый алгоритм идентификации шаблона подсветки на фотографии подсвеченного лица, свободный от выявленных недостатков в современных алгоритмах идентификации шаблона Де Брюйна.

5. Алгоритм удаления разрывов в реконструироемой поверхности лица.

6. Структура реляционной базы данных, позволяющая хранить первичные данные от 3D сканеров, а так же текстурированные 3D модели лиц и локализованные биометрические точки.

7. Универсальная автоматизированная система реконструирования и анализа текстурированных 3D моделей человеческих лиц для различных отраслей народного хозяйства.

8. Результаты экспериментальных исследований реконструирования 3D моделей человеческих лиц.

9. Значения параметров алгоритма реконструирования 3D моделей, полученных для созданного макета сканирующего оборудования.

10. Результаты экспериментальных исследований характеристик автоматизированной системы.

Практическая значимость и реализация научных результатов:

1. Разработана модель сканирующей аппаратуры, включающая: проектор-вспышку, источник равномерного белого освещения, модуль синхронизации и вычислительное устройство. Данная модель позволяет создавать аппаратное обеспечение 3D сканеров, специализирующихся на сканировании человеческих лиц.

2'. Разработанные методы, математические модели, алгоритмы и методики могут быть использованы при разработке новых 3D сканеров и создании систем анализа и распознавания 3D моделей лиц.

3. Разработанная структура БД может входить в состав системы, интегрирующей в себя множество^ различных 3D,- сканеров, например системы безопасности крупного промышленного объекта.

4. Разработано платформо-независимое программное обеспечение, позволяющее сканировать, реконструировать, хранить, анализировать и визуализировать 3D модели лиц. Программное обеспечение может быть использовано при создании новых систем реконструирования и анализа 3D моделей человеческих лиц.

5. Разработанная, автоматизированная система может входить в состав систем биометрической идентификации личности (в системах безопасности), медицинских систем, систем создания- 3D- графики и 3D портретов. Кроме того, данная система может использоваться для проведения* антропометрических исследований лиц.

6. Реконструированные с помощью автоматизированной системы, 3D" модели (150 моделей пятидесяти различных индивидуумов) могут быть использованы в антропометрических исследованиях и при тестировании алгоритмов распознавания 3D моделей лиц.

Результаты диссертационной работы использованы в МИРЭА для-проведения* лабораторных практикумов и в ФГУП «СНПО «Элерон» при проведении НИР'«Точка» и НИР «Идентификация», завершившихся в 2008г. созданием комплекса программ, используемых в. макете 3D сканера человеческих лиц. Результаты работы рассчитаны на широкий круг специалистов.

Апробация работы: Основные положения диссертации докладывались, обсуждались и получили положительные оценки на Всероссийской конференции ММРО-13, международных конференциях PRIA-8 и PR1A-9, а также на российско-германском семинаре OGRW 2007. Доклад на конференции ММРО-13 удостоен премии за лучший доклад среди молодых ученых (диплом III степени). Доклад на конференции PRIA-8 удостоен сертификатом (Honorary award) за лучшее выступление.

Публикации. По материалам диссертации опубликовано 4 работы, в том числе 1 в журнале из перечня ВАК.

Структура и объем работы. Диссертационная работа состоит из введения, 4 глав, заключения, списка библиографических источников из 108 наименований, двух приложений. Общий объем работы составляет 186 страниц, включая 54 рисунка и 20 таблиц.

Выводы главы 4

1. В результате проведения серии экспериментов по реконструированию 3D моделей человеческих лиц на макете сканирующего оборудования при различных значениях параметров алгоритма реконструирования, были вручную подобраны такие значения параметров, которые давали визуально наиболее приемлемый результат реконструирования.

2. При фиксации выбранных параметров алгоритма реконструирования, оказалось возможным реконструировать подавляющее большинство из 150 3D моделей без заметных артефактов на коже лица при использовании одного и того же набора параметров. Данное обстоятельство доказывает, что построенная автоматизированная система может быть сконфигурирована так, чтобы давать устойчивый результат при реконструировании 3D моделей.

3. Разработанная технология РМЛ и метод визуализации 3D моделей позволили получить фотореалистичные интерактивные изображения 3D моделей лиц с различных ракурсов. Разработанная технология также позволяет получать ортогональные фронтальные проекции лиц и их карты высот.

4. С помощью синтетических данных (цифровых изображений, полученных не с реального фотоаппарата, а посредством математического моделирования методом обратной трассировки луча в редакторе Autodesk Maya), а также в ходе экспериментов с реальными данными были получены следующие оценки ключевых характеристик автоматизированной системы:

- точность калибровки - 0.12 пикселей на синтетических данных, 0.5 пикселя на реальных данных с макета;

- точность реконструирования - 0,01 см на синтетических данных, 0,07 см на реальных данных с макета;

- время сканирования — менее 0,5 с;

- время вычисления1 реконструированной модели - менее 3 с.

5. На основе экспериментальных исследований даны рекомендации относительно вероятных дальнейших путей совершенствования системы: использование специальных фильтров, детектирующих «плохо сканируемые» области и использование двух фотоаппаратов, вместо одного. Требуются дополнительные исследования для выявления целесобразности совершенствования созданной автоматизированной системы в данных направлениях.

6. Проведенный в данной главе анализ показал, что разработанная автоматизированная система соответствует всем критериям (КРС), разработанным в первой главе.

7. Решена оставшаяся задачи диссертационной работы: проведение экспериментальных исследований для определения значений параметров алгоритма реконструирования и оценки технических характеристик созданной автоматизированной системы.

8. Цель диссертационной работы достигнута.

Заключение

В ходе разработки аппаратного, алгоритмического и платформо-независимого программного обеспечения автоматизированной системы реконструирования и анализа текстурированных 3D моделей человеческих лиц, были получены следующие результаты.

1. Выявлены отрасли народного хозяйства, в которых востребованы системы PMJI: системы безопасности; киноиндустрия и индустрия развлечений; медицина; антропометрические исследования; создание трехмерных портретов.

2. Для каждой отрасли выделен перечень специфических критериев, которым должна удовлетворять система PMJI, чтобы соответствовать потребностям отрасли. Составлен объединенный перечень четырнадцати критериев (КРС), которым должна удовлетворять система PMJI для ее успешного внедрения' в рассмотренные отрасли. Выделены основные шесть критериев (КРТ), относящиеся к технологии реконструирования 3D моделей, на которой должна базироваться система PMJI.

3. Выбрана наилучшая (с точки зрения КРТ) базовая технология для систем PMJI - подсветка структурированным светом. Данная технология предполагает: а) подсвечивание объекта, 3D модель которого необходимо реконструировать, специальными шаблонами подсветки; б) идентификацию характерных особенностей шаблонов подсветки на цифровых изображениях подсвеченного объекта; в) применение известного метода оптической триангуляции для реконструирования 3D точек поверхности объекта, основываясь на результатах проведенной идентификации.

4. Выбрана наилучшая (с точки зрения КРТ) стратегия подсветки сканируемого объекта - подсветка шаблоном Де Брюйна, предполагающая использование всего лишь одного шаблона, состоящего из последовательности цветных полос.

5. Выявлены недостатки известных алгоритмов идентификации шаблона Де Брюйна, с точки зрения их применения в системах РМЛ:

- не учитывается специфика сканируемого объекта — человеческого лица (алгоритмы расчитаны на объекты с однородной текстурой, которая мало искажает спроецированные на нее цвета, в то время как на лице могут быть неоднородности и цветовая информация менее надежна);

- алгоритмы базируются на анализе цветов в каждой строке 1 изображения независимо и неверная идентификация (в следствие цветовых искажений) никак не детектируется, в то время как информация для обнаружения ошибок на- изображении присутствует в соседних строках; и поставлена задача разработки нового алгоритма идентификации шаблона, свободного от выявленных недостатков.

6. Разработана математическая модель процесса реконструирования 3D поверхности с использованием структурированной подсветки, включающая в себя:

- математическую модель систем координат, позволившую упростить описание сложного алгоритма реконструирования за счет введения единых обозначений и выбора конкретных единиц и способов измерения величин;

- математические модели камеры и проектора, использованные, в алгоритме реконструирования и которая будет использована в методе калибровки сканирующей аппаратуры (глава 3);

- математическую модель фотографии, используемую в алгоритмах обработки изображений, входящих в состав алгоритма реконструирования;

- математическую модель шаблона, используемую в методике построения структурированной подсветки;

- математическую модель сканируемой поверхности лица человека, описывающую его геометрические свойства и моделирующая его способность отражать свет и цвет;

- математическую модель оптической триангуляции, использованную в алгоритме построения 3D поверхности.

Данная модель позволила создать новый алгоритм реконструирования 3D моделей, специализированный на реконструировании поверхностей человеческогих. лиц.

7. Разработан новый алгоритм реконструирования 3D модели лица (алгоритм РМЛ), включающих в себя шесть этапов: 1) Выделение линий шаблона;- 2) Определение цветовых перепадов; 3) Идентификация шаблона; 4) Заполнение разрывов в линиях шаблона; 5) Сглаживание линий шаблона; 6) Построение текстурированной 3D модели лица.

8. Разработанный алгоритм идентификации шаблона Де Брюйна на фотографии подсвеченного лица (этап 3 алгоритма РМЛ) учитывает специфику сканируемого объекта — человеческого лица (непрерывность поверхности и неоднородность текстуры). Данный алгоритм, для детектирования ошибок идентификации, использует результаты идентификации соседних строк. Таким образом, разработанный алгоритм свободен от выявленных в первой главе недостатков: 1) отсутствие учета специфики сканируемого объекта — человеческого лица и 2) отсутствие детекции ошибок идентификации, не смотря на наличие данной информации в соседних строках изображения.

9. Разработанный алгоритм заполнения? разрывов в линиях шаблона на фотографии (этап 4 алгоритма РМЛ) учитывает: 1) непрерывность линий шаблона; 2) схожесть формы соседних линий шаблона.

10:Создана новая-: модель сканирующей аппаратуры, включающая: проектор-вспышку, источник равномерного белого- освещения, модуль синхронизации И: вычислительное устройство. Отличие данной модели от традиционной; модели оборудования для структурированной? подсветки заключается в том, что; вместо одного источника; подсветки используются* два: проектор-вспышка и источник .равномерного белого освещения. За счет этого открывается возможность использовать высокоточное аналоговое устройство; для, проецирования; шаблона Де Брюйна,. что обеспечит более высокую? точность, реконструирования- 3D моделей человеческих, лиц;

11.На базе, новой* модели сканирующей аппаратуры, разработан» метод сканирования,;состоящий'из четырех;этапов: 1) лицо?позиционируется»;в поле: зрения- фотоаппарата; и проктора-вспышки; 2) проектор-вспышка кратковременно подсвечивает лицо специально-подготовленным шаблоном, в то время как фотоаппарат делает первый снимок (данный снимок используется для реконструирования формы поверхности лица), проектор-вспышка; гаснет;; 3) источник- равномерного белого' освещения кратковременно подсвечивает лицо, в то время как фотоаппарат делает второй снимок (данный снимок используется для получения текстуры лица), источник равномерного белого освещения гаснет и сканируемое лицо может покинуть поле зрения фотоаппарата; 4) две фотографии передаются в вычислительное устройство, которое; реконструирует текстурированную 30?модель.

12.Создан макет сканирующей аппаратуры, позволяющий сканировать реальные лица людей: В четвертой главе, данный макет будет использован для экспериментального исследования автоматизированной системы.

13.Разработана и реализован в автоматизированной системе методика калибровки сканирующей аппаратуры, основанная на методике, предложенного Ж.Жангом (Z.Zhang [88]). Данная методика адаптирована длякалибровки проектора-вспышки.

14.Разработано программное обеспечение автоматизированной системы, включающее: подсистему управления аппаратурой; подсистему калибровки сканирующей аппаратуры; подсистему реконструирования 3D моделей; подсистему визуализации и сохранения промежуточных данных; подсистему интерактивной видуализации 3D моделей; подсистему автоматизированной локализации характерных точек лица и подсистему интеграции с другими системами. Для обеспечения! крос-платформенности автоматизированной системы выбраны технологии: Java, Java 3D и JDBC.

15.Разработана и реализована структура базы, данных, позволяющая решать задачи.хранения и анализа реконструированных 3D моделей лиц, а также обеспечивающая возможности интеграции, автоматизированной системы PMJI с внешними системами.

16.В результате проведения серии экспериментов по реконструированию 3D моделей человеческих лиц на макете сканирующего оборудования при различных значениях параметров алгоритма реконструирования, были вручную подобраны такие значения параметров, которые давали визуально наиболее приемлемый результат реконструирования.

17.При фиксации выбранных параметров алгоритма реконструирования, оказалось возможным реконструировать подавляющее большинство из 150 3D моделей без заметных артефактов на коже лица при использовании одного и того же набора параметров. Данное обстоятельство доказывает, что построенная автоматизированная система может быть сконфигурирована так, чтобы давать устойчивый результат при реконструировании 3D моделей.

18.Разработанная технология PMJI и метод визуализации 3D моделей позволили получить фотореалистичные интерактивные изображения 3D моделей лиц с различных ракурсов. Разработанная технология также позволяет получать ортогональные фронтальные проекции лиц и их карты высот.

19.С помощью синтетических данных (цифровых изображений, полученных не с реального фотоаппарата, а посредством математического моделирования методом обратной трассировки луча в редакторе Autodesk Maya), а также в ходе экспериментов с реальными данными были получены следующие оценки ключевых характеристик автоматизированной системы:

- точность калибровки — 0.12 пикселей на синтетических данных, 0.5 пикселя на реальных данных с макета;

- точность реконструирования — 0,01 см на синтетических данных, 0,07 см на реальных данных с макета;

- время сканирования - менее 0,5 с;

- время вычисления реконструированной модели — менее 3 с.

20.На основе экспериментальных исследований даны рекомендации относительно вероятных дальнейших путей совершенствования системы: использование специальных фильтров, детектирующих «плохо сканируемые» области и использование двух фотоаппаратов, вместо одного. Требуются дополнительные исследования для выявления целесобразности совершенствования созданной автоматизированной системы в данных направлениях.

21. Проведенный в диссертационной работе анализ показал, что разработанная автоматизированная система соответствует всем критериям (КРС), и, таким образом, имеет перспективу внедрения такие области народного хозяйства как: системы безопасности; киноиндустрия и I индустрия развлечений; медицина; антропометрические исследование и создание 3D портретов.

22. Разработано аппаратное, алгоритмическое и платформо-независимое программное обеспечение автоматизированной системы реконструирования и анализа текстурированных 3D моделей человеческих лиц. Цель диссертационной работы достигнута.

1. Де Ванса Викрамаратне В.К.- Автоматизированная система реконструирования текстурированных 3D моделей человеческих лиц.-Сборник трудов Всероссийской конференции "Математические методы в задачах распознавания образов 13", Москва 2007.

2. Яне Б. Цифровая обработка изображений. - М.: Техносфера, 2007. - 584с.

3. AbbottiL., Ahuja N. Active stereo: Integrating disparity, vergence, focus, aperture and calibration for surface estimation. - IEEE Trans. Pattern Analysis and Machine Intelligence, 15, pp. 1007-29, 1993.

4. Barnard S. T. and Fischler M. A.- Computational stereo. Surveys, vol. 14, no. 4. Pp. 553-572. Dec. 1982.

5. Belhumeur V. I., Hespanha J. P., Kriegman D. J. Eigenfaces vs. Fisherfaces: recognition using class specific linear projection. - IEEE Trans. PAMI 19(7), pp. 711-720 (1997).

6. Bergmann D., New approach for automatic surface reconstruction with coded light, in: Proceedings of Remote Sensing and' Reconstruction for Three-Dimensional Objects and Scenes, Vol. 2572, SPIE, 1995, pp. 2-9.

7. Besl P. Active Optical Range Imaging Sensor. - Machine Vision and Applications 1, 127-152, (1988).

8. Beumier C., Acheroy M. Automatic 3D Face Authentication, Image and Vision Computing. - vol. 18, no. 4, pp. 315-321, 2000.

9. Beumier C., Acheroy M. Automatic Face Verification from 3D And Grey Level Clues. - In Proc. Of the 11th Portuguese Conference on Pattern Recognition, pp. 95-101, 2000.

10. Beumier C., Acheroy M. P. Automatic face authentication from 3D surface. -Proc. British Machine Vision Conf. (BMVC), pp 449-458 (1998).

11. Bledsoe W. W. The model method in facial recognition. Technical report PRI15, Panoramic Research Inc., Palo Alto (1966).

12. Boyer K.L., Как A. C.- Color-encoded structured light for rapid active ranging.- IEEE Transactions on Pattern Analysis and Machine Intelligence 9(1) (1987) 14-28.

13. Brian Lee Curless. New Methods for Surface Reconstruction from Range Images. PhD thesis.- STANFORD UNIVERSITY

14. Bush K. and Antonyshyn О. M.- 3-dimensional facial anthropometry using a laser-surface scanner-validation of the technique. Plastic & Reconstructive Surgery, 98, 6-235, 1996.

15. Carrihill В., Hummel R.- Experiments with the intensity ratio depth sensor.-Computer Vision, Graphics and Image Processing, Vol. 32, Academic Press, 1985, pp. 337-358.

16. Caspi D., Kiryati N., Shamir J.- Range imaging with adaptive color structured light, Pattern analysis and machine intelligence 20 (5) (1998) 470-480.

17. Chen C., Hung Y., Chiang C., Wu J.- Range data acquisition using color structured lighting and stereo vision, Image and Vision Computing 15 (1997) 445-456.

18. Cox-Brinkman J, Vedder A, Hollak C, Richfield L, Mehta A, Orteu A, Wijburg F Hammond P. Three-dimensional face shape in Fabry disease E J Hum Gen 2007;15:535-542.

19. Davies C. J., Nixon M. S.- A hough transform for detecting the location and orientation of 3-dimensional surfaces via color encoded spots.- IEEE Transactions on systems, man and cybernetics 28 (1) (1998) 90-95.

20. Davis J., Ramamoorthi R., Rusinkiewicz S. Spacetime Stereo: A Unifying Framework for Depth from Triangulation. - IEEE Trans, on Pattern Analysis and Machine Intelligence 27(2), 1-7 (2005).

21. Dhond U., Aggarwal J. Structure from Stereo - A Review. - IEEE Trans.Systems, Man, and Cybernetics 19(6), 1489-1510 (1989)

22. Durdle N. G., Thayyoor J., Raso V. J.- An improved structured light technique for surface reconstruction of the human trunk.- IEEE Canadian Conference on Electrical and Computer Engineering, Vol. 2, 1998, pp. 874-877.

23. Ens J. and Lawrence P. An investigation of methods for determining depth from focus. - IEEE Transactions on Pattern Analysis and Machine Intelligence. - 15. pp. 97-108, 1993.

24. Fisher R. В., Naidu D. K.- A comparison of algorithms for subpixel peak detection".- Proc. 1991 British Machine Vision Association Conf, Springer-Verlag, pp. 217-225

25. Frey B. J., Colmenarez A., Huang T.S. Mixtures of local linear subspaces for face recognition. - Proc. CVPR, pp. 32-37 (1998).

26. Fusiello A., Roberto V., and Trucco E. Efficient Stereo with Multiple Windowing. -IEEE International Conference on Computer Vision and Pattern Recognition, pp. 858-863 (1997).

27. G. Chazan, N. Kiryati, Pyramidal intensity-ratio depth sensor, Technical report 121, Center for Communication and Information Technologies, Department of Electrical Engineering, Technion, Haifa, Israel (October 1995).

28. G. Gordon. Face recognition from frontal and profile views. - Proc. International Workshop on Face and Gesture Recognition, pp. 47-52 (1996).

29. Griffin P., Narasimhan L., Yee S.- Generation of uniquely encoded light patterns for range data acquisition.- Pattern Recognition 25 (6) (1992) 609-616.

30. Guhring J.- Dense 3-d surface acquisition by structured light using off-the-shelf components.- Videometrics and Optical Methods for 3D Shape Measurement 4309 (2001)220-231.

31. Hammond P, Hutton TJ, Allanson JE, Campbell LE, Hennekam RC, Holden S et al. 3D analysis of facial morphology. Am J Med Gen 2004; 126:339-348.

32. Ногп В. К. P. Shape frnm Shading: A Method for Obtaining the Shape of a Smooth Opaque Object from One View. - PhD thesis, MIT. 1970.

33. Horn E., Kiryati N.- Toward optimal structured light patterns, Image and Vision Computing 17 (2) (1999) 87-97.

34. Hsieh Y. C.- Decoding structured light patterns for three-dimensional imaging systems.- Pattern Recognition 34 (2001) 343-349.

35. Huang J., Blanz V., Heisele B. Face recognition using component-based SVM classification and morphable models. - SVM 2002, pp. 334-341 (2002).

36. Hugli H., Maitre G.- Generation and use of color pseudo random sequences for coding structured light in active ranging.- Proceedings of Industrial Inspection, Vol. 1010, 1989, pp. 75-82.

37. Hung D.- 3d scene modelling by sinusoid encoded illumination.- Image and Vision Computing 11 (1993) 251-256.

38. Inokuchi S., Sato K., Matsuda F.- Range imaging system for 3-D object recognition.- Proceedings of the International Conference on Pattern Recognition. 1984, pp. 806-808.

39. Ito M., Ishii A.- A three-level checkerboard pattern (tcp) projection method for curved surface measurement, Pattern Recognition 28 (1) (1995) 27-40.

40. Kavagiou Z., Bello F., Scott G., et al. Facial Plastic Surgery Planning Using a 3D Surface- Deformation Tool. - Medicine Meets Virtual Reality 13: The Magical Next Becomes the Medical Now, 978-1-58603-498-6, pp. 247-250, IOS Press, 2005.

41. Kiyasu S., Hoshino H., Yano K., Fujimura S.- Measurement of the 3-D shape of specular polyhedrons using an m-array coded light source, IEEE Transactions on Instrumentation and Measurement 44 (3) (1995) 775-778.

42. Knyaz V.A., Matveev LA., Murynin A.B. Applying computer stereo vision algorithms for study of correlation face asymmetry and human vision pathology. PRIA-9, Nizhniy Novgorod 2008.

43. Kolar J. C. and Salter E.- Craniofacial Anthropometry: Practical Measurement of the Head and Face for Clinical, Surgical and Research Use. Charles C. Thomas Publisher, LTD, 1997.

44. Krotkov E.P., Bajcsy R. Active vision for reliable ranging: Cooperating focus, stereo, and vergence. - International Journal of Computer Vision, 11(2), pp. 187-203, October 1993.

45. Laurentini A. How many 2d silhouettes does it take to reconstruct a 3d objects. - Computer Vision and Image Understanding, 67(1), pp. 81-87, 1997.

46. Laurentini A. The visual hull concept for silhouette-based image understanding. - IEEE Trans. Pattern Analysis and Machine Intelligence. 150162. Feb 1994

47. Maruyama M., Abe S.- Range sensing by projecting multiple slits with random cuts.- Pattern Analysis and Machine Intelligence 15 (6) (1993) 647-651.

48. Minou M., Kanade Т., Sakai Т.- A method of time-coded parallel planes of light for depth measurement.- Transactions of the IECE of Japan 64 (1981) 521-528.

49. Moghaddam В., Jebara Т., Pentland A. Bayesian face recognition. -Technical Report TR2000-42, Mitsubishi Electric Research Laboratories (2000).

50. Monks Т., Carter J.- Improved stripe matching for colour encoded structured light.- 5th International Conference on Computer Analysis of Images and Patterns, 1993, pp. 476-485.

51. Morano R. A., Ozturk C., Conn R., Dubin S., Zietz S., Nissanov J.- Structured light using pseudorandom codes.- Pattern Analysis and Machine Intelligence 20 (3) (1998) 322-327.

52. Morita H., Yajima K., Sakata S.- Reconstruction of surfaces of 3-d objects by m-array pattern projection method.- IEEE International Conference on Computer Vision, 1988, pp. 468-473.

53. Moss J. P., Linney A. D., Grindrod S. R., and Mosse C. A.- A laser scanning system for the measurement of facial surface morphology. Optics and Lasers in Engineering, 10, 179-190, 1989.

54. Moss J.P., Coombes A., Linney A.D., and Campos J.- Methods of three dimensional analysis of patients with asymmetry of the face.- Proc Finn Dental Society, 87, 139-149, 1991.

55. Posdamer J. L., Altschuler M. D.- Surface measurement by space-encoded projected beam systems.- Computer Graphics and Image Processing 18 (1) 117, 1982.

56. Proesmans M., VanGool L. One-shot active 3d image capture. - In Proc. SPIE vol. 3023, Three-dimensional image capture, pp. 50-61, (1997).

57. Ras F., Habets L.L., Van Ginkel F.C. and Prahl-Andersen В.- Facial Left-Right Dominance in Cleft Lip and Palate: Three-Dimensional Evaluation.- Cleft Palate-Craniofacial Journal, 31, 461-5, 1994.

58. Rocchini С., Cignoni P., Montani C., Pingi P. and Scopigno R.- A low cost 3D scanner based on structured light.- EUROGRAPHICS Volume 20 , Number 3, 2001.

59. Rocchini C., Cignoni P., Montani C., Pingi P., Scopigno R.- A low cost 3D scanner based on structured light.- A. Chalmers, T.-M. Rhyne (Eds.), EG 2001 Proceedings, Vol. 20(3), Blackwell Publishing, 2001, pp. 299-308.

60. Salvi J., Batlle J., Mouaddib E.- A robust-coded;pattern projection for dynamic 3d scene measurement.- International Journal of Pattern Recognition Letters (19) (1998) 1055-1065.

61. Salvi J., Pags J., Batlle J. Pattern Codification Strategies in Structured Light Systems. - Pattern Recognition 37(4), pages 827 - 849, April 2004.

62. Sato K.- Range imaging based on moving pattern light and. spatio-temporal matched' filter.- IEEE Internationalt Conference on Image Processing, Vol. 1, 1996, pp. 33-36.

63. Smith T.F., Waterman M:S.- Identification of Common- Molecular Subsequences.- Journal of Molecular Biology 147 (1981) pp. 195-197.

64. Spoelder H. J.W., Vos F.M., Petriu E. M., Groen F. C. A.- Some aspects of pseudo random binary array-based surface characterization.- IEEE Transactions on instrumentation and measurement 49 (6) (2000) 1331-1336.

65. Stewart C.V. and Nair H.N. New results in automatic focusing and a new method for combining focus and stereo. - In SPIE Sensor Fusion II: Human and Machine Strategies, Vol. 1198, pp. 102-13, 1989.

66. Subbarao M., Yuan Т., Tyan J.K. Integration of defocus and focus analysis with stereo for 3d shape recovery. - Shape Recovery, Three-Dimensional Imaging and Laser-based Systems for Metrology and Inspection III, pp. 14-15, 1997

67. Sun C. A Fast Stereo Matching Method. - Digital Image Computing: Techniques and Applications, pp. 137-148 (1997).184

68. Thomas David Heseltine.- Face Recognition: Two-Dimensional and Three-Dimensional Techniques. PhD thesis. The University of;York, 2005

69. Turk M., Pentland A. Face recognition using eigenfaces. - Proc. CVPR, pp.586-591 (1991).

70. Vuylsteke P., Oosterlinck A.- Range image acquisition with a single binary-encoded5 light pattern.- ШЕЕ Transactionson Pattern Analysis and Machine

71. Intelligence 12 (2) (1990) 148-163.

72. Weise Т., Leibe В.,. Van Gool L. Fast 3D Scanning with Automatic Motion Compensation. - CVPR'07. IEEE Conference on Volume , Issue , 17-22 June 2007 Page(s):l - 8

73. Weng J., Ahuia N., Huang T. S. Matching; Two Perspective Views. - IEEE Trans, on Pattern Analysis and Machine Intelligence 14, pp. 917-924 (1992).

74. Zhang L., Curless B;, and Seitz S. Spacetime Stereo: Shape Recovery for: Dynamic.Senscs. - In Proc: Copmutcr Vison and Pattern Recognition (2003);

75. Zhang L.,: Curless В., and' Seitz S. M.- Rapid shape: acquisition using color structured" light and multi-pass; dynamic programming;- The 1st IEEE International Symposium on 3D Data. Processing, Visualization, and Transmission; pp. 24-36, June2002.

76. Zhang R., Tsai P:-S., Cryer J.E., Shah M. Shape from Shading: A survey. -IEEE Transactions on Pattern Analysis and Machine Intelligence, 1999

77. Zhang S.- High-resolution; Real-time 3-D Shape Measurement. PhD dissertation.- Stony Brook University, 2005.

78. Zhang S., Royer D., Shing-Tung Yau. GPU-assisted high-resolution, real-time 3-D shape measurement. - Optics Express, Vol. 14, Issue 20, pp. 9120-9129:

79. Zhang Z;. Iterative point matching for registration of free-form curves and surfaces. - International Journal of Computer Vision, 3(2):119-152, 1994.