автореферат диссертации по радиотехнике и связи, 05.12.04, диссертация на тему:Разработка и анализ алгоритмов распознавания лиц на телевизионных изображениях для биометрической идентификации

На правах рукописи

Шмаглит Лев Александрович

РАЗРАБОТКА И АНАЛИЗ АЛГОРИТМОВ РАСПОЗНАВАНИЯ ЛИЦ НА ТЕЛЕВИЗИОННЫХ ИЗОБРАЖЕНИЯХ ДЛЯ БИОМЕТРИЧЕСКОЙ ИДЕНТИФИКАЦИИ

Специальность 05.12.04 Радиотехника, в том числе системы и устройства телевидения

Автореферат

диссертации на соискание ученой степени кандидата технических наук

005556851

Владимир - 2014

005556851

Работа выполнена на кафедре динамики электронных систем ФГБОУ ВПО Ярославского государственного университета им. П. Г. Демидова

Научный руководитель: Приоров Андрей Леонидович

доктор технических наук, доцент, доцент кафедры динамики электронных систем Ярославского государственного университета им. П. Г. Демидова

Официальные оппоненты:

Хафизов Ринат Гафиятуллович

доктор технических наук, профессор, профессор кафедры радиотехнических и медико-биологических систем ФГБОУ ВПО «Поволжский государственный технологический университет», г. Йошкар-Ола

Мочалов Иван Сергеевич

кандидат технических наук, инженер

ООО «Эдвансед Трансформейшн Консалтинг»,

г. Ярославль

Ведущая организация:

ОАО «Ярославский радиозавод», г. Ярославль

Защита диссертации состоится «7» октября 2014 г. в 16 часов на заседании диссертационного совета Д 212.025.04 при Владимирском государственном университете имени Александра Григорьевича и Николая Григорьевича Столетовых по адресу: 600000, г. Владимир, ул. Горького, д. 87, ВлГУ, корп. 3, ФРЭМТ, ауд. 301.

С диссертацией можно ознакомиться в библиотеке Владимирского государственного университета имени Александра Григорьевича и Николая Григорьевича Столетовых.

Автореферат разослан «21» июля 2014 г.

Отзывы на автореферат, заверенные печатью, просим направлять по адресу: 600000, г. Владимир, ул. Горького, д. 87, ВлГУ, ФРЭМТ.

Ученый секретарь диссертационного совета доктор технических наук, профессор А. Г. Самойлов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Задача распознавания объектов на телевизионных изображениях заключается в определении на основе многочисленных характеристик некоторого объекта одной или нескольких наиболее существенных его характеристик, недоступных для непосредственного определения, в частности, его принадлежности к определенному классу объектов. Для ее решения необходимо применение комплекса алгоритмов, направленных на получение, обработку и анализ видеоданных. Конечной целью анализа является выработка решений, позволяющих получить новую информацию, обнаружить интересующие объекты, распознать их свойства, отследить и предсказать их дальнейшее поведение.

В настоящее время быстро развиваются технологии получения и передачи телевизионных изображений, увеличивается емкость передаваемой информации, в связи с этим растет потребность в интеллектуальных системах анализа видеоданных. Так, видеонаблюдение сегодня считается одним из самых главных технических инструментов обеспечения безопасности. При этом для того чтобы контролировать тысячи видеоканалов в режиме реального времени необходимы эффективные алгоритмы, способные без участия человека автоматически оценивать внешнюю среду и выполнять в ней те или иные действия.

Установлено, что среди всех возможных анализируемых объектов наибольший интерес представляют человеческие лица. Задача их детектирования и классификации находит применение в различных сферах человеческой деятельности, в первую очередь, в системах безопасности. Сферами применения распознавания лиц являются, например, системы охранного телевидения, сравнение фотографий на паспортах или водительских удостоверениях, контроль доступа к безопасным компьютерным сетям и оборудованию в учреждениях, наблюдение за аэропортами и вокзалами для предотвращения террористических актов и др.

В данной работе решаются две подзадачи распознавания лиц — детектирование лиц на телевизионных изображениях и распознавание пола людей по детектированной области лица. Алгоритм автоматического детектирования лиц по произвольному изображению на входе определяет, имеются ли на этом изображении лица, и если да, то указывает, где находится каждое лицо и каков его размер. Алгоритм распознавания пола разделяет все анализируемые фрагменты на два класса - «мужчины» и «женщины». Информация, полученная в результате подобного анализа, востребована в системах биометрической идентификации, решающих задачу идентификации личности человека по изображению его лица. Так, успешное распознавание пола (при одинаковом количестве мужчин и женщин в базе) вдвое сокращает область поиска по базе лиц при идентификации личности. Другой сферой применения рассматриваемых алгоритмов являются системы автоматизированных отношений с клиентами, решающие задачу анализа состава аудитории с целью индивидуального подхода к предоставлению рекламы и услуг клиентам различной тендерной принадлежности.

Эффективное решение обозначенных задач требует применения специализированных алгоритмов цифровой обработки изображений, а также современных методов машинного обучения. Среди них можно выделить

нелинейные алгоритмы фильтрации и восстановления изображений, системы, построенные на нечеткой логике, генетических алгоритмах, нейронных сетях.

На сегодняшний день достигнуты значительные успехи при построении систем детектирования и распознавания объектов на телевизионных изображениях, однако существуют нерешенные проблемы при классификации динамических образов, возникающие из-за сложности и многообразия поведения объектов реального мира. Существуют отдельные задачи (видеонаблюдение в закрытых помещениях, в местах большого скопления людей, управление движением мобильных робототехнических комплексов, наблюдение за движением транспортных средств и т. д.), в которых устойчивость к наличию искажений и изменению условий освещенности, а также способность работы в реальном времени приобретают решающее значение. Поэтому на современном этапе развития науки и техники разработка и анализ алгоритмов распознавания лиц на телевизионных изображениях представляют собой актуальную задачу.

Основной целью работы является улучшение характеристик алгоритмов детектирования и распознавания лиц людей на телевизионных изображениях для систем биометрической идентификации.

Для достижения указанной цели в диссертационной работе решаются следующие задачи:

- усовершенствование работы алгоритмов детектирования лиц на телевизионных изображениях при изменении условий освещенности;

- сравнительный анализ работы алгоритмов тендерной классификации с использованием единой базы обучающих и тестовых изображений;

- исследование устойчивости базового классификатора на основе метода опорных векторов к изменению условий освещенности при распознавании пола человека по изображению лица;

- модификация классификатора на базе метода опорных векторов путем применения существующих и разработки новых алгоритмов предварительной обработки изображений;

- усовершенствование работы классификатора на базе метода опорных векторов за счет применения локальных бинарных шаблонов и комбинированного пространства признаков.

Объектом исследования являются алгоритмы распознавания объектов, применяемые в радиотехнических системах обработки и анализа изображений и современных системах телевидения.

Предметом исследования являются разработка и модификация алгоритмов с целью повышения эффективности функционирования видеоинформационных систем биометрической идентификации.

Методы исследования. При решении поставленных задач использовались современные методы цифровой обработки изображений, машинного обучения, распознавания образов, математического анализа, теории вероятностей и математической статистики. Для практической реализации алгоритмов применялись современные численные методы и методы объектно-ориентированного программирования на языке С#.

Научная новизна

В рамках данной работы получены следующие новые научные результаты.

1. Исследовано влияние условий освещенности на работу алгоритмов детектирования лиц.

2. Разработаны алгоритмы локальной предобработки изображений и локальной предобработки с предварительной сегментацией по цвету кожи.

3. Разработаны три модификации тендерного классификатора на базе метода опорных векторов с применением существующих и предлагаемых алгоритмов предобработки изображений.

4. Разработана модификация тендерного классификатора с применением локальных бинарных шаблонов и комбинированного пространства признаков. Практическая значимость

1. Проведен анализ работы трех алгоритмов детектирования лиц на телевизионных изображениях, предложены алгоритмы предобработки, позволяющие повысить устойчивость тестируемых алгоритмов к изменению условий освещенности.

2. Проведен анализ работы алгоритма тендерной классификации на базе метода опорных векторов при изменении условий освещенности, предложены модификации, позволяющие повысить средний уровень верного распознавания на 10-15% в зависимости от рассматриваемых условий освещенности.

3. Разработана модификация алгоритма тендерной классификации на базе комбинированного пространства признаков и метода опорных векторов, уровень верного распознавания которой составляет порядка 94 %, что на 3,3 % превышает показатели лучшего из известных до этого алгоритмов. Результаты диссертационной работы внедрены в соответствующие разработки

ООО «АйДата», г. Ярославль; ООО «ДиММ», г. Ярославль. Отдельные результаты внедрены в учебный процесс ЯрГУ им. П. Г. Демидова в рамках дисциплин «Цифровая обработка изображений» и «Компьютерное зрение», а также в научно-исследовательские работы при выполнении исследований в рамках гранта РФФИ №10-08-01186. Все результаты внедрения подтверждены соответствующими актами. По итогам работы получено свидетельство на программный продукт, зарегистрированное в Реестре программ для ЭВМ.

Достоверность полученных научных результатов обусловлена применением адекватного математического аппарата, подтверждается их согласованностью с результатами проведенного компьютерного моделирования и сопоставлением ряда полученных результатов с научными данными, известными из российской и зарубежной литературы.

Апробация работы. Результаты работы докладывались и обсуждались на следующих научно-технических конференциях и семинарах:

- 11, 14—16-я международные конференции «Цифровая обработка сигналов и ее применение», Москва, 2009, 2012-2014;

- Двадцатая международная конференция по компьютерной графике и зрению «ГрафиКон'2010», Санкт-Петербург, 2010;

- 67-я научная сессия, посвященная Дню радио, Москва, 2012;

- 18-я международная научно-техническая конференция «Радиоэлектроника, электротехника и энергетика», Москва, 2012;

- 10-я всероссийская научная конференция «Нейрокомпьютеры и их применение», Москва, 2012;

- 14-я всероссийская научно-техническая конференция «Нейроинформатика», Москва, 2012;

- World Congress on Engineering and Computer Science, Berkeley, USA, 2012;

- International MultiConference of Engineers and Computer Scientists (imaging engineering section), Hong Kong, 2013;

- 14th Conference of Open Innovation Association FRUCT, Helsinki, Finland, 2013;

- 23rd International Conference on Computer Graphics and Vision, GraphiCon'2013, Vladivostok, 2013.

Публикации. По теме диссертации опубликовано 17 научных работ, из них 3 статьи в журналах, рекомендованных ВАК («Проектирование и технологии электронных средств», «Optical Memory and Neural Networks», «Электромагнитные волны и электронные системы»), 1 статья в журнале «IAENG International Journal of Computer Science» и 13 докладов на научных конференциях; получено свидетельство о государственной регистрации программы для ЭВМ.

Структура и объем работы. Диссертация состоит из введения, четырех разделов, заключения, списка использованных источников, содержащего 115 наименований, и приложения. Она изложена на 119 страницах машинописного текста, содержит 56 рисунков и 18 таблиц.

Основные научные положения и результаты, выносимые на защиту

1. Алгоритм локальной предобработки изображений и алгоритм локальной предобработки с предварительной сегментацией по цвету кожи.

2. Модификация алгоритма распознавания пола человека по изображению лица при изменении условий освещенности на базе предложенных алгоритмов предобработки.

3. Модификация алгоритма распознавания пола на основе метода опорных векторов путем расширения пространства признаков классификатора для улучшения его работы в нормальных условиях освещенности.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность выбранной темы, сформулированы цель и задачи исследования, изложены основные положения, выносимые на защиту, показаны научная новизна и практическая значимость работы.

В первом разделе рассмотрена система автоматизированного визуального наблюдения, в которой объектом анализа выступает лицо человека. В ее состав входят алгоритмы детектирования, сопровождения и распознавания лиц.

Приведено описание принципов работы трех современных алгоритмов детектирования лиц на телевизионных изображениях. Это алгоритм на базе метода опорных векторов (MOB), алгоритм на базе адаптивного бустинга и алгоритм на основе разреженной сети просеивающих элементов (РСПЭ). Представлены методика и результаты тестирования рассмотренных алгоритмов по собственной базе тестовых изображений. Установлено, что лидирует по уровню детектирования

алгоритм на базе РСПЭ - 87,3 %, на втором месте алгоритм на базе бустинга — 71,8 %. Уровень детектирования алгоритма на базе MOB составил 62,4 %.

Приведены алгоритмические основы построения бинарных классификаторов для распознавания пола людей по детектированной области лица. Предложена собственная база, содержащая более 10 тысяч изображений лиц людей, для проведения обучения и тестирования алгоритмов распознавания пола. Представлены результаты тестирования трех современных алгоритмов распознавания пола по изображению лица с использованием предлагаемой базы лиц. Это алгоритм на базе MOB; алгоритм, использующий адаптивные признаки и метод опорных векторов (АП-МОВ); и алгоритм KDDA (Kernel Direct Discriminant Analysis) на базе линейного дискриминантного анализа. Лучший результат демонстрируют алгоритмы, в основе которых лежит классификатор на базе метода опорных векторов. Установлено, что уровень верного распознавания алгоритма АП-МОВ составил 90,8 %; алгоритма MOB - 85,1 %; алгоритма KDDA - 69,7 %.

Во втором разделе проведено исследование влияния условий освещенности на работу трех выбранных для тестирования алгоритмов детектирования лиц на телевизионных изображениях (рис. 1).

Рис. 1. Схема исследования алгоритмов детектирования лиц

Одиночные эксперименты с видеоданными, полученными в реальных условиях эксплуатации, выявили уязвимость алгоритмов детектирования и распознавания лиц к следующим эффектам освещения: изменению средней яркости изображения; уменьшению контраста изображения (при ведении съемки против источника света); неравномерному освещениию изображения (при наличии бокового источника света).

Для проведения тестирования алгоритмов детектирования лиц в различных условиях освещенности исходные изображения были преобразованы с использованием трех моделей, в которых степень выраженности различных условий освещенности изменялась с заданным шагом: модель изменения яркости; модель изменения контраста; модель неравномерной освещенности.

Модель изменения яркости описывается выражением: К = + , где У -

яркостная компонента изображения, вычисляемая как взвешенная сумма цветовых

5

компонент исходного пространства RGB: K = 0,299 Ä + 0,587-G + 0,114-ß, a dY -внесенное искажение яркости, выраженное в процентах от У. При проведении тестирования величина dY изменялась от-70 % до 70 % с шагом 10 %.

Полный контраст исходного изображения задается как разность между максимальным и минимальным значением яркости: K = Ymax-Ynin. Тогда уменьшенное значение контраста может быть представлено следующим выражением: К = К ■ , где а - коэффициент, выраженный в процентах,

показывающий какую долю от исходного контраста составляет контраст преобразованного изображения. Значения яркости изображения при этом

преобразуются следующим образом: Y = ^Y-Ymin + ® процессе

тестирования использовались значения а от 10 % до 100 % с шагом 10 %.

Модель неравномерной освещенности имитирует боковой источник света. Для этого применяется взвешенное изменение яркости в зависимости от номера столбца

изображения: = 1^1+ где N - разрешение изображения в количестве

пикселей (число столбцов); ß - коэффициент, определяющий амплитуду вносимого искажения; j - номер столбца изображения; a - результат преобразования. В работе использовалось значение W = 80 и ß от -2,4 до 2,4 с шагом 0,16. Отрицательные значения ß соответствуют имитации источника света, расположенного слева, а положительные - справа.

Результаты тестирования алгоритмов детектирования лиц при изменении условий освещенности приведены на рис. 2.

Изменение яркости по-разному влияет на результат работы тестируемых алгоритмов. Алгоритм на базе MOB не справляется с задачей детектирования при уменьшении яркости изображений, показывая уровень верного детектирования менее 10 % при уменьшении яркости на 70 %. В среднем уровень верного детектирования алгоритма на базе MOB при изменении яркости составляет 45,4 %. Уровень верного детектирования на базе РСПЭ значительно снижается при увеличении яркости и в среднем составляет 76,7 %. Алгоритм на базе бустинга демонстрирует устойчивость к изменению яркости.

При уменьшении контраста изображений уровень верного детектирования алгоритма на базе MOB значительно снижается (практически до нуля при контрасте изображений в 20 % от исходного) и составляет в среднем 36,7 %. Алгоритм на базе бустинга и алгоритм на базе РСПЭ эффективно справляются с уменьшением контраста изображения. Их уровень верного детектирования изменяется незначительно и составляет в среднем 71,9 % и 86,0 % соответственно.

Наибольшую устойчивость к неравномерной освещенности демонстрирует алгоритм на базе бустинга. При небольшой амплитуде вносимых искажений его уровень верного детектирования остается неизменным и составляет в среднем 64,3 %. Уровень верного детектирования алгоритма на базе MOB и алгоритма на базе РСПЭ в условиях неравномерной освещенности снижается до среднего уровня в 45,5 % и 69,4 % соответственно.

I

го m О CL

ba: CD I-<D C[ -Ü X 03 со

о

CL

I

ro

CO

о

Q.

03 ь аз et _o i 03 CG

о

CL >

100 90 80 70 60 50 40 30 20 10 0

100i

3-...

Ж- 1 . , u.....•

X, Ъ---

- —— '.••в

в

о-" -©-Алгоритм на базе MOB ■■□■ Алгоритм на базе РСПЭ —Алгоритм на базе бустингг

а''

t 1 1 1 1

-60

-40

-20

0

a)

20

40

60 dY, %

40

20

1

ТОО

-©-Алгоритм на базе MOB ■€!■ Алгоритм на базе РСПЭ ■ Алгоритм на базе бустинга

90

80

70

60

б)

50

40

30

а, %

-в - Алгоритм на базе МОВ ■■□■ Алгоритм на базе РСПЭ —и— Алгоритм на базе бустинга

0.5

0

в)

-0.5

Рис.

2. Зависимость уровня верного детектирования тестируемых алгоритмов при различных условиях освещенности: а) при изменении яркости; б) при изменении контраста; в) при неравномерной освещенности

Для того чтобы улучшить яркостные характеристики изображений и таким образом скомпенсировать влияние условий освещенности на работу тестируемых алгоритмов детектирования лиц предлагается использовать два алгоритма предобработки: алгоритм эквализации гистограммы изображения и алгоритм локальной предобработки.

Эквализация гистограммы является общепринятой процедурой, часто используемой в задачах повышения качества изображений. Алгоритм локальной предобработки предлагается в данной диссертационной работе. Он заключается в разделении изображения на перекрывающиеся между собой блоки. Для каждого заданного блока осуществляется выравнивание яркости и контраста путем применения соответствующих преобразований на основе статистики этого блока.

Для преобразования яркости блока использовалось выражение: Ук = У- (У4) +0,5, где У — интенсивность пикселей исходного изображения, представленная в формате чисел с плавающей запятой по шкале от 0 до 1; (У4) -средняя интенсивность пикселей исходного изображения, входящих в блок к.

Для преобразования контраста значения всех пикселей внутри блока сортируются по возрастанию. Определенный небольшой процент самых ярких и самых темных пикселей отбрасывается, после чего яркость оставшихся пикселей

У — 0 5

рассчитывается по формуле: У4 =-— + 0,5, где К = тах{(\ - 2 ■ У^), (2 ■ Утх -1)} -

К'

коэффициент, показывающий контраст входного изображения и определяющий степень увеличения контраста обработанного изображения.

Для того чтобы избежать эффектов блочности на границах перекрытия блоков, производится взвешенное суммирование значений пикселей соседних блоков:

а,,. У, + . У„

У,„ =---, где а(у, ат] - расстояние от у'-го пикселя до границы

соответствующего блока; У,, У„ — интенсивность пикселя, посчитанная для блока I и т соответственно; И - ширина зоны перекрытия.

Результаты тестирования алгоритмов детектирования лиц с использованием рассмотренных алгоритмов предобработки при изменении яркости изображений приведены на рис. 3. Эквализация гистограммы и локальная предобработка позволяют повысить уровень верного детектирования алгоритма на базе МОБ. Выигрыш при уменьшении яркости на 70 % составляет более 40 %.

Уровень верного детектирования алгоритма на базе РСПЭ увеличивается в среднем на 2 % при использовании локальной предобработки и составляет 78,7 %. Эквализация гистограммы приводит к ухудшению результатов со средним уровнем детектирования 74,1 %.

Для алгоритма на базе бустинга использование эквализации гистограммы дает преимущество по уровню верного детектирования в среднем порядка 0,7 %. Локальная предобработка вызывает ухудшение работы алгоритма в среднем на 8,2 %.

Также представлены результаты применения алгоритмов предобработки при изменении контраста изображений и в условиях неравномерного освещения. Посредством эквализации гистограммы достигнуто улучшение уровня верного детектирования алгоритма на базе МОВ на 19,3 % при изменении контраста.

8

70 60 50 40 30 20 10 0

1

Я--- ""в"" ---"Ji -----

я.......L ......... ""В-.. SS-*) ■•■о

-©-Алгоритм на базе MOB -»-Эквализация гистограммы ■■□■'Локальная предобработка

-в—Алгоритм на базе РСПЭ -•»■- Эквализация гистограммы ■о- Локальная предобработка

40L

74 72 70 68 66 64 62 60 58

-60

-40

-20 0

б)

20 40

60 dY, %

Ss

—в— Алгоритм на базе бустинга

" Эквализация гистограммы ■■D- Локальная предобработка v

*.......1 i

..1

Л"" .........

ir" Na

-60

-40

-20

0

20

40

60 dY, %

в)

Рис. 3. Влияние алгоритмов предобработки на детектирование лиц при изменении яркости изображений: а) детектирование алгоритмом на базе MOB; б) детектирование алгоритмом на базе РСПЭ; в) детектирование алгоритмом на базе бустинга

В третьем разделе рассмотрена задача распознавания пола по изображению лица при изменении условий освещенности, предложены алгоритмы предобработки изображений, позволяющие улучшить работу классификатора на базе MOB.

На рис. 4 приведена зависимость процента верной классификации алгоритма на базе MOB от изменения яркости и контраста, а также от амплитуды неравномерного освещения.

а) б)

Рис. 4. Процент верной классификации алгоритма на базе MOB: а) при изменении яркости и контраста; б) при неравномерной освещенности

Результаты проведенных экспериментов показали, что алгоритм на базе MOB не обладает устойчивостью к изменению условий освещенности. Вероятность верного распознавания уменьшается с 85 % при нормальных условиях до 55 % и 72 % при уменьшении и увеличении яркости соответственно, до 66 % при уменьшении контраста и до 55 % при неравномерном освещении.

Предложены три модификации алгоритма на базе MOB, заключающиеся в добавлении этапа предобработки. Первая модификация (ЭГ-МОВ) использует общепринятый алгоритм эквализации гистограммы. Вторая модификация (ЛП-МОВ) использует предлагаемый алгоритм локальной предобработки изображений (ЛП). Анализ визуальных примеров (рис. 5) показывает, что, несмотря на небольшую потерю высокочастотной информации, вызванную усечением, алгоритм ЛП позволяет привести яркость и контраст изображения к единым характеристикам при любом виде искажений, связанных с изменением условий освещенности.

а) б) в) г) д)

Рис. 5. Пары исходное изображение (сверху) - изображение, обработанное алгоритмом ЛП (снизу), для следующих условий: а) неискаженное изображение; б) й?К = -60%; в) с1У = 60%;

г) а = 20%; д) 13=-2,4

Третья предложенная модификация алгоритма на базе MOB (СЛП-МОВ) использует предлагаемый алгоритм локальной предобработки с сегментацией (СЛП), отличающийся от алгоритма ЛП предварительным разделением всех пикселей изображения на пиксели лица и пиксели фона. Сегментация пикселей кожи по цвету осуществляется на базе известного алгоритма, который задает явные численные правила, ограничивающие кластер цвета кожи в пространстве RGB. Пиксель (R, G, В) относится к коже, если для него выполнены все следующие условия:« > 95; G> 40; в> 20; ггих{ R, G, В) - min{Ä, g, 5} > 15; |ä-g|>15; r>G\ r> в.

Пример маски, полученной в результате процедуры сегментации изображения для некоторых тестовых изображений, приведен на рис. 6.

Рис. 6. Пары исходное изображение (сверху) - маска, полученная в результате сегментации (снизу), для некоторых тестовых изображений

Анализ визуальных примеров (рис. 7) показывает, что в дополнение к выравниванию яркости и контраста алгоритм СЛП позволяет отсеять области, не относящиеся к лицу, что снижает вариативность данных и облегчает задачу классификации.

Рис. 7. Пары исходное изображение (сверху) - изображение, обработанное алгоритмом СЛП (снизу), для следующих условий: а) неискаженное изображение; б) с1У = -60%; в) ¿/У = 60%;

г) а = 20%; д) /3= —2,4

Результаты исследований предложенных модификаций при различных условиях освещенности приведены на рис. 8.

D, %

90-

60 dY, %

10 а, %

85 80 75 70 65 60 55

0°\ 4 _ 3U

Х»К*# у— < ы

/ в \ вв

о

-MOB -□-■эг-мов -в-лп-мов слп-мов

/

-1,92

-0,96

0 в)

0,96

1,92

ß

Рис. 8. Процент верной классификации предложенных модификаций алгоритма на базе MOB: а) при изменении яркости; б) при изменении контраста; в) при неравномерной освещенности

На большем участке шкалы изменения яркости и контраста лидирует алгоритм СЛП-МОВ (86 %), на втором месте ЛП-МОВ (84,5 %), на третьем -ЭГ-МОВ (84 %). Предлагаемые модификации имеют преимущество по среднему уровню верного распознавания порядка 10 % по сравнению с базовым алгоритмом MOB при изменении яркости и контраста. В условиях неравномерного освещения лучшие результаты показали алгоритмы ЛП-МОВ и СЛП-МОВ. Их преимущество над базовым алгоритмом MOB и алгоритмом ЭГ-МОВ составило порядка 15 %.

В четвертом разделе предложено две модификации алгоритма на базе MOB, позволяющие повысить вероятность верного распознавания на наборе неискаженных изображений.

Первая модификация (ЛБШ-МОВ) заключается в переходе к пространству признаков, известных в литературе как локальные бинарные шаблоны (ЛБШ). Вычисление ЛБШ признаков проходит в два этапа. Вначале значение интенсивности пикселя сравнивается со значениями всех пикселей из некоторой окрестности, например, размером 3Х3 пикселя. Результат сравнения записывается как 0, если значение рассматриваемого пикселя меньше центрального, и как 1 в противном случае. Для рассматриваемой окрестности 3x3 пикселя получается 8 цифр, из которых составляется двоичный вектор. Этот вектор далее интерпретируется как двоичная запись целого числа. На втором этапе изображение разбивается на прямоугольные области, для каждой из которых вычисляется гистограмма частот появления чисел, полученных на первом этапе. Итоговый вектор признаков получается путем конкатенации гистограмм по всем областям.

Вторая модификация (АП-ЛБШ-МОВ) заключается в объединении двух признаковых пространств в единый вектор признаков. Используются адаптивные признаки и ЛБШ.

Результаты тестирования предложенных модификаций приведены в табл. 1.

Таблица 1

Уровень распознавания предложенных модификаций по сравнению с существующими алгоритмами

Алгоритм ЛБШ-МОВ АП-ЛБШ-МОВ АП-МОВ MOB

Параметр Верно Неверно Верно Неверно Верно Неверно Верно Неверно

Уровень распознавания мужчин, % 92,9 7,1 93,9 6,1 90,6 9,4 89,0 11,0

Уровень распознавания женщин, % 85,9 14,1 94,3 5,7 91,0 9,0 81,3 19,7

Общий уровень распознавания, % 89,4 11,6 94,1 5,9 90,8 9,2 85,1 14,9

Алгоритм ЛБШ-МОВ показывает уровень верного распознавания, равный 89,4 %, и опережает алгоритм MOB на 4,3 %, однако уступает классификатору АП-МОВ на 1,4%. АП-ЛБШ-МОВ показывает уровень верного распознавания, равный 94,1 %, и опережает алгоритмы MOB и АП-МОВ на 9 % и 3,3 % соответственно.

Необходимо отметить, что алгоритм АП-МОВ содержит адаптивные признаки, посчитанные для цветовых компонент изображения, в то время как алгоритм АП-ЛБШ-МОВ использует только яркостную компоненту, т. е. пригоден для распознавания как цветных, так и монохромных изображений.

В Приложении приведены копии актов о внедрении результатов работы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

На основании проведенных исследований в области классификации объектов на телевизионных изображениях в работе получены следующие результаты.

1. Исследована устойчивость трех современных алгоритмов детектирования лиц на телевизионных изображениях к изменению условий освещенности. При изменении яркости уровень верного детектирования алгоритмов на базе MOB, РСПЭ и бустинга уменьшается в среднем на 17,0 %, 10,6 % и 2,2 % соответственно. При изменении контраста уровень верного детектирования алгоритма на базе MOB уменьшается в среднем на 25,7 %. Неравномерная освещенность приводит к уменьшению средних показателей алгоритма на базе MOB на 16,9 %; алгоритма на базе РСПЭ - на 17,9 %; алгоритма на базе бустинга - на 7,5 %.

2. Исследована возможность использования алгоритма эквализации гистограммы и алгоритма локальной предобработки для повышения устойчивости тестируемых алгоритмов детектирования лиц к изменению условий освещенности. Результаты показывают целесообразность использования эквализации гистограммы для улучшения работы алгоритма на базе MOB. Выигрыш по среднему уровню верного детектирования составляет в этом случае 8,1 % при изменении яркости изображений и 19,3 % при изменении контраста. Для алгоритма на базе РСПЭ лучшие результаты достигаются при использовании локальной предобработки. Выигрыш по среднему уровню верного детектирования составляет в этом случае 2 % при изменении яркости изображений и 2,1 % в условиях неравномерной освещенности. Алгоритм на базе бустинга наиболее устойчив к изменению условий освещенности. Удается улучшить его уровень верного детектирования в среднем на 0,7 % при изменении яркости изображений за счет использования алгоритма эквализации гистограммы.

3. Разработана собственная тестовая база, содержащая более 10 тысяч изображений лиц людей, для проведения обучения и тестирования алгоритмов распознавания лиц. Проведено тестирование трех современных алгоритмов классификации пола по изображению лица с использованием предлагаемой базы лиц. Лучший результат демонстрируют алгоритмы, в основе которых лежит классификатор на базе метода опорных векторов. Уровень верного распознавания алгоритма АП-МОВ составил 90,8 %; алгоритма MOB - 85,1 %; алгоритма KDDA -69,7 %.

4. Исследована устойчивость базового классификатора на базе MOB к изменению условий освещенности при распознавании пола человека по изображению лица. Вероятность верного распознавания уменьшается с 85 % при нормальных условиях до 55 % и 72 % при уменьшении и увеличении яркости соответственно, до 66 % при уменьшении контраста и до 55 % при неравномерном освещении.

5. Разработано три модификации базового алгоритма на базе MOB с применением одного стандартного и двух оригинальных алгоритмов предобработки

14

изображений. Предлагаемые модификации имеют преимущество по среднему уровню верного распознавания порядка 10-15% по сравнению с базовым алгоритмом MOB при различных условиях освещенности. Лучшие результаты демонстрирует алгоритм СЛП-МОВ.

6. Разработана модификация базового классификатора MOB на основе ЛБШ признаков. Классификатор ЛБШ-МОВ показывает уровень верного распознавания, равный 89,4 %, и опережает алгоритм MOB на 4,3 %, однако уступает классификатору АП-МОВ на 1,4 %.

7. Разработана модификация базового классификатора MOB на основе комбинированного пространства адаптивных и ЛБШ признаков. Классификатор АП-ЛБШ-МОВ показывает уровень верного распознавания, равный 94,1 %, и опережает алгоритмы MOB и АП-МОВ на 9 % и 3,3 % соответственно.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ Статьи в журналах из перечня ВАК

1. ШмаглитЛ. А., Приоров А. Л., ХрящевВ. В., Матвеев Д. В. Детектирование лиц на изображениях в условиях аддитивного белого гауссовского шума // Электромагнитные волны и электронные системы. 2014. Т. 19, № 5. С. 62—70.

2. Шмаглит Л. А., Хрящев В. В., Ганин А. Н., Матвеев Д. В. Распознавание пола человека по выделенной области лица на изображениях // Проектирование и технологии электронных средств. 2011. № 4. С. 36—43.

3. Shmaglit L., Khryashchev V. Gender classification of human face images based on adaptive features and support vector machines // Optical Memory and Neural Networks. October 2013. Vol. 22, Issue 4. P. 228-235.

Материалы российских и международных конференций

4. Шмаглит Л. А., Голубев М. Н., Игнатов И. С., Хрящев В. В. Выделение лиц на изображениях в условиях искажений // Докл. 11-й междунар. конф. «Цифровая обработка сигналов и ее применение» (DSPA-2009). Москва. 2009. Т. 2. С. 511-514.

5. Шмаглит Л. А., Голубев М. Н. Использование информации о цвете в алгоритме выделения лиц на изображениях // Материалы 20-й междунар. конф. по компьютерной графике и зрению «ГрафиКон'2010». 2010. С. 331-332.

6. Шмаглит Л. А., Ганин А. Н. Система слежения и тендерной классификации лиц на видеоизображениях // Тез. докл. 18-й междунар. науч.-техн. конф. «Радиоэлектроника, электротехника и энергетика». Москва. 2012. Т. 1. С. 128-129.

7. Голубев М. Н., Ганин А. Н., Шмаглит Л. А. Алгоритм распознавания пола на основе адаптивных признаков и метода опорных векторов // X всерос. науч.-техн. конф. «Нейрокомпьютеры и их применение». Москва. 2012. С. 33.

8. Khryashchev V., Priorov A., Shmaglit L., Golubev M. Gender Recognition via Face Area Analysis // Proc. World Congress on Engineering and Computer Science. 2012. Berkeley. USA. P. 645-649.

9. Шмаглит Л. А., Голубев M. H., Ганин А. Н., Хрящев В. В. Тендерная классификация по изображению лица // Докл. 14-й междунар. конф. «Цифровая обработка сигналов и ее применение» (DSPA-2012). Москва. 2012. Т. 2. С. 425^428.

10. Голубев М. Н., ШмаглитЛ. А., Ганин А. Н. Разработка и анализ системы автоматического распознавания пола людей по изображению лица // XIV Всерос. науч.-техн. конф. «Нейроинформатика-2012». Москва. 2012. С. 151-159.

11. Ганин А. Н., ШмаглитЛ. А., ХрабровД. Е., Манов И. А. Программно-аппаратный комплекс для детектирования, слежения и тендерной классификации объектов по изображению лиц // Тр. LXVII науч. сессии, посвященной Дню Радио. Москва. 2012. С. 163-166.

12. Khryashchev V., Ganin A., GolubevM., Shmaglit L. Audience analysis system on the basis of face detection, tracking and classification techniques // Proc. International MultiConference of Engineers and Computer Scientists. Hong Kong. 2013. V. 1. p. 446-450.

13. Khryashchev V., Shmaglit L., GolubevM., ShemyakovA. The Development of Object Tracking and Recognition Algorithms for Audience Analysis System // IAENG International Journal of Computer Science. 40:2. 2013. pp. 94-103.

14. Ганин A. H., ХрящевВ. В., Шемяков A. M., ШмаглитЛ. А. Тендерная и возрастная классификация по видеоданным // Докл. 15-й междунар. конф. «Цифровая обработка сигналов и ее применение» (DSPA-2013). Москва. 2013. Т. 2. С. 292-294.

15. Khryashchev V., Shmaglit L., PriorovA., ShemyakovA. Adaptive Feature Extraction for Gender Classification of Human Faces // Proc. Of the 23rd International Conference on Computer Graphics and Vision. GraphiCon'2013. Vladivostok. 2013. P. 71-74.

16. Pavlov V., Khryashchev V., Pavlov E., Shmaglit L. Application for Video Analysis Based on Machine Learning and Computer Vision Algorithms // Proceedings of the 14th conference of open innovation association FRUCT. Helsinki. Finland. 2013. P. 90-100.

17. Шемяков A.M., Хрящев В. В., ШмаглитЛ. А. Сравнение алгоритмов классификации возраста людей по изображению лица на основе метода опорных векторов // Докл. 16-й междунар. конф. «Цифровая обработка сигналов и ее применение» (DSPA-2014). Москва. 2014. Т. 2. С. 552-557.

Свидетельство о государственной регистрации программ для ЭВМ

18. Аминова Е. А., Никитин А. Е., Хрящев В. В., Шмаглит Л. А. Faces.Video.Lab -программа для слежения за лицами на видеопоследовательностях // Свидетельство о государственной регистрации программы для ЭВМ №2011619048 от 21 ноября 2011 г.

Подписано в печать 18.07.2014 Формат 60x84 1/16. Тираж 100 экз.

Отпечатано на ризографе Ярославский государственный университет 150000 Ярославль, ул. Советская, 14.