автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Алгоритмы распознавания подвижных объектов для интеллектуальных систем охранного видеонаблюдения

На правах рукописи

Иванов Юрий Сергеевич

АЛГОРИТМЫ РАСПОЗНАВАНИЯ ПОДВИЖНЫХ ОБЪЕКТОВ ДЛЯ ИНТЕЛЛЕКТУАЛЬНЫХ СИСТЕМ ОХРАННОГО ВИДЕОНАБЛЮДЕНИЯ

05.13.01 — Системный анализ, управление и обработка информации (техника и технология)

АВТОРЕФЕРАТ диссертации на соискание учёной степени кандидата технических наук

2 5 ФЕВ 2015

Хабаровск-2015

005559513

005559513

Работа выполнена в федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Комсомольский-на-Амуре государственный технический университет» (ФГБОУ ВПО «КнАГТУ»)

Научный руководитель: доктор технических наук, профессор

Амосов Олег Семенович

Официальные оппоненты: Катаев Михаил Юрьевич, доктор технических наук,

профессор, федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Томский государственный университет систем управления и радиоэлектроники», профессор кафедры автоматизированных систем управления.

Фищенко Виталий Константинович, кандидат технических наук, старший научный сотрудник, федеральное государственное бюджетное учреждение науки «Тихоокеанский океанологический институт им. В.И. Ильичева» Дальневосточного отделения Российской академии наук, заведующий отделом информационных технологий.

Ведущая организация: Федеральное государственное бюджетное учреждение науки «Институт автоматики и процессов управления» Дальневосточного отделения Российской академии наук», г. Владивосток.

Защита состоится 01 апреля 2015 г. в 15:00 на заседании диссертационного совета Д 212.294.05 при ФГБОУ ВПО «Тихоокеанский государственный университет» по адресу: 680035, г. Хабаровск, ул. Тихоокеанская, 136, ауд. 315л.

С диссертацией можно ознакомиться в библиотеке и на сайте ФГБОУ ВПО «Тихоокеанский государственный университет» http://pnu.edu.ru.

Автореферат разослан «//» ¿7 г 2015 г.

Учёный секретарь диссертационного совета

Бурдинский Игорь Николаевич

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы.

Повсеместное внедрение систем видеонаблюдения вызвало появление спроса на системы интеллектуальной видеоаналитики, под которой понимают технологию, использующую методы компьютерного зрения для автоматизированного получения различной информации на основании анализа последовательности изображений, поступающих с видеокамер в режиме реального времени (РВ) или из архивных записей. Системы машинного зрения могут применяться для распознавания лиц людей, управления энергосбережением, трекинга объектов.

Основной задачей интеллектуальных систем охранного телевидения (СОТ) является контроль доступа в здание или на территорию охраняемого объекта. Основными объектами распознавания являются лица людей и номерные знаки транспортных средств (НЗ ТС).

На данный момент проведено множество исследований в области разработки алгоритмов распознавания, кроме того, на рынке существуют различные программные продукты интеллектуального охранного телевидения.

Несмотря на данный факт, системы подобного типа не получили широкого распространения ввиду того, что основной проблемой является низкая устойчивость алгоритмов к воздействию внешних условий, затрудняющих качество распознавания: 1) уровень освещения; 2) качество изображения; 3) наклоны изображения.

При этом алгоритмы, устойчивые к внешним условиям, зачастую оказываются требовательны к аппаратным вычислительным ресурсам, что затрудняет применение их в системах, работающих в РВ.

Таким образом, разработка методов и алгоритмов, лишенных указанных недостатков, является перспективным направлением. Данный факт подтверждается еще и тем, что разработки в данной области входят в перечень приоритетных направлений развития науки, технологий и техники РФ.

Данная работа посвящена повышению эффективности алгоритмов распознавания образов за счет повышения устойчивости их к воздействию внешних условий и снижению вычислительных требований. Работа ориентирована главным образом на практическое применение разработанных алгоритмов в интеллектуальной СОТ.

Целью работы является повышение эффективности распознавания объектов в видеопотоке системы охранного видеонаблюдения за счет применения новых и модифицированных алгоритмов.

Задачи исследования:

1) критический анализ существующих методов распознавания образов для систем охранного телевидения;

2) разработка алгоритмов адаптивной предобработки на основе определения типа источника освещения с использованием интеллектуального видеоанализа;

3) разработка эффективных алгоритмов локализации и распознавания номерных знаков транспортных средств, устойчивых к воздействию внешних условий;

4) разработка алгоритма детекции подвижных объектов в видеопотоке, адаптирующегося под характеристики наблюдаемой сцены;

5) разработка программных модулей для системы интеллектуального охранного видеонаблюдения с использованием предложенных алгоритмов;

6) разработка и внедрение интеллектуальной системы охранного видеонаблюдения с использованием предложенных алгоритмов.

Методы исследования основаны на математическом моделировании исследуемых процессов, системном анализе, объектно-ориентированном программировании. Использовались современные пакеты прикладного программного обеспечения МаШСАО, МаИаЬ, среда разработки С#. Также были проведены экспериментальные исследования разработанных алгоритмов на системе видеонаблюдения РВ.

Научная новизна работы:

1) Разработан модифицированный алгоритм для локализации номерных знаков транспортных средств в видеопотоке на основе метода Виолы-Джонса с добавлением адаптивной предобработки и последовательной и параллельной двухпроходной классификации.

2) Разработан модифицированный алгоритм детекции подвижных объектов в видеопотоке, особенностью которого является адаптация классификатора под изменяющиеся характеристики сцены и новые образы объектов.

3) Предложены модель, алгоритм и аппаратно-программный комплекс (АПК) улучшенной схемы управления освещением на основе датчиков движения и существующей системы охранного телевидения.

4) Предложена каскадная модель распознавания символов номерного знака, особенностью которой является использование нескольких различных нейроподобных распознающих модулей.

Практическая ценность результатов работы.

Предложенные в работе алгоритмы были применены при разработке системы интеллектуального охранного видеонаблюдения и учета рабочего времени. Интеллектуальная система биометрической идентификации и учета рабочего времени ОагтУК позволяет автоматизировать контрольно-пропускные функции СОТ. Возможности системы заключаются в следующем: детекция и идентификация лиц; распознавание НЗ ТС; управление освещением и системами контроля доступа.

Результаты диссертационной работы внедрены в Технопарк ФГБОУ ВПО «КнАГТУ», в парковочный комплекс ИП Васенко В.О., в учебный процесс кафедры ИСКТиФ ФГБОУ ВПО «АмГПГУ».

По результатам работы получен 1 патент на полезную модель, 4 свидетельства о государственной регистрации программы для ЭВМ.

На защиту выносятся следующие положения:

1. Модифицированный алгоритм для локализации НЗ ТС в видеопотоке на основе метода Виолы-Джонса с добавлением адаптивной предобработки и последовательной и параллельной двухпроходной классификации.

2. Модифицированный алгоритм детекции подвижных объектов в

видеопотоке, особенностью которого является адаптация классификатора под изменяющиеся характеристики сцены и новые образы объектов.

3. Каскадная модель распознавания символов НЗ, с использованием нескольких различных нейроподобных распознающих модулей.

4. Модель, алгоритм и АПК улучшенной схемы управления освещением на основе датчиков движения и существующей СОТ.

5. Интеллектуальная система биометрической идентификации и учета рабочего времени.

Апробация результатов работы. Основные положения и результаты диссертационной работы докладывались и получили одобрение на:

международных научно-практических конференциях «Актуальные проблемы математики, физики, информатики в вузе и школе», г. Комсомольск-на-Амуре, 2010, 2011,2012;

Хабаровском краевом молодежном инновационном конвенте, г. Хабаровск, 2010;

конкурсе научных работ аспирантов ФГБОУ БПО «АмГПГУ», le место, г. Комсомольск-на-Амуре, 2011, 2012;

XIII краевом конкурсе молодых учёных и аспирантов, г. Хабаровск,

2011;

всероссийском молодежном форуме «Селигер 2012», Победитель смены Зворыкинского проекта «Инновации и техническое творчество», оз. Селигер, 2012;

региональной конференции «Передовые идеи Дальнего Востока - XXI веку», победитель программы «У.М.Н.И.К. - 2012», г. Хабаровск, 2012;

научно-методической конференции «Певзнеровские чтения», г. Комсомольск-на-Амуре, 2013;

международной инновационной выставке «АРХИМЕД-2013», г. Москва, 2013;

международной инновационной выставке «Высокие технологии. Инновации. Инвестиции» (HI-TECH 2013), диплом, г. Санкт-Петербург, 2013;

всероссийском конкурсе молодежных проектов на наиболее интересную и перспективную инновационную идею - 2013, проводимом Национальной ассоциацией инноваций и развития информационных технологий (НАИРИТ), победитель, статус официального члена НАИРИТ;

всероссийском конкурсе молодежных инновационных проектов «Зво-рыкинская премия - 2013», полуфиналист, г. Москва, 2013;

региональном этапе road show российских институтов развития Russian Startup Tour - 2014.

Данная работа соответствует приоритетным направлениям развития науки и техники и выполнена в рамках научно-исследовательской работы по программе «У.М.Н.И.К. - 2012», а также по программе «СТАРТ HI 2013» при поддержке «Фонда содействия малых форм предприятий в научно-технической сфере» по теме «Интеллектуальная система биометрической идентификации и учета рабочего времени GarmViS» госконтракт № 11538р/2100.

Публикации и личный вклад автора. Основные результаты диссертации отражены в 10 печатных работах, в том числе 3 - в изданиях, входящих в Перечень российских рецензируемых научных журналов, рекомендованных ВАК. На созданные в процессе диссертационного исследования программные продукты получены свидетельства об официальной регистрации программы для ЭВМ №2014611783, № 2014614579, №2014615049, №2014615047. Получен патент на полезную модель № 138401.

Структура и объём работы. Диссертация состоит из введения, четырёх глав, заключения, списка литературы, приложения. Работа содержит 154 страницы основного текста, 55 рисунков, 10 таблиц, библиографический список из 120 наименований.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обозначена актуальность темы, формулируются цели, задачи и методы исследования, характеризуется научная новизна, достоверность, приведена практическая значимость работы, приводится перечень основных положений, выносимых на защиту, изложено краткое содержание глав диссертации.

В первой главе дано понятие распознавания образов, история развития данной области. Обоснована важность разработки и внедрения интеллектуальных систем охранного телевидения.

В памяти компьютера изображение представлено двумерной матрицей пикселей At размером тхп, в которой каждый пиксель представлен некоторым неотрицательным числом от 0 до 255, если изображение черно-белое; t - номер кадра в видеопоследовательности.

По кадру видеопоследовательности требуется определить, если он есть, список прямоугольников, содержащих объекты а:

rectangle^. = {x,y,w,h,a}, ^

где х, у — координаты центра /'-го прямоугольника, w - ширина, h - высота, а -угол наклона прямоугольника к вертикальной оси изображения.

Необходимо отметить, что в этом кадре может присутствовать несколько объектов.

Сформулирована классическая постановка задачи оптического распознавания образов.

Дано X - множество признаковых описаний объектов. Признаком/объекта а является отображение/X—>D/, где D/- множество допустимых значений признака.

Каждый образ объекта аЕХ характеризуется значениями признаков/;, г-1,.., г , наборы которых одинаковы для всех объектов. Тогда вектор признаков х объекта а£ X может быть определен так:

х=(Ш...,/Да)) (2)

Вектор признаков допустимо отождествлять с самими объектами.

На всём множестве X существует разбиение на конечное множество классов Y=(yi,.... у„). Обучающая выборка представлена следующим образом:

{(х,,у,),..,(х„,;0}, (3)

и представляет собой таблицу, строки которой помечены названиями объектов и содержат их признаковое описание. При этом каждой строке ставится в соответствие класс злеУ.Требуется построить функцию ^Х—»У, сопоставляющую классу,- произвольному объекту из множества X.

Приведена классификация и дан анализ методов и алгоритмов распознавания образов для систем охранного телевидения. В частности, приводятся недостатки следующих методов: методов, основанных на шаблонах; оператора Собе-ля; метода Виолы-Джонса; нейросетевых методов и т.д.

Приведены нерешенные задачи для систем охранного телевидения. Рассмотрено решение проблемы повышения эффективности систем охранного телевидения с точки зрения системного подхода (Рисунок 1).

Системы охранного телевидения

—Функционирование—

Дскомпоэнши *

Детекция номерных ига кое Распознавание символов номерных знаков Детекция лиц Распопкаванне лиц

Оценка системы

Внешние условия ухудши нхцне качество работы: - Уромнь освещения -Качество видео • угол наклона н повороты каиеры

1. Модифицированный алгоритм для локализации номерных знаков транспортных средств в внлеонотокс на основе метода Виолы-Джонса с добавлением адаптивной предобработки и последовательной и параллельной двухлр ох одной классификации.

2. Модифицированный алгоритм детекции подвижных объектов в видео потоке, особенностью которое является адаптация классификатора под изысняюшиес» характеристики смены и новые образы объектив.

3. Каскадная модель распознавания символов номерного знака с использованном нескольких различных нсПрогюдооных распознающих модулей.

4. Модель, алгоритм и АПК улучшенной схемы управления освещением на основе датчиков движения и существующей системы охранного теле-вндення.

И|гге;ь-1сктуа.1Ы1ях С1

—Оценка снятия проблемы—

□

Рисунок 1 - Общий подход к решению проблем СОТ Для решения проблемы проведено системное исследование (декомпозиция, анализ и синтез) системы ОагтУГБ, снимающее проблему. Основные задачи системного

анализа, решаемые в данной работе, были представлены в виде трехуровневого дерева функций (Рисунок 2.)

В конце главы сформулированы задачи диссертации.

[Системы охранного телевидения]

п

Цель;

Лммшсяпс тффетлиист» рисиамамим обиооа • мшопогокс сне ши аяртною иилмИ-ввлеши V «чс! нршежиия носи! ■ _мр.тефицкрчваиныч пгщутш»__

Ввисйсиувишефютяры: Освеиеиие Качество »о® Положммс омери

• Ф)Ш111»чц.аио-стр>>т%р11иГ| ш

А) чип эффективности

_ Тсс1нро»а1иерирлхл»1111к

Пщсисгпш:

Р>С1Ю1ншшк номер ньст

Рисунок 2 - Системный анализ СОТ

Вторая глава посвящена задаче локализации и распознавания НЗ ТС.

Проведен критический анализ существующих алгоритмов локализации НЗ, на основании которого приводятся их основные недостатки.

Предложен модифицированный алгоритм локализации НЗ, особенностью которого является двухпроходная классификация с добавлением адаптивной предобработки.

С использованием тестовой выборки было доказано, что, в отличие от ранее используемых методов, предложенный алгоритм устойчив к изменчивым условиям съемки и качеству видео.

Модифицированный алгоритм локализации НЗ ТС добавлением адаптивной предобработки. Предложенный модифицированный подход состоит из следующих этапов: 1) адаптивная предобработка; 2) поиск областей интереса сканирующим окном с использованием классификатора Хаара; 3) передача НЗ системе сегментации и распознавания символов.

Под адаптивной предобработкой понимается предобработка с изменяющимися, в зависимости от внешних условий, параметрами фильтров, которые приводят изображение к эталонному виду путем подавления внешних шумов и помех, бинаризацией и переводом его в интегральное представление.

В интегральном представлении изображений формируется матрица размера тхп, совпадающая по размерам с исходным изображением. Элементы матрицы рассчитываются по формуле:

где A(i, j) - яркость пикселя исходного изображения.

В отличие от классического подхода, где параметры и типы фильтров указываются заранее, на этапе адаптивной предобработки происходит анализ кадра наблюдаемой сцены для определения типа и характера освещенности, а также качества изображения.

Для оценки уровня освещенности сцены необходимо рассчитать видимую яркость изображения, представленного в модели RGB и содержащего N пикселей:

Yp=^t(^9Rp+0M7Gp+0AUBp). (5)

Jy i

Перейти к относительным величинам можно, разделив значение яркости на максимально возможное значение яркости:

(б)

Сцена с оптимальной яркостью должна иметь значение Yrei, близкое к 0.5.

Также на этапе адаптивной предобработки используется информация о предыдущих успешных локализациях, а именно, информация об отношении размеров НЗ ТС к размеру изображения. Данный подход позволяет адаптировать алгоритм к используемой камере наблюдения и снизить количество проходов сканирующего окна, ограничивая границы возможного размера НЗ.

Таким образом, новизна предложенного подхода состоит в использовании блока адаптивной предобработки с учетом параметров ранее найденных НЗ, что

позволяет уменьшить количество проходов сканирующего окна, повышая тем самым скорость работы алгоритма.

Модифицированный алгоритм локализации НЗ ТС с использованием второго классификатора. Модифицированный алгоритм локализации НЗ ТС с использованием адаптивной предобработки и признаков Хаара показал высокий процент локализаций и скорость работы, но был обнаружен высокий процент ошибок второго рода (Рисунок 3).

Для решения данной проблемы была предложена следующая модификация алгоритма локализации НЗ с использованием двухпроходного алгоритма классификации для корректировки результата (Рисунок 4). Второй проход осуществляется классификатором, обученным на новых положительных образах, представляющих собой символы, используемые в НЗ и регламентированные ГОСТ 3489.2-71. Все области, найденные первым классификатором, передаются на анализ второму классификатору. В случае, если в сканируемой области вторым классификатором были найдены 5 и более образов-символов, расположенных горизонтально относительно друг друга, эта область считается НЗ. Это позволило улучшить корректность работы алгоритма, снижая количество ложных локализаций, без значительного увеличения вычислительных затрат.

Рисунок 3 - Пример ошибки второго рода

Ас-ткки лрздгС-ргКпз Исшахгюн ЯраогопаздяГС тсзсафагкрг

тш капских запие

Кодесзрот

1»*ЛЬ:<£а И сс?.

кйНЕЕЖЕом-^г

Рисунок 4 - Модификация алгоритма локализации НЗ ТС с последовательной работой классификаторов

Кроме того, для повышения качества локализации, было предложено использовать и параллельную обработку данных (Рисунок 5). В этом случае вторым каскадом проверяются не только области интереса первого каскада, а все изображение. Результат работы обоих классификаторов сопоставляется.

Рисунок 5 - Модификация алгоритма локализации НЗ ТС с параллельной работой классификаторов

Возможны следующие события и принятие решения при параллельной работе классификаторов: 1) область изображения не является номером, если она локализована каскадом 1 и не локализована каскадом 2; 2) область изображения яв-

ляется номером, если она локализована каскадом 1 и содержит образы каскада 2; 3) область изображения является номером, если каскад 1 не нашел областей, каскад 2 нашел от 5 до 8 образов, расположенных горизонтально на расстоянии не более 20% от их размера.

Несмотря на незначительное увеличение времени обработки кадра, данный подход увеличивает процент правильных срабатываний алгоритма до 98,56%. На рисунке 6 проиллюстрирована работа каждого из подходов.

Предложенный алгоритм был апробирован экспериментальным путем с использованием тестовой выборки (Таблица 1).

В результате моделирования было выяснено, что при использовании 1 классификатора с адаптивной предобработкой процент правильно локализованных НЗ выше 94%, но наблюдается при-

сутствие ошибок второго рода, когда объект фона принимается за НЗ. _Таблица 1 - Сравнение предложенного алгоритма с существующими методами

Последовательные проходы Параллельный проход

Среднее время обработки 1 кадра, с. 0,061 0,074

Процент правильных обнаружений 97,8% 98,56%

Процент правильных обнаружений на зашумленных изображениях 82,2% 84,1%

Минимальная освещенность сцены 30 лк 30 лк

Максимальный крен НЗ 45 градусов 45 градусов

Максимальное количество НЗ Не ограничено Не ограничено

Использование второго классификатора в качестве корректирующего блока увеличивает показатель правильных локализаций до 97,8% за счет снижения ошибок второго рода с 3,84% до 0,87%, незначительно снижая время обработки на 0,013 с. При последовательном использовании 2-х классификаторов время обработки кадра составляет 0,06 с.

Использование параллельной работы двух классификаторов незначительно увеличивает время обработки до 0,074 с, но при этом позволяет достичь показателя правильной локализации свыше 98,56%, что позволяет успешно применять предложенный алгоритм в реальных условиях.

Для решения задачи распознавания символов НЗ был проведен анализ существующих методов. Были проведены экспериментальные исследования по применению нейронных сетей для оптического распознавания символов. Предложен модифицированный подход с применением каскадной модели нейронных сетей для распознавания символов НЗ.

Одним из широко используемых методов повышения точности распознавания является одновременное использование нескольких различных распознающих модулей и последующее объединение полученных результатов путем голосования. При этом очень важно, чтобы алгоритмы, используемые этими модулями, были как можно более независимы. Это может достигаться за счет использования

а) б) в)

Рисунок 6 - Пример работы алгоритма: а) -использование 1 классификатора; б) - последовательное использование 2-х классификаторов; в) - параллельное использование работы 2-х классификаторов

распознающих модулей, использующих принципиально различные алгоритмы распознавания.

В диссертации предложен метод, основанный на использовании каскадной модели нескольких классификаторов:

1. 2.

3.

4.

4.1.

4.2.

Метод сравнения с эталоном. Многослойный персептрон.

Вероятностная сеть, обученная на 24 классах (буквы, цифры и шум). Вероятностная сеть: обученная на 14 классах (буквы и шум); обученная на 11 классах (цифры и шум).

При тестировании распознаваемые символы подаются на вход всем четырем классификаторам. Причем выбор четвертого классификатора зависит от позиции символа в НЗ. Оценки, получаемые на выходе, умножаются на рейтинг доверия и складываются. Символ, получивший наибольшую суммарную оценку, выдается в качестве результата распознавания.

Предложенная каскадная модель выглядит следующим образом (Рисунок 7):

1. Каждый сегментированный символ получает свой порядковый номер (слева-направо).

2. Если порядковый номер равен 1, 5, 6, то образ символа передается:

2.1. многослойному персептрону;

2.2. методу сравнения с эталоном (матричному методу);

2.3. вероятностной сети, обученной на 24 класса;

2.4. вероятностной сети, обученной на буквах;

3. Если порядковый номер равен 2, 3, 4, 7, 8, 9, то образ символа передается:

3.1. многослойному персептрону;

3.2. методу сравнения с эталоном (матричному методу);

3.3. вероятностной сети, обученной на 24 класса;

3.4. вероятностной сети, обученной на цифрах;

4. Происходит сложение результатов.

Предложенная модель была апробирована экспериментальным путем с использованием тестовой выборки. Показатель правильных распознаваний на искаженных и зашумленных изображениях составил 98,7%. Это свидетельствует об устойчивости предложенного подхода к внешним воздействиям на изображения и возможности применения его в с реальных системах распознавания НЗ ТС.

Ш71

Я...9

Рисунок 7 - каскадная модель алгоритма распознавания символов НЗ

В третьей главе решаются задачи детекции лиц людей. Был предложен комплекс показателей для предварительной оценки классификатора с использованием его обучающей выборки. Описан модифицированный

алгоритм детекции подвижных объектов в видеопотоке, особенностью которого является адаптация классификатора под изменяющиеся характеристики сцены и новые образы объектов.

Лицо человека может отличаться по таким критериям, как условия съёмки (расстояние до камеры, ракурс, освещённость), эмоциональное состояние (выражение лица — нейтральное, напряжённое, весёлое, грустное и т.д.), параметры оцифровки (разрешение, количество уровней яркости, контраст, насыщенность (интенсивность)), шум (вносимый как во время фотопроцесса, так и на стадии оцифровки изображения). Все эти факторы снижают процент правильной классификации.

Воздействие внешних условий на объект а выражается следующим образом: Q(а)=(<ад, ау, az, Lux, Noise,). (7)

где аи - боковой наклон лица относительно вертикальной оси, av - поворот лица относительно вертикальной оси, az - фронтальный угол наклона головы (зависит от высоты установки и угла наклона камеры), Lux — уровень освещённости сцены, Noise - уровень зашумленности изображения (0 - идеальное изображение, 1 -бесконечно испорченное изображение)

Обучающая выборка представлена множеством объектов с метками их классов, тогда любую обучающую/тестирующую выборку, состоящую из п изображений, можно описать следующим вектором:

D = {Q(ai), Q(a2),... Q(an)} = {(ал/, av¡, azi, Liai, Noisei), ...,(№, am, azn, Luxn, Noisen)}. (8)

Классический алгоритм детекции лица предполагает наличие предварительно обученного классификатора, а эффективность классификации будет зависеть от его обобщающей способности, под которой понимают способность классификатора выдавать правильные результаты не только для образов, участвовавших в процессе обучения, но и для любых новых, которые отсутствуют в обучающей выборке. Чем ближе вектор образа а к одному из векторов обучающей выборки, тем выше вероятность правильной классификации. Способность к обобщению классификатор может приобрести только за счет большого числа разнообразных комбинаций входных и целевых значений в примерах обучающего множества. При этом необходимо, чтобы выборка была репрезентативной относительно изображений, поступающих с конкретной камеры наблюдения, то есть учитывала множество вариаций изменения признаков объекта а в зависимости от влияющих на него факторов.

Так как формирование такой обучающей выборки, которая содержала бы все возможные вариации объекта, невозможно, то для соблюдения вышеуказанного условия возникает потребность формировать обучающее множество с учетом конкретных условий съемки. Несмотря на то, что такой подход позволит получить наиболее эффективный классификатор, он влечет следующие трудности: 1) необходимо заранее знать условия съемки и характеристики объектов, что не всегда бывает выполнимо; 2) зная характеристики объектов, необходимо сформировать обучающую выборку под конкретную камеру наблюдения, что является довольно трудоемким процессом; 3) на сформированной выборке необходимо обучить

классификатор, при этом процесс обучения может занимать до нескольких недель.

Предложено совместное использование двух классификаторов: первый из них построен на основе метода Виолы-Джонса, предварительно обучен и хорошо зарекомендовал себя в большинстве программных продуктов; второй классификатор должен поддерживать онлайн обучение. Обучение второго классификатора будет происходить следующим образом:

1. Выполняется внешняя калибровка камеры, которая позволяет определить такие параметры, как: углы наклона камеры, высоту установки, условия освещения.

2. Если параметры изображений соответствуют или близки идеальным, то есть углы наклона незначительны, освещение яркое, то необходимость в использовании второго классификатора отсутствует. Детекция выполняется только классификатором, построенном на основе метода Виолы-Джонса.

3. Если условия съемки отличны от идеальных, то на основании параметров выбираются из предварительно сформированной базы эталонов изображения, наиболее близкие к данным условиям, таким образом формируется обучающая выборка с учетом условий съемки.

4. Полученная выборка используется для обучения второго классификатора.

5. В процессе работы алгоритма, все образы, полученные вторым классификатором также используются для его дообучения классификатора.

Для автоматизации определения внешних параметров используется специальная маркерная фигура или шаблон в виде шахматной сетки.

Предложенный модифицированный подход состоит из следующих этапов (Рисунок 8):

1. Определение параметров изображения. Если параметры не соответствуют идеальным, то сформировать из базы эталонов обучающую выборку, близкую по параметрам к изображениям сцены.

2. Обнаружение движения.

3. Предварительная обработка изображения.

4. Поиск лиц:

1.1. если параметры изображения идеальные - методом Виолы-Джонса;

1.2. если параметры изображения не идеальные - методом опорных векторов.

5. Дообучение классификатора On-line Independent Support Vector Machines

(OISVM) с использованием нового образа.

Выполняется первоначальная настройка системы. Для этого необходимо выполнить внешнюю калибровку камеры.

Эта задача решена с помощью определения модели камеры C'w , которая позволяет сопоставить любой точки пространства (х1", yw, z'"), заданной в мировой системе координат, точку на изображении (г,с) при произвольном масштабирующем элементе s:

х"

s-r

s-c =c; yw ■ (9)

z

J

L1

Внешние параметры описывают местоположение и ориентацию системы координат камеры в мировой системе координат.

Если параметры изображения сцены не соответствуют идеальным, то необходимо из предварительно сформированной базы эталонов выбрать обучающие образы, подходящие под данные условия. База эталонов представляет собой предварительно промаркированную базу изображений лиц людей, содержащую различные вариации освещения, углов поворотов и наклонов. Из данной базы будут выбираться только необходимые изображения. Так, с помощью данного подхода, мы формируем обучающую выборку для классификатора OISVM, которая будет являться идеальной для наблюдаемой сцены. После предварительного обучения второго классификатора система работает в штатном режиме.

На вход подается кадр видеопотока, который анализируется детектором движения. Область движения анализируется на предмет присутствия объекта (лица). Поиск осуществляется одним из двух способов: классификатором Виола-Джонса или методом опорных векторов. В случае идеальных условий сцены, работа алгоритма не отличается от классического подхода. В противном случае, детекция выполняется автоматически обученным классификатором OISVM. Также в процессе работы выполняется добучение данного классификатора.

Для обучения классификатора в РВ используются образы, найденные им самим, в случае если они отсутствовали в обучающей выборке. Нами не исключается подход, основанный на работе двух классификаторов одновременно, так как это увеличит надежность системы и обобщающую способность алгоритма. При этом положительные образы, которые определил классификатор Виолы-Джонса также могут быть использованы для дообучения второго классификатора.

Сравнение классического и предложенного подходов было выполнено с помощью построения ROC-кривой, выражающей соотношение уровня верных и ложных обнаружений. При этом рассчитывался численный показатель площади под ROC-кривой — Area Under Curve (AUC).

Результаты эксперимента показали следующее: на тестирующей выборке реальной БД AUC для классификатора Виолы-Джонса был равен 86%, при этом AUC предложенного подхода составил 92,5%, что намного выше значения, полученного первым классификатором. Данный факт позволяет сделать вывод о эффективности применения предложенного алгоритма в реальных системах распознавания образов. Это подтверждает рекомендацию сделанною нами ранее о повышении эффективности за счет постоянной работы двух классификаторов. Возможность онлайн обучения без вмешательства человека позволяет адаптировать алгоритм под изменяющиеся условия съемки и качество поступающих образов.

Кадр BiucouoTOKa

Я

Вылсжщю oU'iUCI I

g

■ Приход no икшражсшно \ | сканирующий okiiom I.ji )—1

! Прс.чыртслию [ . \ сформированная БД ' ;

П>™

<1Ч'РМ11Р0М1И||С Л

-Г

Формирование ci прямоугольннкоп. содержащих OCIICKT

Ü

7

J

Рисунок 8 - Синтезированный алгоритм детекции объектов с использованием метода Виолы-Джонса и последовательного обучения OISVM (OISVM+Виола-Джонс)

В четвёртой главе предложена интеллектуальная система биометрической идентификации и учета рабочего времени GarmVIS, построенная на базе разработанных алгоритмов.

Была дана общая характеристика СОТ, обоснована необходимость применения видеоаналитики в системах безопасности, а также описываются существующие разработки, с указанием их недостатков.

Сформированы технические и функциональные требования к интеллектуальной СОТ.

Обоснован выбор средств разработки и описана программная реализация разработанной системы.

С учетом технических требований была разработана архитектура, состоящая из платформы и следующих модулей:

• Модуль детекции и распознавания НЗ ТС (GarmVIS Parking)

• Модуль распознавания лиц (GarmVIS Security)

• Модуль управления энергосбережением (GarmVIS Smart Light)

В основе работы модуля распознавания автомобильных номеров лежат алгоритмы, описанные в Главе 2 настоящей работы. В основе работы модуля распознавания лиц лежат алгоритмы, описанные в Главе 3 настоящей работы.

Подробно описывается модуль управления энергосбережением. Особенностью данного подхода является объединение СОТ и аппаратных систем управления энергосбережением. Благодаря использованию видеоаналитики, для построения системы не требуется установка иных устройств, кроме существующей СОТ и датчиков движения (ДД). Аппаратная часть представляет собой ПК, который принимает видеопоток с камеры видеонаблюдения. Управляющий сигнал передается на микроконтроллер типа Ke-USB24R/Laurent/Jerome для управления силовыми нагрузками. Микроконтроллер подключается параллельно ИК-датчику движения (Рисунок 9а, 16).

Наблюдаемая сцена

»ход ДЛ

ИГГ

ш-

и.

ЕУ

4| мк и р I"

Программное обеспечение (ПО)

Определение Определение

уроння — типа освещенности

сцены сп (сны

Поиск

кадре

а) б)

Рисунок 9 - Предлагаемый АПК: а) схема подключения; б) структурная схема Принципиальная схема работы (Рисунок 10) была реализована в АПК.

Удаленный доступ

Аналоговые камеры

Рисунок 10 - Алгоритм работы АПК. Использование в системе функций управления энергосбережением дает дополнительное преимущество перед близкими аналогами. Модуль позволяет:

• детектировать лица людей в видеопотоке;

• управлять искусственными источниками освещения;

• детектировать наличие движения;

• определять тип и характер источника освещения.

Также в главе были описаны принципы работы разработанной системы. Установка производится на ПК пользователя, который должен иметь канал связи с внешними устройствами (Рисунок 11).

Были описаны события системы и представлены изображения диалоговых Рисунок 11 — Подключение внешних окон (Рисунок 12). устройств к системе ОагшУК

Разработка системы выполнялась в рамках научно-исследовательской работы по реализации инновационного проекта. Необходимым условием финансирования являлась разработка бизнес-плана, на основании которого экспертами была подтверждена актуальность проекта. В конце данной главы приведены основные положения из бизнес-плана и доказана экономическая эффективность разработки.

Рисунок 12 - Скриншоты системы БагтУВ

ЗАКЛЮЧЕНИЕ

В ходе выполнения диссертационной работы были получены следующие результаты:

1. Был проведен критический анализ существующих методов оптического распознавания образов. Основной проблемой является низкая устойчивость алгоритмов к воздействию внешних условий, затрудняющих качество распознавания: 1) уровень освещения; 2) качество изображения; 3) наклоны изображения. При этом алгоритмы, устойчивые к внешним условиям, зачастую оказываются требовательны к аппаратным вычислительным ресурсам, что затрудняет применение их в системах, работающих в РВ.

2. Был разработан алгоритм адаптивной предобработки на основе полученных зависимостей между типом освещения и цветовыми моделями для определения типа источника освещения. В отличие от классического подхода, где параметры и типы фильтров указываются заранее, на этапе адаптивной предобработки происходит анализ кадра наблюдаемой сцены для определения типа и характера освещенности, а также качества изображения.

3. Разработан модифицированный алгоритм для локализации НЗ ТС в видеопотоке на основе метода Виолы-Джонса с добавлением адаптивной предобработки и последовательной и параллельной двухпроходной классификации. Экспериментально доказано, что применение данного подхода увеличивает показатель правильных локализаций НЗ до 98%, что позволяет применять предложенный алгоритм в реальных системах контроля транспортных потоков.

4. Предложена каскадная модель распознавания символов НЗ, особенностью которой является использование нескольких различных нейроподобных распознающих модулей.

5. Разработан модифицированный алгоритм детекции подвижных объектов в видеопотоке, особенностью которого является адаптация классификатора под изменяющиеся характеристики сцены и новые образы объектов. Оригинальность предложенного подхода состоит в применении классификатора 018УМ и его онлайн обучении для детекции динамических объектов в видеопотоке, причем предварительное обучение происходит в автоматическом режиме на основании данных, полученных от внешней калибровки камеры. Экспериментально доказано, что применение предложенного нами подхода увеличивает показатель правильных детекций объектов до 92,5%, что позволяет применять предложенный алгоритм в реальных системах детекции образов.

6. Предложены модель, алгоритм и АПК улучшенной схемы управления освещением на основе датчиков движения и существующей СОТ. Показано, что применение данного подхода значительно расширяет возможности системы.

7. Разработаны программные модули для системы интеллектуального охранного видеонаблюдения с использованием предложенных алгоритмов.

8. Практическая ценность полученных результатов подтверждается их использованием при решении ряда практических задач. Результаты внедрены путём

использования разработанной интеллектуальной СОТ GarmVIS в Технопарке ФГОУ ВПО «КнАГТУ».

Основные результаты диссертационной работы представлены в списке публикаций.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Иванов, Ю.С. Модель, алгоритмы и аппаратно-программный комплекс для управления освещением на основе системы охранного телевидения / О.С. Амосов, Ю.С. Иванов // Информатика и системы управления. - 2013. - № 1 (35). - С. 156-166.

2. Иванов, Ю.С. Модифицированный алгоритм локализации номерных знаков транспортных средств на основе метода Виолы-Джонса / О.С. Амосов, Ю.С. Иванов // Информатика и системы управления. - 2014. - № 1 (39). - С. 127-140.

3. Иванов, Ю.С. Модифицированный алгоритм детекции лиц в видеопотоке и его программная реализация [Электронный ресурс] / О.С. Амосов, Ю.С. Иванов // Науковедение. - 2014 - №3 (22). - Режим доступа : http://naukovedenie.ru/PDF/23TVN314.pdf.

4. Интеллектуальная изоляционная система: п. м. 138401 Рос. Федерация : МПК Н 01 В 17/00 (2006.01) / Амосов О.С., Иванов С.Н., Иванов Ю.С.; заявитель и патентообладатель ООО МИП «Позитрон-ДВ» при ФГБОУ ВПО «КнАГТУ». -2013133649/07 ; заяв. 18.07.2013 ; опубл. 10.03.2014, Бюл. № 7. -2 е.: ил.

5. Интеллектуальная программа для автоматизации автостоянок GarmVIS Parking : свидетельство об офиц. регистрации программы для ЭВМ № 2014614578 Рос. Федерация: МПК (нет) / О.С. Амосов, Ю.С. Иванов, Д.П. Катунцев; заявитель и правообладатель ООО МИП «Позитрон-ДВ» при ФГБОУ ВПО «КнАГТУ». - № 2014611783 ; заявл. 04.03.2014 ; зарегистрировано в реестре программ для ЭВМ 29.04.2014, Бюл. № 5 (91) - 1 с.

6. Интеллектуальная программа для управления освещением GarmVIS Smart Light : свидетельство об офиц. регистрации программы для ЭВМ № 2014614579 Рос. Федерация: МПК (нет) / О.С. Амосов, Ю.С. Иванов, Д.П. Катунцев; заявитель и правообладатель ООО МИП «Позитрон-ДВ» при ФГБОУ ВПО «КнАГТУ». - № 2014611784 ; заявл. 04.03.2014 ; зарегистрировано в реестре программ для ЭВМ 29.04.2014, Бюл. № 5 (91) - 1 с.

7. Интеллектуальная программа для автоматической идентификации личности по отпечаткам пальцев FinPrint ID : свидетельство об офиц. регистрации программы для ЭВМ № 2014615049 Рос. Федерация: МПК (нет) / О.С. Амосов, Ю.С. Иванов, JI.B. Астафьева; заявитель и правообладатель ООО МИП «Позитрон-ДВ» при ФГБОУ ВПО «КнАГТУ». - №2014612573 ; заявл. 26.03.2014 ; зарегистрировано в реестре программ для ЭВМ 15.05.2014, Бюл. № 6 (92) - 1 с.

8. Интеллектуальная программа для автоматической верификации личной подписи SignRE verification : свидетельство об офиц. регистрации программы для ЭВМ № 2014615047 Рос. Федерация: МПК (нет) / О.С. Амосов, Ю.С. Иванов, А.А. Авдеенко; заявитель и правообладатель ООО МИП «Позитрон-ДВ» при

ФГБОУ ВПО «КнАГТУ». - № 2014612572 ; заявл. 26.03.2014 ; зарегистрировано в реестре программ для ЭВМ 15.05.2014, Бюл. № 6 (92) - 1 с.

9. Иванов, Ю.С. Обзор нейросетевых технологий в задачах распознавания лиц / Ю.С. Иванов // Всероссийская научно-практическая конференция «Актуальные проблемы математики, физики, информатики в вузе и школе» : материалы конференции. - Комсомольск-на-Амуре: Изд-во АмГПГУ, 2010 -С. 90-94.

Ю.Иванов, Ю.С. Сравнительный анализ алгоритмов и систем компьютерного зрения для распознавания и анализа лица человека. / Ю.С. Иванов // Международная научно-практическая конференция «Актуальные проблемы математики, физики, информатики в вузе и школе» : материалы конференции.

- Комсомольск-на-Амуре: Изд-во АмГПГУ, 2011. - С. 53-57.

П.Иванов, Ю.С. Применение модифицированного алгоритма ViolaJones к задаче обнаружения лица человека в видеопотоке / Ю.С. Иванов // Международная научно-практическая конференция «Актуальные проблемы математики, физики, информатики в вузе и школе» : материалы конференции.

- Комсомольск-на-Амуре: Изд-во АмГПГУ, 2012. - С. 52-61.

12. Иванов, Ю.С. Обзор методов локализации и распознавания номерных знаков при разработке системы автоматизации парковочного комплекса [Электронный ресурс] / Ю.С. Иванов, Д.П. Катунцев // Вестник научного общества студентов, аспирантов и молодых ученых. - 2013. - Режим доступа : http://amgpgu.ru/activity/scinsce/okm/nirs/vestniky.

13. Иванов, Ю.С. Платформа программного комплекса автоматизированной системы безопасности GARMVIS [Электронный ресурс] / Ю.С. Иванов, Д.П. Катунцев // Вестник научного общества студентов, аспирантов и молодых ученых. -

2013. - Режим доступа : http://amgpgu.ru/activity/scinsce/okm/nirs/vestnik/.

14. Иванов, Ю.С. Программная реализация нейроподобных структур для распознавания речи [Электронный ресурс] / Ю.С. Иванов, А.О. Соловьева // 44-я научно-техническая конференция аспирантов и студентов «Научно-техническое творчество аспирантов и студентов» : материалы конференции. -2014. - Режим доступа : http://www.knastu.ru/images/stories/conf2014/CEOPHHK_BoccTaiiOBneii_l.pdf.

15. Иванов, Ю.С. Обзор метода верификации личности по подписи и разработка программного обеспечения [Электронный ресурс] / Ю.С. Иванов, A.A. Авде-енко // Вестник научного общества студентов, аспирантов и молодых ученых. -

2014. - № 1. - Режим доступа : http://amgpgu.ru/activity/scinsce/okm/nirs/vestnik/.

16. Иванов, Ю.С. Обзор методов распознавания образов при разработке автоматической системы идентификации личности по отпечаткам пальцев [Электронный ресурс] / Ю.С. Иванов, JI.B. Астафьева // Вестник научного общества

студентов, аспирантов и молодых ученых. - 2014. - № 1.--Режим доступа :

http://amgpgu.ru/activity/scinsce/okm/nirs/vestnik/.

Иванов Юрий Сергеевич

АЛГОРИТМЫ РАСПОЗНАВАНИЯ ПОДВИЖНЫХ ОБЪЕКТОВ ДЛЯ ИНТЕЛЛЕКТУАЛЬНЫХ СИСТЕМ ОХРАННОГО ВИДЕОНАБЛЮДЕНИЯ

АВТОРЕФЕРАТ диссертации на соискание учёной степени кандидата технических наук

Подписано в печать 22.01.2015 г. Формат 60x84 1/16. Бумага писчая. Гарнитура «Тайме». Печать цифровая. Усл. печ. л. 1,1. Тираж 100 экз. заказ №23 Отдел оперативной полиграфии издательства Тихоокеанского государственного университета 680035, Хабаровск, ул. Тихоокеанская 136.