автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Модельно-алгоритмическое обеспечение интеллектуальной системы видеонаблюдения за нерегулируемыми пешеходными переходами

УДК 004.89

На правах

Колосовский Максим Александрович

Модельно-алгоритмическое обеспечение интеллектуальной системы видеонаблюдения за нерегулируемыми пешеходными переходами

Специальность 05.13.01 —

Системный анализ, управление и обработка информации (связь и информатизация)

Автореферат диссертации на соискание учёной степени кандидата технических наук

1 АПР 2015

Новосибирск — 2015

005566411

005566411

Работа выполнена в Федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Алтайский государственный технический университет им. И. И. Ползунова»

Научный руководитель: кандидат физико-математических наук, доцент

Крючкова Елена Николаевна

Официальные оппоненты: Г^иф Михаил Геннадьевич

доктор технических наук, профессор, заведующий кафедрой автоматизированных систем управления ФГБОУ ВПО «Новосибирский государственный технический университет»

Тропченко Александр Ювенальевич

доктор технических наук, профессор, профессор кафедры вычислительной техники ФГАОУ ВО «Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики»

Ведущая организация: ФГАОУ ВПО «Санкт-Петербургский государ-

ственный университет аэрокосмического приборостроения»

Защита состоится «15» мая 2015 г. в 13 часов 00 минут на заседании диссертационного совета Д 219.005.03 при ФГОБУ ВПО «Сибирский государственный университет телекоммуникаций и информатики» по адресу 630102, г. Новосибирск, ул. Кирова, 86, ауд. 625.

С диссертацией можно ознакомиться в библиотеке ФГОБУ ВПО «Сибирский государственный университет телекоммуникаций и информатики», а также на сайте http://www.sibsutis.ru/science/postgraduate/dis_sovets/.

Автореферат разослан « ОЪ 2015 г.

Ученый секретарь диссертационного

совета Д 219.005.03,

к.т.н.

Полетайкин Алексей Николаевич

Общая характеристика работы

Актуальность. В настоящее время отмечается бурный рост использования систем видеонаблюдения, что объясняется широким кругом решаемых такими системами задач и постоянно увеличивающейся доступностью средств наблюдения и связи. Системы видеонаблюдения находят применение в сферах мониторинга дорожно-транспортных систем, обеспечения безопасности и правопорядка, беспилотной авиации, контроля производственных процессов, а также во многих других сферах. Их использование позволяет анализировать поведение наблюдаемых объектов, повышать эффективность их управления, надежность и качество получаемых результатов, оказывать поддержку при принятии решений.

С развитием компьютерных методов обработки визуальной информации все более привлекательными становятся интеллектуальные системы видеонаблюдения, способные в автоматическом режиме анализировать поступающую информацию. Информатизация процесса позволяет кардинально увеличить масштабы мониторинга и сократить использование человеческих ресурсов, увеличив при этом надежность и непредвзятость наблюдения.

Существенную долю интеллектуальных систем видеонаблюдения составляет дорожное наблюдение, занимающееся, среди прочего, контролем соблюдения правил дорожного движения, мониторингом загруженности дорог, обнаружением дорожно-транспортных происшествий. Так, например, в г. Москве количество камер дорожного видеонаблюдения ежегодно увеличивается в 1,5-2 раза, уже сейчас 95% штрафов выписывается именно благодаря автоматическим системам. Такие системы устанавливают, например, нарушение скоростного режима, проезд на «красный» свет, движение в запрещенной зоне, пересечение сплошной линии.

Данная работа посвящена обнаружению непредоставления водителем преимущества в движении пешеходу на нерегулируемом переходе. С точки зрения алгоритмов распознавания образов выявление такого нарушения принципиально сложнее, чем вышеупомянутых нарушений, для которых, как правило, достаточно простого алгоритма па основе вычитания фона и задания геометрии сцены. Помимо многочисленных сложностей распознавания, разработка такой системы осложняется необходимостью формализации задачи обнаружения непредоставления преимущества в движении пешеходу на переходе. По этим причинам подобные разработки крайне слабо представлены на российском и международном рынках.

Россия стабильно занимает одно из первых мест по числу погибших и пострадавших в дорожно-транспортных происшествиях. И если общее число нарушений постепенно снижается, то число происшествий на нерегулируемых пешеходных переходах возрастает, что делает развитие технологий контроля безопасности дорожного движения особенно актуальным.

Целью исследования является разработка специального алгоритмического обеспечения интеллектуальной системы видеонаблюдения на основе компьютерных методов обработки информации, ориентированной на проблему обеспечения безопасности дорожного движения на нерегулируемых пешеходных переходах и повышающей эффективность контроля за соблюдением правил дорожного движения на этих участках дорожно-транспортной системы посредством предоставления интеллектуальной поддержки при принятии решения о вынесении постановления об административном правонарушении.

Задачи исследования. Для достижения поставленной цели были решены следующие

задачи:

1. Исследование особенностей работы различных алгоритмов обнаружения и сопровождения людей и автомобилей, исследование специфики видеонаблюдения за нерегулируемыми пешеходными переходами, ориентированное на повышение эффективности

функционирования разрабатываемой системы видеонаблюдения с учетом выявленных особенностей.

2. Формализация задачи выявления нарушений на нерегулируемом пешеходном переходе по траекториям участников движения и разработка модели, выявляющей такие нарушения.

3. Разработка новых или совершенствование существующих методов и алгоритмов обнаружения и сопровождения объектов для отслеживания участников движения.

4. Разработка критериев оценки эффективности созданной интеллектуальной системы видеонаблюдения и проведение экспериментального исследования характеристик системы.

Научная новизна заключается в следующем:

1. Выполнена формализация задачи выявления нарушения «непредоставление преимущества в движении пешеходу на нерегулируемом переходе» и создана модель анализа траекторий участников движения, позволяющая выявлять такие нарушения даже при условии неполноты информации о положениях участников движения.

2. Предложен алгоритм взаимодействия детектора активности, детектора объектов и трекера объектов, работающий в режиме реального времени даже при использовании вычислительно сложного детектора объектов, непрерывно отслеживающий меняющийся набор наблюдаемых объектов и способный восстанавливаться после ошибок алгоритмов обнаружения и сопровождения объектов.

3. Предложено усовершенствование алгоритма построения модели фона, позволяющее адаптироваться к быстрым изменениям освещения сцены и снизить степень смешения модели фона с подвижными объектами, но сохраняющее высокую производительность исходного алгоритма.

4. Предложена процедура формирования обучающего набора для детектора объектов, повышающая показатели качества обнаружения на новых неизвестных данных, увеличивающая устойчивость классификатора к перекрытиям объектов друг другом и устойчивость к шумам камеры и артефактам сжатия видео.

Область исследования. Область исследования соответствует Паспорту специальности ВАК Минобразования и науки РФ 05.13.01 «Системный анализ, управление и обработка информации»: п. 2. Формализация и постановка задач системного анализа, оптимизации, управления, принятия решений и обработки информации; п. 4. Разработка методов и алгоритмов решения задач системного анализа, оптимизации, управления, принятия решений и обработки информации; п. 5. Разработка специального математического и алгоритмического обеспечения систем анализа, оптимизации, управления, принятия решений и обработки информации; п. 12. Визуализация, трансформация и анализ информации на основе компьютерных методов обработки информации.

Отрасль исследований. Представляемое исследование соответствует отрасли «связь и информатизация», так как его результаты направлены на информатизацию процесса контроля соблюдения правил дорожного движения на нерегулируемых пешеходных переходах.

Объектом исследования является процесс контроля соблюдения правил дорожного движения водителями на нерегулируемых пешеходных переходах посредством информатизации с использованием компьютерных методов обработки информации. Предметом исследования являются методы и алгоритмы компьютерного зрения и машинного обучения.

Личный вклад автора. Основные результаты диссертации, модель выявления нарушений, новые алгоритмы обработки данных, компьютерная реализация системы видеонаблюдения (за исключением ряда заимствованных реализаций алгоритмов), получены лично автором.

Теоретическая ценность диссертации. Ввиду того, что отслеживание объектов (особенно, людей и автомобилей) встречается в подавляющем большинстве задач интеллектуального видеонаблюдения, область применения результатов данной диссертации включает не только видеофиксацию нарушений на нерегулируемых пешеходных переходах, но другие задачи интеллектуального видеонаблюдения. Методология, примененная для разработки модели анализа нарушений непредоставления преимущества в движении пешеходу на переходе, может быть использована для разработки других алгоритмов, решающих задачу анализа траекторий в условиях неполноты информации о положениях объектов интереса.

Достоверность научных результатов обеспечивается следованием парадигме скользящего контроля (кросс-валидации), позволяющей повысить объективность измерения обобщающей способности алгоритмов машинного обучения, при оценке качества работы системы видеонаблюдения.

Практическая ценность полученных результатов. Созданное алгоритмическое обеспечение может применяться для наблюдения за нерегулируемыми пешеходными переходами, а также служить основой для разработки других систем видеонаблюдения, предназначенных для отслеживания людей и автомобилей, что составляет значительную часть рынка интеллектуального видеонаблюдения. Созданные инструменты для разметки данных могут быть использованы для разметки других данных, что позволит более подробно изучить работу данной или подобных систем наблюдения. Кроме того, представляют ценность собранные и размеченные данные для обучения и тестирования алгоритмов.

Внедрение результатов исследования. Разработанная интеллектуальная система видеонаблюдения за нерегулируемыми пешеходными переходами будет внедряться в реальную инфраструктуру дорожного наблюдения в г. Москве и в других субъектах РФ в сотрудничестве с резидентом инновационного кластера Сколково компанией УтопЬаЬз. Результаты диссертационного исследования составляют содержание инновационного проекта, получившего поддержку в виде гранта на выполнение научно-исследовательских работ по программе «У.М.Н.И.К.» от ФГБУ «Фонд содействия развитию малых форм предприятий в научно-технической сфере», госконтракт №807ГУ1/2013 (0000068) от 28.11.2013 г.

Методологическую основу исследования составляют теории распознавания образов, цифровой обработки изображений и машинного обучения по прецедентам, системный анализ, теория конечных автоматов. Основные инструменты исследования включают пакет прикладных программ МаЙаЬ, библиотеки ОрепСУ и \'1_Реа1.

Апробация работы. Основные результаты работы докладывались на следующих конференциях и семинарах: Международная конференция по компьютерной графике и зрению «Графикон'2013» (2013 г., г. Владивосток), XIII Всероссийская конференция молодых ученых по математическому моделированию и информационным технологиям (2012 г., г. Новосибирск), XIX Международная научно-практическая конференция студентов и молодых учёных «Современные техника и технологии (СТТ'2013)» (2013 г., г. Томск), Всероссийская научно-техническая конференция студентов, аспирантов и молодых ученых «Научная сессия ТУСУР-2013» (2013 г., г. Томск), X Всероссийская научно-техническая конференция студентов, аспирантов и молодых ученых «Наука и Молодежь—2013 (НИМ'2013)» (2013 г., г. Томск), IV Всероссийская конференция «Знания-Онтологии-Теории (30НТ-13)» (2013 г., г. Новосибирск), XIV Всероссийская конференция молодых ученых по математическому моделированию и информационным технологиям (2013 г., г. Томск), II Всероссийская научно-практическая конференция «Информационные и инфокоммуникационные технологии - реалии, возможности, перспективы» (2014 г., г. Нижний Новгород), 52-ой Международная научная студенческая

конференция «МНСК-2014» (2014 г., г. Новосибирск), Всероссийская студенческая научно-практическая конференция «Молодая Наука — 2014» (2014 г., г. Москва), XX International Conference for Students and Young Scientists «Modern Technique and Technologies (MTT'2014)» (2014 г., г. Томск), Всероссийская научно-практическая конференция «Молодёжь. Наука. Современность» (2014 г., г. Ижевск), XVIII Всероссийская научная конференция студентов, аспирантов и молодых ученых «Наука и молодежь: проблемы, поиски, решения» (2014 г., г. Новокузнецк), 16-я Международная научно-техническая конференция «Измерение, контроль, информатизация» ИКИ-2014 (2014 г., г. Барнаул), XI Всероссийская научно-техническая конференция студентов, аспирантов и молодых ученых «Наука и Молодежь—2014» (2014 г., г. Барнаул), 17-я Региональная конференция по математике «Математики — Алтайскому краю (МАК-2014)» (2014 г., г. Барнаул), Краевой семинар по геометрии и математическому моделированию АГУ (2014 г., г. Барнаул), Семинар по исскуственному интеллекту АГУ (2014 г., г. Барнаул), расширенный семинар кафедры прикладной математики АлтГТУ (2014 г., г. Барнаул).

Основные положения, выносимые на защиту:

1. Формализация задачи обнаружения нарушения непредоставления преимущества в движении пешеходу на нерегулируемом переходе и модель анализа траекторий, позволяющая обнаруживать такие нарушения, системы фиксации которых не представлены должным образом на рынке видеонаблюдения;

2. Архитектура системы вндеонаблюдения и конфигурация алгоритмов, включая предложенные автором модификации существующих алгоритмов и механизм взаимодействия компонентов системы, ориентированная на обеспечение высоких показателей производительности и качества распознавания;

3. Реализация алгоритмического обеспечения интеллектуальной системы видеонаблюдения и способ экспериментальной оценки ее характеристик по предложенным автором критериям.

Публикации. Основные результаты диссертации изложены в 20 публикациях [1-20], три из которых в журналах из перечня, рекомендованного ВАК [1-3], 1 свидетельство об официальной регистрации программы для ЭВМ в реестре программ для ЭВМ.

Объем н структура диссертации. Диссертация состоит из введения, четырех глав, заключения, списка литературы и двух приложений. Полный объем диссертации составляет 122 страницы с 35 рисунками и 16 таблицами. Список литературы содержит 203 наименования.

Благодарности. Автор выражает огромную благодарность проф. Е. Н. Крючковой за осуществление научного руководства. Автор также признателен проф. Е. А. Перепелкину, доц. В. А. Крайвановой и доц. С. И.Жилину за обсуждение и полезные комментарии.

Содержание работы

Первая глава посвящена развернутому обоснованию актуальности решения проблемы аварийности на нерегулируемых пешеходных переходах посредством интеллектуальных систем видеонаблюдения, приводятся определение таких систем и возможности их применения, основные понятия и сложности интеллектуальной обработки видеоданных, как базового процесса функционирования таких систем, аналитические обзоры алгоритмов, составляющих основу систем видеонаблюдения, и обзор работ по дорожному видеонаблюдению. В конце главы подводится итог и ставится задача исследования.

Во второй главе автором предлагается формальная математическая постановка основной задачи интеллектуальной системы видеонаблюдения, т.е. выявление нарушений на

нерегулируемом переходе, главным образом, фиксирование трудно формализуемого нарушения «непредоставленне преимущества в движении пешеходу» при помощи разработанной автором модели анализа траекторий. Формулируются адаптированные под разрабатываемую систему видеонаблюдения постановки задач компьютерного зрения, решаемых компонентами системы: построение маски объектов переднего плана, обнаружение и сопровождение объектов. Приводятся входные и выходные данные этих задач, метрики оценки качества их решения, а также некоторые сложности, возникающие при оценке качества.

Модель анализа траекторий. При видеонаблюдении за нерегулируемыми пешеходными переходами с целью обеспечения безопасности дорожного движения и выявления нарушителей представляют интерес ряд ситуаций, среди которых:

1. Пересечение пешеходом проезжей части в неположенном месте.

2. Парковка перед переходом.

3. Длительная остановка на пешеходном переходе (например, во время затора).

4. Движение задним ходом на переходе.

5. Наезд на пешехода.

6. Непредоставление преимущества в движении пешеходу.

При наличии данных о положении участников движения выявление первых пяти ситуаций не представляет сложности. Обнаружение же факта непредоставления преимущества пешеходу гораздо труднее формализовать.

Случаи непредоставления преимущества пешеходу можно разделить на два класса ситуаций, которые будут соответствовать двум состояниям модели («красные» состояния), в которых фиксируется нарушение ПДД:

• длительное ожидание пешеходов на тротуаре;

• пересечение водителем перехода, вынуждающее пешехода, пересекающего проезжую часть, изменить скорость или направление движения.

Ввиду того, что факт нарушения водителем зависит не только от наличия пешеходов на переходе, но и от того, прошел ли пешеход(ы) полосу движения, где расположено транспортное средство (ТС), состояние модели может быть различным для разных полос движения (рис. 1). Поэтому будем считать, что имеется отдельная модель для каждой полосы движения. Для формализации модели нарушения непредоставления преимущества пешеходу введем следующие обозначения:

<4 — координата к-то пешехода относительно середины полосы движения: до пересечения в.ь < 0, после пересечения (4 > 0 (рис. 1). Далее для простоты можем опускать индекс к, предполагая, что выражение справедливо для всех к, как, например, на рис. 3;

Б > О — минимальное расстояние, которое должен пройти пешеход после пересечения середины полосы, чтобы продолжение движения ТС по этой полосе было для этого пешехода безопасным (рис. 1);

(3 > 0 — минимальное расстояние перед серединой полосы движения, после преодоления которого пешеходом движение по этой полосе считается небезопасным (предполагается, что (7 > £>, см. рис. 1);

Я. — отмеченная на кадре область перехода на проезжей части (рис. 2);

Рис. 1: Факт нарушения зависит от того, прошли ли пешеходы соответствующую полосу движения: автомобилю на правой полосе уже можно начать движение, а двум другим еще нет. Также дана иллюстрация определений переменных Б, в, <1^, в, 5ь Е для левой полосы

движения.

з А. 10 1 ' »

Ф, ц

Рис. 2: Пример размеченных зон проезжей части ё£ и прилегающих тротуаров ¿З2^, ЗР^.

&2 — отмеченные на кадре области тротуара, прилегающего к области перехода (рис. 2);

Й — координата «начала» области перехода относительно середины полосы движения (рис. 1);

51 — координата начала «первого» тротуара относительно середины полосы движения (рис. 1);

Е — координата «конца» области перехода Ж относительно середины полосы движения (рис. 1);

Я = |{<4 \ Я < < тш(£,Д)}| — количество пешеходов, находящихся в области перехода 3$, которые находятся на данной полосе движения или будут ее пересекать (рис. 2);

Р = \{(1г \ < <к < 5}| — суммарное количество пешеходов, находящихся в областях 5Р\ и которые двигаются в сторону данной полосы движения (рис. 2);

Т\ — время ожидания пешеходов на тротуаре;

К1 — максимальное время ожидания пешеходов на тротуаре, по истечении которого проезжающим ТС будет засчитываться нарушение ПДД;

Тг — время ожидания водителей перед переходом;

К? — максимальное время ожидания водителей перед переходом, по истечении которого водитель может продолжить движение, если движение безопасно для пешеходов (т. е. Ук с4 ф [—С, £>]), даже если есть ожидающие или пересекающие переход пешеходы (т. е. Р + Л > 0).

Работа системы видеонаблюдения

1 Движение ТС (нет пешеходов)

[На тротуарах - появились пешеходы (Р»0)]

2 Есть ожидающие пешеходы entry/ запустить таймер ожидания пешеходов (Т1=0)

_ (Время ожидания v " истекло (Т1Ж1)] Г

т

[Нет пешеходов (Н+Р=0)}

-7—

(Появились пешеходы на переходе (R>0)J

\

[Время перехода истекло

и движение безопасно (Т2Ж2 и (в<-С или 0<с1))]

[ 4. Пешеходы начинают ■ движение. Завершение I маневра водителями

3. Пешеходы ждут слишом долго штрафовать проезжающие ТС V___^

I

[Появились пешеходы на переходе (Р>0)}

[Пешеход(ы) приблизились к полосе движения I (dM3)]

5 Пешеходы переходят дорогу

entry/ запустить таймер ожидания водителей (Т2=0)

do/ штрафовать проезжающие ТС^

-Прерывание работы системы-

Рис. 3: Модель анализа траекторий для выявления нарушения «непредоставление преимущества в движении пешеходу на нерегулируемом переходе».

Рис. 4: Особые ситуации в анализе правомерности движения ТС на нерегулируемом переходе: а) движение ТС одновременно с началом пересечения перехода пешеходами, но не представляющее опасности для пешеходов; б) начало движения ТС после длительного ожидания при наличии идущих по переходу людей, но не представляющее для них

опасность.

Предлагаемая модель, обнаруживающая нарушение «непредоставление преимущества в движении пешеходу на нерегулируемом переходе», представлена на рис. 3 в виде диаграммы состояний ЦМЬ. Вопрос об оценке правомерности поведения водителей и пешеходов в некоторых ситуациях может быть спорным (рис. 4). Представленная модель позволяет при помощи настройки параметров задавать ту или иную интерпретацию таких ситуаций.

Третья глава посвящена разработанному автором алгоритмическому обеспечению интеллектуальной системы видеонаблюдения за нерегулируемыми пешеходными переходами,

включая исследование требований к отдельным подзадачам функционирования системы для подбора наиболее подходящих алгоритмов, разработку архитектуры системы и отдельных компонентов, отвечающих за различные этапы обработки информации (построение модели фона, обнаружение активности, обнаружение объектов, сопровождение объектов, анализ траекторий).

Системе на вход поступает последовательность кадров видео, заснятого камерой наружного видеонаблюдения (рис. 2). Камеру желательно располагать напротив пешеходного перехода, расположение под углом снижает показатели распознавания объектов, так как модель детектора автомобилей настроена на фронтальный вид объектов, а детектора пешеходов — на вид сбоку. Распознавание объектов обеспечивается уже при разрешении 640 х 480 пикселей и более. Задача системы — выдавать время нарушения и положение автомобилей-нарушителей правил дорожного движения.

Система состоит из следующих подсистем (рис. 5):

• подсистема детектора активности. Получает на вход кадры видео, поддерживает модель статичных объектов сцены (модель фона) и возвращает маску активных областей для текущего кадра;

• подсистемы для обнаружения и отслеживания объектов (пешеходов и автомобилей). По кадру видео и маске активных областей обнаруживает и сопровождает объекты заданного класса, возвращая их координаты (рис, 6). Подсистемы для пешеходов и автомобилей отличаются моделями детектора объектов, обученными на соответствующий класс объектов;

• подсистема анализа траекторий. Анализируя историю перемещений пешеходов и автомобилей, возвращает факты нарушения правил дорожного движения.

Система видеонаблюдения

Рис. 5: Структура системы видеонаблюдения.

Ввиду непрерывного изменения множества наблюдаемых объектов и ошибок алгоритмов (пропуск объекта, ложное обнаружение, потеря объекта или смещение относительно истинного положения) был разработан механизм, способный непрерывно обновлять список сопровождаемых объектов и восстанавливаться после ошибок системы. Общая схема работы предложенного механизма показана на рис. 6. Детектор активности предоставляет информацию об областях кадра, где зарегистрировано движение. Те области активности, где находятся уже распознанные объекты, подавляются, а оставшиеся области передаются детектору объектов (рис. 7). Таким образом при появлении нового или потере уже сопровождавшегося объекта его ведение будет восстанавливаться. Кроме того, благодаря проверке сопровождаемых целей на соответствие активным областям цели с сильным смещением от объекта будут удаляться как неактивные.

Подсистема обнаружения и сопровождения объектов

Рис. 6: Подсистема обнаружения и сопровождения объектов определенного класса (пешеходы, автомобили).

а) б)

Рис. 7: а) Области активности и уже распознанный и ведомый трекером объект (черный прямоугольник); б) Области активности под распознанным объектом подавлены. Детектору передается только фрагмент вокруг нераспознанной области (белый прямоугольник).

Для уменьшения числа ошибок построения модели фона предложены следующие дополнения алгоритма модифицированного скользящего среднего:

1. Нормализация средней яркости: средняя яркость пикселей в модели фона поддерживается на том же уровне, что и средняя яркость пикселей текущего кадра видеопоследовательности, что позволяет быстро адаптировать модель фона к резким изменениям освещенности (рис. 8).

. я И'

= (!)

у=1 Х=1

В{£гт{У,х) = ^г)Ви\у,х), (2)

где — /-ый кадр видео, Н, \У — высота и ширина кадров видео соответственно, — средняя яркость пикселей /-го кадра. — модель фона перед обработкой /-го кадра, Впогт — нормализованная модель фона для /-го кадра.

2. Разноскоростное обновление: адаптация модели фона под активными пикселями (объекты) происходит в к раз медленнее, чем под неактивными (фон), что позволяет уменьшить примешивание объектов к модели фона, но, в то же время, при ошибках алгоритма

благодаря неполному запрету на обновление позволяет алгоритму восстановиться;

' (кп - 1)В(Лт(у,х) + Р^(у,х)

В^>(у,х)

(п-1)В&т(у,х) + КП(у,а:)

кп

-, если А^(у,х) = 1. если х) = О,

где — маска активных пикселей, получаемая детектором активности (А(Л(?/,ж) = |В^т(у, х) - Р^Цу, х)\ > Т, где Т — порог бинаризации).

Текущий кадр Без нормализации С нормализацией

Рис. 8: Без нормализации по средней яркости модель фона не успевает адаптироваться к резкому изменению освещения, поэтому активными, т.е. принадлежащими подвижным объектам, считаются почти все пиксели кадра (в центре), что неверно. При применении нормализации выделяются в основном только подвижные объекты (справа).

Разработан детектор активности, позволяющий запускать вычислительно сложный детектор объектов только на тех областях, где зафиксировано движение. Благодаря его внедрению в систему площадь обработки сокращается на 20-90% в зависимости от плотности потока объектов. Маска активных пикселей получается бинаризацией абсолютной разницы модели фона и текущего кадра (рис. 9). Для удаления шумовой активности и устранения разрывов между областями, относящимся к одному объекту, предложено применение морфологических операций, после которых вокруг каждой области размером выше заданного порога из кадра специальным образом вырезается прямоугольная области и передаются детектору объектов (рис. 10).

а) б) в)

Рис. 9: Получение маски активных пикселей: а) модель фона; б) текущий кадр; в) маска

активных пикселей.

а) б) в) г) д)

Рис. 13: Для генерация обучающих примеров с перекрытиями (г и д) из данных с размеченными силуэтами объектов (а и б) извлекаются изображения объектов, отделенных от фона, и помещаются рядом с другими объектами (в).

а) б) в)

Рис. 10: а) маска активных пикселей после морфологических операций, прямоугольники выделяют только крупные области активности; б) прямоугольные области, обрабатываемые детектором; в) обнаруженные пешеходы.

а) б) в) г) д) е)

Рис. 11: Отрицательные примеры для обучения детектора пешеходов: а-в) «простые» примеры; г-е) «сложные» примеры, т. е. похожие по направлению градиентов на пешеходов.

Рис. 12: Пример части кадра (слева) и его пересегментации (справа). Видно совпадение границ суперпикселей с границами объектов, что позволяет частично удалить шумовые

градиенты.

А*

Для увеличения показателей работы детектора объектов на основе гистограмм ориентированных градиентов1 предложены следующие модификации процедуры формирования обучающей выборки:

—;- 13

Dalai N.. Triggs В. Histograms of oriented gradients for human detection // IEEE Conference on Computer Vision

and Pattern Recognition (CVPR). Vol. 1. 2005. P. 886-893.

1. Извлечение «сложных» (для классификатора) отрицательных и положительных примеров, позволяющей при тех же вычислительных возможностях более точно настроить классификатор (рис. 11);

2. Выполнение пересегментацин примеров для удаления шумовых краев и усиления границ объектов (рис. 12);

3. Генерация примеров с перекрытиями объектов друг другом, что крайне часто встречается при видеонаблюдении за пешеходными переходами и существенно уменьшает полноту обнаружений (рис. 13).

Для настройки взаимодействия детектора объектов и детектора активности выполнялся подбор параметров (табл. 1).

Таблица 1: Сравнение различных конфигураций работы детектора объектов по точности (Р), полноте (К), Р-мере и времени работы в секундах (Т).

Конфигурация Видео 1 Видео 2

Р R F Т Р R F Т

Предлагаемая конфигурация (только область перехода, с детектором активности, Sscan = 8, Grect = 10) 0.99 0.86 0.92 29 0.98 0.74 0.84 34

Обработка всего кадра (а не только области перехода) 0.92 0.86 0.89 52 0.97 0.74 0.84 55

Без детектора активности 0.99 0.88 0.93 47 0.98 0.78 0.87 24

Шаг скользящего окна — 1 5слтг — х 0.99 0.91 0.95 488 0.98 0.84 0.90 797

Я —А ^ scan ^ 0.99 0.89 0.93 58 0.98 0.80 0.88 77

Зазор вокруг прямоугольников Greet — ,Г) 0.98 0.83 0.90 27 0.98 0.65 0.78 32

Greet =15 0.99 0.85 0.91 32 0.98 0.74 0.84 36

На основе проведенного анализа применимости различных признаков для сопровождения объектов (табл. 2) в качестве трекера объектов предложено использование алгоритма на основе особых точек — КЬТ-трекера2. В соответствующем разделе представлен подбор реализаций этого трекера, предложены особенности извлечения и механизмы фильтрации особых точек, а также алгоритм адаптации модели трекера к изменениям объекта (рис. 14).

Камер -'/>. s М0М0НГЭ ибкэруя^икя вбьестэ

Рис. 14: В процессе трекинга особые точки теряют свои места на объекте, поэтому алгоритм трекинга дополнен специальными механизмами извлечения, фильтрации и адаптации набора

точек.

2Shi J., Tomasi С. Good features to track // IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR). 1994. P. 593-600.

Таблица 2: Анализ признаков, используемых для сопровождения объектов, и их применимость к рассматриваемой задаче видеонаблюдения.

Признаки Применимость к задаче

Градиенты Чувствителен к шумам камеры. Неудобен при трекинге «нежестких» объектов

Контуры (силуэт) Силуэты чувствительны к перекрытиям объектов друг другом, что в данной задаче существенно снизит их эффективность, особенно при трекинге пешеходов

Края Направление краев в процессе движения человека может значительно меняться, поэтому состав признаков сопровождаемого объекта будет существенно варьироваться. Для автомобилей применение такого подхода не так затруднено

Оптический поток Хорошо подходит для трекинга «жестких» объектов, но необходимы значительные вычислительные ресурсы

Особые точки Восстановление после перекрытия объектов значительно легче, чем при использовании других видов признаков, особенно, в условиях хорошей прогнозируемости траектории движения. Более устойчивы к частичным перекрытиям, так как представляют собой сопровождение частей объекта, не требуя видимости всего объекта

Сегментация Необходимо, чтобы фон и объекты имели простое цветовое содержание (один цвет, нет сложных текстур) и контрастировали друг с другом [1], что совершенно не соответствует рассматриваемой задаче

Цвет Сопровождение легко восстанавливается после перекрытий, однако подавляющее большинство камер видеонаблюдения черно-белые, а градации серого дают значительно меньше информации, поэтому этот подход будет не так эффективен

В разделе, посвященном модели анализа траекторий, представлены особенности реализующего ее работу алгоритма, вызванные возможными ошибками данных, поступающих от детектора и трекера объектов.

В четвертой главе представлены экспериментальные исследования разработанной интеллектуальной системы видеонаблюдения за нерегулируемыми пешеходными переходами с точки зрения качества работы, производительности и устойчивости к неблагоприятным условиям съемки.

Качество работы после различных этапов обработки данных в системе измерялось по следующим метрикам:

• точность — отношение числа правильно обнаруженных объектов к общему числу обнаружений, выданных системой;

• полнота — отношение числа правильно обнаруженных объектов к истинному количеству объектов;

• Р-мера — среднее гармоническое точности и полноты;

• смещение в пикселях положений объектов, выданных системой, относительно истинных положений объектов.

Итоговые показатели качества работы (табл. 3) свидетельствуют, что из обнаруженных системой нарушений 63.4% действительно являются нарушениями и что система обнаруживает 47.2% совершенных нарушений.

Таблица 3: Качество работы после каждого этапа обработки данных интеллектуальной

системы видеонаблюдения.

Этап обработки Точность Полнота F-мера Смещение

Детектор активности автомобили 0.145 0.600 0.233 34.70

пешеходы 0.042 0.649 0.079 59,70

Детектор объектов автомобили 0.751 0.491 0.594 14.79

пешеходы 0.984 0.105 0.190 7.51

Трекер объектов автомобили 0.606 0.598 0.602 21.77

пешеходы 0.812 0.488 0.610 11.76

Анализ траекторий («красные» состояния) 0.634 0.472 0.542 -

Анализ производительности выявил наиболее времязатратные операции, выполняемые при функционировании системы видеонаблюдения (табл. 4). В соответствующем разделе диссертации предложены способы увеличения производительности системы. Предложенные автором диссертации алгоритмы показали высокую производительность. Итоговая скорость работы спроектированной системы составляет около 11 кадров в секунду.

Таблица 4: Время выполнения отдельных операций, выполняемых системой видеонаблюдения, в миллисекундах на один кадр и в процентах от общего времени работы при обработке видеопоследовательности.

Операция Время, мс/кадр Доля, %

Чтение кадров 2.36 2.6 1

Масштабирование кадров 8.7 9.63 !■

Прочая предобработка кадров (rgb2gray, 1т2<1оиЫе) 8.55 9.41 Hi

Трекинг ранее обнаруженных объектов 3.99 4.42 ■

Обновление модели фона 2.63 2.91 1

Построение маски активных пикселей 1.97 2.18 1

Подавление активности под распознанными объектами 0.21 0.24 1

Морфологические операции над маской активности 12.38 13.69 Hi

Выделение прямоугольников вокруг активных областей 18.99 21.01

Объединение перекрывающихся прямоугольников 0.39 0.43 1

Объединение списка целей (от детектора и трекера) 0.014 0.002

Удаление целей над неактивными областями кадра 0.23 0.25 1

Анализ траекторий объектов 0.13 0.15 !

Всего 90.39 J 00

Исследование устойчивости системы к аддитивным шумам с амплитудой, подчиненной распределению Гаусса с нулевым средним и различными значениями дисперсии var (табл. 5, рис. 15), и шумам типа «соль и перец» при различных значениях доли искаженных пикселей density (табл. 6, рис. 16) показало, что такие шумы приводят к значительному падению точности и полноты определения положений объектов, что связано с искажением карты градиентов кадра, которая используется при работе детектора и трекера объектов. Измерялась точность (Р), полнота (R) и F-мера. Применение соответствующих фильтров способно восста-

16

новить работу, но с меньшими показателями качества, так как исходная карта краев все-таки искажается.

Таблица 5: Влияние на работу системы гауссовского шума с различной дисперсией (уаг) и результат применения сглаживающего фильтра.

Данные Фильтр Без шума Шум var = 0.001 Шум var = 0.01

Р R F Р R F Р | R | F

Видео 1 с фильтром 0.98 0.86 0.92 0.98 0.85 0.91 0.95 | 0.89 | 0.92

без фильтра 0.91 0.96 0.93 0.46 0.21 0.29 не работает

Видео 2 с фильтром 1.00 0.68 0.81 1.00 0.65 0.79 0.95 | 0.72 J 0.82

без фильтра 0.93 0.74 0.82 0.70 0.18 0.29 не работает

а) б) в)

Рис. 15: Применение к кадру видео (а) гауссовского шума с дисперсией var — 0.001 (б) и

var = 0.01 (в).

Таблица 6: Влияние на работу системы шума типа «соль и перец» при разных значениях доли искаженных пикселей (density) и результат применения медианного фильтра.

Данные Фильтр Без шума Шум density = 0.01 Шум density = 0.05

Р R F Р R F Р | R | F

Видео 1 с фильтром 0.98 0.95 0.96 0.97 0.95 0.96 0.94 | 0.95 | 0.94

без фильтра 0.91 0.96 0.93 0.84 0.44 0.57 не работает

Видео 2 с фильтром 0.92 0.70 0.80 0.93 0.73 0.82 0.91 | 0.71 | 0.80

без фильтра 0.93 0.74 0.82 0.95 0.24 0.38 не работает

а) б) в)

Рис. 16: Применение к кадру видео (а) шума типа «соль и перец» с долей искаженных пикселей density = 0.01 (б) и density = 0.05 (в).

Внесение изменений изображения, имитирующих туман (рис. 17) или дождь (рис. 18), вызывает повышение точности, но чрезмерно уменьшает полноту (табл. 7, табл. 8), так как остаются только наиболее надежные ответы классификатора. Неравномерное освещение (рис. 19) разнородно искажает карту краев: где-то усиливаются истинные края объектов, а где-то —

шумовые края, поэтому такие изменения бессистемно влияют на точность (табл. 9). Изменение модели объекта при перемещении между областями сцены с разной освещенностью увеличивает число потерь объектов трекером, что уменьшает полноту.

Таблица 7: Сравнение качества работы системы при различных условиях, имитирующих

туман.

Данные Без тумана Туман 1 Туман 2 Туман 3

Р И Б Р Я Б Р Я Б Р | К. | Б

Видео 1 0.91 0.96 0.93 0.94 0.91 0.93 1.00 0.45 0.62 не работает

Видео 2 0.93 0.74 0.82 0.92 0.71 0.80 0.98 0.40 0.57 не работает

Туман 1 Туман 2 Туман 3

Рис. 17: Демонстрация тестовых погодных условий в виде тумана.

Дождь 1 Дождь 2 Дождь 3

Рис. 18: Демонстрация тестовых погодных условий в виде дождя.

Освещение 1 Освещение 2 Освещение 3

Рис. 19: Демонстрация тестовых погодных условий в виде неравномерного освещения.

Таблица 8: Сравнение качества работы системы при различных условиях, имитирующих

дождь.

Данные Без дождя Дождь 1 Дождь 2 Дождь 3

Р Я Б Р Я Б Р Я Б Р я Б

Видео 1 0.91 0.96 0.93 0.95 0.83 0.89 1.00 0.13 0.23 1.00 0.01 0.01

Видео 2 0.93 0.74 0.82 0.96 0.65 0.77 0.99 0.20 0.33 1.00 0.02 0.03

Таблица 9: Сравнение качества работы системы при различных условиях, имитирующих

неравномерное освещение.

Данные Равномерное j Освещение 1 Освещение 2 Освещение 3

Р R F Р R F Р R F Р R F

Видео 1 0.91 0.96 0.93 0.98 0.78 0.87 0.95 0.59 0.72 0.96 0.35 0.51

Видео 2 0.93 0.74 0.82 0.90 0.59 0.72 0.91 0.48 0.63 0.87 0.11 0.20

В приложении 1 приводится акт о внедрении. В приложении 2 приводится свидетельство о регистрации программы для ЭВМ.

Основные результаты исследования

1. Выполнен системный анализ существующих методов обработки информации, необходимых для функционирования разрабатываемой системы, сделавший возможным сопоставление их характеристик с особенностями решаемой задачи видеонаблюдения и подбор наиболее подходящих алгоритмов, что улучшило показатели функционирования системы.

2. Выполнена формализация задачи обнаружения нарушения «непредоставление преимущества в движении пешеходу на нерегулируемом переходе» и предложена модель анализа траекторий, способная обнаруживать такие нарушения, что расширило возможности использования систем автоматической видеофиксации нарушений.

3. Предложено алгоритмическое обеспечение интеллектуальной системы видеонаблюдения.

4. На основе разработанной программной реализации выполнено экспериментальное исследование полученной системы, оценивающее качество ее работы, производительность и устойчивость.

Публикации автора по теме диссертации

Публикации в ведущих рецензируемых научных журналах, рекомендованных ВАК Министерства образования и науки РФ:

1. Колосовский М. А., Крючкова Е. Н. Настройка параметров алгоритма сегментации изображений QuickShift // Программная инженерия. 2013. №5. С. 11-20.

2. Колосовский М. А. Трекинг пешеходов в задаче видеонаблюдения за нерегулируемыми пешеходными переходами // Программная инженерия. 2014. №5. С. 32-40.

3. Колосовский М. А. Система обнаружения объектов интереса в задаче видеонаблюдения за пешеходными переходами // Ползуновский вестник. 2014. №2. С. 15-20.

Прочие публикации:

4. Колосовский М. А., Крючкова Е. Н. Автоматическое определение размера суперпикселей при сегментации изображений методом Quick Shift // XIII Всероссийская конферен-

ция молодых ученых по математическому моделированию и информационным технологиям / При поддержке ИВТ СО РАН. Новосибирск: 2012. С. 46-47.

5. Колосовский М. А. Исследование влияния параметров алгоритма сегментации изображений QuickShift на качество сегментации // XIX Международная научно-практическая конференция студентов и молодых учёных «Современные техника и технологии» (СТТ-2013) / Томский политехнический университет. Т. 2. Томск: Издательство ТПУ, 2013. С. 260-261.

6. Колосовский М. А., Крючкова Е. Н. Модификация алгоритма Quick Shift для сегментации изображений высокого разрешения // Всероссийская научно-техническая конференция студентов, аспирантов и молодых ученых «Научная сессия ТУСУР-2013». Т. 2. Томск: В-Спектр, 2013. С. 249-252.

7. Колосовский М. А., Крючкова Е. Н. Автоматическая настройка параметра цветовой компактности суперпикселей в алгоритме сегментации изображений Quick Shift // X Всероссийская научно-техническая конференция студентов, аспирантов и молодых ученых «Наука и Молодежь—2013» / Алт. гос. техн. ун-т им. И.И. Ползунова. Барнаул: Издательство АлтГТУ, 2013. С. 42-45.

8. Колосовский М. А., Крючкова Е. Н. Автоматическая настройка параметров алгоритма сегментации изображений Quick Shift // 23-я Международная Конференция по Компьютерной Графике и Зрению «Графикон'2013» / Институт автоматики и процессов управления ДВО РАН. Владивосток: Дальнаука, 2013. С. 316-320.

9. Колосовский М. А., Крючкова Е. Н. Оценка свойств изображения для адаптации алгоритма семантической сегментации под конкретное изображение // IV Всероссийская конференция «Знания-Онтологии-Теории» (ЭОНТ-13) / Институт математики им. C.JI. Соболева СО РАН. Т. 1. Новосибирск: 2013. С. 229-233.

10. Колосовский М. А. Исследование зависимости качества сегментации изображений алгоритмом Quick Shift от параметров алгоритмов // XIV Всероссийская конференция молодых ученых по математическому моделированию и информационным технологиям / При поддержке ИВТ СО РАН. Томск: 2013. С. 39-40.

11. Колосовский М. А. Выбор признаков для трекинга объектов в задаче видеонаблюдения за пешеходными переходами // Информатика и информационные технологии в образовании, науке и производстве : сборник научных статей. Т. 1. Волжский: Нобель Пресс, 2014. С. 62-65.

12. Колосовский М. А., Крючкова Е. Н. Архитектура системы видеонаблюдения за пешеходными переходами // II Всероссийская научно-практическая конференция студентов и молодых ученых «Информационные и инфокоммуникационные технологии — реалии, возможности, перспективы» / НГИЭИ. Княгинино: 2014. С. 147-149.

13. Колосовский М. А. Исследование качества работы системы видеонаблюдения при различных условиях съемки // Материалы 52-ой Международной научной студенческой конференции (МНСК-2014) : Информационные технологии / Новосиб. гос. ун-т. Новосибирск: 2014. С. 197.

14. Колосовский М. А. Влияние шумов камеры на качество работы системы видеонаблюдения // Всероссийская студенческая научно-практическая конференция «Молодая Наука — 2014» / Моск. финанс.-юридич. ун-т. Москва: 2014. С. 154.

15. Kolosovskiy M. A. Intelligent video surveillance system for pedestrian crossings // XX International Conference for Students and Young Scientists «Modern Technique and Technologies (MTT'2014)» / Tomsk Polytechnic University. Vol. 2. Tomsk: 2014. P. 291-292.

16. Колосовский M. А. Применение алгоритма трекинга на основе особых точек в задаче видеонаблюдения за пешеходными переходами // Всероссийская научно-практическая конференция «Молодёжь. Наука. Совремешюсть» / филиал ФГБОУ ВПО «УдГУ» в г. Воткинске. Ижевск: Изд-во «Удмуртский университет», 2014. С. 186-189.

17. Колосовский М. А. Отделение объектов от фона в задаче видеонаблюдения за пешеходными переходами // XVIII Всероссийская научная конференция студентов, аспирантов и молодых ученых «Наука и молодежь: проблемы, поиски, решения» / Сиб. гос. индустр. ун-т. T. II. Технические науки. Новокузнецк: Изд. центр СибГИУ, 2014. С. 197-199.

18. Колосовский М. А.-, Крючкова Е. Н. Алгоритм восстановления сопровождения объектов после перекрытия в задаче видеонаблюденя за пешеходными переходами // 16-я Международная научно-техническая конференция «Измерение, контроль, информатизация» (ИКИ-2014) / Алт. гос. техн. ун-т им. И.И. Ползунова. Барнаул: Изд-во АлтГТУ, 2014. С. 18-20.

19. Колосовский М. А., Крючкова Е. Н. Алгоритм обнаружения автомобилей на основе вычитания фона для видеонаблюдения за пешеходными переходами // XI Всероссийская научно-техническая конференция студентов, аспирантов и молодых ученых «Наука и Молодежь—2014» / Алт. гос. техн. ун-т им. И.И. Ползунова. Барнаул: Изд-во АлтГТУ, 2014. С. 19-21.

20. Колосовский М. А. Обнаружение автомобилей в системе видеонаблюдения за пешеходными переходами // 17-я Региональная конференция по математике «Математики — Алтайскому краю» (МАК-2014) / Алт. гос. ун-т. Барнаул: Изд-во АлтГУ, 2014. С. 90-94.

Подписано в печать 17.03.2015. Формат 60x84 1/16. Печать - цифровая. Усл.п.л. 1,39. Тираж 130 экз. Заказ 2015 - 82

Отпечатано в типографии АлтГТУ, 656038, г. Барнаул, пр-т Ленина, 46 тел.: (8-3852) 29-09-48

Лицензия на полиграфическую деятельность ПЛД №28-35 от 15.07.97 г.