автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Методы и алгоритмы анализа траекторий движения при решении задачи видеодетектирования транспортных средств

на правах рукописи

;

Кустикова Валентина Дмитриевна

МЕТОДЫ И АЛГОРИТМЫ АНАЛИЗА ТРАЕКТОРИЙ ДВИЖЕНИЯ ПРИ РЕШЕНИИ ЗАДАЧИ ВИДЕОДЕТЕКТИРОВАНИЯ ТРАНСПОРТНЫХ СРЕДСТВ

Специальность 05.13.01 — «Системный анализ, управление и обработка информации (в науке и промышленности)» по техническим наукам

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

2 9 АПР 2015

005567945

Нижний Новгород —2015 г.

005567945

Работа выполнена на кафедре математического обеспечения ЭВМ Федерального государственного автономного образовательного учреждения высшего образования «Нижегородский государственный университет им. Н.И. Лобачевского»

Научный руководитель: доктор технических наук, профессор Гергель Виктор Павлович

Официальные оппоненты: Попов Евгений Владимирович,

доктор технических наук, профессор, Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Нижегородский государственный архитектурно-строительный университет», кафедра «Инженерная геометрия, компьютерная графика и автоматизированное проектирование»

Гай Василий Евгеньевич,

кандидат технических наук, доцент,

Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Нижегородский государственный технический университет им. P.E. Алексеева», кафедра «Вычислительные системы и технологии»

Ведущая организация: Самарский государственный аэрокосмический

университет им. академика С.П. Королева, г. Самара

Защита диссертации состоится «11» июня 2015 г. в 11 часов в ауд. 1258 на заседании диссертационного совета Д.212.165.05 при Нижегородском государственном техническом университете им. Р.Е. Алексеева по адресу: 603600, г. Нижний Новгород, ул. Минина, 24.

С диссертацией можно ознакомиться в библиотеке Нижегородского государственного технического университета им. Р.Е. Алексеева и на сайте http://wvw.nn tu.ru/contcnt/aspirantura-i-doktorantura/disscrtacii.

Автореферат разослан «» üitAiss; СИ) 15 года.

Ученый секретарь

диссертационного совета Суркова Анна Сергеевна

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования. Проблема количественного и качественного анализа транспортных потоков является одной из актуальных и практически значимых.

Статистика продаж автомобилей в России свидетельствует о ежегодном увеличении количества транспортных единиц (2012г. считается рекордным, т.к. продажи выросли на 11%'). В связи с ростом транспортной нагрузки остро встают вопросы эффективного распределения потоков с целью обеспечения бесперебойного движения на отдельных дорожных участках (житель Москвы теряет по 76 минут на каждый час пути2). Количественный анализ потоков обеспечит эффективное автоматическое регулирование движения посредством изменения расписания переключения светофоров. Информация о количественном составе также позволит оценивать нагрузку на дорожное полотно для прогнозирования срока службы покрытия и последующего планирования ремонтных работ, послужит основанием для принятия решений о необходимости строительства дорог-дублеров и проектирования дорожной сети в масштабах города.

Качественный анализ транспортных потоков (положение и класс транспортных средств, траектории движения в совокупности с контекстной информацией о размещении дорожных знаков и разметки) обеспечит частичное обнаружение нарушений правил дорожного движения (за 2012г. число нарушений ПДЦ увеличилось в 1.4 раза по сравнению с 2011г.3): проезд под запрещающие сигналы светофора, пересечение сплошных полос разметки, остановка или стоянка транспорта в запрещенных местах, въезд большегрузных автомобилей на шоссе с ограничениями на допустимый вес транспортной единицы.

На данный момент компьютерное зрение является критической областью в развитии приложений анализа транспортных потоков и разработки интеллектуальных транспортных технологий: видеорегистраторов, систем автоматической парковки, систем автомобильной навигации, систем распознавания регистрационных номеров и т.д. Общая задача видеодетектирования, которая решается в указанных приложениях, состоит в том, чтобы определить положения транспортных средств на каждом кадре видеопотока и возможно построить траектории их движения (историю). Информация о траекториях может существенно использоваться методами для классификации и подсчета транспортных единиц, а также для определения направления движения применительно к заданному контексту. Выбор методов обработки и анализа видео продиктован целями приложения, условиями съемки и качеством видео.

Обзор научных работ последних лет показал, что задача видеодетектирования транспортных средств изучается многими исследователями: Б. Койфман (В. ОмГтап, 1998),

1 АЕВ (The Association of European Business) Business Quarterly [http://www.aebrus.ru/upload/iblock/2fb/2 fbd04cl9el69eblf76d57475ade91f5.pdf].

2 Результаты ежегодного исследования мирового трафика, проводимого производителем навигаторов TomTom [http://mvw.tomtom.com/en_gb/trafficindex]. Обзор исследования в ленте российских новостей [http://www.livecars.ru/news/2014/07/12/tomtom_moscow].

3 Статистика нарушений ПДЦ в России [http://www.vashamashina.nl/statistika_narusheniy.html].

Дж. Малик (J.Malik, 1998), Дж. Матас (J. Matas, 2005), К. Зиммерманн (K.Zimmermann, 2005), О. Мартински (О. Martinsky, 2007), H.K. Канхиа (N.K. Kanhere, 2005), О.С. Астратов, B.C. Тимофеев, H.A. Обухова, Н. Буч (N. Buch, 2009-2011), С. Веластин (S.A. Velastin, 20092011), Дж. Орвелл (J. Orwell, 2009-2011), С. Сивараман (S. Sivaraman, 2010), М.М. Триведи (М.М. Trivedi, 2010-2012), Б.Т. Моррис (В.Т. Morris, 2012) и другими. Основная цель - повышение качества поиска за счет модификации алгоритмов компьютерного зрения. В большинстве работ поиск транспортных средств выполняется посредством обнаружения регистрационных номерных знаков. Данный объект с точки зрения алгоритмов распознавания является наиболее простым из-за контрастности фона и символов, ограниченности множества символов. Заметим, что подход не позволяет обнаруживать транспортные средства в ситуациях отсутствия номерных знаков (велосипеды) или их расположения в нестандартных частях (как у мотоциклов или автомобилей с временными номерами). При этом выполнение классификации транспортных средств требует доступа к базе данных автоинспекции, что не всегда необходимо и возможно. Наряду с этим встречаются работы, в которых осуществляется поиск простых геометрических примитивов: прямых линий в области бампера или подвески, окружностей, ограничивающих колеса, и т.п. Восстановление параметров транспортных средств осуществляется на основании взаимного расположения совокупности примитивов и истории их смещения в системе координат, связанной с изображением. Основные ограничения обоих подходов - неустойчивость к изменению ракурса4 и наличию размытых кадров (например, вследствие кратковременного воздействия ветра), а также отсутствие возможности крупноблочной классификации («АВТОМОБИЛЬ», «АВТОБУС») по одному кадру. В связи с этим существующие методы не позволяют решать задачу оценки интенсивности транспортных потоков с учетом их качественного состава в условиях, когда транспортные средства изменяют ракурс, например, при проезде через перекресток. Таким образом, проблема разработки методов и алгоритмов решения задачи видеодетектирования транспортных средств разных классов, обеспечивающих поиск и сопровождение независимо от ракурса и места расположения камеры, является актуальной. Данное исследование ориентировано на обработку видео со стационарных камер, на котором транспортные средства изменяют ракурс и направление движения; видео, поступающего с видеорегистраторов или полученного в процессе съемки дорожного движения с рук. Решения могут использоваться в системах оценки интенсивности транспортного потока, пересекающего развязку в направлении из одной улицы к другой, вследствие обеспечения более высокой точности; в видеорегистраторах въезжающих/выезжающих автомобилей на автостоянках и паркингах для контроля загрузки, обеспечивая более низкую стоимость установки при неизменном качестве; в модулях классификации транспортных средств для принятия решения по одному кадру о принадлежности тому или иному классу, что имеет значение в случае высоких скоростей.

Объектом исследования в работе является задача видеодетектирования транспортных средств разных классов и ракурсов, которая включает поиск и построение траекторий дви-

4 Ракурс - изображение объекта в перспективе, обусловленное точкой съемки или взаимным расположением камеры и объекта.

жения в системе координат, связанной с изображением, а предметом — методы и алгоритмы компьютерного зрения и машинного обучения для решения данной задачи.

Цель диссертационной работы состоит в развитии существующих методов и алгоритмов видеодетектирования транспортных средств для обеспечения устойчивости к изменению ракурса и расположению камеры, а также для повышения качества поиска и сопровождения.

Данная цель предполагает решение следующих задач:

• Формулировка направлений исследования на основе анализа существующих методов видеодетектирования транспортных средств.

• Разработка методов и реализующих их алгоритмов видеодетектирования транспортных средств для восстановления траекторий движения транспортных средств, ракурс которых изменяется при движении.

• Разработка методов и реализующих их алгоритмов видеодетектирования транспортных средств, которые осуществляют одновременный поиск и сопровождение. Методы должны обладать устойчивостью к изменению ракурса и положению простых примитивов (регистрационных номеров, колес и т.п.), обеспечивать крупноблочную классификацию транспортных средств («АВТОМОБИЛЬ», «АВТОБУС») по одному кадру.

• Разработка программной системы видеодетектирования транспортных средств, которая позволит выполнять полный цикл решения задачи видеодетектирования, включающий подготовку тестовых данных (разметка положений и траекторий движения объектов на видео, разметка процента видимости объектов, разметка областей интереса для видео со стационарной камеры), интеграцию и применение различных методов видеодетектирования, сбор и анализ полученных результатов поиска и сопровождения.

• Экспериментальное исследование эффективности работы системы - оценка качества видеодетектирования (поиска и сопровождения) для разработанных методов и алгоритмов на тестовых видео.

• Применение разработанной системы при решении задачи видеодетектирования транспортных средств класса «АВТОМОБИЛЬ» на видео, снятом на конкретном участке.

Методы исследования. Работа основана на методах компьютерного зрения и машинного обучения, обеспечивающих поиск объектов разных классов на изображениях и сопровождение объектов на видео, а также на методах системного анализа.

Научная новизна работы состоит в следующем:

• Предложен метод и реализующий его алгоритм видеодетектирования для восстановления траекторий движения транспортных средств в системе координат изображения по множеству положений, построенных с использованием известного алгоритма поиска объектов разных классов. Метод в отличие от существующих позволяет

- восстанавливать траектории транспортных средств, ракурс которых изменяется в процессе движения;

- при определенных условиях объединять участки траекторий транспортных средств, полностью перекрываемых на небольшие промежутки времени;

- оценивать интенсивность и качественный состав транспортных потоков разного направления, исходя из траекторий при наличии информации о контексте (например, размещение въездов/выездов на улицы).

• Предложен метод и реализующий алгоритм видеодетектирования, обеспечивающий поиск транспортных средств на некоторых кадрах видеопотока и одновременное построение траекторий их движения в системе координат, связанной с изображением. Метод в отличие от существующих позволяет

- обнаруживать и сопровождать транспортные средства с изменяющимся ракурсом независимо от класса транспортного средства;

- выполнять классификацию транспортных средств по одному кадру.

Практическая значимость и ценность работы заключается в создании программной

системы видеодетектирования транспортных средств, поддерживающей подготовку тестовых данных, интеграцию и применение программных реализаций разработанных методов, обеспечивающих классификацию по одному кадру, оценку качества видеодетектирования, визуализацию результатов поиска и сопровождения.

Достоверность научных результатов и выводов подтверждается результатами вычислительных экспериментов на реальных видео с дорожным движением, экспертизой результатов на научных конференциях и при публикации в научной печати.

Внедрение результатов работы. Исследования выполнялись при поддержке Федерального агентства по науке и инновациям (ФЦП «Научные и научно-педагогические кадры инновационной России на 2009-2013 годы» по теме «Высокопроизводительные вычисления в машинном обучении для анализа больших объемов данных», госконтракт №02.740.11.5131, 2010-2011 гг.; ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2013 годы» по теме «Новые алгоритмы машинного обучения и компьютерного зрения и их высокопроизводительные реализации», госконтракт №11.519.11.4015, 2011-2013 гг.); Российского Фонда Фундаментальных Исследований (фант №14-07-31269 «Исследование применимости методов глубокого обучения к решению задач компьютерного зрения на примере классификации изображений с большим числом категорий, детектирования пешеходов и автомобилей», 2014-2015 гг.). Проект «Методы и алгоритмы анализа изображений для решения задачи видеодетектирования транспортных средств» вошел в число победителей конкурса прикладных разработок и исследований в области компьютерных технологий «Компьютерный континуум: от идеи до воплощения» (2012 г., организаторы конкурса - компания Intel и Фонд развития инновационного центра «Сколково»),

Результаты внедрены в учебный процесс ННГУ им. Н.И. Лобачевского в рамках курса «Компьютерное зрение» и использованы при проведении научных школ по данной тематике. Расширенные материалы обзора методов отслеживания движения и сопровождения объектов, а также лабораторная работа по методу поиска объектов разных классов Latent SVM представлены в учебном курсе «Разработка мультимедийных приложений с использованием библиотек OpenCV и 1РР», разработанного сотрудниками факультета ВМК ННГУ и компании Itseez при поддержке компании Intel и включенного в программу сертификации Intel.

Результаты диссертационной работы внедрены в ООО Центр компьютерного зрения «Аргус» (г. Нижний Новгород), что подтверждается актом о внедрении. Параллельная программная реализация скрытого метода опорных векторов для решения задачи детектирования объектов (Latent SVM) включена в открытую библиотеку алгоритмов компьютерного зрения OpenCV.

Имеется 2 свидетельства о государственной регистрации программ для ЭВМ:

• Мееров И.Б., Золотых Н.Ю., Половинкин А.Н., Козинов Е.А., Кустикова В.Д., Сиднее A.A., Капралов Е.И., Рябикин Н.М., Ерухимов B.JI. Свидетельство о государственной регистрации программы для ЭВМ № 2011616620 «Скрытый метод опорных векторов для решения задач машинного обучения» от 25 августа 2011 г.

• Кустикова В.Д. Свидетельство о государственной регистрации программы для ЭВМ № 2013614810 «Метод видеодетектирования автомобилей» от 22 мая 2013 г.

Апробация работы. Основные результаты диссертационного исследования докладывались и обсуждались на следующих конференциях: международной конференции «Высокопроизводительные параллельные вычисления на кластерных системах» (Пермь, 2010), международных конференциях «Параллельные вычислительные технологии» (Москва, 2011, Новосибирск, 2012), всероссийских конференциях «Высокопроизводительные параллельные вычисления на кластерных системах» (Нижний Новгород, 2011, 2012), всероссийской конференции «Анализ изображений, сетей и текстов» (Екатеринбург, 2013), международной конференции «Pattern Recognition and Image Analysis: New information technologies» (Самара, 2013); а также на 9-ом открытом немецко-российском семинаре по распознаванию образов (9th Open German-Russian Workshop on Pattern Recognition and Image Understanding, OGRW-2014, Koblenz, Germany, 2014), на семинарах в рамках научной школы-практикума молодых ученых и специалистов «Технологии высокопроизводительных вычислений и компьютерного моделирования: В мире BigData» (Санкт-Петербург, 2014 — диплом I степени на конкурсе докладов), кафедры МО ЭВМ факультета ВМК ННГУ, компании Itseez и Центра компьютерного зрения «Аргус».

Публикации. По теме диссертации опубликовано 16 работ. Среди них 13 печатных работ и 1 работа в электронной форме, включая 4 статьи в изданиях, рекомендованных ВАК. Имеется 2 свидетельства о государственной регистрации программ для ЭВМ. Список публикаций приведен в конце автореферата.

Личный вклад соискателя. Постановка задачи и методика исследований предложены научным руководителем. Соискателем предложен метод видеодетектирования, решающий задачу восстановления траекторий движения транспортных средств, а также метод видеодетектирования транспортных средств, обеспечивающий поиск на некоторых кадрах видео и одновременное построение траекторий движения. Спроектирована архитектура и разработана реализация программной системы. Подготовлены тестовые видео. Выполнены вычислительные эксперименты, обработка и анализ полученных результатов.

В работе [1] соискателю принадлежит программная реализация алгоритма поиска объектов разных классов Latent SVM по имеющемуся математическому описанию изображения. Также соискателем разработаны параллельный алгоритм и его реализация для систем с об-

щей памятью [7], которая интегрирована в открытую библиотеку компьютерного зрения ОрепСУ.

В [2, 3] выполнен аналитический обзор методов видеодетектирования транспортных средств и сравнение качества поиска на подготовленных тестовых данных.

В [4] дается описание одного из предложенных методов, работа практически полностью выполнена соискателем. Соавторами предложена постановка задачи.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложений. Общий объем работы составляет 145 страниц, включая 45 рисунков и 45 таблиц. Список литературы включает 133 наименования.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении отражена актуальность темы диссертационного исследования, сформулированы цели работы, обоснованы ее научная новизна и практическая значимость.

В первой главе представлен аналитический обзор текущего состояния по проблеме видеодетектирования транспортных средств.

В §1.1 представлена математическая постановка задачи видеодетектирования. Метод видеодетектирования работает с потоком видеоданных. Обозначим входной видеопоток как V. По существу V можно представить в виде последовательности кадров или изображений 1o.1i.I2.--.In-i. гДе N ~ количество кадров видеопотока, а 1к — кадр с индексом к. Любое изображение 1к — двумерная матрица интенсивностей пикселей, заданная в виде

где IV, Л — ширина и высота изображения соответственно, а каждый элемент матрицы 1к представляет собой вектор интенсивностей по трем цветовым каналам пространства = е {ОД.....255}.

Примем, что положение объекта определяется расположением прямоугольника, его окаймляющего. Задача видеодетектирования транспортных средств состоит в том, чтобы каждому кадру 1к исходного видео V поставить в соответствие совокупность положений объектов Вк. Тогда задача сводится к построению отображения:

<р: {1к, к = 0,^-1] -> {Вк, к = 0, N — 1), (2)

где Вк = {ЬЬI = 0, sk — 1} - множество окаймляющих прямоугольников, обнаруженных на кадре 1к, 5/с = |Вк| - количество найденных прямоугольников. При этом каждый прямоугольник ЬЪ^ определяется набором следующих компонент:

ЬЬ? = (3) где (*2>Уг) ~ координаты левого верхнего и правого нижнего углов прямоугольника (0 < х[ < х\ < IV — 1, 0 < у[ < У2 ^ Л — 1), £ К - достоверность того, что объект обнаружен правильно, а с' Е С = {'АВТОМОБИЛЬ', 'АВТОБУС'.....'ТРАМВАЙ'} - класс, которому принадлежит транспортное средство.

В рассматриваемой постановке необходимо выполнять построение траекторий движения объектов в системе координат, связанной с изображением. Введем отображение ф для сопоставления окаймляющих прямоугольников на паре последовательных кадров 1к и 1к+1. Заметим, что на некотором кадре объект исчезает из поля зрения камеры. Поэтому следует рассматривать множество образов, расширенное специально выделенным окаймляющим прямоугольником. Выберем прямоугольник с недопустимыми координатами, вырожденный в точку, ЬЬ = ((—1, —1), (—1, —1) [, х, с]), где 5 — произвольная вещественная величина, ас-произвольный класс объектов. Отметим, что в данном случае может быть выбран любой другой прямоугольник с несуществующими координатами. Тогда \р представляет отображение вида (4).

ф: Вк -» Вк+1 и {ЬЬ}, Ук = 0,Л/ - 2. (4) Допустим, что 1к — первый кадр, на котором был обнаружен объект, содержащийся в прямоугольнике с индексом г0(к) £ {0,1,2.....5к], а q - количество последующих кадров, на которых объект виден наблюдателю. Тогда траекторией (треком) движения транспортного средства называется последовательность соответствующих положений объекта:

т*т = (ьь?0, ъъ%\ ЬЬ*;2.....(5)

где П £ {0,1,2.....ЬЬ^1 = «К^г+Г1),' =

В §1.2 приведен анализ существующих методов и технологий видеодетектирования транспортных средств. Сначала вводится классификация методов и технологий детектирования транспортных средств (п. 1.2.1). Подтверждается перспективность разработки и практического применения систем видеодетектирования с точки зрения объема извлекаемой информации. В п. 1.2.2 рассматриваются основные методы решения задачи видеодетектирования. Первая группа методов основана на выделении областей движения и последующей идентификации (разделение и классификация) объектов внутри областей. Методы обладают следующими недостатками:

• Необходимость выполнения трудоемкой программной и аппаратной стабилизации видео, что приводит к частичной потере информации по краям кадра и увеличению времени обработки видео при решении задачи поиска и сопровождения.

• Отсутствие возможности крупноблочной классификации транспортных средств («АВТОМОБИЛЬ», «АВТОБУС» и т.д.) по одному кадру, что представляет интерес при возможном нарушении правил дорожного движения или в моменты возникновения аварийных ситуаций. Решение о принадлежности объекта классу принимается на основании траектории движения области на последовательности кадров.

Вторая группа методов ориентирована на поиск положений отдельных частей (регистрационных номеров или геометрических примитивов) и их сопровождение с дальнейшим принятием решений о параметрах объектов (класс, размеры и т.п.) на основании изображений в траектории. Такой подход обладает рядом недостатков:

• Неустойчивость к изменению внешнего вида и ракурса транспортных средств. Отсутствие регистрационных номерных знаков или их наличие в частях, отличных от общепринятых, приводит к потере объекта на протяжении всей последовательности кадров ви-

деопотока, где он реально наблюдается. Изменение ракурса в процессе выполнения маневров также гарантирует потерю объекта на этапе сопровождения.

• Отсутствие возможности крупноблочной классификации по одному кадру. Классификация в случае поиска регистрационных номеров сводится к поиску информации о соответствующем транспортном средстве в базе ГИБДД. В случае простых геометрических примитивов требуется восстановление параметров автомобиля, исходя из траектории движения.

Поиск, сопровождение и классификация объектов являются ключевыми этапами в перечисленных методах видеодетектирования, поэтому далее в п. 1.2.3 приводится классификация и обзор существующих алгоритмов для решения указанных задач, рассматриваются условия применимости в задаче видеодетектирования транспортных средств. В п. 1.2.4 приведены типичные методы обработки видео, используемые при видеодетектировании транспортных средств для выделения областей интереса, подавления теней, выделения разметки. В п. 1.2.5 перечислены наиболее распространенные числовые показатели для оценки качества поиска и сопровождения объектов. Приведенные показатели используются далее в работе при анализе качества работы методов видеодетектирования.

В конце главы сформулированы основные выводы и задачи диссертационного исследования.

Во второй главе предлагаются методы видеодетектирования транспортных средств, которые позволяют частично решить проблемы, возникающие при использовании существующих подходов. Они позволяют обнаруживать объект на изображении как единую сущность независимо от ракурса и типа перекрытия отдельных частей, выполнять классификацию по одному кадру, восстанавливать траектории движения транспортных средств, ракурс которых изменяется в процессе движения. Предложенные методы используют идеи существующих подходов, поэтому в данной главе сначала дается описание указанных подходов, перечисляются их недостатки, а затем формулируются разработанные методы (§2.1).

Самый очевидный существующий подход к решению задачи видеодетектирования объектов — выполнять поиск на каждом кадре видео независимо (§2.2). Такой подход обладает рядом недостатков. Во-первых, результат зависит только от качества работы алгоритма поиска. При этом алгоритм не использует информацию, полученную на соседних кадрах. Во-вторых, указанный подход не позволяет построить траектории движения, как следствие, необходимы методы, которые совмещают результаты поиска на отдельных изображениях и формируют наборы траекторий. С другой стороны покадровый поиск обладает значительным преимуществом — обеспечивает выделение объектов как самостоятельных сущностей независимо от ракурса. Для решения задачи видеодетектирования транспортных средств с использованием данного подхода предлагается применять существующий алгоритм поиска объектов разных классов Latent SVM, основанный на представлении изображения объекта в виде набора связанных описаний, соответствующих его частям [8]. Модель класса определяется набором компонент, каждая соответствует ракурсу. Построение модели обеспечивается посредством обучения на тренировочном множестве изображений, количество ракурсов определяется вариативностью данных. Модель содержит только компоненты, соответствующие принципиально разным ракурсам.

Дальнейшее исследование связано с повышением качества поиска - увеличением количества правильно обнаруженных транспортных средств и снижением числа ложных срабатываний5. Повышение качества может быть достигнуто за счет извлечения информации из близлежащих кадров с последующим ее применением для уменьшения количества изображений, на которых требуется выполнять поиск объектов. Начальный шаг в сторону повышения качества - применение широко известного подхода - введение двумерных инвариантов, т.е. областей интереса, и отсечение положений, которые выходят за пределы размеченных областей (§2.3). На следующем этапе в работе предлагается использовать алгоритм сопровождения Лукаса-Канаде для дополнительной проверки наличия объекта, обнаруженного алгоритмом поиска, на одном или нескольких следующих кадрах. Параграфы §2.4 и §2.5 содержат описание методов видеодетектирования, учитывающих результаты сопровождения. Введение такого уровня проверки позволит частично удалить ложные срабатывания алгоритма поиска, которые не повторяются на подряд идущих кадрах.

Согласно постановке задачи видеодетектирования для каждого обнаруженного объекта необходимо выполнять построение траектории движения. Чтобы обеспечить полное решение поставленной задачи для метода полного покадрового поиска, предлагается метод видеодетектирования, обеспечивающий восстановление траекторий по набору положений, построенных на каждом кадре видео. Метод основан на сопоставлении признаковых описаний изображений объектов, полученных на паре последовательных кадров видео.

Реализующий алгоритм состоит из четырех основных этапов (рис. 1) [3].

в-®

Разбиение на траектории

Т

Восстановление «пропусков» О

Индекс кадра

О-

о-о

Слияние траекторий

Индекс кадра

Отбрасывание коротких траекторий

Рис. 1. Общая схема алгоритма видеодетектирования для восстановления траекторий

I. Разбиение совокупности всех положений [й; = (/¡, (хг-Уг)'3''с9' =

на небольшие траектории, В; - положения, построенные на /-ом кадре. Разбиение выполняется в предположении, что объекты значительно не изменяют направление движения и не выходят из области видимости камерой (рис. 1). Для этого для

э Ложное срабатывание — окаймляющий прямоугольник, в котором реально объект отсутствует, а алгоритм принял неправильное решение о присутствии объекта в соответствующей области.

каждого следующего положения, которое не принадлежит ни одной траектории, выполняется поиск соответствующих положений посредством перебора и сопоставления признаковых описаний изображений объектов на кадрах (дескрипторы SURF, метод выделения множества корректных соответствий RANSAC). Выбираются пары с максимальным относительным количеством корректных соответствий (отношение числа корректных соответствий к числу обнаруженных ключевых точек), превышающим пороговое значение, которое является параметром алгоритма. При этом дополнительно выполняется контроль изменения направления движения при переходе от кадра к кадру видео и смещения ключевых точек в системе координат изображения, чтобы полностью исключить ложные соответствия ключевых точек.

2. Восстановление «пропусков» внутри построенных траекторий. Очевидно, что если алгоритм поиска не обнаруживает объект на подряд идущих кадрах, то в результате выполнения первого этапа внутри построенных траекторий можно найти «пропуски» положений (рис. 1). Для устранения подобных эффектов применяется процедура восстановления. Предполагается, что объект смещается не более чем на некоторый допустимый интервал хь,уь вверх/вниз и влево/вправо относительно известного положения на предыдущем кадре (рис. 2). Выполняется сопоставление положения на предыдущем кадре и потенциально возможного положения на следующем кадре. Далее по расположению ключевых точек восстанавливается прямоугольник на следующем кадре (рис. 2).

!/, +1

Рис. 2. Схема восстановления положения объекта

3. Слияние треков в более крупные траектории. Автомобили в процессе движения способны изменять направление движения, например, вследствие перестроения в другую полосу движения, либо при повороте в улицу с другим направлением движения, либо при включении задней передачи. Поэтому в результате разбиения траектория движения будет разорвана на несколько коротких траекторий (рис. 1). Сопоставление конечных и начальных фрагментов траекторий без учета направления движения обеспечивает склеивание таких траекторий. Ниже приведены примеры не сопоставляемых траекторий на кадрах видео (рис. 3).

4. Отбрасывание коротких траекторий. Поскольку алгоритм поиска может давать ложные срабатывания, а в результате применения операции восстановления положений возможно распространение ложных срабатываний на соседние кадры (рис. 1), то вполне естественный шаг - удалить из полученного множества траекторий слишком короткие. Предлагаемый метод наряду с построением траекторий обеспечивает частичное отбрасывание обнаруженных ложных положений, также при определенных условиях (процент видимости и степень перекрытия другими объектами) позволяет восстановить моменты входа/выхода объекта в кадр. Метод работает в режиме постобработки набора положений, по-

строенного с использованием алгоритма поиска. Качество видеодетектирования во многом зависит от качества работы алгоритма поиска.

Индекс кадра

Рис. 3. Примеры не сопоставляемых траекторий на множестве всех кадров

В §2.7 предлагается новый метод, обеспечивающий полное решение задачи видеодетектирования. Видео разбивается на блоки одинаковой длины step, и итеративно выполняется обработка каждого блока (рис. 4). Множество всех положений на первом кадре блока построено на предыдущей итерации. Оно включает подмножество положений В[ объектов, которые наблюдались на предыдущих кадрах видео, и подмножество положений Bj объектов, которые обнаружены алгоритмом поиска впервые. Далее выполняется поиск положений транспортных средств Bi+scep на последнем кадре блока. Осуществляется сопоставление множеств положений на первом и последнем кадрах блока В[ U^c Bi+Step, а также обновление положений на промежуточных кадрах посредством применения алгоритма восстановления положений подобно §2.6.

Рис. 4. Схема обработки блока кадров

В сущности, на каждой итерации выполняется обновление множества положений, а наряду с этим и продолжение/создание траекторий движения:

1. Продолжение существующих траекторий, промежуточные финальные положения которых содержатся в множестве В[, построенном на предыдущей итерации (рис. 5).

2. Формирование новых траекторий, либо обновление существующих при условии, что объект был вне области обзора камеры в течение некоторого промежутка времени и появился на первом кадре блока (положения из множества В,).

Рис. 5. Восстановление продолжений траекторий для случая step = 3 3. Создание новых траекторий или продолжение существующих, если объект появился на промежуточном кадре блока (положения из Bi+Step, не имеющие соответствий в В; и В[). Положения восстанавливаются в обратном времени (рис. 6).

Рис. 6. Восстановление положений в обратном времени для случая step = 3

Таким образом, в главе предложен метод видеодетектирования для восстановления траекторий движения, метод видеодетектирования с поиском транспортных средств на некоторых кадрах видео и одновременным построением траекторий. Приведено описание и анализ разработанных методов и реализующих их алгоритмов. Методы в отличие от существующих позволяют восстанавливать траектории транспортных средств, ракурс которых изменяется в процессе движения, объединять участки траекторий транспортных средств, перекрываемых на небольшие промежутки времени, выполнять классификацию по одному кадру в отсутствии информации об истории движения.

В третьей главе представлено общее описание разработанных программных средств для видеодетектирования транспортных средств. В соответствии с функциональными требованиями (§3.1) разработана высокоуровневая архитектура программной системы (§3.2, рис. 7), перечислены основные компоненты и их назначение, приведена общая схема функционирования (§3.3) и алгоритмы работы отдельных модулей (§3.4). Модули поиска, сопровождения и сопоставления являются центральными. На базе указанных модулей строится реализация методов видеодетектирования\ метод полного покадрового поиска (§2.2), метод полного покадрового поиска с отсечением по областям интереса (§2.3), метод видеодетектирования с учетом результатов сопровождения (на один и несколько кадров, §2.4 и §2.5), метода видеодетектирования для восстановления траекторий движения (§2.6). метода видеодетектирования, обеспечивающего поиск на некоторых кадрах видео, восстановление положений на промежуточных кадрах и одновременное построение траекторий (§2.7). В процессе поиска объектов в каждом методе присутствует опциональная возможность удаления окайм-

ляющих прямоугольников, выходящих из областей интереса. Разметка областей интереса осуществляется с использованием соответствующего модуля системы в предположении, что видео получено с неподвижной камеры. Результаты видеодетектирования можно визуализировать в режиме просмотра видео с помощью модулей визуализации окаймляюгцих прямоугольников и траекторий движения объектов. Анализ качества работы системы видеодетектирования требует введения модулей подготовки тестовых данных — модуля разметки окагшляющих прямоугольников для транспортных средств разных классов, модуля формирования траекторий их движения и модуля разметки процента видимости объекта на основании разметки положений и траекторий. Запуск метода видеодетектирования позволит получить набор положений и траекторий, которые в процессе анализа качества необходимо сравнить с разметкой посредством количественных показателей. Модули апробагщи результатов качества видеодетектирования предоставляют соответствующий функционал, а вспомогательные утилиты позволяют автоматизировать процесс сбора и систематизации показателей.

Программная реализация компонент поиска и сопровождения, подготовки тестовых данных и визуализации результатов выполнена на языке С++ с использованием библиотеки OpenCV версии 2.4 (§3.5, п. 3.5.1). Параллельный алгоритм поиска и его реализация разработаны автором и интегрированы в указанную библиотеку. Компоненты апробации результатов видеодетектирования и автоматиза11ии сбора показателей качества реализованы на языках С# и Python. Исключением является модуль VOCdevkit сторонних разработчиков, использующий средства пакета MATLAB (§3.5, п. 3.5.1). Компоненты на С++ и С# представляют собой набор решений, программных библиотек и приложений в среде Microsoft Visual Studio 2010 (§3.5, п. 3.5.2). Общий объем кода превышает 20 ООО строк. Исходный код программной системы и реализации разработанных методов доступны в сети Интернет.

Рис. 7. Архитектура программной системы

В четвертой главе приведен сравнительный анализ качества поиска и сопровождения транспортных средств с использованием разработанных методов.

В §4.1 предлагается общая структура главы.

В §4.2 описываются условия проведения экспериментов. В начале (п. 4.2.1) дается краткая характеристика тестовых видео. Разметка видео содержит объекты до 2% видимости. Далее в п. 4.2.2 выполняется анализ минимального процента видимости, при котором срабатывает алгоритм поиска транспортных средств (для тестового видео составляет 50%). Необходимость данного этапа обусловлена тем, что при оценивании качества поиска и сопровождения следует учитывать объекты, содержащиеся в разметке, которые действительно могут быть обнаружены алгоритмом. Нецелесообразно требовать, чтобы алгоритм находил объекты, чье изображение не содержит достаточного количества информации для обнаружения. Данные о минимальном проценте видимости существенно используются при анализе состава ошибки поиска. В п. 4.2.3 выполняется подбор параметров сопоставления для метода видеодетектирования, решающего задачу восстановления траекторий по набору положений на каждом кадре видео, и метода видеодетектирования, обеспечивающего поиск транспортных средств на некоторых кадрах видеопотока и одновременное построение траекторий. Полученные значения параметров разработанных методов используются при проведении экспериментов с тестовым видео. Затем (п. 4.2.4) приводится описание тестовой инфраструктуры, на базе которой проводились запуски разработанных программных реализаций методов.

В §4.3 описывается эксперимент (п. 4.3.1, 4.3.2) и выполняется сравнительный анализ качества поиска транспортных средств на тестовых видео с использованием методов и алгоритмов, предложенных в главе 2 (п. 4.3.3). Для наиболее перспективных результатов осуществляется анализ состава ошибки поиска (п. 4.3.4. пример результатов на рис. 8).

Рис. 8. Визуализированные результаты работы предложенного метода — построенные окаймляющие прямоугольники с указанием идентификатора траектории объекта

Анализ доказывает, что ошибка поиска в основном обусловлена наличием объектов, процент видимости которых меньше минимального процента видимости, достаточного для обнаружения объекта алгоритмом поиска (50%). При удалении из разметки транспортных средств, видимых менее чем на 50%, показатель числа истинных срабатываний — отношение числа правильно обнаруженных объектов к общему числу размеченных — приближается к 90% на всех тестовых видео (рис. 9). Если в разметке содержатся только полностью видимые

объекты, то указанный показатель составляет -96-98% в зависимости от видео, что качественно сравнимо с опубликованными результатами. Так метод, основанный на восстановлении положений ключевых точек в трехмерном пространстве, дает 86-98%. Метод, использующий в качестве моделей транспортных средств трехмерные каркасы, показывает 90.4%. Метод, основанный на вычислении прямоугольных признаков Хаара, дает от 91.7 до 99.8% истинных срабатываний. Более чистое сравнение осложнено отсутствием открытых программных реализаций и размеченных видео. Отметим, что время обработки блока из 5 кадров составляет -1.7 с (включает поиск на последнем кадре разрешением 720x405 пикселей и восстановление положений на промежуточных кадрах блока), а для обработки видео из 2000 кадров требуется порядка 11-12 минут6.

1,00 0,95 0,9 0 0,85 0,80

a oi dTtewkJJ

0 % т 98% ikkihocimo

/ вйдимУх 1

обнаруживаю! es

20

40

60

80

100

120

%, пороговый процент видимости при отсечении размеченных объектов

Рис. 9. Изменение показателя числа истинных срабатываний для тестового видео В §4.4 проводится анализ качества сопровождения транспортных средств с использованием указанных методов и алгоритмов на выбранных тестовых траекториях (п. 4.4.1). Выполняется сравнение результатов сопровождения одного объекта с открытыми реализациями широко известных алгоритмов сопровождения — алгоритмом Лукаса-Канаде (Lucas-Kanade), основанного на построении оптического потока, и алгоритмом медианного потока (Predator или Tracking-Learning-Detection) (п. 4.4.2). В процессе сравнения использована реализация алгоритма Лукаса-Канаде из библиотеки OpenCV и открытая реализация авторов алгоритма медианного потока. Для оценки качества сопровождения одного объекта использовался средний процент перекрытия размеченных и обнаруженных прямоугольников в траекториях и отношение числа кадров, на которых объект сопровождался до момента потери, к общему числу кадров, содержащих траекторию (п. 4.4.3). Эксперименты показали, что для сложных траекторий транспортных средств, содержащих перекрытия объектов, разработанный метод видеодетектирования работает лучше существующих: объекты сопровождаются на всех кадрах, содержащих траектории (рис. 10), средний процент перекрытия больше на 1-28% (рис. 11). При этом в случае простых траекторий разработанный метод не уступает указанным выше (п. 4.4.4).

6 Эксперименты проводились на следующей тестовой инфраструктуре: процессор - Intel® Core™ ¡5 CPU, 3 GHz (2 физических + 2 виртуальных ядра), ОС - Windows 7, компилятор - Microsoft® Visual Studio 2010.

I I

Рис. 12. Визуализированные результаты работы на реальном видео

18

_______УШ__

I I I I I

Полностью видимые ТС, видимые более Полностью видимые Неподвижные ТС, Сложные ситуации ТС чем на 50% неподвижные ТС видимые менее чем изменения процента

50% видимости

» Метод видеодетектирования ■ Метод Лукаса-Канаде ^ Метод медианного потока (TLD)

Рис. 10. Отношение числа кадров, на которых объект сопровождался до момента потери, к общему числу кадров, содержащих траекторию

0'83П7,П-

Полностью видимые ТС, видимые более Полностью видимые Неподвижные ТС, Сложные ситуации ТС чем на 50% неподвижные ТС видимые менее чем изменения процента

50% видимости

я Метод видеодетектирования ■ Метод Лукаса-Канаде » Метод медианного потока (TLD)

Рис. 11. Средний процент перекрытия размеченных и построенных прямоугольников в траекториях

В §4.5 предлагаются результаты видеодетектирования с использованием разработанных методов, которые получены для видео, снятого в реальных дорожных условиях (вид с набережной Федоровского на участок Канавинского моста (г. Нижний Новгород) - поворот на Нижневолжскую набережную и подъем на Похвалинский съезд, рис. 12). Условия съемки отличаются от тестового видео. Характерные отличия и особенности видео перечислены в п. 4.5.1, в целом видео сложнее с точки зрения предложенных методов.

Далее описываются параметры методов (п. 4.5.2) в случае их работы на реальном видео, анализируется минимальный процент видимости, при котором срабатывает алгоритм поиска (составляет 80%, т.к. объекты в 1.5 раза меньше, чем на тестовом видео). Приводится анализ качества поиска и сопровождения транспортных средств, сравнение с результатами, полученными для тестовых видео (п. 4.5.3). В целом значения показателей качества отличаются на несколько процентов. Так показатель числа истинных срабатываний приближается к 90% при условии, что разметка содержит объекты, видимые более чем на 80%. При наличии в разметке только полностью видимых объектов показатель числа истинных срабатываний превышает 93% (рис. 13).

0,98 Г-1......; Г ■.■■■■■■■■, : : | ] I' М < ! : , I I 5 5 ■ , , , .....■......■

0,94 ! 0,90 ^

0,9 [......!..................................4............................ ....................■:......•.......■....... ^ф "" * 0,93.......:..............

0,86 !......4.............I......I......-.....;..........................1......4............1......93% полное 11>ю

0,82 , • - 4.....|—|——I

0,78 0474 .................. «АВТОМОЬИЛЯ»

0,74 ...........................I Ч.......!......г.............\......................г......4......1......Ы......1.......!.....+4......*.......1......

0 7 Т ы м I I I м 1 м 1 I м м м.....ронаруишванп^я

0 20 40 60 80 100 120

%, пороговый процент видимости при отсечении размеченных объектов

Рис. 13. Изменение показателя числа истинных срабатываний для реального видео Небольшая разница показателей по сравнению с тестовым видео обусловлена менее точным построением окаймляющих прямоугольников (из-за несколько отличного ракурса транспортных средств), что отмечается при анализе состава ошибки поиска. Наличие посторонних объектов (дорожные знаки, провода троллейбусных линий) непосредственно над дорожным полотном приводит к увеличению числа ложных срабатываний.

В конце главы делаются выводы на основании полученных показателей качества поиска и сопровождения.

В заключении изложены основные научные и практические результаты диссертационного исследования.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

Основным практическим результатом диссертационной работы является создание метода видеодетектирования, обеспечивающего классификацию по одному кадру и восстановление траекторий/направления движения транспортных средств (в системе координат, связанной с изображением) с изменяющимся ракурсом. Разработан набор программных библиотек и приложений для видеодетектирования транспортных средств, реализующих предложенные методы и необходимый вспомогательный функционал для разметки видеоданных в полуавтоматическом режиме и количественного оценивания результатов поиска и сопровождения. Программные средства готовы к практическому использованию в подсистемах классификации транспортных средств, оценки интенсивности транспортных потоков с учетом направления движения и других.

1 _ ¡1 41 _

п

г~ 93% н "У и ноет ьи

£ ММЫЭГ-

— ВЦ;

1'" «АН И): ииьил:

Ьбнагп ЦС шаютс

В работе получены следующие научные и практические результаты, выносимые на защиту.

1. Разработаны следующие методы и реализующие их алгоритмы:

• Предложен метод и реализующий алгоритм видеодетектирования для восстановления траекторий движения транспортных средств в системе координат изображения по множеству положений, построенных с использованием известного алгоритма поиска объектов разных классов. Метод в отличие от существующих позволяет

- восстанавливать траектории транспортных средств, ракурс которых изменяется в процессе движения;

- при определенных условиях объединять участки траекторий транспортных средств, полностью перекрываемых на небольшие промежутки времени;

- оценивать интенсивность и качественный состав транспортных потоков разного направления, исходя из траекторий при наличии информации о контексте (например, размещение въездов/выездов на улицы).

• Предложен метод и реализующий алгоритм видеодетектирования, обеспечивающий поиск транспортных средств на некоторых кадрах видеопотока и одновременное построение траекторий их движения в системе координат, связанной с изображением. Метод в отличие от существующих позволяет

- обнаруживать и сопровождать транспортные средства с изменяющимся ракурсом независимо от класса транспортного средства;

- выполнять классификацию транспортных средств по одному кадру.

2. Разработана архитектура и реализована программная система видеодетектирования транспортных средств, позволяющая выполнять подготовку тестовых данных, разрабатывать и интегрировать новые программные реализации методов видеодетектирования, а также применять разработанные методы видеодетектирования и оценивать качество поиска и сопровождения с точки зрения числовых показателей, рассмотренных в работе. Система может быть использована для видеодетектирования объектов других классов, т.к. множество классов определяется набором имеющихся моделей и алгоритмов поиска.

3. Выполнено экспериментальное исследование эффективности работы системы и оценка качества видеодетектирования транспортных средств класса «АВТОМОБИЛЬ» на тестовом и реальном видео. Сравнение качества поиска показало, что разработанные методы обеспечивают не только сопоставимость результатов с существующими методами, но и по некоторым показателям их превосходят. При этом показатели качества сопровождения отдельных транспортных средств на большинстве тестов лучше, чем для известных методов сопровождения.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Статьи в изданиях, рекомендованных ВАК

1. Druzhkov, P.N. New object detection features in OpenCV library [Текст] / P.N. Druzhkov, V.L. Eruhimov, E.A. Kozinov, V.D. Kustikova, I.B. Meyerov, A.N. Polovinkin, N.Yu. Zolo-tykh // Pattern Recognition and Image Analysis: Advances in Mathematical Theory and Applications. - 2011. - V. 21, № 3. - P. 384-386.

2. Кустикова, В.Д. Обзор методов поиска и сопровождения транспортных средств на потоке видеоданных [Текст] / В.Д. Кустикова, Н.Ю. Золотых, И.Б. Мееров // Вест. Нижегородского госуниверситета. -2012. — № 5 (2).-С. 347-357.

3. Кустикова, В.Д. Сравнение некоторых алгоритмов видеодетектирования транспортных средств [Текст] / В.Д. Кустикова // Вест. Нижегородского госуниверситета. — 2013. — № 4 (1). — С.231—242.

4. Kustikova, V.D. Video-Based Vehicle Detection Method [Текст] / V.D. Kustikova, I.B. Mey-erov, N.Yu. Zolotykh // Pattern Recognition and Image Analysis: Advances in Mathematical Theory and Applications. - 2014. - V. 24, № 4. - P. 588-582.

Свидетельства о государственной регистрации программы для ЭВМ

5. Мееров И.Б., Золотых Н.Ю., Половинкин А.Н., Козинов Е.А., Кустикова В.Д., Сиднев

A.A., Капралов Е.И., Рябикин Н.М., Ерухимов B.JI. Свидетельство о государственной регистрации программы для ЭВМ № 2011616620 «Скрытый метод опорных векторов для решения задач машинного обучения» от 25 августа 2011 г.

6. Кустикова В.Д. Свидетельство о государственной регистрации программы для ЭВМ № 2013614810 «Метод видеодетектирования автомобилей» от 22 мая 2013 г.

Публикации в других изданиях

7. Козинов, Е.А. Подходы к оптимизации и распараллеливанию вычислений в задаче детектирования объектов разных классов на изображении [Текст] / Е.А. Козинов,

B.Д. Кустикова, И.Б. Мееров, А.Н. Половинкин, A.A. Сиднев // Вест. Южно-Уральского госуниверситета, серия «Вычислительная математика и информатика». — 2012. — №47 (306).-С. 68-82.

8. Золотых, Н.Ю. Об одном подходе к решению задачи поиска объектов на изображениях [Текст] / Н.Ю. Золотых, Е.А. Козинов, В.Д. Кустикова, И.Б. Мееров, А.Н. Половинкин // 10-ая Международная конференция Высокопроизводительные вычисления на кластерных системах (НРС-2010): Материалы конференции (Пермь, ноябрь 1-3, 2010). — Пермь: Изд. ПГТУ, 2010. - С. 270-277.

9. Druzhkov, P.N. On some new object detection features in OpenCV library [Текст] / P.N. Dru-zhkov, V.L. Eruhimov, E.A. Kozinov, V.D. Kustikova, I.B. Meyerov, A.N. Polovinkin, N.Yu. Zolotykh // Proceedings of the 10th International Conference on Pattern Recognition and Image Analysis: New Information Technologies (PRIA-10-2010), St. Petersburg, December 5-12, 2010.-V.U.-P. 91-93.

10. Золотых, Н.Ю. Инфраструктура для параллельного поиска объектов разных классов на изображении [Текст] / Н.Ю. Золотых, Е.А. Козинов, В.Д. Кустикова, И.Б. Мееров, А.Н. Половинкин // Параллельные вычислительные технологии (ПаВТ'2011): Труды международной научной конференции (Москва, 28 марта — 1 апреля 2011 г.). — Ч.: Изд. ц. ЮУрГУ, 2011. - С. 690.

11. Золотых, Н.Ю. Об одном методе повышения скорости поиска объектов методом скрытых опорных векторов за счет применения каскадных схем [Текст] / Н.Ю. Золотых, Е.А. Козинов, В.Д. Кустикова, И.Б. Мееров, А.Н. Половинкин // 11-ая Всероссийская конференция Высокопроизводительные параллельные вычисления на кластерных систе-

мах (НРС-2011): Труды конференции (Н. Новгород, ноябрь 17-19, 2011). - Н. Новгород: Изд. ННГУ, 2011.-С. 134-139.

12. Козинов, Е.А. Подходы к оптимизации и распараллеливанию вычислений в задаче детектирования объектов разных классов на изображении [Текст] / Е.А. Козинов, В.Д. Кустикова, И.Б. Мееров, А.Н. Половинкин, А.А. Сиднев // Параллельные вычислительные технологии (ПаВТ'2012): труды международной научной конференции (Новосибирск, 2630 марта2012 г.).-Ч.: Изд. ц. ЮУрГУ, 2012.-С. 202-211.

13. Кустикова, В.Д. Об одном подходе к решению задачи видеодетектирования транспортных средств [Текст] / В.Д. Кустикова // 12-ая Всероссийская конференция Высокопроизводительные параллельные вычисления на кластерных системах (НРС-2012): Труды конференции (Н.Новгород, ноябрь 26-28, 2012).-Н. Новгород: Изд. ННГУ, 2012.-С. 241246.

14. Золотых, Н.Ю. Разработка системы видеодетектирования транспортных средств [Текст] / Н.Ю. Золотых, Е.А. Козинов, В.Д. Кустикова, И.Б. Мееров, А.Н. Половинкин // Всероссийская конференция «Анализ изображений, сетей и текстов» (АИСТ'13): доклады конференции (Екатеринбург, 4-6 апреля 2013). — Национальный открытый университет «ИНТУИТ», 2013. - С. 115-122.

15. Kustikova, V.D. Vehicle Video Detection Method [Текст] / V.D. Kustikova, I.B. Meyerov, N.Yu. Zolotykh // Proceedings of the 11th International Conference "Pattern Recognition and Image Analysis: New information technologies" (PRIA-11-2013), Samara, September 23-28, 2013.-V. 1. — P.232—235.

16. Kustikova, V.D. Vehicle Video Detection and Tracking Quality Analysis [Электронный ресурс] / V.D. Kustikova // University of Koblenz-Landau: 9th Open German-Russian Workshop on Pattern Recognition and Image Understanding (OGRW-2014, Electronic on-site Proceedings), Koblenz, Germany, December 1-5, 2014. - Режим доступа: http://userpages.uni-koblenz.de/~ogrw2014/files/ogrw2014.bib.

Подписано в печать 06.04.2015. Формат 60 х 84 'Лб. Бумага офсетная. _Печать офсетная. Уч.-изд. л. 1,0. Тираж 100 экз. Заказ 240._

Нижегородский государственный технический университет им. P.E. Алексеева.

Типография НГТУ. Адрес университета и полиграфического предприятия: 603950, ГСП-41, г. Нижний Новгород, ул. Минина, 24.