автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Комплексирование алгоритмов измерения координат объектов в бортовых системах видеослежения

На правах рукописи

/

СМИРНОВ Сергей Александрович

КОМПЛЕКСИРОВАНИЕ АЛГОРИТМОВ ИЗМЕРЕНИЯ КООРДИНАТ ОБЪЕКТОВ В БОРТОВЫХ СИСТЕМАХ ВИДЕОСЛЕЖЕНИЯ

Специальность 05.13.01 - «Системный анализ, управление и обработка информации (технические системы)»

005567408

15 АПР 2015

Автореферат

диссертации на соискание учёной степени кандидата технических наук

Рязань 2015

005567408

Работа выполнена в ФГБОУ ВПО «Рязанский государственный радиотехнический университет».

Научный руководитель:

Официальные оппоненты

Ведущая организация:

Алпатов Борис Алексеевич,

доктор технических наук, профессор,

ФГБОУ ВПО «РГРТУ», г. Рязань, зав. кафедрой

Котов Владислав Викторович доктор технических наук, доцент, ФГБОУ ВПО «Тульский государственный университет», г. Тула, профессор

Муртазов Андрей Константинович кандидат технических наук, доцент, ФГБОУ ВПО «Рязанский государственный университет имени С.А. Есенина», г. Рязань, директор астрономической обсерватории

ОАО «Научно-производственная корпорация «Конструкторское бюро машиностроения», г. Коломна

Защита состоится 20.05.2015 г. в 12 часов на заседании диссертационного совета Д 212.211.01 в ФГБОУ ВПО «Рязанский государственный радиотехнический университет» по адресу:

390005, г. Рязань, ул. Гагарина, 59/1, ауд. 235.

С диссертацией можно ознакомиться в библиотеке ФГБОУ ВПО «Рязанский государственный радиотехнический университет».

Автореферат разослан « 2,» апреля 2015 г.

Ученый секретарь диссертационного совета кандидат технических наук, доцент

Пржегорлинский В.Н.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Несмотря на большие успехи, достигнутые за последние десятилетия в развитии систем обработки и анализа изображений, многие теоретические вопросы и практические направления применения таких систем остаются недостаточно изученными. Среди этих направлений важным является разработка бортовых систем видеослежения, которые предназначены для установки на автономных носителях, таких как самолеты, вертолёты, автомобили. Актуальной проблемой, возникающей при создании таких систем, является проблема измерения координат объектов. Сложность и многогранность данной задачи не позволяют ее решить в рамках одного какого-либо подхода, а требуют создания целого комплекса алгоритмов, ориентированных на различное применение.

К настоящему времени известны несколько методов решения задачи измерения координат объектов. На основе этих методов разработано большое количество алгоритмов измерения координат объектов, каждый из которых характеризуется определёнными требованиями к типам фоноцелевой обстановки, при которых алгоритм работоспособен. Во многих случаях, имея априорные сведения о фоноцелевой обстановке, можно выбрать алгоритм измерения координат объектов, обеспечивающий высокие качественные показатели. Достаточно часто, особенно при работе бортовых систем видеослежения реального времени, априорные сведения о фоноцелевой обстановке отсутствуют, так же как и отсутствует возможность оперативного вмешательства оператора для задания типа фоноцелевой обстановки. В данной ситуации необходимо использовать алгоритмы измерения координат объектов, работоспособные в широком диапазоне условий наблюдения. К сожалению, на данный момент среди существующих методов нет такого, который обладал бы удовлетворительным качеством в любых условиях наблюдения.

Добиться повышения автономности и расширения диапазона условий применения бортовых систем с точки зрения повышения качества слежения можно тремя основными способами:

- разработка датчиков изображений, имеющих улучшенные параметры с точки зрения отношения сигнал/шум, при этом для решения задачи измерения координат используются известные алгоритмы, и улучшение достигается за счет повышения качества наблюдаемых видеосюжетов;

- совместная обработка информации от нескольких датчиков изображений либо применение новых типов датчиков изображений, фиксирующих изображение наблюдаемой сцены с различных точек зрения или в разных спектральных диапазонах. Данный способ получил в литературе название «комплексирование изображений»;

- построение комплексных алгоритмов обработки и анализа изображений. Этот способ предполагает использование нескольких базовых алгоритмов измерения координат объектов. Результаты, полученные базовыми алгоритмами, объединяются, и формируются более полные и точные сведения о наличии объектов на изображении, их координатах, траекториях

движения. Данный способ получил в литературе название «комплексирование алгоритмов обработки информации». Применение новых датчиков изображений в некоторых случаях может потребовать перенастройки всей системы видеослежения, а также может приводить к значительному удорожанию бортовых систем анализа изображений. Способ, основанный на комплексировании изображений, требует не только использования нескольких датчиков, но и разработки новых методов анализа многоканальных изображений. Также данный способ требует больших вычислительных затрат. Комплексирование алгоритмов обработки информации позволяет добиться повышения качества слежения за счет использования апробированных методов измерения координат без значительного увеличения вычислительной сложности.

Таким образом, существует актуальная проблема комплексирования алгоритмов измерения координат в бортовых системах видеослежения.

Степень разработанности темы. Вопросам комплексирования алгоритмов измерения координат уделяется достаточно много внимания в отечественной и зарубежной литературе. Значительный вклад в разработку методов и алгоритмов решения данной задачи внесли работы таких учёных, как Б.А. Алпатов, Ю.В. Визильтер, С.Ю. Желтов, К.К. Васильев, А. Г! Трифонов, D. L. Hall, Р. Correia, J. Linas и др. Несмотря на большое количество работ по данной тематике, анализ литературы показал, что не в полной мере использованы возможности для повышения качества решения рассматриваемой задачи.

В ряде работ широко освещены алгоритмы измерения координат объектов в системах с подвижным и неподвижным датчиком. Рассмотрены вопросы объединения нескольких алгоритмов анализа изображений для устранения недостатков одного алгоритма за счет достоинств другого. Однако в данных работах недостаточно внимания уделено оценке работоспособности алгоритмов при изменении фоноцелевой обстановки в процессе наблюдения.

Цель диссертационной работы состоит в разработке критериев оценки работоспособности алгоритмов измерения координат объектов, а также в разработке и исследовании подхода к комплексированию алгоритмов измерения координат на основе полученных оценок работоспособности. Практическая цель работы - разработка специализированного программного обеспечения и экспериментальное подтверждение эффективности разработанных алгоритмов.

Для достижения поставленной цели требуется решить следующие основные задачи:

- анализ основных методов решения задач видеослежения и проблем их использования;

- анализ существующих подходов к комплексированию информации в системах видеослежения реального времени;

- разработка и исследование критериев оценки работоспособности алгоритмов измерения координат;

- разработка и исследование процедуры автоматического выбора алгоритма

измерения координат наземных объектов;

- разработка и исследование комбинированного алгоритма измерения координат воздушных объектов;

- разработка и исследование алгоритма измерения координат объекта при одновременном наблюдении в видимом и инфракрасном диапазонах.

Научная новизна диссертации состоит в том, что в ней впервые сформулированы и решены задачи оценивания качества работы алгоритмов измерения координат на основе вычисления значений критериев работоспособности и комплексирования этих алгоритмов на основе результатов оценивания качества их работы. Эффективность разработанных подходов получила экспериментальное подтверждение.

Методы исследования. Теоретические исследования в настоящей работе выполнены с использованием методов теории вероятности, теории статистических решений, теории компьютерной обработки изображений. Экспериментальные исследования выполнялись на реальных видеосюжетах с использованием методов компьютерного моделирования и математической статистики.

Достоверность результатов и выводов диссертации подтверждается корректным использованием математического аппарата, результатами моделирования и экспериментальными исследованиями.

Реализация и внедрение. Результаты диссертационной работы были использованы при выполнении 3-х научно-исследовательских работ, проводимых в Рязанском государственном радиотехническом университете по заказу Министерства образования и науки РФ, и 5-ти научно-исследовательских работ, проводимых в Рязанском государственном радиотехническом университете по заказу ОАО «Государственный Рязанский приборный завод», что подтверждается актами внедрения. По результатам диссертации была подана заявка на патент «Способ обработки последовательности изображений для определения координат объектов на основе комплексирования базовых алгоритмов».

Апробация работы. Основные результаты работы докладывались на следующих конференциях: международной конференции «Electro-Optical Remote Sensing, Photonic Technologies and Applications» (Эдинбург - 2012); 13-й, 14-й, 16-й и 19-й всероссийских научно-технических конференциях «Новые информационные технологии в научных исследованиях и образовании» (Рязань - 2008, 2009, 2011,2014); всероссийской научной конференции молодых учёных «Наука, технологии, инновации» (Новосибирск - 2008); 11-й и 14-й международных научно-технических конференциях «Цифровая обработка сигналов и ее применения» (Москва - 2009, 2012); международной научно-технической конференции «Многопроцессорные вычислительные и управляющие системы» (Таганрог - 2009); 9-й международной научно-технической конференции «Оптико-электронные приборы и устройства в системах распознавания образов, обработки изображений и символьной информации» (Курск - 2010); 20-ой международной конференции по

компьютерной графике и зрению «ГрафиКон'2010» (Санкт - Петербург - 2010); 16-й международной научно-технической конференции «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций» (Рязань - 2010); всероссийской конференции по результатам проектов, реализованных в рамках Федеральных целевых программ «Научные и научно-педагогические кадры инновационной России» на 2009-2013 годы, «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2012 годы» в области информационно-телекоммуникационных технологий (Москва - 2010); 6-й всероссийской научно-технической конференции «Перспективные системы и задачи управления» (Таганрог -2011); 18-й всероссийской научно-технической конференции «Проблемы теории и практики развития войск ПВО СВ в современных условиях» (Смоленск - 2011); 40-й международной научной конференции «Гагаринские чтения» (Москва-2014).

Публикации. По теме диссертации опубликована 21 работа, в том числе 4 статьи в журналах, рекомендованных ВАК для публикации результатов кандидатских диссертаций. Результаты исследований отражены в 3 отчётах о НИР, прошедших государственную регистрацию.

Основные результаты, выносимые на защиту:

- критерии оценки работоспособности алгоритмов измерения координат;

- процедура автоматического выбора алгоритма измерения координат наземных объектов;

- комбинированный алгоритм измерения координат воздушных объектов;

- алгоритм измерения координат объектов при одновременном наблюдении в видимом и инфракрасном диапазонах.

Структура и объем диссертации. Диссертация состоит из введения, четырёх глав, заключения, списка литературы (117 источников), изложенных на 165 страницах, содержит 51 рисунок, 6 таблиц и 2 приложения.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность работы, определены цели и задачи исследования, сформулирована научная новизна, обоснована практическая значимость работы и приведена краткая структура диссертации.

Первая глава диссертации посвящена аналитическому обзору текущего состояния исследований по проблеме комплексирования алгоритмов измерения координат.

Системы видеослежения предназначены для решения высокоуровневых задач автоматического анализа последовательностей изображений. Эти задачи связаны с интерпретацией наблюдаемой сцены и получением информации о факте присутствия и параметрах объектов, находящихся в поле зрения датчика изображений. Значительный прогресс вычислительной техники приводит к расширению сферы практического использования систем видеослежения. Наибольшее распространение данные системы получили в следующих сферах применения: в системах оптической локации, управления движением

воздушных и наземных транспортных средств, в робототехнических системах, в бортовых системах пилотируемой и беспилотной техники.

Широкий спектр задач видеослежения, как правило, может быть решен с использованием одного и того же подмножества методологических подходов. Хорошо зарекомендовали себя четыре класса методов слежения, основанные на сопоставлении с эталоном, статистической сегментации, пространственной фильтрации, пространственно-временной обработке.

Добиться повышения характеристик бортовых систем видеослежения можно за счет комплексирования алгоритмов измерения координат. Под комплексированием понимается наилучшее использование информации от последовательно или параллельно работающих алгоритмов, определяющих одни и те же координаты с целью повышения надежности и точности систем видеослежения. Повышение характеристик системы объясняется тем фактом, что неработоспособность отдельных алгоритмов в текущей фоноцелевой обстановке не приводит к отказу работы системы в целом. При этом комплексирование алгоритмов измерения координат можно рассматривать как для случая наблюдения объектов в одном спектральном диапазоне, так и при одновременном наблюдении в нескольких спектральных диапазонах.

Подходы к комплексированию алгоритмов обработки изображений, получаемых одним датчиком, можно условно разделить на две группы: объединение и комбинирование базовых алгоритмов. Объединение сводится к такой модификации базовых алгоритмов, при которой удается использовать сильные стороны одного алгоритма для повышения качественных характеристик другого алгоритма. При этом используемые алгоритмы могут принадлежать как к одной, так и к разным группам методов обработки изображений. При комбинировании базовых методов осуществляется слияние информации, полученной в результате работы этих методов.

Комплексирование информации, получаемой несколькими датчиками, работающими в разных спектральных диапазонах, может быть осуществлено на трёх уровнях (рисунок 1):

- объединение изображений;

- объединение признаков;

- объединение решений.

Первый уровень комплексирования сводится к объединению информации, получаемой от разных датчиков, в одно изображение. Это изображение содержит более точное описание сцены, чем изображения, полученные одним датчиком. На втором уровне осуществляется объединение признаков, полученных из каждого спектрального, диапазона. На третьем уровне предлагается решить задачу измерения координат независимо в каждом спектральном канале, а затем объединить результаты.

Обзор литературы показывает, что существующие подходы к комплексированию информации позволяют повысить эффективность бортовых систем видеослежения. Однако большинство из предложенных подходов обеспечивают высокие показатели качества при ограниченных условиях наблюдения.

;

Выделение Выделение

признаков признаков

Преобразование Преобразование

признаков признаков

1 4

Принятие Принятие

решения решения

Уровень «объединение решений»

Рисунок 1 - Уровни комплексирования информации

На практике в современных бортовых системах видеослежения широкое применение нашли четыре алгоритма измерения координат, относящиеся к названным выше методам слежения: алгоритм на основе сопоставления с эталоном, алгоритм сегментации на основе байесовской процедуры классификации, алгоритм на основе пространственной фильтрации, алгоритм выделения динамических изменений. Зачастую в аппаратуру бортовых систем закладывается не один, а несколько алгоритмов измерения координат объектов. Каждый из этих алгоритмов ориентирован на различные типы фоноцелевой обстановки. Существенное изменение фоноцелевой обстановки приводит к неудовлетворительной работе алгоритмов. Таким образом, для повышения точности и надежности бортовых систем видеослежения необходимо разработать критерии, позволяющие оценить работоспособность алгоритмов измерения координат в зависимости от фоноцелевой обстановки, и на основании этих критериев автоматически выбирать алгоритм измерения координат объекта в зависимости от фоноцелевой обстановки. Данная задача относится к задаче комплексирования.

Вторая глава посвящена задаче оценивания работоспособности алгоритмов измерения координат.

Оценивание работоспособности алгоритма измерения координат в зависимости от характеристик фоноцелевых условий связано с введением критериев, описывающих качество работы алгоритма. Рассмотрим два вида таких критериев: количественные характеристики работоспособности (КХР) и признаки работоспособности (ПР). Для использования КХР необходимо знать эталонные данные о траектории движения объектов, что невозможно в процессе функционирования систем реального времени. Для вычисления ПР не требуются эталонные данные, однако ПР дают лишь оценочную характеристику работоспособности. Для использования этих характеристик предварительно необходимо установить статистическую связь между КХР и ПР. Таким образом, на основе данной связи можно по значениям ПР получить оценки КХР.

Ввиду чрезвычайной сложности построения моделей фоноцелевой обстановки практически отсутствует возможность аналитического построения функ-

ции, устанавливающей соответствие между значениями ПР и КХР. По этой причине разработана процедура нахождения КХР на основе обучения на большом количестве видеосюжетов.

Для проведения такого обучения заранее формируется база данных видеосюжетов с различной фоноцелевой обстановкой. Для каждого объекта экспертом фиксируются эталонная траектория и размеры объекта. Каждый видеосюжет обрабатывается алгоритмом измерения координат объектов, и формируются измеренные траектории. На основе сопоставления эталонных и измеренных траекторий вычисляется КХР. Затем производится статистический анализ КХР и ПР, рассчитанных по первым кадрам видеосюжетов. Опираясь на предположение о наличии статистической связи между ними, можно найти характер этой зависимости для алгоритма измерения координат.

Таким образом, после нахождения зависимости между ПР и КХР можно в режиме реального времени при поступлении очередного кадра видеосюжета произвести оценку КХР и объективно оценить работоспособность алгоритма.

Структура предлагаемого подхода к оцениванию ожидаемой работоспособности алгоритмов приведена на рисунке 2.

Видеосюжет

Оценивание ожидаемой работоспособности алгоритма

измерения координат -^

Измеренные траектории^

Алгоритмы измерения координат

объектов -^-

Вычисление КХР

Значения КХР

Оценки КХР

Правила оценивания КХР

Ж Эталонные траектории

Видеосюжеты, целеуказания

База данных видеосюжетов и эталонных параметров объектов

Статистичес кий анализ КХР и ПР

13

Значения ПР

Вычисление ПР

Ж

Начальные кадры сюжетов, целеуказания

Рисунок 2 - Оценивание ожидаемой работоспособности алгоритмов измерения координат объектов

В качестве КХР необходимо выбрать критерий, описывающий измерение координат с точки зрения точности. В данной работе используется бинарная КХР. Бинарная КХР может принимать значения «следит»/«не следит». Критерий принимает значение «следит» (1), если в течение заданного количества кадров наблюдаемой видеопоследовательности измеренный центр объекга не выходит за пределы окружности, центр которой соответствует эталонному центру объекта, а радиус равен Я = 0,5\а2 + Ъг , где а и Ь - эталонные размеры объекта. В противном случае критерий имеет значение «не следит» (0).

ПР должны быть связаны с теми особенностями объекта, которые тот или иной алгоритм измерения координат использует для отделения объекга от фона. Также ПР должны быть инвариантны к изменению яркости, контраста, масштаба, к вращению и сдвигу изображения.

ПР, характеризующий алгоритм на основе сопоставления с эталоном, основан на сравнении временной изменчивости объекта и величины отличия объекта от фона:

min Z № + a,J+ А ") - KU J, "t

KF,op(n + = -) (1)

min + cc,j + ß,n + \)- h{i, j, n\

VV.lKW )

где l(i,j,n) - наблюдаемое в n -м кадре изображение, h(Uj,n)- эталонное изображение объекта в п-м кадре, а, ß - параметры, характеризующие смещение объекта вдоль осей координат, W- множество точек зоны поиска в {п + \)-м кадре, Г - множество граничных точек зоны поиска в п-м кадре. Числитель выражения (1) следует интерпретировать как оценку отличия изображения объекта от окружающего фона, а знаменатель определяет показатель временной изменчивости изображения объекта.

Работоспособность алгоритма измерения координат на основе байесовской классификации определяется различиями статистических характеристик фона и объекта. Поэтому признак, оценивающий работоспособность данного алгоритма, должен быть основан на вычислении различия объекта и фона:

NM NM

крскт = л, (2)

»-1 >=1 д=1 у-1

где р(Х \ О), р(Х | Р)- совместная яркостно-градиентная гистограмма в окне и рамке соответственно, N, М - число разрядов гистограммы по яркости и по градиенту соответственно.

ПР, характеризующий алгоритм измерения координат на основе пространственной фильтрации, основан на оценке амплитуды яркостного импульса, представляющего объект на изображении:

¡¡-с- _ ('.ЛЕЯ_

прост--;-> (j)

<J

где d^Jij) - яркость разностного изображения в точке (i,j), принадлежащей области окна, ст - оценка СКО фона. Разностное изображение определяется выражением d(i,j) = f^Uj)-MUJ), где ft(Uj) и f,(Uj) - изображения, полученные в результате фильтрации исходного изображения различными масками.

ПР, характеризующий алгоритм измерения координат на основе выделения динамических изменений, основан на выявлении изменений в изображении, вызванных движением объектов:

(4)

где g(i,j)~ оценка яркости фонового изображения в точке (г,у), l(i,j) - яркость (Uj) точки изображения, ä(i,j) - оценка СКО фона, М, N - размеры кадра.

Переход от ПР к бинарной КХР реализуется путём сравнения признаков работоспособности с пороговыми значениями.

Рассмотрим процедуру нахождения порогового значения для произвольно-

го алгоритма измерения координат. Всё множество видеосюжетов можно разбить на подмножество Л'13 для которых КХР приняла значение 1, и подмножество Х2, включающее все остальные видеосюжеты. В качестве критерия выбора порога используется критерии максимального правдоподобия. Для этого приближенно опишем плотность распределения ПР внутри каждого множества Х1 и Л'2 с помощью нормального распределения и найдём выборочные средние т, и дисперсию af для каждого множества Л',. Поиск порогового значения сводится к вычислению точки пересечения гауссоид по соотношению

-(2ща\-2тга-)±4Р

/1.2 _ г 2^ ' ^ '

2(ст,2 ~СГг)

где D = (2п\е\ - 2тга{ )2 - 4(а{ -a:)- (crlm22 - стГн;,2 - 2а1а\ 1п д/сг, / <т2 ).

Из полученных /12 в качестве порогового выбирается значение, которое

лежит в диапазоне [»/;,/«?].

Для определения пороговых значений, согласно описанной выше процедуре, были проведены исследования для базы данных, состоящей из двухсот видеосюжетов. База данных содержала сюжеты с наземной и воздушной фоноце-левой обстановкой. Для этих сюжетов на основе сравнения с эталонными данным! было принято решение о работоспособности алгоритмов измерения координат в терминах бинарной КХР, т.е. «следит»/«не следит». ПР были рассчитаны по формулам (1)-(4).

При определении порогового значения возможны ошибки двух видов:

- ошибка первого рода - ошибочное принятие решения, что алгоритм неработоспособен;

- ошибка второго рода - ошибочное принятие решения, что алгоритм работоспособен.

В таблице 1 приведены значения ошибок для каждого алгоритма.

Таблица 1 - Ошибки классификации для различных алгоритмов

Алгоритм Ошибка первого рода,% Ошибка второго рода,%

На основе сопоставления с эталоном 0 3,6

На основе байесовской классификации 3,2 6,4

На основе пространственной фильтрации 0 7,9

На основе выделения динамических изменений 0 8,1

Анализируя значения, представленные в таблице 1, можно прийти к выводу, что введенные ПР позволяют с высокой степенью достоверности принимать решение о неработоспособности алгоритма измерения координат в текущих условиях наблюдения. Таким образом, использование ПР для оценки значения бинарной КХР может быть применено при комплексировании алгоритмов измерения координат.

Третья глава диссертации посвящена комплексированию алгоритмов измерения координат на основе оценки работоспособности.

Комбинированный алгоритм измерения координат воздушных объектов.

В бортовых системах, предназначенных для слежения за воздушными объ-

екгами, широкое распространение получили два алгоритма измерения координат объектов: алгоритм сегментации на основе байесовской классификации и алгоритм на основе пространственной фильтрации. Каждый из этих алгоритмов измерения координат объектов характеризуется определёнными требованиями к типам фоноцелевой обстановки, при которых он работоспособен.

Для комплексирования информации выбран подход, основанный на комбинировании базовых алгоритмов. Предлагается при поступлении очередного кадра производить измерение координат объекта с помощью двух алгоритмов одновременно. Затем производится оценка работоспособности каждого алгоритма. На основании оценок работоспособности принимается решение о выборе наиболее эффективного для данного типа фоноцелевой обстановки алгоритма измерения координат. Результаты работы наиболее работоспособного алгоритма принимаются за текущие координаты объекта, а также используются для корректировки зоны поиска второго алгоритма измерения координат на следующем кадре.

В базовых алгоритмах на промежуточном этапе обработки осуществляется селекция сегментов, полученных в результате бинаризации. При этом для выбора искомого сегмента используется информация о параметрах объекта, полученная на предыдущих кадрах. В качестве параметров для анализа рассматриваются координаты центра Хч,Уч, площадь Я, размеры объекта ьх, Ьг, коэффициент заполнения (отношение площади сегмента к произведению его размеров) и средняя яркость. Следовательно, для правильной работы процедуры селекции при переключении между алгоритмами, помимо коррекции зоны поиска, необходимо осуществить фильтрацию параметров объекта в «неработоспособном» алгоритме с текущими значениями параметров алгоритма, которому был отдан приоритет.

Таким образом, разработанный комбинированный алгоритм измерения координат воздушных объектов сводится к следующим основным этапам:

1. Измерение координат алгоритмами на основе пространственной фильтрации и байесовской классификации.

2. Расчет признаков работоспособности по формулам (2), (3).

3. Сравнение признаков работоспособности с пороговыми значениями. Если расчетные значения больше пороговых значений, то оценка КХР принимает значение "следит", в противном случае - "не следит".

4. Принятие решения о выборе алгоритма измерения координат.

5. Коррекция зоны поиска и фильтрация параметров объекта для менее работоспособного алгоритма.

Преимущество комбинированного подхода перед подходами, основанными на объединении базовых алгоритмов, связано с относительной простотой построения системы слежения, базирующейся на апробированных алгоритмах измерения координат. При реализации данного подхода в аппаратуре не потребуется много затрат для разработки нового программного и аппаратного обеспечения.

Процедура автоматического выбора алгоритма измерения координат наземных объектов имеет много общего с комбинированным алгоритмом. В отличие от комбинированного алгоритма, выбор наиболее работоспособного алгоритма осуществляется из трех алгоритмов измерения координат:

- алгоритм на основе сопоставления с эталоном;

- алгоритм на основе выделения динамических изменений;

- алгоритм сегментации на основе байесовской классификации.

Для выбора наиболее работоспособного алгоритма также анализируются ПР согласно подходу, описанному выше. Ввиду высокой суммарной вычислительной сложности одновременное измерение координат тремя алгоритмами в режиме реального времени может потребовать значительных затрат на изменение аппаратного обеспечения. Поэтому целесообразно осуществлять измерение координат одним алгоритмом, выбранным на основании предварительного анализа ПР. Для такого анализа необходимо обладать начальным целеуказанием, содержащим координаты центра и размеры объекта.

В качестве объектов выступают автомобили, наблюдаемые на фоне леса, травы, домов, дорог, городского ландшафта. Объекты наблюдаются как на относительно однородных фонах, так и на сложных неоднородных фонах с малым отношением сигнал/шум.

Основываясь на рассуждениях, приведенных выше, можно предложить следующую процедуру автоматического выбора алгоритма измерения координат наземных объектов:

1. В момент целеуказания вычисляются ПР для каждого из алгоритмов по формулам (1), (3), (4). При вычислении ПР используется результат предварительного обнаружения движущихся объектов. Предварительное обнаружение осуществляется алгоритмом на основе выделения динамических изменений.

2. На основании найденной заранее связи между вычисленными ПР и КХР определяются КХР для каждого из алгоритмов.

3. На основе сравнения КХР производится выбор алгоритма измерения координат, обеспечивающего наилучшее значение КХР.

После перехода от значений ПР к значениям КХР необходимо принять решение, какой алгоритм измерения координат нужно применять в текущих условиях наблюдения. В случае если единичное значение ПР присутствует лишь для одного алгоритма измерения координат, то выбор алгоритма для данного видеосюжета соответствует единичному ПР. В противном случае предлагается производить выбор алгоритма, обладающего самым высоким приоритетом. Перечень алгоритмов в порядке убывания приоритета следующий: алгоритм на основе байесовской классификации, алгоритм на основе выделения динамических изменений, алгоритм на основе сопоставления с эталоном. Приведенный порядок выбора алгоритмов измерения координат можно объяснить следующим. Алгоритм измерения координат должен быть устойчив к геометрическим изменениям объекта, вызванным его движением. С этой точки зрения алгоритм на основе сопоставления с эталоном является наиболее уязвимым. Приоритет алгоритма на основе байесовской классификации над алгоритмом

выделения динамических изменений связан с его инвариантностью к геометрическим преобразованиям фона.

Алгоритм измерения координат объектов на основе сопоставления с эталоном при одновременном наблюдении в видимом и инфракрасном диапазонах.

В настоящее время для измерения координат объектов в бортовых системах видеослежения всё чаще используются мультиспектральные датчики, фиксирующие изображения наблюдаемой сцены в нескольких спектральных диапазонах. По отношению к односпектральному наблюдению одновременное использование нескольких спектральных каналов позволяет повысить надежность измерения координат объектов.

Для измерения координат в каждом спектральном канале используется алгоритм на основе сопоставления с эталоном. После окончания обработки очередной пары изображений выполняется оценка работоспособности алгоритма измерения координат для каждого канала. Так как измерение осуществляется одним и тем же алгоритмом, то для принятия решения о выборе наиболее работоспособного алгоритма достаточно сравнить полученные оценки работоспособности, рассчитанные по формуле (1). Таким образом, в качестве текущего измерения координат объекта (ог*(и),/Г(и)) выбирается измерение, полученное из канала, в котором алгоритм измерения координат обладает более высоким показателем работоспособности:

где индексы ТУ и Ш. обозначают телевизионный канал и инфракрасный канал соответственно. Если в обоих каналах ПР окажется меньше порогового значения, то формируется признак срыва слежения. После определения того, какому каналу будет отдан приоритет, осуществляется коррекция процесса измерения координат в канале, имеющем меньший ПР.

Для алгоритма измерения координат, основанного на сопоставлении с эталоном, возможны два варианта коррекции:

- перезапуск измерения координат, при котором для целеуказания используются координаты, полученные в наиболее работоспособном канале;

- замена текущих координат объекта на координаты, полученные в наиболее работоспособном канале.

Недостатком первого способа коррекции является потеря информации об изображении объекта при его кратковременном заслонении. Недостаток второго способа проявляется в условиях длительного пропадания или заслонения объекта. Экспериментальные исследования показали целесообразность применения второго варианта коррекции.

Таким образом, решение поставленной задачи сводится к выполнению следующих этапов:

1. После получения целеуказания производится измерение координат объекта алгоритмом на основе сопоставления с эталоном в каждом канале.

2. Производится оценка работоспособности алгоритмов в каждом канале.

3. На основании анализа полученных значений оценок работоспособности ал-

(6)

горитмов принимается решение о выборе канала, которому будет отдаваться приоритет.

4. В канале, имеющем меньший показатель работоспособности, осуществляется коррекция процесса измерения координат.

Четвертая глава диссертации посвящена компьютерному моделированию и экспериментальным исследованиям разработанных алгоритмов.

Экспериментальные исследования разработанных алгоритмов измерения координат объектов производились с использованием натурных видеосюжетов. Для каждого сюжета осуществлялось измерение координат разработанными алгоритмами и их аналогами. Для количественной оценки эффективности использовались два типа КХР:

- частота правильной локализации /лл;

- среднеквадратическая ошибка (СКО) измерения координат а.

Для выполнения исследования эффективности комбинированного алгоритма измерения координат воздушных объектов использовались шестьдесят четыре видеопоследовательности с воздушной составляющей продолжительностью от 100 до 300 кадров. Фон на тестовых сюжетах был неподвижным или медленно движущимся с присутствием кучевых облаков, поверхности земли, домов и деревьев. В качестве объектов выступали самолеты и вертолеты. В рамках данного исследования ставилась задача сравнить комбинированный алгоритм по качеству с базовыми алгоритмами: алгоритмом на основе байесовской классификации и алгоритмом на основе пространственной фильтрации.

Результаты исследовании приведены в таблице 2. Анализ полученных результатов показывает, что использование комбинированного алгоритма измерения координат воздушных объектов позволяет повысить продолжительность измерения координат объекта за счет переключения между базовыми алгоритмами. Разработанный алгоритм позволяет повысить частоту правильной локализации объекта интереса по сравнению с алгоритмом сегментации на основе байесовской классификации на 24 % и на 10 % по сравнению с алгоритмом на основе пространственной фильтрации.

Таблица 2 - Результаты исследования алгоритмов измерения координат воздушных объектов________

Алгоритм /пл , пикселей

На основе байесовской классификации 0.74 1,35

На основе пространственной фильтрации 0,88 1,10

Комбинированный 0,98 1,09

Исследования процедуры автоматического выбора алгоритма измерения координат наземных объектов проводились с использованием шестидесяти сюжетов продолжительностью от 100 до 300 кадров. Сюжеты были получены как в видимом, так и в инфракрасном диапазоне. Тип фонового изображения в используемых видеосюжетах изменяется в процессе наблюдения.

Результаты исследований представлены в таблице 3. На основании полученных результатов можно сделать вывод, что использование процедуры позволяет выбирать алгоритм, обеспечивающий лучшее качество измерения коор-

динат объектов в зависимости от условий наблюдений. Частота правильной локализации объекта с помощью разработанной процедуры составляет 95 %, что превышает частоту правильной локализации базовых алгоритмов на 10-45 %.

Таблица 3 - Результаты исследования алгоритмов измерения координат наземных объектов

Алгоритм fпл а, пикселей

Алгоритм на основе сопоставления с эталоном 0,85 1,26

Алгоритм на основе байесовской классификации 0,50 2,33

Алгоритм на основе выделения динамических изменений 0,56 1,95

Процедура автоматического выбора алгоритма измерения координат 0,95 1,31

Для исследования алгоритма измерения координат на основе сопоставления с эталоном при одновременном наблюдении в видимом и инфракрасном диапазонах использовались 28 пар видеосюжетов длиной от 90 до 120 кадров. Каждая пара состоит из сюжетов, снятых в ТВ и ИК диапазонах, и сопровождается эталонными данными о траектории и линейных размерах объекта. На сюжетах наблюдаются автомобили на фоне городской застройки.

В качестве базового алгоритма, с которым осуществлялось сравнение, использовался алгоритм измерения координат на основе сопоставления с эталоном, ориентированным на работу в одном спектральном диапазоне. В ходе исследования сравнивалась работа разработанного алгоритма с базовым алгоритмом, осуществляющим измерение координат в видимом и инфракрасном диапазонах, а также с базовым алгоритмом, работающим на комплексированном изображении. Под комплексированным изображением понимается изображение, полученное в результате объединения телевизионного и инфракрасного изображений. Результаты исследований приведены в таблице 4.

Таблица 4 - Результаты исследования алгоритмов на основе сопоставления с эталоном

Алгоритм на основе сопоставления с эталоном /пл а, пикселей

При наблюдении в видимом диапазоне 0,80 2,56

При наблюдении в инфракрасном диапазоне 0,62 2,31

При работе с комплексированным изображением 0,64 2,56

При наблюдении в видимом и инфракрасном диапазонах 0,92 2,33

нат по сравнению с базовым алгоритмом, работающим независимо по изображениям, полученным в видимом и инфракрасном диапазонах, а также по ком-плексированному изображению. В целом, разработанный алгоритм, позволяет повысить частоту правильной локализации до 92 %.

Точность измерения координат, выражаемая СКО, для всех разработанных алгоритмов сопоставима с точностью базовых алгоритмов.

В заключении сформулированы основные результаты диссертационной работы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ

1. Разработан подход к решению задачи оценивания качества работы алгоритмов измерения координат. Разработаны критерии оценки работоспособности алгоритмов измерения координат. В результате исследований показано, что точность оценивания бинарной количественной характеристики по признакам работоспособности алгоритмов является достаточной для принятия решения по выбору алгоритмов измерения координат. При оценивании ошибка принятия решения о том, что алгоритм измерения координат работоспособен в текущих условиях наблюдения, составляет 4-8 %.

2. Разработана и исследована процедура автоматического выбора алгоритма измерения координат наземных объектов в зависимости от фоноцелевой обстановки. Частота правильной локализации объекта с помощью разработанной процедуры для тестовой базы данных составляет 95 %, что превышает частоту правильной локализации базовых алгоритмов на 10-45 %. В качестве базовых алгоритмов выступают алгоритм на основе сопоставления с эталоном, алгоритм на основе байесовской классификации и алгоритм на основе выделения динамических изменений.

3. Разработан и исследован комбинированный алгоритм измерения координат воздушных объектов. Показана эффективность данного алгоритма при изменении фоноцелевой обстановки при слежении за объектом. Разработанный алгоритм позволяет повысить частоту правильной локализации объекта интереса по сравнению с алгоритмом сегментации на основе байесовской классификации на 24 % и на 10 % по сравнению с алгоритмом на основе пространственной фильтрации.

4. Разработан алгоритм измерения координат объектов на основе сопоставления с эталоном при одновременном наблюдении в видимом и инфракрасном диапазонах. Данный алгоритм предполагает, что в отдельные моменты времени один из спектральных каналов по отношению к другому может иметь лучшие характеристики наблюдения объекта интереса. Выбор канала осуществляется на основании оценки качества измерения координат в каждом спектральном диапазоне. Разработанный алгоритм позволяет повысить частоту правильной локализации до 92 %, что превышает соответствующий показатель для алгоритма измерения координат на основе сопоставления с эталоном, ориентированного на работу в одном спектральном диапазоне, на 12 % при наблюдении в видимом диапазоне, на 30 % при наблюдении в инфракрасном диапазоне и па 28 % при работе с комилексированным изображением.

5. Создано программное обеспечение, которое реализует разработанные алгоритмы. С его помощью выполнены экспериментальные исследования, которые подтверждают работоспособность предложенных алгоритмов и целесообразность их использования при создании бортовых систем видеослежения.

ОПУБЛИКОВАННЫЕ РАБОТЫ ПО ТЕМЕ ДИССЕРТАЦИИ

Публикации в журналах, рекомендованных ВАК

1. Алпатов Б.А., Бабаян П.В., Смирнов С.А. Автоматическое слежение за объектами при отсутствии априорных сведений о фоноцелевой обстановке // Цифровая обработка сигналов. -2009. -№3. - С. 52 -56.

2. Бабаян П.В., Смирнов С.А. Слежение за объектом на основе алгоритма сопоставления с эталоном при одновременном наблюдении в видимом и инфракрасном диапазонах // Цифровая обработка сигналов - №4- 2010.-С. 18-21.

3. Алпатов БА., Бабаян П.В., Смирнов С.А. Комбинированный алгоритм слежения за воздушными объектами // Вестник Рязанского государственного радиотехнического университета. -2011. - №3 (37). - С.7-12.

4. Алпатов Б.А., Бабаян П.В., Смирнов С.А., Фельдман А.Б. Измерение координат объекта в последовательности мультиспектральных изображений // Цифровая обработка сигналов - 2012. - №4.-С.13-17.

Публикация в издании, входящем в международные базы цитирования

Scopus и Web of Science

5. В. Alpatov, P. Babayan, S. Smirnov Object tracking in the video sequence based on the automatic selection of the appropriate coordinate estimation method. Proc. SPIE 8542, Electro-Optical Remote Sensing, Photonic Technologies and Applications VI, 85420N, 2012.

Тезисы докладов на конференциях и семинарах

6. Смирнов С.А. Автоматический выбор метода слежения в системах обнаружения и сопровождения объектов // Новые информационные технологии в научных исследованиях и образовании: XIII всероссийская научно-техническая конференция студентов, молодых учёных и специалистов. - Рязань, 2008. -С.115-117.

7. Смирнов С.А. Автоматическая классификация видеосцен для бортовых систем обнаружения и слежения за объектами // Наука, технологии, инновации: материалы всероссийской научной конференции молодых учёных. - Новосибирск, 2008. - С. 134-136.

8. Алпатов Б.А., Бабаян П.В., Смирнов С.А. Автоматический выбор метода измерения координат в системах обнаружения и сопровождения объектов // Цифровая обработка сигналов и ее применения: тез. докл. 11-й международной конференции. Том 2. - М., 2009. -С. 443-445.

9. Алпатов Б.А., Бабаян П.В., Корепанов С.Е., Смирнов С.А. Автоматический анализ условий наблюдения в системах автоматического обнаружения и сопровождения объектов // Многопроцессорные вычислительные и управляющие системы: материалы международной научно-технической конференции. Т.2. - Таганрог, 2009. - С. 233-235.

10. Смирнов С.А. Алгоритм автоматического выбора метода измерения координат объектов в зависимости от фоноцелевой обстановки // Новые информационные технологии в научных исследованиях и образовании: XIV всероссийская научно-техническая конференция студентов, молодых учёных и специалистов. - Рязань, 2009. - С.331-332.

11. Бабаян П.В., Смирнов С.А. Алгоритм слежения за объектами с автоматическим выбором метода измерения координат // Оптико-электронные приборы и устройства в системах распознавания образов, обработки изображений и символьной информации: сборник материалов IX международной конференции. - Курск, 2010. - С. 185-186.

12. Бабаян П.В., Смирнов С.А. Оценивание ожидаемой работоспособности алгоритмов измерения координат объектов // ГрафиКон' 2010: 20-я международная конференция по компьютерной графике и зрению - Санкт-Петербург - 2010 - С. 329-330.

13. Блохин А.Н., Смирнов С.А. Корреляционный алгоритм слежения за объектами при одновременном наблюдении в видимом и инфракрасном диапазонах // Проблемы передачи и обработки информации в сетях и системах телекоммуникаций: материалы 16-й международной научно-технической конференции. - Рязань, 2010. - С.31-32.

14. Алпатов Б.А., Бабаян П.В., Балашов O.E., Муравьев B.C., Смирнов С.А., Степашкин А.И., Стротов B.B., Фельдман А.Б. Информационные технологии обработки и

анализа изображений в оптико-электронных системах обнаружения и сопровождения объектов // сборник тезисов всероссийской конференции по результатам проектов, реализованных в рамках Федеральных целевых программ «Научные и научно-педагогические кадры инновационной России» на 2009-2013 годы, «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2012 годы» в области информационно-телекоммуникационных технологий. -Москва, 2010.-С. 11-12.

15. Алпатов Б.А., Бабаян П.В., Смирнов С.А. Применение технологий комплексирования данных для обнаружения и сопровождения объектов в бортовых системах технического зрения // Перспективные системы и задачи управления: материалы б-й всероссийской научно-технической конференции. - Таганрог, 2011. -С.45-47.

16. Алпатов Б.А., Бабаян П.В., Смирнов С.А. Обнаружение и слежение за воздушными объектами на основе комплексирования алгоритмов измерения координат // Проблемы теории и практики развития войск ПВО CB в современных условиях: материалы XVIII всероссийской научно-технической конференции. - Смоленск: ВА ВПВО ВС РФ, 2011. -Ч.З.-С. 230-232.

17. Смирнов С.А. Комплексирование алгоритмов измерения координат в системах обнаружения и сопровождения воздушных объектов // Новые информационные технологии в научных исследованиях: XVI всероссийской научно-технической конференции студентов, молодых учёных и специалистов. -Рязань, 2011 -С.317-319.

18. Смирнов С.А. Исследование признаков работоспособности алгоритма измерения координат объектов на основе сопоставления с эталоном границ // Цифровая обработка сигналов и ее применение DSPA-2012: тез. докл. 14-й международной конференции. - М., 2012. - С.339-340.

19. Смирнов С.А. Исследование критериев оценки работоспособности алгоритма слежения на основе байесовской сегментации // Научные труды международной молодежной научной конференции 40-е Гагаринские чтения. - М.: МАТИ, 2014. Т.4. - С. 47-48.

20. Муравьев B.C., Смирнов С.А. Повышение качества слежения за объектом в последовательности видеокадров при наличии яркостных помех // Научные труды международной молодежной научной конференции 40-е Гагаринские чтения. - М.: МАТИ, 2014. Т.4.- С. 31-32.

21. Смирнов С.А. Комплексирование информации от датчиков видимого и инфракрасного диапазонов при использовании алгоритма сегментации на основе байесовской классификации // Новые информационные технологии в научных исследованиях и образовании: материалы XIX всероссийской научно-технической конференции студентов, молодых учёных и специалистов. - Рязань, 2014. - С.233-235.

Смирнов Сергей Александрович КОМПЛЕКСИРОВАНИЕ АЛГОРИТМОВ ИЗМЕРЕНИЯ КООРДИНАТ ОБЪЕКТОВ В БОРТОВЫХ СИСТЕМАХ ВИДЕОСЛЕЖЕНИЯ Автореферат диссертации на соискание учёной степени кандидата технических наук

Подписано в печать 20.03.2015. Формат бумаги 60x84 1/16.

Бумага офсетная. Печать трафаретная. Усл. печ. л. 1,0.

Тираж 100 экз. Заказ 1637

Отпечатано в ООО «Информационные технологии». 390035, г. Рязань, ул. Островского, д.21/1.