автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Разработка алгоритмов функционирования и архитектуры автомата сопровождения объектов по данным видеонаблюдений

005011578

БЛОХИН Алексей Николаевич

РАЗРАБОТКА АЛГОРИТМОВ ФУНКЦИОНИРОВАНИЯ И АРХИТЕКТУРЫ АВТОМАТА СОПРОВОЖДЕНИЯ ОБЪЕКТОВ ПО ДАННЫМ ВИДЕОНАБЛЮДЕНИЙ

Специальность 05.13.01 - «Системный анализ, управление и обработка информации (технические системы)»

Автореферат

диссертации на соискание учёной степени кандидата технических наук

1 6 ФЕВ 2012

Рязань 2012

005011578

Работа выполнена в ФГБОУВПО «Рязанский государственный радиотехнический университет».

Научный руководитель: доктор технических наук, профессор

Алпатов Борис Алексеевич

Официальные оппоненты доктор технических наук, профессор

Кузнецов Алексей Евгеньевич

кандидат технических наук Щавелев Павел Борисович

Ведущая организация: ОАО «Научно-исследовательский институт

приборостроения» им. В.В. Тихомирова (г.Жуковский)

Зашита состоится 14 марта 2012 г. в 12 часов на заседании диссертационного совета Д 212.211.01 в ФГБОУВПО «Рязанский государственный радиотехнический университет» по адресу:

390005, г. Рязань, ул. Гагарина, 59/1, ауд. 235.

С диссертацией можно ознакомиться в библиотеке ФГБОУВПО «Рязанский государственный радиотехнический университет».

Автореферат разослан: 7 февраля 2012 г.

Ученый секретарь диссертационного совета

кандидат технических наук, доцент

Пржегорлинский В.Н.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы

Совершенствование технологий способствует интенсивному внедрению видеоинформационных систем в различные области человеческой деятельности. Системы обработки и анализа видеоинформации, определяемые как оптико-электронные системы (ОЭС), находят все большее применение как в гражданских, так и, в особенности, в военных областях. В настоящее время ОЭС являются основой построения многих систем наведения и прицеливания в различных образцах военной техники. В гражданской сфере ОЭС находят применение в системах охраны и наблюдения за объектами, системах раннего оповещения о пожарах и повреждениях газо- или нефтепроводов.

Одним из направлений разработки ОЭС является обеспечение возможности их установки на подвижных носителях: самолётах, вертолётах, кораблях и бронетехнике. Целью подобных систем является решение задач обнаружения неподвижных и движущихся объектов, оценки их параметров, построения траекторий движения объектов, распознавания образов. При этом условия применения ОЭС достаточно широкие - это и воздушные объекты, и наземные, и морские.

Естественным требованием, предъявляемым к ОЭС, является необходимость работы в реальном масштабе времени. Разрабатываемые системы также должны иметь автоматизированный режим функционирования, требуя лишь незначительных усилий со стороны оператора.

Важной составной частью ОЭС является автомат сопровождения объектов, реализующий большинство функций обработки изображений, формируемых видеодатчиками. Функционирование автомата сопровождения невозможно без наличия алгоритмического обеспечения, решающего задачи обнаружения, выделения объектов, измерения их координат. Несмотря на большое количество алгоритмов выделения и обнаружения объектов, разработанных к настоящему времени, универсального набора средств, решающего поставленные задачи, не существует. Некоторые алгоритмы обладают большой вычислительной сложностью, другие не в полной мере учитывают специфику рассматриваемой задачи и особенности применяемых на практике датчиков изображений. Поэтому разработка эффективных алгоритмов выделения, обнаружения и слежения за объектами, обладающих приемлемой вычислительной сложностью, до настоящего времени является весьма актуальной задачей.

Степень разработанности темы

В отечественной и зарубежной печати имеется много публикаций, рассматривающих вопросы выделения, обнаружения и слежения за объектами на различных фонах по данным видеонаблюдений. Значительный вклад в разработку методов и алгоритмов решения данной задачи внесли работы таких учёных как Б.А. Алпатов, П.А. Бакут, В.Г. Лабунец, А.П. Трифонов, И.Н. Пустын-ский, Е.П. Путятин, А.Г. Ташлинский, D. Braunreiter, В. Li, J. Silverman, Q. Pham, С. Crane, W. Pratt, S.Wang и др.

Несмотря на большое количество работ по данной тематике, в результате её анализа не было выявлено публикаций, в которых в полной мере учитывает-

ся специфика задач выделения и обнаружения объектов с большим диапазоном варьирования размеров, наблюдаемых как в видимом, так и в инфракрасном диапазонах на различных фонах. Важным требованием, предъявляемым к алгоритмам, решающим данную задачу, является возможность их реализации в реальном масштабе времени. В ряде работ, рассматриваются алгоритмы, позволяющие обнаруживать точечные и малоразмерные воздушные объекты, однако они ориентированы преимущественно на обработку изображений, получаемых с тепловизионных датчиков. Разработаны многоэтапные пространственно-временные алгоритмы выделения объектов, основанные на получении оценок параметров геометрических преобразований изображений. Однако при наблюдении объектов на неоднородном фоне точность оценивания может быть низкой, что в итоге приводит к ухудшению качества обнаружения и автосопровождения.

Исходя из этого, сформулируем цель диссертации, которая состоит в разработке эффективных алгоритмов захвата, выделения, обнаружения и измерения координат объектов на различных фонах для автомата сопровождения, как составной части ОЭС, а также в разработке архитектуры системы, реализующей автомат сопровождения объектов. Для достижения поставленной цели необходимо решить следующие основные задачи:

• обзор и оценка достоинств и недостатков существующих алгоритмов выделения, обнаружения и измерения координат объектов;

• синтез алгоритма обнаружения и захвата движущихся объектов;

• разработка многопорогового алгоритма захвата неподвижных объектов;

• разработка и исследование алгоритма измерения координат объектов на основе адаптивно изменяемого эталонного изображения;

• разработка и исследование многоэтапного алгоритма измерения координат объектов на основе сегментации;

• разработка критериев оценки работоспособности алгоритмов измерения координат объектов;

• разработка архитектуры системы, реализующей автомат сопровождения объектов.

Научная новизна диссертации состоит в том, что в ней разработаны:

- алгоритм выделения, обнаружения и захвата движущихся объектов, позволяющий значительно сократить время, затрачиваемое оператором на захват объекта в условиях быстро меняющейся фоноцелевой обстановки;

- многопороговый алгоритм обнаружения неподвижных объектов на основе разделения изображения на несколько усредненных уровней яркости, позволяющий выполнять захват объектов на сопровождение при отсутствии их движения;

- алгоритм измерения координат на основе адаптивно изменяемого эталонного изображения объекта, применение которого позволяет на 20-25% повысить эффективность работы автомата сопровождения на сложных неоднородных фонах при малых отношениях сигнал/шум;

- многоэтапный алгоритм измерения координат объектов на основе сегментации, использование которого в автомате сопровождения позволяется увели-

чить точность и устойчивость сопровождения воздушных и надводных объектов;

- критерии оценки работоспособности алгоритмов измерения координат объектов, эффективность применения которых подтверждается уменьшением на 30% срывов сопровождения объектов;

- архитектура системы, реализующей автомат сопровождения объектов.

На защиту выносятся следующие новые научные результаты:

• алгоритм выделения, обнаружения и захвата движущихся объектов на основе введенной модели фоноцелевой обстановки;

• алгоритм измерения координат на основе адаптивно изменяемого эталонного изображения объекта;

• многоэтапный алгоритм измерения координат объектов на основе сегментации;

• архитектура системы, реализующей автомат сопровождения объектов.

Методы исследования

Теоретические исследования в настоящей работе выполнены на основе методов теории вероятностей, теории статистических решений, метолов оптимизации. Экспериментальные исследования выполнялись на реальных и синтезированных видеосюжетах с использованием методов математической статистики.

Достоверность и обоснованность полученных результатов подтверждены корректным использованием математического аппарата, компьютерным моделированием разработанных алгоритмов, результатами экспериментальных исследований, а также опытом практического внедрения.

Реализация н внедрение

Разработанные в диссертации модели и алгоритмы были использованы при выполнении на ОАО "Государственный Рязанский приборный завод" ОКР по заказам ОАО «Красногорский механический завод» г.Красногорск, ОАО «Ка-мов», г.Люберцы, ОАО "Ульяновский механический завод" г.Ульяновск, ОАО "Радиозавод" г. Пенза, ФГУП "Конструкторское бюро машиностроения" г.Тула, ОАО "Научно-исследовательский электро-механический институт" г.Москва, ФГУП "Конструкторское бюро машиностроения" г.Коломна. Алгоритмическое обеспечение используется в изделиях: АТТ для вертолета Ми-28Н, СОВИ для вертолета Ка-52, в оптико-электронных системах для ЗРК "Квадрат", "Бук", "Оса", зенитного ракетно-пушечного комплекса "Тунгуска-М1", ракетного комплекса малой дальности «Лучник-Э».

Апробация работы

Основные результаты работы докладывались на:

- всероссийской конференции "Приборы и приборные системы" (Тула -1994);

- международной конференции "Технология и системы сбора, обработки и представления информации" (Москва- 1995);

- всероссийской конференции "Распознавание образов и анализ изображений" (Ульяновск-1995);

- 1™ и 2~ международной конференции "Космонавтика, радиоэлектроника, геоинформатика" (Рязань- 1997).

- 11ш и 16—международной научно-технической конференции "Проблемы передачи и обработки информации в сетях и системах телекоммуникаций" (Рязань -2002, 2010);

- 1— Всероссийской научно-практической конференции "Устройства измерения, сбора и обработки сигналов в информационно-управляющих комплексах" (Ульяновск - 2011).

Публикации

По теме диссертации опубликовано 16 работ, в том числе 8 статей, из них 3 в журналах, рекомендованных ВАК для публикации результатов кандидатских диссертаций. Получены два патента на изобретения.

Структура и сбъём диссертации

Диссертация состоит из введения, четырёх глав, заключения, списка литературы (79 источников), приложений, изложенных на 175 страницах, содержит 59 рисунков и 28 таблиц.

СОДЕРЖАНИЕ РАБОТЫ

В первой главе диссертации проведен анализ задач обнаружения, выделения, измерения координат и сопровождения объектов в оптико-электронных системах.

Основой выполненных в данной работе исследований явилась необходимость разработки алгоритмов и архитектуры автомата сопровождения объектов как составной части ОЭС, с учетом того факта, что ОЭС функционирует в реальном масштабе времени.

В главе приведены примеры серийно производимых ОЭС различного назначения и применения. В качестве основной для дальнейшего рассмотрения выбрана ОЭС вертолетного применения, так как она сочетает в себе наибольшее число разнородных функций, объединённых в единое целое для решения обзорно-прицельных задач.

В результате рассмотрения набора возможных составных частей ОЭС, в который могут входить телевизионные камеры, тепловизоры, лазерные дальномеры поворотные платформы, автоматы сопровождения и др., а также, исходя из наработанного опыта, определена структура системы, в наибольшей степени соответствующая требованиям, предъявляемым к ОЭС вертолетного назначения.

Функциональная схема части ОЭС, решающей задачу автоматического сопровождения объектов, показана на рисунке 1.

В первой главе выполнен обзор известных методов и алгоритмов решения поставленных задач. Анализ их особенностей показывает, что основным отличием алгоритмов друг от друга является этап обработки изображений, на котором осуществляется учет априорной информации о яркостных, пространственных, временных и других характеристиках объектов и фона. Кроме того, этот этап обработки оказывает решающее влияние на характеристики алгоритма в целом.

Поворотная платформа

Видеомонитор

Рисунок 1 - Функциональная схема части ОЭС, решающей задачу автоматического сопровождения объектов.

Можно выделить следующие виды обработки изображений: корреляционная. пространственная, пространственно-временная, статистическая сегментация.

Корреляционные методы, основаны на использовании априорной информации об изображениях обнаруживаемых объектов - эталонах. Методы пространственной фильтрации основаны на использовании различных операций линейной и нелинейной пространственной фильтрации наблюдаемых изображений. Методы сегментации основаны на использовании априорной информации о различии статистических свойств объекта и фона. К ним относятся: методы пороговой обработки, методы наращивания областей, метод байесовской классификации. Методы обнаружения и выделения объектов на основе пространственно-временной обработки более эффективны, чем методы, использующие при обнаружении только априорную информацию о пространственных и статистических свойствах фона и объекта.

Каждый из рассмотренных методов и алгоритмов имеет свои достоинства и недостатки, при этом можно сделать вывод об отсутствии универсальных подходов к решению задач обнаружения и сопровождения объектов в последовательности изображений, позволяющих в большинстве ситуаций с высокой надежностью решать поставленные задачи.

Таким образом, основным результатом первой главы является вывод о необходимости разработки новых и совершенствовании известных методов и алгоритмов решения задачи обнаружения и сопровождения движущихся и неподвижных объектов по данным видеонаблюдений.

Вторая глава диссертации посвящена разработке алгоритмов захвата движущихся и неподвижных объектов и алгоритма измерения координат объекта с использованием его эталонного изображения.

Для синтеза алгоритма захвата на сопровождение движущихся объектов, работающего в реальном времени, весьма существенно использовать достаточно простые пространственные модели состояния и наблюдения обрабатываемого изображения. С учетом этого введена модель состояния фонового изображения, которое является постоянным

g(i,j,n)= g(i,j,n-\), (1)

где у, п) - яркость точек изображения фона С„ размерностью N х Л/ элементов, ^(7, у, 0) - гауссова пространственно независимая случайная величина с известными положительным средним и дисперсией. Модель наблюдения текущего изображения является нелинейной, учитывающей тот факт, что объект может как закрывать собой участок фона, так и заслоняться фоном - так называемая «модель заслона», а также то, что объект может быть как ярче фона, так и темнее него, описывается следующим выражением

Ц1,}, п)=(г,(и, п) +г2{%], п))-Ь(1,у, п) +гг(Ц, п), (2)

где I (7, у, п) - наблюдаемые значения яркости в точке (I, у, п) в п-м кадре; Иа, у,и), g(i, ],п) - соответственно яркости точек объекта и фонового изображения; с (7, у, п) - N(0, Д)-шум, некоррелированный по пространству и времени; г;Д у, п) = {0, 1}, // = 1,3,- ситуации, характеризующие взаимное состояние объекта и фона: /у (7, у, п) = 1 соответствует наличию в точке (у,]) объекта, более яркого, чем фон, г2(1 у, п) = 1 соответствует тому, что в точке (I у) фон ярче объекта; /'_//, у, п) = 1 означает, что в точке (I, у) в п-м кадре объект отсутствует. Для событий гц справедливо следующее:

¡■¡(и, п) V /"2(7,у, п) V г¡(¡,у, п)= 1; /-,(7,у, п) л г2(1,], п)= 0; г2(и, п) л г}(1, у, п) = 0; г,0,], п) л г3(1, у, п) = 0.

Введем вероятностную модель перемещения - обозначим через Р(1, у, п) вероятность присутствия объекта в точке с координатами (I, /7 на л-ом кадре, а Р(и ]/к,т) - вероятность перемещения точки объекта с координатами (к, т) в точку с координатами (7, ]) за один кадр. Тогда прогнозируемая вероятность присутствия объекта в точке (\,}) может быть вычислена с помощью выражения

Ни,") = Р{1,]!к,т), (3)

к,т

причем

к,т

Для появляющегося и медленно двигающегося объекта выражение (3) упрощается:

Р(1,],п) = Р(1,],п-1). Задача обнаружения и выделения движущегося объекта решается как задача оценки параметров gíl, у,«), у, п). Можно показать, что, используя свойства ранее введенных моделей и метод максимума апостериорной плотности, после

логарифмирования приходим к необходимости отыскания глобального минимума критерия

■1= Е((я(и>Ь1( и,л))2/ОД!,./,л)- (4)

- 21п Щ,а, ], п)) + (/(>'.7,и) - <>(/,у, п))2 / А

где

= /¡(',7» ■ (g(^y,«) + + г2(г,у,м) • - <5) + /"3(/,7» ■ g{i,j,n)■,

= А (У , /,/г — 1), Л,(/',./,/(-1)} - прогнозируемые вероятно-

сти для трех отмеченных выше ситуаций в каждой точке;

Д,(/,у,;з)-прогнозируемые значения яркостей и дисперсий яркостей точек фона, ¿„- наблюдаемое изображение, (5 - минимальное отличие по яркости.

С учетом пространственной независимости параметров г,//, у, п) и предположении о наличии хороших (близких к истинным) оценок яркостей точек фона к моменту появления движущегося объекта, возможна поточечная минимизация критерия (4). Однако удобнее сразу вычислить апостериорные вероятности гипотез и по ним принять соответствующее решение по максимуму вероятности

Р„ = " , И = 1,3, (5)

Р3 =^3(/(г,у,?г)/§(/,у,и)),-условные гауссовы распределения с дисперсией £>.

С учетом приведенных аналитических выражений можно сформулировать основные этапы синтезированного алгоритма при работе с последовательностью кадров:

1. Формирование оценок уровней яркости фона в каждой точке изображения в текущем кадре.

2. Вычисление апостериорных вероятностей для каждой из гипотез.

3. Пороговая обработка.

4. Уточнение оценок уровней яркости точек фона, формирование априорных вероятностей для следующего кадра.

В ходе работы алгоритма нарастает апостериорная вероятность в точках, принадлежащих движущемуся фрагменту изображения. Решение об обнаружении движущегося объекта принимается при превышении вероятностью^, (/, и), ц = 1, 2, некоторого порогового значения выбираемого исходя из допустимой вероятности ложной тревоги.

Дополнительно в алгоритм могут быть введены процедуры формирования бинарного изображения после пороговой обработки и разметки и параметризации бинарного изображения для формирования списка сегментов, соответствующих движущимся объектам.

Из-за высокой ресурсоёмкое™ разработанный алгоритм целесообразно применять при обнаружении и захвате объекта на сопровождение, используя полученные при этом данные по объектам как начальные параметры для алгоритмов измерения координат объектов и их сопровождения

Движение объекта позволяет получить начальные данные для выбора его эталонного изображения. Отсутствие движения значительно затрудняет оценку начальных размеров и формы объекта. Тем не менее, и в этом случае можно оценить возможное расположение протяженного объекта на изображении. Одним из вариантов решения задачи обнаружения неподвижных объектов может являться так называемый многопороговый алгоритм выделения.

В основе алгоритма лежит предположение о том, что яркость объекта близка к равномерной и отличается от средней яркости окружающего его неравномерного фона на некоторую величину д. Суть предлагаемого многопорогового алгоритма заключается в разделении всего диапазона уровней яркости точек изображения на равные участки. Их количество может быть различным. Все уровни яркостей точек, входящих в к-й поддиапазон, усредняются и заменяются одним уровнем

=7Г Z'M- (6)

п к ¡JeG

где /ф1 - усредненная яркость ¿-ого поддиапазона, ¡(i, j)— яркости точек наблюдаемого изображения, Ni¡-количество точек в к-ом поддиапазоне.

Далее проводится пороговая обработка изображения, разделенного на яр-костные поддиапазоны. В результате обработки будут получены бинарные изображения с элементами 0 и 1. После разметки и параметризации бинарных изображений анализируются полученные сегменты и делается вывод о присутствии на изображении тех или иных объектов.

Рассмотренный многопороговый алгоритм позволяет значительно упростить процедуру подбора размеров эталонного изображения.

Значительное внимание в главе уделено вопросам нахождения правильного соотношения количества точек объекта и фона в эталонном изображении, влияющего на устойчивость работы алгоритма измерения координат объектов.

Наличие на наблюдаемом изображении фоновых образований размерами и яркостью схожих с размерами и яркостью объекта, может привести к грубым ошибкам в определении координат. Для предотвращения указанных ошибок целесообразно введение в эталон кроме точек объекта также и точки фона. При этом возникает задача оптимизации числа дополнительно включаемых точек или размеров эталона в целом.

Рассмотрим упрощенную модель ситуации (рисунок 2). Предположим, что фон на текущем изображении принимает только два значения яркости: область 1 - равную а (как и объект), область 2 - равную Ь.

Можно вычислить вероятность ошибочной привязки к одной из точек области 1 с помощью выражения:

=о Д

р<тч = Р(А, < Д) = (Д) • {ЛСД,,)dA„dA, (7)

а к одной из точек области 2 с помощью выражения

кг л

Pou¡: = Р(ДЛ < Д) = {/¡(Д)- {/зСД^с/Д^/Д, (8)

—х —х

где /,(Д),/2(ДД/3(Д4)- плотности распределения величин Д; Д, - значение функции отличия.

Полагая число возможных позиций полного неправильного совмещения с областью 1 фона равным n¡, а со второй областью п2, вероятность ошибочной привязки определится как

Таким образом, вероятность грубого ошибочного совмещения зависит от дисперсии шума на изображении, от числа точек фона, включаемых в эталон и объекта L\. а также от числа позиций n¡ и п2. Заметим, что с ростом общего числа точек в эталоне L вероятность Рош снижается, так как в эталон включаются точки области 2, а вероятность Рош, увеличивается. Следовательно, для фиксированных параметров ¿,, D, n¡, >ъ имеется оптимальное значение L. при котором достигается минимальная вероятность грубой ложной привязки объекта. Результаты моделирования показывают, что для большого диапазона параметров, характеризующих сцену, в эталонное изображение целесообразно включать приблизительно столько же точек окружающего фона, сколько их приходится на объект.

Заключительный параграф главы посвящен разработке алгоритма измерения координат объекта на изображении на основе эталона.

Очевидно, что работа любого алгоритма измерения координат зависит от условий наблюдения. Требования к условиям наблюдения можно выразить в виде признаков работоспособности алгоритмов. Один из предложенных в диссертации признаков основан на анализе значений разностной критериальной функции (РКФ) на границе зоны поиска в соседних кадрах наблюдаемого изображения и вычисляется в соответствии с выражением:

min F(a,ß,n)

KFmp{n + X)= ^ (10)

где KFKOp- численное значение признака работоспособности, ß,n) -

степень отличия изображения объекта от окружающего фона в n-ом кадре, Г - множество координат, соответствующих границе зоны поиска. Если в течение кадра параметры объекта изменяются мало и объект не сильно отличается от окружающего его фона, то измерение координат вряд ли возможно. В то же время, если объект не схож с фоном и степень отличия объекта

от фона больше, чем степень временной изменчивости объекта, то измерение координат будет успешным.

Наряду с критериями работоспособности алгоритма измерения координат, в работе предложена процедура анализа возможности захвата объекта на сопровождение, оценивающая величину пика минимума функции пространственного распределения РКФ. Оценка проводится в одном кадре последовательности изображений по массиву значений РКФ Мр, полученных в зоне поиска. Чем меньше величина пика, то есть, разница между минимальным и средним значениями критериальной функции в зоне поиска в одном кадре, а также, чем острее пик, тем меньше отличие по яркости объекта от фона и, следовательно, менее устойчивым будет процесс сопровождения.

Для определения количественной характеристики возможности захвата объекта используется выражение:

, (»-11/2 (п-1)/2

Е (и)

1 |=-(я-|)/2>-(»-1)/2

где ]) — значение критериальной функции в точке (7, ]) массива Мр, N = п ■ п — число точек, используемых для определения Гср, п - размер стороны зоны анализа (зона анализа имеет форму квадрата, размер квадрата должен быть нечетным, центр зоны совпадает с центром объекта). По числу элементов массива А//, значения которых меньше Т7..,,, можно сделать вывод о возможности устойчивого слежения за объектом.

На эффективность работы алгоритма, использующего эталонное изображение объекта, сильное влияние может оказать возможное изменение яркости, размеров или конфигурации объекта со временем. Эффективным методом, позволяющим учесть эти изменения, является экспоненциальное сглаживание, выполняемое с помощью рекурсивного фильтра определяемое выражением

Кгл (Лу, й) = кн-Иса (/, / л-1)+(/—■ А(/,у, и), ¡,/е Я„, (12)

где Ис„ (/, п) - элемент сглаженного эталонного изображения объекта; А* -адаптивно изменяемый коэффициент, значение которого задаётся в пределах от О до 1; Л „.,(/, у, я-1) - элемент сглаженного эталонного изображения объекта, полученного к (и-1)-му кадру; Л(/, у, п) — выделенное из и-го кадра изображение объекта. В зависимости от текущих характеристик сопровождаемого объекта, режима работы автомата сопровождения, используется адаптивный выбор значения коэффициента кн, что позволяет значительно повысить эффективность применяемой фильтрации.

В результате усовершенствован известный алгоритм путем введения в него новых процедур, позволяющих значительно повысить устойчивость работы автомата сопровождения. Разработанный алгоритм измерения координат имеет следующие особенности:

• введен анализ возможности захвата эталонного изображения объекта по заданному критерию с целью повышения устойчивости последующего сопровождения объекта;

• проводится оценка степени временной изменчивости объекта в последовательности кадров по минимальным значениям критериальной функции с це-

лью определения оптимального момента ухода автомата в режим «прогнозирование»;

• используются модифицированные процедуры межкадрового сглаживания путем введения адаптивной подстройки коэффициентов фильтрации эталона и критериальной функции в зависимости от параметров объекта и окружающего фона, позволяющие учитывать изменения объекта и фона особенно при сопровождении движущихся объектов;

• на 20-25% повышена устойчивость сопровождения объекта путем использования критерия наличия объекта на изображении за счет выявления присутствия в зоне поиска объекта помех или заслонений от похожих объектов, позволяющих своевременно переходить в режим «прогнозирование» и не переходить на сопровождение похожих объектов.

Блок-схема режимов работы автомата сопровождения, использующего предложенный алгоритм измерения координат, приведена на рисунке 3.

Рисунок 3 - Блок-схема режимов работы автомата сопровождения, использующего алгоритм измерения координат на основе эталона.

Таким образом, основными результатами второй главы являются алгоритмы обнаружения и измерения координат объектов, позволяющие существенно повысить точность и устойчивость работы автомата сопровождения.

Третья глава диссертации посвящена разработке многоэтапного алгоритма измерения координат объекта, основанного на сегментации. За основу взят байесовский классификатор - один из известных алгоритмов сегментации. При его использовании анализируемое изображение - строб разбивается на две области - окно, в котором содержаться точки, принадлежащие объекту и фону, и

рамку, содержащую только точки фона. Решающее правило байесовского классификатора имеет следующий вид

Р(г/0)>А-а-Р(г/Р), (13)

где где Р(ИО), Р(2/Р) - гистограммы признаков I, построенные в окне и в рамке соответственно, А - коэффициент штрафа при классификации точек, а -априорная вероятность принадлежности точки объекту

При выполнении работы большое внимание было уделено определению состава признаков для сегментации. Рассматривались следующие признаки: яркость точки изображения, градиентная яркость, среднее по окрестности точек значение яркости, пространственно-спектральные, основанные на двумерном преобразовании Фурье, текстурные.

Экспериментальные исследования показали, что наиболее перспективным в части результатов сегментации, является одновременное использование пары признаков яркость и градиент изображения или телевизионное и тепловизион-ное изображения. На рисунке 4 приведены некоторые примеры сегментации изображений с применением байесовского классификатора, использующего в качестве признака яркость изображения, градиент и совместный яркостно-градиентный признак.

а) б) в) г) д)

Рисунок 4 - Сравнение результатов сегментация: а) исходное яркостное изображение, б) градиентное изображение; в) результат классификации по яр-костному признаку, г) результат классификации по градиентному признаку, д) результат классификации по яркостно-градиентному признаку.

Важным фактором, влияющим на качество сегментации изображения, является выбор размеров окна и рамки, при этом необходимо определять соотношения их площадей на различных этапах работы алгоритма измерения координат. В диссертации даны рекомендации по выбору размеров окна - рекомендуется выбирать их на 15-20% больше размеров объекта. В этом случае обеспечивается как устойчивость слежения при маневрах объекта, так и приемлемое качество сегментации, не ухудшающееся вследствие попадания в окно точек фона. В ходе сопровождения ведется адаптивная подстройка размеров окна под размеры объекта. Размеры рамки задаются исходя из текущего режима работы автомата сопровождения, и могут изменять от 1,15 до 2,5 от размеров окна.

Сегментацию изображения можно условно разделить на несколько процедур: задание размеров окна, вычисление размеров рамки (формирование обрабатываемого строба), расчет гистограмм в окне и в рамке, классификация точек строба. В зависимости от последовательности выполнения перечисленных процедур можно говорить о порядке сегментации. Прямой порядок сегментации

предполагает выполнение этой процедуры в одном кадре последовательности изображений. При этом выполняются все операции, описанные в предыдущем абзаце. Для повышения возможностей алгоритма измерения координат в части работы по быстро перемещающимся объектам целесообразнее изменить порядок сегментации. Классификация точек в л-ом кадре при этОхМ проводится по гистограммам, полученным к п-1 кадру. Это даёт возможность увеличить размер строба в 2-3 раза в сравнении с размером при прямом порядке сегментации и, тем самым, расширить зону поиска объекта.

В третьей главе также рассмотрены различные подходы в обработке бинарных изображений, получаемых в результате классификации точек строба, позволяющие уменьшить влияние ошибок классификации. Введено понятие вектора параметров сегмента, соответствующего объекту, использующегося для подтверждения наличия объекта на изображении, определения момента правильного перехода в режим «прогнозирование» и др. Состав вектора параметров может варьироваться, при этом представляется целесообразным к основным параметрам отнести: координаты центра Х„, Уц, площадь (количество точек) 5, длина Ьх и ширина определяемые по крайним горизонтальным и вертикальным точкам сегмента, средняя яркость / (усредненная яркость всех точек сегмента).

В процессе слежения присутствие неоднородного фона на изображении может привести к значительным колебаниям вектора параметров сегмента в текущем кадре от вектора параметров в прошлом кадре. Те же последствия влекут ошибки классификации и погрешности дальнейшей обработки сегментов. Возникает необходимость учёта всех перечисленных факторов и поиска методов уменьшения ошибок при анализе сегментов. В работе предложен алгоритм экспоненциального сглаживания с адаптивно изменяющимися коэффициентами:

Рп (0 = к, ■ /;_, (О+(1 -к,)- (0, (14)

где Р„ (/) - оценка /-го параметра сегмента, соответствующего объекту, к /7-му

кадру, (0 - оценка /-го параметра сегмента, соответствующего объекту, к (и- Г)-му кадру, РиЛ (/) - измеренное значение /-го параметра найденного сегмента в (л-1) кадре, кь- - адаптивно изменяющийся коэффициент сглаживания (0<£/<1).

Отличительной характеристикой алгоритма измерения координат на основе сегментации является его эффективность при слежении за объектами на относительно однородном фоне, что объясняется использованием в алгоритме информации о различии статистических свойств объекта и фона. При увеличении неоднородности фонового изображения эффективность алгоритма сегментации падает. Целесообразно определить критерии оценки работоспособности алгоритма. Один из критериев, предложенных в работе, основан на использовании модуля разности энтропий объекта и фона. Его значение определяется согласно выражению:

АН

= | Н(Р)-Н(0)\ =

£ £ р(Л' I О) 1оё, р(Х I О) X ! />) 1о§2 Р(А' | Я (15)

В диссертации значительное внимание уделено вопросам фильтрации гистограмм в рамке и в окне. Полученные результаты показывают, что применение фильтрации позволяет на 20-30% снизить число ошибочно классифицированных точек в стробе.

Разработанный многоэтапный алгоритм измерения координат объекта имеет следующие особенности:

• используется совместный яркостно-градиентный признак при классификации точек изображения;

• адаптивная подстройка размеров окна по размерам объекта; автоматическое определение размеров рамки в зависимости от режима работы автомата сопровождения, позволяющая поддерживать оптимальное соотношение размеров окна и рамки;

• адаптивное ограничение разрядности гистограмм в окне и в рамке для получения качественного результата классификации точек;

• введен анализ возможности захвата объекта на сопровождение, позволяющий предотвратить захват объектов, сопровождение которых будет неустойчивым;

• применён разный порядок сегментации - прямой или с использованием гистограмм из предыдущих кадров, что позволяет выполнять сопровождение высокоскоростных объектов;

• введена дополнительная обработка бинарного изображения - сжатие и расширение - с целью уменьшения влияния ошибочно классифицированных точек на результат сегментации

• используется слежение за вектором параметров сегментов для выделения сегмента, удовлетворяющего критерию наличия объекта на изображении;

• введены фильтрация вектора параметров выделенного сегмента, и фильтрация гистограмм в окне и в рамке с целью учета изменений в объекте и фоновом изображении, произошедших за время сопровождения.

Блок-схема режимов работы автомата сопровождения, использующего предложенный алгоритм измерения координат, приведена на рисунке 5.

Таким образом, основными результатами третьей главы являются: разработка многоэтапного алгоритма измерения координат объекта на основе сегментации, ориентированного на работу по контрастным объектам различного размера, использующего новые подходы в определении размеров окна и рамки, обработке бинарных изображений и модифицированных методов фильтрации вектора параметров объекта сопровождения и фильтрации гистограмм в окне и в рамке, что позволяет на 20-25% процентов повысить устойчивость работы автомата сопровождения по малоразмерным и маневренным объектам.

Рисунок 5 - Блок-схема режимов работы автомата сопровождения, использующего алгоритм измерения координат на основе сегментации.

Четвёртая глава диссертации посвящена разработке архитектуры автомата сопровождения объектов. Рассмотрены варианты построения архитектуры. Учитывая требования по высокой производительности системы, необходимости её работы в реальном масштабе времени, предложена схема построения автомата сопровождения с использованием совместно программируемых логических интегральных схем (ПЛИС) и цифрового сигнального процессора (ЦСП). Это позволило совместить преимущества ПЛИС - скоростную обработку данных, реализацию узкоспециализированных алгоритмов с жесткими временными диаграммами, большое число пользовательских выводов, - с широкими возможностями ЦСП, позволяющими решать задачи различной сложности.

Архитектура автомата сопровождения подробно рассмотрена в работе. На рисунке 6 приведена упрощенная архитектура с разделением блоков по функциональному назначению.

1/4 кадра

Разностная функция(АЭ) Гистограммы <А.С| ,

¥

Оцифровка видео сигнала

Функции

пред обработки изображений

Т

Алгоритм

на основе

эталона (АЭ) Оверлей

. .. Алгоритм

нэ основе

сегментации (АС)

управление оверлеем г.

предобработкой

изхображекий

Сохраняемые параметра!

управление алгоритмами

Управление; . -логикой работы автомата

- синхронизацией обмена данными

- отображением информации

т

; Формирователи

разовые команды

Управление обменом данными

Рисунок 6 - Архитектура автомата сопровождения с разделением блоков по функциональному назначению.

При проектировании любого алгоритма на ПЛИС можно выделить аппаратные процедуры - набор действий, обеспечивающих выполнение от начала до завершения определенной задачи, а также аппаратные блоки, являющиеся совокупностью тех или иных аппаратных процедур.

Разработанная в диссертации архитектура автомата сопровождения является основой для целого семейства изделий под названием «Охотник». К настоящему времени разработано более 10 образцов изделий этого семейства, применяемых в воздушных, наземных и морских комплексах. Примеры изделий семейства «Охотник»:

• АТТ - применяется в комплексе ОПС-28 вертолета Ми-28Н;

• ACT - применяется в комплексах 5П-10 и СП-520 кораблей типа «Астрахань» и «Стерегущий»;

• СОВИ - применяется в комплексе ГОЭС-451 вертолета Ка-52;

• ОВИ-МЗ - применяется в оптико-электронной системе «ОЭС-БУК» ЗРК «Бук-М2Э».

Основным результатом четвертой главы является архитектура автомата сопровождения, в которой реализованы разработанные в главах 2, 3 алгоритмы обнаружения и измерения координат объектов по данным видеонаблюдений.

Разработанная архитектура обеспечивает вычислительную производительность до 20.000 MÎPS, что позволяет обрабатывать поток видеоданных с частотой 50 кадров в секунду.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Алгоритм выделения, обнаружения и захвата движущихся объектов, позволяющий значительно сократить время, затрачиваемое оператором на захват объекта в условиях быстро меняющейся фоноцелевой обстановки.

2. Многопороговый алгоритм обнаружения неподвижных объектов на основе разделения изображения на несколько усредненных уровней яркости, позволяющий выполнять захват объектов на сопровождение при отсутствии их движения.

3. Алгоритм слежения на основе адаптивного эталонного изображения объекта, применение которого позволяет на 20-25% повысить эффективность работы автомата сопровождения на сложных неоднородных фонах при малых отношениях сигнал/шум.

4. Многоэтапный алгоритм слежения за объектами на основе сегментации, использование которого в автомате сопровождения позволяется увеличить точность и устойчивость сопровождения воздушных и надводных объектов.

5. Критерии оценки работоспособности алгоритмов измерения координат объектов, эффективность применения которых подтверждается уменьшением на 30% срывов сопровождения объектов.

6. Архитектура системы, реализующей автомат сопровождения объектов.

ОПУБЛИКОВАННЫЕ РАБОТЫ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Алпатов Б.А., Блохин А.Н., Хлудов С.Ю. Алгоритм оценки параметров движения глазных зрачков /7 Приборы и приборные системы: Тез. докл. респ. конф. - Тула, 1994.-С. 116-117.

2. Алпатов Б.А., Блохин А.Н Исследование алгоритма слежения за движением глазных зрачков // Технология и системы сбора, обработки и представления информации: Тез. докл. межд. конф. - Москва, 1995. - С.61-62.

3. Алпатов Б.А., Блохин А.Н. Исследование алгоритмов обнаружения движущихся фрагментов изображений // Распознавание образов и анализ изображений: Тез. докл. Всерос. конф. - Ульяновск, 1995. - С.78-79.

4. Алпатов Б.А., Блохин А.Н. Модели и алгоритмы обнаружения и выделения движущихся фрагментов изображений // Автометрия. - 1995. - №4. - С. 100-104.

5. Алпатов Б.А., Блохин А.Н. Алгоритмы обнаружения кратковременных изменений в последовательности изображений // // Проблемы математического моделирования и обработки информации в задачах управления: Сб. науч. тр. / Рязань: РГРТА, 1996. -С. 17-19.

6. Алпатов Б.А., Блохин А.Н. Обнаружение и выделение быстропротекающих явлений в последовательности изображений /У Космонавтика. Радиоэлектроника Геоинформатика: Тез.докл.междунар. науч.-техн. конф. - Рязань, 1997. - С. 143 - 144.

7. Алпатов Б.А., Блохин А.Н., Бохан К.А. Исследование алгоритма сегментации, основанного на Байесовской процедуре классификации // Космонавтика. Радиоэлектроника. Геоинформатика: Тез. докл. 2-й междунар. науч.-техн. конф. -Рязань, 1998.-С. 169- 170.

8. Зеленюк Ю.И., Алпатов Б.А., Блохин А.Н., Костяшкин Л.Н, Романов Ю.Н., Шапка C.B. Системы обработки изображений обзорно-прицельных комплексов // Мир Авионики. - 1999. - №7. - С. 16-18.

9. Блохин А.Н. Особенности сегментации полутоновых изображений при использовании байесовского классификатора // Проблемы передачи и обработки информации в сетях и системах телекоммуникаций: Тез. докл. 11-ой межд. науч.-техн. конф. - Рязань, 2002. - С.21-22.

10. Блохин А.Н, Богданов А.П., Костяшкин J1.H., Морозов A.B., Романов Ю.Н., Шапка C.B. Интеллектуальные системы обработки видеоизображений для оптико-электронных систем наблюдения на борту гражданских ЛА «малой авиации» // Аэрокосмическое обозрение. - 2008. - №3. - С.29-31.

11. Блохин А.Н., Смирнов С.А. Корреляционный алгоритм слежения за объектами при одновременном наблюдении в видимом и инфракрасном диапазонах // Проблемы передачи и обработки информации в сетях и системах телекоммуникаций. Тез. докл. 16-оймеад. науч.-техн. конф. -Рязань, 2010. -С.14-15.

12. Алпатов Б.А., Блохин А.Н., Муравьёв B.C. Алгоритм обработки изображений для систем автоматического сопровождения воздушных объектов /У Цифровая обработка сигналов.-2010,-№4.-С. 12-17.

13. Алпатов Б.А., Блохин А.Н., Костяшкин Л.Н, Романов Ю.Н., Шапка C.B. Семейство многофункциональных систем обработки видеоизображений «Охотник» // Цифровая обработка сигналов. -2010. -№4. -С. 44-51.

14. Баранкин ЕС, Алпатов Б.А., Блохин А.Н., Костяшкин Л.Н., Романов ЮН. Шапка C.B. Семейство многофункциональных систем обработки видеоизображений «Охотник» // Устройства измерения, сбора и обработки сигналов в информационно-управляющих комплексах: Тез. докл. 1-ой Всерос. науч. практ. конф. - Ульяновск, 2011. - С.31-33.

15. Зеленюк Ю.И., Блохин А.Н., Костяшкин Л.Н. Оптико-электронная система для модернизации ЗРК «Бук-М2Э» // Военный парад. - 2011. -№4. - С. 34-35.

16. Блохин А.Н. Выбор и обоснование размеров эталона в алгоритме слежения за телевизионным изображением объекта // Обработка информации в автоматических системах: Сб. науч. тр. / Рязань: РГРТУ, 2011. - С. 40-42.

17. Алпатов Б.А., Бабаян П.В., Блохин А.Н., Катаев A.A., Костяшкин Л.Н., Романов Ю.Н. Способ обработки сигналов для выделения движущихся объектов в последовательности телевизионных изображений // Патент на изобретение №2311684 (Российская федерация), 2007 г.

18. Алпатов Б.А., Бабаян П.В., Блохин А.Н., Костяшкин Л.Н., Стротов В.В. Способ обработки сигналов для определения параметров геометрических искажений фона в последовательности телевизионных изображений // Патент на изобретение №2367111 (Российская федерация), 2008 г.

БЛОХИН Алексей Николаевич РАЗРАБОТКА АЛГОРИТМОВ ФУНКЦИОНИРОВАНИЯ И АРХИТЕКТУРЫ АВТОМАТА СОПРОВОЖДЕНИЯ ОБЪЕКТОВ ПО ДАННЫМ ИДЕОНАБЛЮДЕШШ

Автореферат

диссертации на соискание учёной степени кандидата технических наук

Отпечатано 06.02.2012 ИП Панкин М.Н. г. Рязань, ул. 4-ая Линия, д.60, кв. 38. Тираж 80 экз.

61 12-5/1810

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ «Рязанский государственный радиотехнический университет»

На правах рукописи

Блохин Алексей Николаевич

Разработка алгоритмов функционирования и архитектуры автомата сопровождения объектов по данным видеонаблюдеиий

Специальность 05 Л3.01 - «Системный анализ, управление и обработка информации (технические системы)»

Диссертация на соискание учёной степени кандидата технических наук

Научный руководитель -доктор технических наук, профессор Б.А. Алпатов

РЯЗАНЬ-2011

1 АНАЛИЗ ЗАДАЧ ОБНАРУЖЕНИЯ, ВЫДЕЛЕНИЯ, ИЗМЕРЕНИЯ КООРДИНАТ И СОПРОВОЖДЕНИЯ ОБЪЕКТОВ В ОПТИКО-ЭЛЕКТРОННЫХ СИСТЕМАХ (ОЭС)...................................................................11

1.1 Задачи, решаемые ОЭС.......................................................................11

1.2 Качественная постановка задачи обнаружения, выделения, измерения координат и сопровождения объектов............................................................24

1.3 Обзор и анализ методов и алгоритмов обнаружения и измерения

г .................31

координат объектов......................................................................

2 РАЗРАБОТКА АЛГОРИТМОВ ЗАХВАТА И ИЗМЕРЕНИЯ КООРДИНАТ ОБЪЕКТА С ИСПОЛЬЗОВАНИЕМ ЕГО ЭТАЛОННОГО ИЗОБРАЖЕНИЯ... 39

2.1 Разработка алгоритма захвата движущихся объектов............................39

2.2 Выбор и обоснование размеров эталонного изображения объекта в

49

алгоритме измерения координат......................................................................

2.3 Разработка алгоритма измерения координат объекта на основе

....................56

эталона.......................................................................................

64

2.4 Исследование алгоритма измерения координат......................................"

2.5 Состояния (режимы работы) автомата сопровождения, использующего алгоритм измерения координат на основе эталона.......................................68

3 РАЗРАБОТКА МНОГОЭТАПНОГО АЛГОРИТМА ИЗМЕРЕНИЯ КООРДИНАТ ОБЪЕКТА, ОСНОВАННОГО НА СЕГМЕНТАЦИИ..................76

3.1 Выбор и обоснование признаков, используемых для классификации точек изображения............................................................................................^

3.2 Разработка многоэтапного алгоритма измерения координат.................85

3.3 Разработка критериев оценки работоспособности алгоритма измерения

92

координат на основе сегментации...................................................................

3.4 Исследование алгоритма измерения координат......................................95

3.5 Состояния (режимы работы) автомата сопровождения, использующего алгоритм измерения координат.на основе сегментации.............................100

4 РАЗРАБОТКА АРХИТЕКТУРЫ АВТОМАТА СОПРОВОЖДЕНИЯ ОБЪЕКТОВ..............................................................................................................109

4.1 Обоснование применения программируемых логических интегральных схем...................................................................................................................109

4.2 Разработка архитектуры автомата сопровождения...............................112

4.3 Реализация архитектуры автомата сопровождения. Результаты применения автомата в комплексах различного назначения.....................146

ЗАКЛЮЧЕНИЕ........................................................................................................155

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ..............................................158

ПРИЛОЖЕНИЯ.......................................................................................................168

Актуальность работы.

Задачи цифровой обработки изображений можно условно разделить на два больших класса: повышение качества изображений для улучшения его визуального восприятия человеком и обработка изображений с целью их хранения, передачи и анализа в системах технического зрения.

Совершенствование технологий способствует интенсивному внедрению видеоинформационных систем в различные области человеческой деятельности. Системы обработки и анализа видеоинформации, определяемые как оптико-электронные системы (ОЭС), находят все большее применение как в гражданских, так и, в особенности, в военных областях. В настоящее время ОЭС являются основой построения многих систем наведения и прицеливания в различных образцах военной техники. В гражданской сфере ОЭС находят применение в системах охраны и наблюдения за объектами, системах раннего оповещения о пожарах и повреждениях газо- или нефтепроводов.

Одним из направлений разработки ОЭС является обеспечение возможности их установки на подвижных носителях: самолётах, вертолётах, кораблях и бронетехнике. Целью подобных систем является решение задач обнаружения неподвижных и движущихся объектов, оценки их параметров, построения траекторий движения объектов, распознавания образов. При этом условия применения ОЭС достаточно широкие - это и воздушные объекты, и наземные, и морские.

Естественным требованием, предъявляемым к ОЭС, является необходимость работы в реальном масштабе времени. Разрабатываемые системы также должны иметь автоматизированный режим функционирования, требуя лишь незначительных усилий со стороны оператора.

Постоянное совершенствование средств обработки информации приводит к расширению сферы практического применения методов и алгоритмов обработки изображений. В некоторых задачах ОЭС стали составлять конкуренцию радиолокационным станциям (РЛС). К числу существенных недостатков

4

PJIC можно отнести присутствие "слепой зоны", чувствительность к постановкам помех, высокую стоимость, значительные габариты и ограничения по угловому разрешению, связанные с шириной диаграммы направленности антенны. Кроме этого, во многих случаях применение активных способов наблюдения, связанных с облучением объекта электромагнитными волнами нежелательно, так как приводит к демаскировке положения излучателя. Решить указанные проблемы возможно путем использования ОЭС с современными телевизионными и тепловизионными датчиками для получения изображения объекта с последующей обработкой видеоинформации, а также с лазерным дальномером, во многих случаях дополняющим, а в некоторых заменяющим PJIC.

Важной составной частью ОЭС является автомат сопровождения объектов, реализующий большинство функций обработки изображений, формируемых видео датчиками. Функционирование АС невозможно без наличия алгоритмического обеспечения, решающего задачи обнаружения, выделения объектов, измерения их координат. В настоящее время разработано множество алгоритмов выделения и обнаружения объектов [28-31,44,45]. Однако универсального набора средств, решающего поставленные задачи, не существует. Некоторые алгоритмы обладают большой вычислительной сложностью, другие не в полной мере учитывают специфику рассматриваемой задачи и особенности применяемых на практике датчиков изображений. Поэтому разработка вычислительно эффективных алгоритмов выделения, обнаружения и слежения за объектами до настоящего времени является весьма актуальной задачей.

Степень разработанности темы. В отечественной и зарубежной печати имеется много публикаций, рассматривающих вопросы выделения, обнаружения и слежения за объектами на различных фонах по данным видеонаблюдений. Значительный вклад в разработку методов и алгоритмов решения данной задачи внесли работы таких учёных как Б.А. Алпатов, П.А. Бакут, В.Г. Лабунец, А.П. Трифонов, И.Н. Пустынский, Е.П. Путятин, А.Г. Ташлинский, С.Ю. Желтое, Ю.В. Визильтер, D. Braunreiter, В. Li, J. Silverman, Q. Pham, С. Crane, W. Pratt, S.Wang и др.

они с

Несмотря на большое количество работ по данной тематике, в результате её анализа не было выявлено публикаций, в которых в полной мере учитывается специфика задач выделения и обнаружения объектов с большим диапазоном варьирования размеров, наблюдаемых как в ТВ, так и ИК-диапазоне на различных фонах. Важным требованием, предъявляемым к алгоритмам, решающим данную задачу, является возможность их реализации в реальном масштабе времени. В ряде работ, рассматриваются алгоритмы, позволяющие обнаруживать точечные и малоразмерные воздушные объекты [30, 31], однако преимущественно ориентированы на обработку изображений, получаемых тепловизионных датчиков. Разработаны многоэтапные пространственно-временные алгоритмы выделения объектов [45], основанные на получении оценок параметров геометрических преобразований изображений. Однако при наблюдении объектов на неоднородном фоне точность оценивания может быть низкой, что в итоге приводит к ухудшению качества обнаружения и автосопровождения.

Исходя из этого, сформулируем цель диссертации, которая состоит в разработке эффективных алгоритмов захвата, выделения, обнаружения и измерения координат объектов на различных фонах для автомата сопровождения, как составной части ОЭС, а также в разработке архитектуры системы, реализующей автомат сопровождения объектов. Для достижения поставленной цели

необходимо решить следующие основные задачи:

• обзор и оценка достоинств и недостатков существующих алгоритмов выделения, обнаружения и измерения координат объектов;

• синтез алгоритма обнаружения и захвата движущихся объектов;

• разработка многопорогового алгоритма захвата неподвижных объектов;

• разработка и исследование алгоритма измерения координат объектов на основе адаптивного эталонного изображения;

• разработка и исследование многоэтапного алгоритма измерения координат объектов на основе сегментации;

• разработка критериев оценки работоспособности алгоритмов измерения координат объектов;

• разработка архитектуры системы, реализующей автомат сопровождения объектов.

Научная новизна работы состоит в том, что в ней разработаны: алгоритм обнаружения и захвата движущихся объектов значительно сокращающий и упрощающий процедуру захвата объектов на сопровождение; многопороговый алгоритм обнаружения неподвижных объектов; алгоритм измерения координат на основе адаптивного эталонного изображения объекта, повышающий эффективность работы автомата сопровождения; многоэтапный алгоритм измерения координат объектов увеличивающий точность и устойчивость сопровождения воздушных и надводных объектов; эффективные критерии оценки работоспособности алгоритмов измерения координат объектов; архитектура системы, реализующей автомат сопровождения объектов.

Методы исследования. Теоретические исследования в настоящей работе выполнены на основе методов теории вероятностей, теории статистических решений, методов оптимизации. Экспериментальные исследования выполнялись на реальных и синтезированных видеосюжетах с использованием методов математической статистики.

Достоверность и обоснованность полученных результатов подтверждены корректным использованием математического аппарата, компьютерным моделированием разработанных алгоритмов, результатами экспериментальных исследований, а также опытом практического внедрения.

Основные положения, выносимые на защиту.

• алгоритм выделения, обнаружения и захвата движущихся объектов на основе введенной модели фоноцелевой обстановки;

• алгоритм измерения координат на основе адаптивного эталонного изображения объекта;

• многоэтапный алгоритм измерения координат объектов на основе сегментации;

• архитектура системы, реализующей автомат сопровождения объектов.

Реализация и внедрение. Разработанные в диссертации модели и алгоритмы были использованы при выполнении на ОАО "Государственный Рязанский приборный завод" ОКР по заказам ОАО «Красногорский механический завод» г.Красногорск, ОАО «Камов», г.Люберцы, ОАО "Ульяновский механический завод" г.Ульяновск, ОАО "Радиозавод" г. Пенза, ФГУП "Конструкторское бюро машиностроения" г.Тула, ОАО "Научно-исследовательский электромеханический институт" г.Москва, ФГУП "Конструкторское бюро машиностроения" г.Коломна. Алгоритмическое обеспечение используется в изделиях: АТТ для вертолета Ми-28Н, СОВИ для вертолета Ка-52, в оптико-электронных системах для ЗРК "Квадрат", "Бук", "Оса", зенитного ракетно-пушечного комплекса "Тунгуска-Ml", ракетного комплекса малой дальности «Лучник-Э».

Апробация работы.

Основные результаты работы докладывались на:

- всероссийской конференции "Приборы и приборные системы" (Тула -1994);

- международной конференции "Технология и системы сбора, обработки

и представления информации" (Москва- 1995);

- всероссийской конференции "Распознавание образов и анализ изображений" (Ульяновск- 1995);

й 2й международной конференции "Космонавтика, радиоэлектроника, геоинформатика" (Рязань- 1997).

- 11- и 16-международной научно-технической конференции "Проблемы передачи и обработки информации в сетях и системах телекоммуникаций"

(Рязань-2002, 2010);

- 1~ Всероссийской научно-практической конференции "Устройства измерения, сбора и обработки сигналов в информационно-управляющих комплексах" (Ульяновск - 2011).

Публикации.

По теме диссертации опубликовано 16 работ, в том числе 8 статей, из них 3 в журналах, рекомендованных ВАК для публикации результатов кандидатских диссертаций. Получены два патента на изобретения.

Структура и объём диссертации.

Диссертация состоит из введения, четырёх глав, заключения, списка литературы (79 источников), приложений, изложенных на 173 страницах, содержит 59 рисунков и 28 таблиц.

Во введении рассматривается актуальность разработки автомата сопровождения объектов, реализующего большинство функций обработки изображений, как важной составной части оптико-электронной системы (ОЭС). Ставится цель и направление исследований, формулируется научная новизна диссертационной работы, приводятся результаты апробации работы, описывается структура диссертации.

Первая глава диссертации является вводной. В ней рассматривается необходимость применения ОЭС, задачи, решаемые ею. Дан обзор разработанных к настоящему моменту отечественных и зарубежных образцов ОЭС. Определён основной класс ОЭС - вертолетный, - для которого разрабатывается автомат сопровождения. Приведён обзор составных частей ОЭС, выполнена качественная постановка задачи обнаружения, выделения, измерения координат и сопровождения объектов, произведён анализ известных методов и алгоритмов обнаружения и измерения координат объектов.

Во второй главе рассматриваются вопросы разработки алгоритма захвата объектов и алгоритмов слежения с использованием эталонного изображения объекта. Вводятся модели наблюдения и состояния изображений. Синтезирован алгоритм захвата движущихся объектов. Рассмотрена проблема выбора эталонного изображения при отсутствии движения объекта, разработан многопороговый алгоритм выделения неподвижных объектов. Разработан алгоритм измерения координат объектов на основе эталона, проведены исследования работы алгоритма в различных условиях, в том числе в условиях вращения.

9

Третья глава посвящена разработке многоэтапного алгоритма слежения, основанного на сегментации. В начале главы рассмотрен ряд признаков изображения и выполнено обоснование применения выбранных признаков. Произведен анализ применения при классификации точек изображения многомерных гистограмм и даны рекомендации по их разрядности. Разработан многоэтапный алгоритм слежения, исследовано влияние соотношения размеров областей окна и рамки на результат классификации, выполнено сравнение различных подходов к порядку классификации точек изображения. Разработан и описан алгоритм сжатия и расширения бинарного изображения, а также разметки и параметризации сегментов на бинарном изображении. Рассмотрены алгоритмы

фильтрации гистограмм.

В четвёртой главе рассмотрены вопросы разработка аппаратного обеспечения автомата сопровождения объектов. Проведено обоснование необходимости применения программируемых логических интегральных схем (ПЛИС). Рассмотрены несколько видов архитектур построения автомата сопровождения. Определена загрузка аппаратной и программной части автомата сопровождения. Приведены примеры реализация архитектуры автомата сопровождения в различных изделиях.

1 АНАЛИЗ ЗАДАЧ ОБНАРУЖЕНИЯ, ВЫДЕЛЕНИЯ, ИЗМЕРЕНИЯ КООРДИНАТ И СОПРОВОЖДЕНИЯ ОБЪЕКТОВ В ОПТИКО-ЭЛЕКТРОННЫХ СИСТЕМАХ (ОЭС)

1.1 Задачи, решаемые ОЭС.

Продолжающееся уже не первое десятилетие бурное развитие оптико-электронных систем (ОЭС) позволяет непрерывно расширять круг их применений и решать многие сложные задачи, еще не так давно недоступные для автоматических систем. Современный этап их развития характеризуется быстрым совершенствованием элементной базы, в частности, во-первых, развитием оптико-электронных нано- и микротехнологий, созданием матричных приемников излучения (МПИ), позволяющих осуществить «смотрящий» режим работы ОЭС, как аналог работы зрительного аппарата живых существ. Создаются интегрированные конструкции, в которых МПИ объединен с системой обработки изображений. Во-вторых - появлением все более мощных систем обработки информации. Все это позволяет перейти к решению важнейших практических задач по выделению полезных си