автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Моделирование процессов выделения, сопровождения и классификации изображения движущегося воздушного объекта

На правах рукописи

Титов Илья Олегович

МОДЕЛИРОВАНИЕ ПРОЦЕССОВ ВЫДЕЛЕНИЯ, СОПРОВОЖДЕНИЯ И КЛАССИФИКАЦИИ ИЗОБРАЖЕНИЯ ДВИЖУЩЕГОСЯ ВОЗДУШНОГО

ОБЪЕКТА

005042618

Специальность 05.13.18: Математическое моделирование, численные методы

и комплексы программ

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

1 О М ' " т^'т

Великий Новгород — 2012

005042618

Работа выполнена в Федеральном государственном бюджетном образовательном учреждении высшего профессионального образования "Новгородский государственный университет имени Ярослава Мудрого" на кафедре ИТиС.

Научный руководитель:

Заслуженный работник высшей школы Российской Федерации, доктор технических наук, профессор Емельянов Геннадий Мартинович, НовГУ

Официальные оппоненты:

Заслуженный работник высшей школы Российской Федерации, доктор технических наук, профессор Голик Феликс Валентинович, НовГУ

кандидат технических наук Попов Олег Олегович, зам. директора ОАО «НПК «СПП», г. Великий Новгород

Ведущая организация: ФГУП «Научно-исследовательский институт

прецизионного приборостроения» г. Великий Новгород

Защита диссертации состоится "_"_2012 г. в_часов на

заседании диссертационного совета Д 212.168.04 при Новгородском государственном университете имени Ярослава Мудрого по адресу: 173003, г. Великий Новгород, ул. Большая Санкт-Петербургская, д. 41, ауд. 3105/2.

С диссертацией можно ознакомиться в библиотеке Новгородского государственного университета имени Ярослава Мудрого.

Автореферат разослан "_"_2012 г.

Учёный секретарь диссертационного ,

совета к.ф.-м. н., доцент М-С- Токмачёв

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Важной задачей цифровой обработки изображений является задача классификации, распознавания и анализа движущихся объектов в системах технического зрения. Решение этого класса задач столкнулось с рядом трудностей, таких как: отсутствие математических моделей, адекватно описывающих наблюдаемую обстановку, несовершенство датчиков изображений, недостаточную производительность вычислительных систем.

Одним из направлений, в котором необходимо решать такие задачи, является создание комплексов для анализа и обработки изображений, предназначенные для установки на подвижных носителях.

Последнее время, такие комплексы обработки изображений активно применяются в системах автоматического сопровождения воздушных объектов, наблюдаемых на фоне ясного или облачного неба, с целью решения задач их обнаружения и оценки параметров.

В настоящее время разработано множество алгоритмов выделения и оценки параметров объектов. Однако известные подходы зачастую обладают большой вычислительной сложностью и не в полной мере учитывают специфику рассматриваемой задачи и особенности применяемых на практике датчиков изображений. По этой причине, разработка эффективных алгоритмов выделения, обнаружения и оценки параметров для систем автоматического сопровождения воздушных объектов, работающих в режиме реального времени, остается актуальной задачей.

Предметной областью данной работы выступают видеоданные, в виде последовательности изображений воздушного объекта в процессе его перемещения в пространстве. Используя методы контурного анализа, делается попытка классифицировать выделенный воздушный объект. Общая структурная схема системы автоматического сопровождения движущихся воздушных объектов представлена на рис 1.

Предполагается, что датчик формирует полутоновую последовательность изображений размерностью 1024x1024 пикселей с частотой 25 кадров в секунду. Площадь объекта занимает порядка 1/100 части кадра.

Основными задачами являются разработка, обоснования и применения эффективных численных методов, алгоритмов и комплекса программ для: выделения объекта, на входном изображении; оценки параметров расположения, определяющие пространственное положение объекта; классификация объекта, на основе его контурных характеристик.

Примерами наблюдаемых объектов служат воздушные объекты, наблюдаемые на дальностях от 500 метров до нескольких десятков километров, как на ровных, так и на пёстрых облачных фонах. Исходя из удалённости воздушных объектов, характеристик датчиков и возможности

полей зрения, размеры наблюдаемых объектов на изображении могут лежать в широком диапазоне значений - от 20x20 до 200x200 элементов разложения.

1

Ж

.......

формирование вектора

уникальных признаков идентификация объекта

Результат:

об ъект — номер класса

Рис 1. Структура системы автоматического сопровождения движущихся

воздушных объектов

Контуры являются областями с высокой концентрацией информации, слабо зависящей от цвета и яркости. Они устойчивы к смене типа датчика, формирующего изображение, к частотному диапазону, в котором он работает, не зависят от времени суток и года. Контур целиком определяет форму изображения и содержит всю необходимую информацию для распознавания изображений по их формам. Такой подход позволяет не рассматривать внутренние точки изображения и тем самым значительно сократить объем обрабатываемой информации. Следствием этого является возможность обеспечения работы системы обработки в масштабе времени, более близком к реальному.

Для решения поставленных задач, предлагается использовать многоэтапный алгоритм выделения, сопровождения, оценки параметров и классификации объекта. Алгоритм должны быть ориентирован на работу в реальном времени.

Несмотря на достаточно большое количество работ по данной тематике, нельзя утверждать, что в них в полной мере учитывается специфика задач обнаружения, выделения и оценки параметров воздушных объектов с большим диапазоном варьирования размеров, наблюдаемых в камеру оптического или инфракрасного диапазона, на фоне ясного или пёстрого неба. В ряде работ рассматриваются алгоритмы, позволяющие обнаруживать точечные и малоразмерные воздушные объекты, однако они преимущественно ориентированны на обработку изображений, получаемых с тепловизионных датчиков и часто не способные эффективно обнаруживать протяжённые объекта.

построение внешнего контура

выделение объекта

ИСТОЧНИК первичны* видеоданных

оирнка параметров движения

Таким образом, сформулируем цель диссертации как разработку эффективных алгоритмов решения задачи выделения, оценки параметров воздушного объекта и его классификация, для системы автоматического сопровождения работающей в реальном масштабе времени. Для достижения указанной цели решаются следующие задачи:

• формирование модели фоно-объектной обстановки и признаков выделения объекта на основе реальных видеоданных;

• построение многоэтапного алгоритма обнаружения, выделения и сопровождения воздушного объекта;

• определение методов сокращения объёма обрабатываемой информации;

• кодирование внешней границы воздушного объекта, используя методы контурного анализа;

• группировка согласующихся контурных фрагментов и формирование кластера инвариантных характеристик на основе контурного представления внешней границы воздушного объекта;

• построение алгоритма оценки параметров и классификации воздушного объекта;

• разработка комплекса программ и проведение экспериментальных исследований эффективности разработанных алгоритмов с использованием набора реальных видеоданных.

Научная новизна данной работы состоит в том, что предложены модели: обнаружения и выделения воздушного объекта на основе вероятностного принципа; предложены методы сокращения объёма обрабатываемой информации; методы расчёта инвариантных геометрических характеристик объекта по его внешней границе.

Практическая ценность

1. Разработанный комплекс программ позволяет проводить вычислительные эксперименты по выделению и классификации движущегося воздушного объекта в различных прикладных задачах. Примеры решения некоторых задач приведены в диссертации и могут служить прототипами для решения других аналогичных задач.

2. Предложенная в диссертации методология описания компьютерной модели позволяет наглядно, компактно и в тоже время точно представить поставленный эксперимент. Такую модель рекомендуется применять также для сравнения различных решений моделируемых систем между собой. Все выполненные в рамках диссертации компьютерные эксперименты представлены соответствующими моделями, что даёт возможность точно повторить выполненные эксперименты.

Научные положения, выносимые на защиту

1. модель фоно-объектной обстановки и структуры описания признаков выделяемого воздушного объекта на фоне ясного или облачного неба;

2. многоэтапный алгоритм обнаружения и выделения воздушного объекта;

3. методы сокращения объёмов обрабатываемой информации;

4. методы расчёта инвариантных геометрических характеристик объекта по его контуру;

5. комплекс программ для проведения компьютерных экспериментов по выделению и классификации движущегося воздушного объекта;

По теме диссертационной работы опубликовано 8 научных работ. Из них 4 в журналах и изданиях, рекомендованных для публикаций материалов диссертаций ВАК, 3 работы в сборниках материалов научных конференций, 1 свидетельство о государственной регистрации программы для ЭВМ.

Диссертация состоит из введения, пяти глав с выводами, заключения, библиографического списка и приложения. Работа изложена на 156 страницах машинописного текста и включает 62 рисунка, 10 таблиц и 5 алгоритмов. Библиографический список включает 72 наименования. Ссылки на источники указываются в виде имени первого автора публикации (в некоторых случаях с заглавием) и года издания в квадратных скобках.

Апробация работы. Результаты работы докладывались и обсуждались на:

• ежегодных научных конференциях преподавателей, аспирантов и студентов НовГУ (Великий Новгород, 2009 г. - 2011 г.);

• XV конференции «Математические методы распознавания образов» ММРО-15 г. Петрозаводск, Республика Карелия;

• грант РФФИ № 10-01-00146-а, руководитель Емельянов Г. М., гос. per. No 0120.1 164263, 2010-2012 г;

• ГБ НИР "Разработка и исследование математических моделей многопараметрических систем", руководитель Емельянов Г.М., по заданию Минобр-науки РФ, гос. per. No 0120.0 704719, 2007-2011 г.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснованна актуальность темы диссертации.

В первой главе формулируется постановка задачи выделения и оценки параметров воздушного объекта, рассматриваются основные компоненты системы автоматического сопровождения и классификации, формулируется математическая модель объекта, основанная на контурном анализе.

Рассматриваются основные физические явления порождения шума и модели восстановления изображения. Основные источники шума на цифровом изображении — это процесс оцифровки, а также процесс передачи. Будем предполагать, что шум не зависит от пространственных координат и не коррелирует с самим изображением, т.е. между значениями элементов изображения и значениями шумовой составляющей нет корреляции.

Для датчиков, построенных на основе ПЗС матриц и линеек, модель шума может быть представлена в следующем виде:

£,(х,у) = ку&Д0(х,у) + £,ді (х,у) + %дй(х,у) + ^м(х,уУ) + ^у(х,у) (і)

где £дШ(х,у) - дробовой шум; £тс(х,у) - ток смещения; £™(х,у) - темновой ток; ^кв(х,у) - равномерно распределенный шум квантования; £у(х,у) - шум усилителя, распределенный по Гауссовскому закону ^У(х,у) ~ N(0, Е^); ку -коэффициент усиления. При использовании высококачественных видеодатчиков, слагаемое ^У(х,у) будет вносить наибольший вклад в формирование шума.

Так как в рассматриваемом случае на изображении присутствует только аддитивный шум, пространственная фильтрация является лучшим из возможных методов восстановления.

Определены основные характеристики и параметры фоно-объектной обстановки. Сцена рассматривается как среда, представляющая собой совокупность объектов различных цветов и размеров, причем заранее неизвестно какой из объектов полезный - цель, а какие являются фоновыми объектами (рис.2).

Рис 2. Модель сцены

За основу принимается следующая модель сцены:

1(х,у,п) = h(X,у,п)г(х,у, п) + g(x,у,п)(1- г(х,у,п)) + у, п) (2)

где: п = 1.. .К, N - количество наблюдаемых кадров, Я = {(х, у): х = О...Ых- 1, у = 0...1МУ- 1}- множество точек, на котором заданно изображение, Ых и - размеры изображения по вертикали и горизонтали, 1(х, у, п) -наблюдаемое изображение, g(x, у, п) и Ь(х, у, п) - яркости точек фона и объектов соответственно в кадре п, г(х, у, п) - бинарная маска, определяющая положение объектов, ^(х, у, п) - аддитивный шум датчика.

Используя предложенную модель сцены, иметься возможность формировать различные сцены и описания всевозможных сочетаний объектов на ней. Используя такую модель, возможно, создать большое разнообразие сцен, для проверки работоспособности и эффективности выбранных методов решения поставленной задачи.

Обнаружение и слежение за движущимся воздушным объектом в видеопотоке, рассматривается во второй главе. В рамках данной главы решаются задачи анализа существующих алгоритмов выделения движущегося воздушного объекта на фоне ясного или пёстрого неба; формирование модели фоно-объектной обстановки и признаков выделения объекта. Для решения поставленной задачи, рассматривается метод построения фоновой модели базирующийся на вероятностном подходе.

Предложено оценивать фоновую составляющую кадра путем применения низкочастотного фильтра рекурсивного сглаживания. Метод предполагает «смешивание» параметров текущего кадра с моделью фона. Такая реализация позволяет решить ряд проблем, свойственные другим методам, такие как: адаптация к таким движениям сцены как дождь или снег, способность работать в условиях динамического заднего плана, адаптироваться к медленным и быстрым изменениям освещения. Применение предложенного подхода позволяет подавить не только стационарный, но и в значительной степени нестационарный фон (рис. 3).

Используя смесь нормальных распределений с поступлением каждого нового кадра, формируется и обновляется попиксельная модель сцены.

5~±*р*Щх,рр,о>р) где Щх,^,<?2) = -~= (3)

р=1 V ¿мСТ

^^¡М^^ ~ , ? ч£ Д* -у, ^ * | ■ ' * ' 5 . « 4 г1 ~ СА ^ Е ' |

* Шй® ¿У Ш: Ш - 1

Рис 3. Результаты применение метода основанного на вероятностной

модели

При построении метода выделения и сопровождения воздушного объекта, важным критерием является скорость обработки данных. В этой связи, был определен набор методов, которые позволяют сократить объём обрабатываемой информации. Предложено использовать два метода: метод, основанный на пирамидальном представлении изображения; метод дооценивания вектора состояния динамической системы, базирующийся на фильтре Калмана.

Пирамидой для изображения F является рекурсивная последовательность изображений G1 = { gy1}, где 1 > 0 следующего вида:

2 2

G = F.gij = ' ë2i+P-\,2j+q-\ для I > 0) (4)

p=-2q=-2

где wpq- весовые коэффициенты дискретной функции Гаусса W[5 * 5], которую можно определить, как W = V1 ■ V, V = 1/16 • {1, 4, 6, 4, 1}

Размер изображения G1 состав.ляет n/21 * т/21 пикселей, а максимальное число уровней пирамиды 1тахдля изображения F[n * m] определяется как 1гаах = min { | log2ïï |, | log2m j }. Каждый последующий слой G1 пирамиды является сокращённой в 4 раза сглаженной моделью предыдущего слоя G " см рис. 4.

Рис 4. Пирамидальное представление изображения

В результате применения метода пирамидального представления изображения, объём обрабатываемой информации уменьшается как минимум в 4 раза. Использование метода дооценивания вектора состояния динамической системы, для оценки расположения объекта, позволяет рассматривать только 10% от исходного объёма данных. В результате

применения этих двух методов, объём обрабатываемой информации сокращается минимум в 40 раз.

В итоге, имеется возможность построить многоэтапный алгоритм обнаружения, выделения и сопровождения воздушного объекта, который способен работать в режиме реального времени, не чувствителен к динамическому заднему плану и изменению освещения.

Решение задачи получения внешнего контура объекта рассматривается в третьей главе, в виде замкнутой кривой или совокупности отрезков дуг, обнаруженного объекта на входном изображении.

В данной главе, с позиции контурного анализа, рассматривается задача кодирования внешней границы воздушного объекта в реальной сцене. Большой сложностью, при решении проблемы выделения контура изображения, являлась обнаружение контура в условиях сложной фоновой обстановки, когда фоновые шумы представляют собой статистически неоднородное случайное поле. При таких допущениях, основанных на экспериментальных данных, предложен метод обнаружения границ объекта.

Решается проблема выделения контуров (рис.5), связанная с обнаружением одной или нескольких его взаимосвязанных точек и дальнейшим прослеживанием, т.е. последовательным, точка за точкой без разрывов, определением всех остальных точек до момента замыкания контура.

щ

■вир 1

Рис 5. Вычисления тонких связных сегментов контуров а) объект - "Миг-29"; Ь) контур внешней границы объекта " Миг-29" с) объект - " Ми-8"; с!) контур внешней границы объекта "Ми-8"

Выделения контуров изображений производилось на полутоновой сцене. Контур формируется путём сравнения яркости каждого его пиксела с заданным пороговым значением, а также расчёт направления его градиента и сравнение его с соседними пикселями. В том случае, когда эта яркость ниже порогового значения, в соответствующую ячейку бинарной сцены заносится "0", а в противном случае — "1",

Анализируется задача сокращения объема обрабатываемой информации, в результате операции определения доминантных точек и

построения контура на их основе, что уменьшает ресурсоёмкость метода и увеличивает его быстродействие (рис.6).

Рис 6. Определения доминантных точек контура а) объект - "Миг-29"; Ь) доминантные точки контура объекта "Миг-29" с) объект - "Ми-8"; с1) доминантные точки контура объекта "Ми-8"

В четвёртной главе исследуется проблема формирования инвариантных признаков объекта для его последующей идентификации с использованием эталонного объекта, таким образом, определяется оптимальный вектор признаков. Формулируются основные требования для дескрипторов, описывающих воздушный объект, а также правила получения качественных дескрипторов по внешним границам объекта, основанных на базе центральных моментов.

Рассмотрим центральные моменты, обладающие инвариантностью к сдвигу. Такие моменты определяются следующим образом:

црч=} } (х - х)р (у - у)4 фс, у)сЫу, где - х = и уЛ (5)

тоо тоо

где х,у координаты центра тяжести изображения.

В главе рассматривается альтернативный класс дескрипторов, который удовлетворяет инвариантным требованьям, предъявляемых разрабатываемой системой. Признаки, основанные на дескрипторах Фурье. Задаются уравнением:

а(и) = -^(к)е * )Где5(к) = х(к) + 1У(к) (6)

к=0

Сравнительные тесты по скорости расчёт этих признаков с характеристиками, основанными на центральных моментах рис. 7. По скорости расчёта Фурье дескрипторы существенно проигрывают дескрипторам на базе центральных моментов.

^""Іі^^^^ІЗ^ї Г^".. - '"ГГ?Г.' -- .Ж, •-Шё? м 1

/

/•

/ —Ф— Фурье дескрипторы —■— Моменты

....... 0

ш ж » » _ .

Рис 7. График сравнения скорости расчёта параметров по методу Фурье дескрипторов и на основе анализа моментов

Общее количество дескрипторов, формирующих кластер признаков, уникально описывающий класс воздушного объекта, составляет 11 параметров х= {(р1, ср2,...,<р7, П,...,14}.

В главе рассматривается метод оценки близости между выделенным объектом и эталонной моделью, решается задача классификации объекта, как финальный этап разрабатываемой системы получения результата. Исследуется метод оценки близости между выделенным объектом и эталонной моделью, основанный на вероятностном подходе, при котором достигается наименьшая вероятность появления ошибки классификации. Такой подход подходит для решения поставленной задачи, поскольку рассматривает случайности, влияющие на порождение классов образов.

Пятая глава посвящена экспериментальной проверке описанной в предыдущих главах модели выделения и классификации воздушного объекта. Выполняется оценка построенной модели на эталонных объектах. Определяется эффективность выбранного решения в плане ресурсоёмкости и скорости вычислений. Комплекс схематично отображён на рис 8.

Рис 8. Модули, входящие в состав программного комплекса

Программный комплекс позволяет: подключать тестовые наборы, управлять параметрами многоэтапного алгоритма выделения, сопровождения, и оценки параметров воздушного объекта, таких как: время обучения, начальные значения дисперсий и коэффициентов низкочастотного фильтра; количество точек, формирующих внешнюю границу объекта. Наблюдать процесс анализа и обработки кадров видеопоследовательности посредством вывода на экран исходных данных, промежуточных и окончательных результатов.

Комплекс программ, ориентирован на моделирование процессов выделения, сопровождения и классификации воздушного объекта. В главе детально представлены назначение, структура и состав каждого компонента, состав базовых модулей, а также алгоритмы и примеры работы основных частей комцлекса.

В результате реализации комплекса программ, были проведены экспериментальные исследования эффективности предложенных моделей и методов с использованием набора реальных видеоданных.

Результаты эксперимента, где искомым объектом выступал истребитель Миг-29: в процессе выделения и контуризации, формируются контура, сильно отличающиеся от эталонных, причина в том, что на нескольких кадрах, в процессе маневрирования самолета, происходит трансформация наблюдаемой формы объекта, вследствие чего, профиль сильно искажаться. Также, в видеопоследовательности присутствуют кадры, на которых соотношение сигнал/шум очень невелико, что влияет на итоговое формирование контура. На рис. 9 приведён пример некорректно сформированного контура объекта "Миг-29", а на рис.6 с) представлен удачный вариант контуризации. Результативность классификации объекта, составляет порядка 91%. Ошибки вызваны потерей объекта вследствие неверного выделения объекта - 3%, а некорректной классификации - 6%.

ййШ V «ЁШ ' . Щ

Дмщ

ШШа

Рис.9 Кадр, содержащий объект класса истребитель "Миг- 29" е) Исходный кадр; ф Итоговый контур объекта

В эксперименте, где искомым воздушным объектом выступал вертолёт Ми-8, получены результаты: на нескольких кадрах, вследствие удаления объекта от точки съёмки, его маневрирования, а также неудачного ракурса съёмки объекта, практически не видны линии несущего винта, что приводит

съёмки объекта, практически не видны линии несущего винта, что приводит к вырождению формы воздушного объекта, и как следствие, искажение его истинного профиля. Это служит причиной того, что характеристики внешнего контура меняются, и объект классифицируется не корректно.

Так как исходная видеопоследовательность содержит данные высокого качества, воздушный объект имеет сложную форму, а также большое количество кадров с полным профилем вертолёта, результативность проведения эксперимента составляет 97%. Ошибка составляет порядка 3% и определяется некорректной классификацией объекта.

В итоге эксперимента, где искомым воздушным объектом выступал объект класса "ракета", результаты: в процессе перемещения ракеты, её контур сильно искажаться. Причины: интенсивное маневрирование ракеты; меняющийся контур факела реактивного двигателя; меняющийся ракурс съёмки, это сильно искажает форму ракеты, и её профиль эволюционирует от сложного контура - в овал или круг.

На основе проведённых экспериментов выявлено, что эффективность предложенных методов составляет -90%. Величина ошибки -10%, которая приходится на потерю объекта в процессе выделения, а также некорректную классификацию. Применение методов дооценки динамической системы сводит ошибки потери к значению порядка 1-2%. Ошибка классификации в 8 - 9% сильно зависит от качества исходных данных и соотношения сигнал/фон.

Результаты работы

1. Сформирована модель фоно-объектной обстановки и признаков выделения объекта базирующаяся на вероятностном подходе;

2. Предложены методы сокращения объёмов обрабатываемой информации;

3. Решена задача выделения контуров, связанная с обнаружением взаимосвязанных точек, а также операция определения доминантных точек;

4. Предложен численный метод оценки параметров распределений фоно-объектной модели;

5. Сформулированы требования для дескрипторов, описывающих воздушный объект. Предложены правила получения качественных дескрипторов по внешним границам объекта;

6. Решена задача классификации объекта, как финальный этап разрабатываемой системы получения результата;

7. Создан программный комплекс, который позволяет использовать предложенные модели и методы, для проверки теоретических результатов диссертации;

8. Применение численных методов позволило провести эксперименты над видеопоследовательностями с целью проверки предложенных моделей выделения, сопровождения и классификации.

Публикации по теме диссертации в рецензируемых научных изданиях

1. Титов И.О., Емельянов Г.М. Система компьютерного зрения движущегося воздушного объекта // Компьютерная оптика, Том 35 N4. 2011.С.491-495

2. Титов И. О., Емельянов Г. М. Маркировка динамических объектов с помощью штрих-кода // Вестн. Новг. гос. ун-та. Сер.: Технические науки: 2010. № 60. С.50-53.

3. Титов И. О., Емельянов Г. М. Выделение контуров изображения движущегося объекта // Вестн. Новг. гос. ун-та. Сер.: Техн. науки. 2010. №55. С.27-31.

4. Титов И.О., Емельянов Г.М. Моделирование процесса выделения и классификации изображения для систем автоматического сопровождения движущихся воздушных объектов // Вестн. Новг. гос. ун-та. Сер.: Техн. науки. 2011. №65. С.90-93.

Публикации по теме диссертации в других изданиях

5. Титов И. О., Емельянов Г. М. Формирование инвариантных признаков движущегося воздушного объекта // Сборник трудов конференции 15-ой Всероссийской конференции РАН, Москва, 2011. ММРО-15. С.467-470.

6. Программа для моделирования процессов выделения, сопровождения и классификации движущегося воздушного объекта: свидетельство о государственной регистрации программы (принята к регистрации) // Государственное образовательное учреждение высшего профессионального образования НовГУ имени Ярослава Мудрого; Титов И.О., Емельянов Г.М., заявл. 26.01.2012 г.

7. Титов И.О. Формирование инвариантных признаков движущегося воздушного объекта II Дни науки и XVII научная конференция преподавателей, аспирантов и студентов. Сборник тезисов. С.56-59.

8. Титов И.О. Выделение контуров изображения движущегося воздушного объекта // Дни науки и XVIII научная конференция преподавателей, аспирантов и студентов. Сборник тезисов. С.89-92.

Изд. лиц. ЛР № 020815 от 21.09.98. Подписано в печать 17.04.2012. Формат 60x84 1/16. Усл. печ. л. 1,0. Тираж 100 экз. Заказ №

Отпечатано в ИПЦ НовГУ им. Ярослава Мудрого 173003, Великий Новгород, ул. Б. Санкт-Петербургская, 41.

61 12-5/2703

Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Новгородский государственный университет

имени Ярослава Мудрого"

На правах рукописи

Титов Илья Олегович

МОДЕЛИРОВАНИЕ ПРОЦЕССОВ ВЫДЕЛЕНИЯ, СОПРОВОЖДЕНИЯ И КЛАССИФКАЦИИ ИЗОБРАЖЕНИЯ ДВИЖУЩЕГОСЯ ВОЗДУШНОГО ОБЪЕКТА

Специальность 05.13.18 - Математическое моделирование, численные методы и

комплексы программ

Диссертация на соискание учёной степени кандидата технических наук

Научный руководитель -доктор технических наук, профессор Емельянов Г. М.

Великий Новгород - 2012

Оглавление

Введение.....................................................................................................................5

Глава 1. Математические модели объекта и фона..................................................15

1.1 Представление изображений объекта в цифровой форме............................15

1.2 Модель шума...................................................................................................16

1.3 Модель процесса восстановления изображения............................................17

1.4 Модель сцены..................................................................................................18

1.5 Контурная модель...........................................................................................21

1.5.1 Границы объекта.......................................................................................26

1.6 Выводы............................................................................................................28

Глава 2. Выделение и сопровождение объекта.......................................................30

2.1 Признаки выделения объекта.........................................................................30

2.2 Задача слежения за объектом.........................................................................32

2.3 Взаимосвязь движения объектов и уровней яркости....................................33

2.4 Методы обнаружения движущихся объектов................................................34

2.4.1 Обнаружение объекта по особым точкам................................................34

2.4.2 Метод вычитания фона.............................................................................37

2.4.2 Вероятностная модель сегментации.......................................................39

2.5 Методы сокращения объёмов обрабатываемой информации.......................46

2.5.1 Представление изображений пирамидами..............................................47

2.5.2 Дооценивание вектора состояния динамической системы.....................50

2.6 Выводы............................................................................................................54

Глава 3. Метод контуризации объекта....................................................................56

3.1 Постановка задачи кодирования....................................................................56

3.2 Формирования полутонового изображения объекта.....................................57

3.3 Кодирование контуров бинарных изображений............................................59

3.4 Представление контуров.................................................................................63

3.5 Фильтрация и улучшения изображений.........................................................65

3.6 Дифференциальные операторы для двумерных изображений.....................67

3.7 Детектор краёв.................................................................................................69

3.8 Группировка согласующихся контурных фрагментов..................................74

3.9 Выводы............................................................................................................76

Глава 4. Классификация объекта по его форме......................................................77

4.1 Требованья к системе формирования признаков..........................................78

4.2 Форма изображения........................................................................................80

4.3 Пространство признаков.................................................................................81

4.4 Дескрипторы границ.......................................................................................82

4.4.1 Параметры формы.....................................................................................82

4.4.2 Фурье дескрипторы и их применение в описании формы......................85

4.4.3 Признаки формы на основе анализа моментов.......................................87

4.5 Построение классификатора...........................................................................95

4.5 Классификатор на вероятностном подходе...................................................98

4.6 Выводы..........................................................................................................103

Глава 5. Описание исследовательского комплекса программ.............................105

5.1 Состав комплекса программ.........................................................................105

5.2 Описание основных модулей комплекса.....................................................113

5.2.1 Модуль дооценивания вектора состояния динамической системы.....114

5.2.2 Модуль кодирования внешней границы объекта..................................117

5.2.3 Модуль сопровождения и выделения движущегося объекта...............119

5.3 Эксперимент..................................................................................................121

5.3.1 Объект класса "истребитель Миг-29"....................................................122

5.3.2 Объект класса "вертолёт Ми-8".............................................................125

5.3.3 Объект класса "ракета"...........................................................................127

5.4 Рекомендаций по параметрической настройке............................................131

5.5 Выводы..........................................................................................................135

Заключение.............................................................................................................136

Библиографический список...................................................................................139

Приложение. Листинги основных модулей программ.........................................147

Введение

Автоматизированные системы управления стали неотъемлемой частью сегодняшнего общества, порой, они выполняют те функции, которые не под силу человеку. Таким образом, человек расширяет круг своих возможностей в различных сферах своей жизни. На сегодняшний день техника внедрена во все области жизни. Человек пытается автоматизировать многие процессы с целью извлечения максимальных результатов, затрачивая при этом минимум усилий при их использовании.

Крупная область применения методов обработки изображений — это решение задач, связанных с машинным восприятием изображений. В этом случае в центре внимания находятся процедуры, извлекающие из изображения необходимую информацию и представляющие ее в форме, подходящей для компьютерной обработки. Часто эта информация весьма мало похожа на визуальные признаки, используемые людьми при интерпретации содержимого изображения. При обработке изображений, интересует изображение не само по себе, а та неизобразительная информация, которая в нем содержится. Извлечение этой информации, после предварительной обработки видеоинформации, и является дальнейшей целью. [1, 3]

Одной из задач цифровой обработки изображений является задача классификации, распознавания и анализа движущихся объектов в системах технического зрения. Решение этого класса задач столкнулось с рядом трудностей, среди которых стоит отметить: отсутствие математических моделей, адекватно описывающих наблюдаемую обстановку, несовершенство датчиков изображений, недостаточную производительность вычислительных систем.

Одним из направлений, в котором необходимо решать такие задачи, является создание комплексов: для анализа и обработки изображений,

предназначенные для установки на подвижных носителях, таких как самолёты, вертолёты, автомобили и другие транспортные средства. Назначением подобных систем является решение задач обнаружения движущихся и неподвижных объектов, построения траекторий движения, оценки их параметров, а также их классификации. Как правило, наибольшие трудности возникают при решении этих задач в режиме реального времени.

Последнее время, такие комплексы обработки изображений активно применяются в системах автоматического сопровождения воздушных объектов, наблюдаемых на фоне ясного или облачного неба, с целью решения задач их обнаружения и оценки параметров.

Технологии автоматического выделения и оценки параметров воздушных объектов является важной задачей для таких приложений, как задачи обеспечения безопасности аэропортов и важных промышленных предприятий, контроль и мониторинг воздушного движения, астронавигацию, системы анализа потока машин на автомагистрали и т.д. [4, 5, 14] В настоящее время разработано множество алгоритмов выделения и оценки параметров объектов. Однако известные подходы зачастую обладают большой вычислительной сложностью и не в полной мере учитывают специфику рассматриваемой задачи, и особенности применяемых на практике датчиков изображений. [19, 21, 24] Поэтому, разработка эффективных алгоритмов выделения, обнаружения и оценки параметров для систем автоматического сопровождения воздушных объектов, работающих в режиме реального времени, остается актуальной задачей.

В данной работе, предметной областью выступают видеоданные, в виде последовательности изображений воздушного объекта в процессе его перемещения в пространстве. Используя методы контурного анализа, делается попытка классифицировать выделенный воздушный объект. Общая структурная

схема системы автоматического сопровождения движущихся воздушных объектов представлена на рисунке 1.

Предполагается, что датчик формирует полутоновую последовательность изображений размерностью 1024x1024 пикселей с частотой 25 кадров в секунду. Площадь объекта занимает порядка 1/100 части кадра, и за время между соседними кадрами, смещается не менее чем на половину собственной площади.

Основными задачами являются обнаружение и выделение объекта, на входном изображении; оценка параметров расположения, которые определяют пространственное положение объекта; классификация объекта на основе его контурных характеристик.

Примерами наблюдаемых целей могут воздушные объекты наблюдаемые на дальностях от 500 метров до нескольких десятков километров, как на ровных, так и на контрастных облачных фонах. Исходя из удалённости воздушных объектов, характеристик датчиков и возможности полей зрения, размеры наблюдаемых объектов на изображении могут лежать в широком диапазоне значений - от 20x20 до 200x200 элементов разложения.

выделение объекта оценка параметров построение внешнего

источник первичны* движения контура

видеоданных

формирование вектора уникальных признаков

Результат:

объект - номер класса

идентификация объекта

Рисунок 1. Структура системы автоматического сопровождения движущихся

воздушных объектов

Контуры являются областями с высокой концентрацией информации, слабо зависящей от цвета и яркости. Они устойчивы к смене типа датчика, формирующего изображение, к частотному диапазону, в котором он работает, не зависят от времени суток и года. Кроме этого, контур целиком определяет форму изображения и содержит всю необходимую информацию для распознавания изображений по их формам. Такой подход позволяет не рассматривать внутренние точки изображения и тем самым значительно сократить объем обрабатываемой информации за счет перехода от анализа функции двух переменных к функции одной переменной. [2, 5] Следствием этого является возможность обеспечения работы системы обработки в масштабе времени, более близком к реальному. Но даже в тех задачах, где нельзя пренебречь обработкой внутренних точек, методы контурного анализа дополняют другие. Совершенствуя датчики и увеличивая объем запоминающих устройств, можно сформировать слабо искаженные шумами многоэлементные изображения. При этом задача распознавания облегчается, но основные трудности не устраняются. Они вызваны влиянием на математическое описание изображения случайных переносов, поворотов и изменения масштаба. Методы контурного анализа в большей степени, чем пространственные методы, дают возможность использовать модели, инвариантные к таким преобразованиям.

Для решения поставленных задач, предлагаться использовать многоэтапные алгоритмы обнаружения, выделения, сопровождения, оценки параметров и классификации объекта. Все эти алгоритмы должны быть ориентированны на использование в системах реального времени.

Несмотря на достаточно большое количество работ по данной тематике, нельзя сказать, что в них в полной мере учитывается специфика задач выделения, обнаружения и оценки параметров воздушных объектов с большим

диапазоном варьирования размеров, наблюдаемых в камеру оптического диапазона на фоне ясного или облачного неба. В ряде работ рассматриваются алгоритмы, позволяющие обнаруживать точечные и малоразмерные воздушные объекты [19, 21, 23], однако они преимущественно ориентированны на обработку изображений, получаемых с тепловизионных датчиков и часто не способные эффективно обнаруживать протяжённые объекта.

Таким образом, сформулируем цель диссертации как разработку эффективных алгоритмов решения задачи выделения, оценки параметров воздушного объекта и его классификация, для системы автоматического сопровождения. Для достижения указанной цели в диссертации решаются следующие задачи:

• обзор и анализ существующих алгоритмов выделения и сегментирования, движущихся воздушных объектов на фоне ясного или облачного неба;

• формирование модели фоно-объектной обстановки и признаков выделения объекта на основе реальных видеоданных;

• построение многоэтапного алгоритма обнаружения и выделения воздушного объекта;

® определение методов сокращения объёма обрабатываемой информации;

• кодирование внешней границы воздушного объекта, используя методы контурного анализа;

• группировка согласующихся контурных фрагментов;

• формирование кластера инвариантных характеристик на основе контурного представления внешней границы воздушного объекта;

• построение алгоритма оценки параметров и классификации воздушного объекта;

• разработка методики и проведение экспериментальных исследований эффективности разработанных алгоритмов с использованием набора реальных видеоданных, выработка рекомендаций по параметрической настройке алгоритмов при различной фоновой обстановке;

• адаптация разработанных алгоритмов к полученным экспериментальным данным;

Научная новизна данной работы состоит в том, что предложены модели: обнаружения и выделения воздушного объекта на основе вероятностной модели; предложены методы сокращения объёма обрабатываемой информации; методы расчёта инвариантных геометрических характеристик объекта по его внешней границе.

В первой главе формулируется постановка задачи выделения и оценки параметров воздушного объекта. Рассматриваются основные компоненты системы автоматического сопровождения. Определяются основные характеристики и параметры фоно-объектной обстановки. Формулируется математическая модель объекта, основанная на теории контуров. Рассмотрены основные физические явления порождения шума, и модели восстановления изображения.

Нахождение и отслеживание движущегося воздушного объекта в видеопотоке, рассматривается во второй главе. Первым шагом к решению этой задачи является выделение переднего плана. В данной главе будет рассмотрен метод, основанный на вероятностной модели. Также будут рассмотрены основные проблемы, с которыми этот метод сталкиваются, и будут рассмотрены варианты их решения.

Решение задачи получения внешнего контура объекта рассматривается в третьей главе, в виде замкнутой кривой или совокупности отрезков дуг, обнаруженного объекта на входном изображении. Рассматривается подходы представления границ объекта на основе аппроксимации кривых, прослеживания контура, связывания точек перепадов.

В четвёртной главе исследуется проблема формирования инвариантных признаков движущегося воздушного объекта для его последующей идентификации с использованием эталонного объекта. Определяется оптимальный вектор признаков. Рассматривается метод оценки близости между выделенным объектом и эталонной моделью. Идентификация объекта сводится к его классификации. Результатом задачи, является набор характеристик, необходимых для реализации отображения: объект - номер класса.

Пятая глава посвящена экспериментальной проверке описанной в предыдущих главах модели сегментации и идентификации воздушного объекта. Выполняется оценка построенной модели на эталонных объектах. Определяется эффективность выбранного решения в плане ресурсоёмкости и скорости вычислений.

В заключении перечисляются основные научные и практические результаты диссертационной работы, рассматриваются направления дальнейших исследований.

Практическая ценность

1. Комплекс программ разработанных, позволяет проводить вычислительные эксперименты по выделению и классификации движущегося воздушного объекта в различных прикладных задачах. Примеры решения некоторых задач приведены в диссертации и могут служить прототипами для решения других аналогичных задач.

2. Предложенная в диссертации методология описания компьютерной модели позволяет наглядно, компактно и в тоже время точно представить поставленный эксперимент. Такую модель рекомендуется применять также для сравнения различных решений моделируемых систем между собой. Все выполненные в рамках диссертации компьютерные эксперименты представлены соответствующими моделями, что даёт возможность точно повторить выполненный эксперимент.

Научные положения, выносимые на защиту

1. модель фоно-объектной обстановки и структуры описания признаков выделяемого воздушного объекта на фоне ясного или облачного неба;

2. многоэтапный алгорит�