автореферат диссертации по радиотехнике и связи, 05.12.04, диссертация на тему:Выделение объектов на изображениях радиотехнических систем наблюдения с использованием прямолинейных сегментов границ

На правах рукописи

Отгг ^

Онешко Александр Викторович

ВЫДЕЛЕНИЕ ОБЪЕКТОВ НА ИЗОБРАЖЕНИЯХ РАДИОТЕХНИЧЕСКИХ СИСТЕМ НАБЛЮДЕНИЯ С ИСПОЛЬЗОВАНИЕМ ПРЯМОЛИНЕЙНЫХ СЕГМЕНТОВ ГРАНИЦ

05.12.04-Радиотехника, в том числе системы и устройства телевидения

Автореферат диссертации на соискание ученой степени кандидата технических наук

005061169

Санкт-Петербург - 2013

е ¡-он т

005061169

Работа выполнена в Федеральном государственном образовательного бюджетном учреждении высшего профессионального образования "Санкт Петербургский государственный университет телекоммуникаций им. проф М.А. Бонч-Бруевича".

Научный руководитель: доктор технических наук, профессор,

Волков Владимир Юрьевич

Официальные оппоненты: Лысенко Николай Владимирович,

доктор технических наук, профессор, ФГБОУ ВПО "Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина)", заведующий кафедрой "Телевидение и видеотехника"

Макаренко Александр Александрович, кандидат техических наук, доцент, ФГБОУ ВПО "Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики"

Ведущая организация Открытое акционерное общество "НПП "Радар ммс", г. Санкт-Петербург.

Защита состоится 18 июня 2013 года в 14.00 на заседании диссертационного совета Д 219.004.01 при Федеральном государственном образовательном бюджетном учреждении высшего профессионального образования «Санкт-Петербургский государственный университет телекоммуникаций им. проф. М.А. Бонч-Бруевича», 191186, Санкт-Петербург, наб. реки Мойки, д. 61, ауд. 205.

С диссертацией можно ознакомиться в библиотеке Федерального государственного образовательного бюджетного учреждении высшего профессионального образования «Санкт-Петербургский государственный университет телекоммуникаций им. проф. М.А. Бонч-Бруевича».

Автореферат разослан 17 мая 2013 года.

Ученый секретарь диссертационного совета, д.т.н., профессор / /' В.В. Сергеев

ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования. Выделение и распознавание объектов на изображениях представляет одну из центральных проблем компьютерного видения. Такая проблема решается при слежении за объектами, восстановлении, индексации, сравнении и распознавании различных изображений. Ключевым моментом при выделении и распознавании объектов является описание различных категорий объектов. Для этого требуется набор надежных и повторяемых признаков, параметров (дескрипторов), которые получаются из модели объекта либо из тестовых изображений. Локальные признаки и дескрипторы весьма полезны для компактного представления изображений при их сравнении и распознавании.

Научная задача, на решение которой направлена диссертационная работа, заключается в разработке методов и алгоритмов выделения объектов, которые содержат прямолинейные границы (прямолинейные перепады яркости). Выделения прямолинейных границ является актуальной задачей при описании объектов, поскольку почти все контуры границ объектов локально прямолинейны. Многие искусственные объекты имеют прямолинейные границы и геометрические соотношения между ними. Практически важные задачи вюночают обнаружение и классификацию искусственных объектов, таких как здания, сооружения, дороги, мосты. Описанием прямолинейных границ являются прямые линии.

Областями применения предлагаемых методов и алгоритмов является робототехника и комплексы бортового технического зрения беспилотных летательных аппаратов.

Разработанность темы. На сегодняшний день существуют детекторы прямолинейных границ на изображениях. Известен детектор Canny (Кении) совместно с преобразованием Houph (Хафа). Алгоритм Хафа строит прямую линию по изображению в параметрическом пространстве без учета пространственной связи между точками. В результате такие детекторы часто дают фрагментацию линий на не совсем ровных прямолинейных сегментах границ на короткие отрезки, что практически разрушает геометрическую структуру объекта.

Авторы Randall G., Von Gioi R„ Grompone, Jakubovich J., Morel J-M. предложили метод и алгоритм (далее: детектор Рендела) выделения прямолинейных границ, основанный на выравнивании точек путем объединения пикселей в соответствии с локальными ориентациями вектора градиента и позволяющий контролировать ложные обнаружения границы. Алгоритм не дает фрагментации линий и обладает адаптивными свойствами при выделении границ различной протяженности. Однако на краях выделяемых прямолинейных сегментов границ наблюдается большой разброс локальных направлений градиентов. В результате алгоритм не позволяет выделить точки пересечения линий, а также, из за значительного увеличения разброса локальных направлений векторов градиента в условиях зашумлённости, алгоритм не

позволяет выделять прямолинейные границы при низких отношениях сигнал шум.

Авторы Medioni G., Nevatia R. предложили использовать прямые линии и соотношения между ними в качестве средства описания объектов на изображениях, они же применили термин «антипараллельные пары». Такие пары имеют противоположные ориентации линий, поскольку одна из них образована изменением интенсивности от черного к белому, а другая — от белого к черному. Идея использовать прямые линии для описания объектов на изображениях имела продолжение в работах авторов: Сойфера В. А., Фурмана Я. А., Ярославского JT. П., Злобима В. К., ЛёвшинаВ. Л., Bergevin R., Bernier J.-F., Fu Z., Sun Z., Tuytelaars T., Mikolajczyk K., Moreels P., Perona P., Bernstein E. J., Ainit Y„ Zhao Y., Chen Y. Q. и других.

Цель диссертационном работы. Повышение качества выделения объектов на цифровых изображениях радиотехнических систем наблюдения при действии помех, с использованием прямолинейных сегментов границ.

Объект исследования. Объектом исследования являются цифровые, полутоновые шаблонные и реальные цифровые изображения, получаемые от спутниковых систем наблюдения, систем аэрофотосъёмки, инфракрасных систем и радиолокаторов с синтезированной апертурой.

Предмет исследования. Выделение объектов на цифровых изображениях, с использованием прямолинейных сегментов границ.

Задачи исследования.

1. Анализ существующих подходов к автоматизированному выделению границ объектов на цифровых изображениях.

2. Разработка метода выделения, и упорядочивания прямолинейных сегментов границ на изображениях и оценивание координат начальных, и конечных точек обнаруженных границ.

3. Разработка метода описания объектов на изображениях на основе выделенных прямолинейных сегментов границ. Выделение подобных признаков на разных изображениях позволяет решать задачу их сравнения и согласования при различиях в масштабах, углах поворота, а также полученных от различных источников, и в разное время.

4. Алгоритмическая и программная реализация методов.

5. Исследование качества разработанных алгоритмов применительно к тестовым изображениям и изображениям, полученным от разных источников.

Научная новизна. Разработан метод выделения прямолинейных сегментов границ на цифровых изображениях, новыми элементами которого являются:

1. Пространственная ориентированная фильтрация, позволяющая устойчиво выделять прямолинейные границы на зашумлённых изображениях, и предварительно оценивать ориентацию границы.

2. Оценка начальных и конечных точек прямолинейных сегментов границ по суммарному профилю градиента в нескольких строках, путём сравнения с пороговым уровнем, совместно с накоплением суммарного градиента вдоль всей

границы, что позволяет с высокой точностью оценивать направления границ, а также обнаружить точки пересечения линий описывающих границы.

3. Использование положительных и отрицательных частей градиента, позволяющее различать положительные и отрицательные перепады яркости (антипараллельность).

4. Предложен новый метод описания объектов на изображениях с использованием выделенных прямолинейных сегментов границ, основанный на группировании линий с учетом их пересечений, их угловой ориентации, близости и сдвига по отношению к другим линиям.

Новизна подтверждается положительными рецензиями на публикации, и широким обсуждением результатов на научных конференциях.

Практическая ценность диссертации состоит в алгоритмической и программной реализации предложенных методов, которые совместно позволяют решать задачу выделения объектов на цифровых изображениях. Предложенный метод линиями описывает прямолинейные границы на реальных изображениях искусственных объектов, полученных от спутниковых и самолетных систем наблюдения, и позволяет определить точки пересечения линий для последующего группирования их в структуры. Точки пересечения линий добавляют новый признак в описании объекта, что позволяет разработать новый метод группирования линий в структуры.

Практическая ценность алгоритма подтверждается успешным использованием его при обработке реальных аэро-, спутниковых и радиолокационных изображений, и полученным актом о внедрении результатов.

Новизна алгоритма выделения прямолинейных сегментов границ подтверждена свидетельством о государственной регистрации программы для ЭВМ №2012618013, РОСПАТЕНТ, 6 сентября 2012 г., авторы: ОнешкоА. В., Анцев Г. В., Анцев И. Г., Волков В. Ю., Турнецкий Л. С. Программа оценивания координат прямолинейных сегментов кромок на изображениях.

Методы исследования. Для решения поставленных в диссертационной работе задач были использованы методы цифровой обработки сигналов, теория распознавания образов, линейная алгебра, математическая статистика, применяется вычислительная техника и среда программирования МАТЬАВ.

Основные положения, выносимые на защиту.

1. Метод и алгоритм обнаружения, определения направления и местоположения (локализации) прямолинейных границ пространственно ориентированным фильтром, и оценка их начальных и конечных точек.

2. Метод и алгоритм формирования структур для описания объектов на изображениях, на основе точек пересечения линий.

3. Результаты теоретического и экспериментального исследования алгоритмов, машинного эксперимента в среде МаНаЬ. Результаты исследования характеристик предложенных алгоритмов на шумовых моделях и на реальных изображениях, полученных от системы аэрофотосъемки, от спутниковой системы наблюдения и радиолокатора с синтезированной апертурой.

Достоверность результатов исследования. Подтверждается эксперементальным компьютерным моделированием.

Внедрение результатов диссертации. Результаты диссертационной работы внедрены и были использованы при построении комплексной системы защиты наземной техники в ходе выполнения НИР «Бронепоезд-2» ОАО «ВНИИТрансмаш», г. Санкт-Петербург.

Апробация работы. Основные научные результаты диссертационной работы были доложены и обсуждались на научно-технических конференциях: «IEEE East-West Design&Test Symposium (EWDTS'10)» (St. Petersburg, Russia, 2010); 63 научно-техническая конференция профессорско-преподавательского состава научных сотрудников и аспирантов СПбГУТ (СПб, 2011); Первая международная научно-техническая и научно-методическая конференция СПбГУТ (СПб, 2012); вторая международная научно-техническая и научно-методическая конференция, СПбГУТ (СПб, 2013).

Публикации. По материалам диссертации опубликовано 10 печатных научных работ, из них две статьи опубликованы в рецензируемом научном издании из перечня ВАК Минобрнауки России и зарегистрированная программа для ЭВМ.

Личный вклад автора. Все результаты диссертационной работы получены автором самостоятельно.

Структура и объем диссертации. Диссертация состоит из введения, четырёх глав, заключения, списка литературы из 67 наименований, приложения. Объем диссертации составляет 112 страниц, включая 36 рисунков и 1 таблицу.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы исследования, сформулированы цель работы, объект исследования, предмет исследования, указаны задачи и методы исследования, определены научная новизна и практическая ценность, приведены сведения об апробации работы, публикациях и представлены основные положения, выносимые на защиту.

В первой главе производится постановка задачи диссертационной работы, рассматривается вопрос применения технологий машинного зрения в радиотехнических системах. Представлена структурная схема системы наблюдения и приведены типы датчиков используемых в радиотехнических системах наблюдения. Предъявляются требования к алгоритмам машинного зрения, применяемым в радиотехнических системах.

Во второй главе диссертационной работы рассматриваются способы описания изображений. Показано, что построение признакового описания изображения является существенным шагом решения задачи выделения объектов и распознавания изображений. Приводятся современные способы выделения признаков на изображениях. Обосновывается преимущество таких признаков как прямолинейные сегменты границ для построения описания объектов на изображениях. Приводится состояние проблемы выделения и группирования линейных признаков на изображениях, описаны существующие методы и алгоритмы выделения прямолинейных сегментов границ на цифровых изображениях.

В третьей главе рассматривается предложенный метод выделения прямолинейных сегментов границ на цифровых изображениях и его алгоритмическая реализация.

На рисунке 1 представлена структура алгоритма выделения прямолинейных сегментов границ.

Рисунок 1 — Структура алгоритма выделения прямолинейных сегментов

Загружается оригинальное изображение и преобразуется в полутоновое Ig(i,j). С целью понижения влияния шумовой составляющей, которая может привести к разрыву границ изображение сглаживается гауссовским фильтром /(/, /). На сглаженном изображении детектируются границы дифференциальным оператором. Оператор дифференцирования представляет собой маску Превитта et(u,v) размером 3X3, который вычисляет первую производную (градиент) и учитывает направление выделяемых линий. Всего задействовано 8 масок с направлениями 0,45, 90, 135, 180,225, 270, 315 градусов.

Результат дифференцирования даёт К=8 градиентных изображений О'»/) с линиями в местах перепадов яркости (рис. 2). Эти линии различаются по интенсивности, которая связана с величиной градиента.

/£(лу) £2 ('»У) 8зО>Л ёЛ^Л

£7 (л У)

Рисунок 2 - Исходное изображение, сглаженное и градиентные

Для выделения линий производится фильтрация градиентных изображений с помощью набора пространственно ориентированных фильтров, каждый из которых настроен в скользящем, локальном окне на направление фильтрации линий с шагом Аа = 3 градуса. Локальное окно исходного горизонтально ориентированного фильтра показано на рисунке 3, а.

о

О О I

0 0 0 0 0 0 0' 0 0 0 0 0 0 0'

0 0 0 0 0 00 0 000000 О 000000 0 00 0 0000 0 0000000 000 0 0000 0 0000000 оооооооооооооооо 0000000000000000 оооооооооооооооо

!

I

0 0 0 0 1 0 0 0 0'

00000000 0'

о о о о 0 0 0 0

0 0 0 0 0 0

0 0 0 0 0 0 0 0

-22°

11111

00000000 0 00000000 000 0 0000000000000 ооооооооооооооооо 0000000000 0 0

-90°

И

В ч н

а -135" в

и -157" в

113" 68"

\л/

„ &,(<',./') \ : ('.у)

158° „^ \ / 23"

203" / \ " 338"

8,,('■/); \ 8»('-Л / ели) \

248° 293"

Рисунок 3 - Окна фильтра и сектора фильтрации градиентов

Путём поворота и интерполяции исходного окна порождаются окна на все остальные направления.

На рисунке 3, б представлены окна фильтра на некоторые направления. Фильтрация осуществляется по формуле:

+8 +8

ри,ко>./) = X X/«'■ ^ ++

где а - угол настройки окна фильтра /а(и,у). Фильтрация линий во всех направлениях производится с помощью набора окон каждое окно настроено на свой угол с шагом Аа = 3 градуса. Каждое градиентное изображение проходит обработку фильтрами в своём угловом диапазоне. Диапазон угловой фильтрации каждого градиентного изображения зависит от направления, в котором взят градиент (рис. 3, в). На каждом угловом шаге фильтрации находим максимум на отфильтрованном изображении т/ = т-ах(Г'ак(1, /)) и записываем значение максимума, и угол настройки окна фильтра в массив ат{. На следующем шаге находим максимум М в массиве ат/ и соответствующий ему угол ам, таким образом, будет обнаружено направление, под которым находится самая интенсивная линия, давшая наибольший отклик на выходе фильтра.

Находим координаты максимума М - строку гм и столбец ]м (рисунок 4, а). Переносим координаты , /Л/на градиентное изображение gk(i,j) и берём профиль градиента С1и(/), а так же берём профиль по верхней соседней строке С*,,, 4 (/) с координатой ¿м — 1 и нижней ( /) с координатой

Км +1 •

Рисунок 4 - Фильтрация, оценка максимума и угла

Суммируем взятые профили осуществляя, таким образом, накопление градиента по трём строкам: Сл(/) = 4-С((ДУ) + С, ,(У) (рис. 4,6)

Этот суммарный профиль формируется как одномерный сигнал вдоль прямой в направлении ам . Для оценки начальной и конечной точки оценивается максимум на суммарном градиенте Сл(./) в пределах области оценки максимума, так как координата ¡м максимума М на отфильтрованном изображении /V к(1, [) может не совпадать с координатой максимума на Ох(/), осуществляется поиск значения локального максимума А/С на 6Х/') в пределах области оценки максимума. От МО отсчитывается величина порога по

градиенту: 7'0 = А/0 г0, где Ю - величина порогового коэффициента 1>/С>0. производится отсчёт от точки Уд,/, пока импульс превышает порог, до точки У а (начальная точка), и вправо до точки ] Е (конечная точка). Процесс оценки начальной и конечной точки показан на рисунке 5.

— о,„(у) 1,(7)

^..А'и-Л о

1

Рисунок 5 - Оценка начальных и конечных точек линии

При определении угла ам может возникнуть угловая ошибка да в следствии: 1) конечных размеров маски фильтра. 2) Дискретности выбора углов настройки фильтра А а. На рисунке 6 градиентное изображение наклонной кромки, но в окрестности окна фильтра кромка прямая и максимум М окажется

под углом поворота ам = 0". Таким образом возникает ошибка определения угла да.

Рисунок 6 - Угловая ошибка

Оценка угловой ошибки Sa осуществляется путём подстройки угла взятия профиля Gs(x) в пределах аг = 6" < ам < —6" с шагом Aar = 0.25 градусов и оценки начальных и конечных точек на каждом шаге, оценки длины линии /, накопления градиента вдоль Gs(x) по длине кромки /, поиска максимума MGs из накопленных градиентов на каждом шаге аг. С увеличением размера изображения угловой шаг Aar необходимо уменьшать.

На рисунке 7 (верхний график) зависимость оценённой длинны границы / от угла поворота аг,

W

Рисунок 7 - Селекция границы по направлению

Накопление градиента осуществляется путём суммирования на каждом шаге поворота аг величины Ох(/) вдоль по всей оценённой длине границы /

Л

хитСх(аг) =

тогда 8а будет соответствовать тому углу, под которым величина накопленного градиента нит(}н(аг) будет максимальна:

Sa-» MGs = max(sumGs(ar))

Оценённый угол для примера границы на рисунке 6 показан на графике зависимости sumGs(ar) от аг на рисунке 7 (нижний график).

Получаем угол границы с учётом поправки:

А = ам + Sa

Получаем координаты начальной х\ = jM — js. и конечной х2 = jM + jE, точек линии под углом поворота А , и вычисляются координаты по оси у .

После чего выделенная граница на профиле градиента gk(i,j), а также на! соседних (Uj) и gk+] (i,j) должна быть удалена иначе в следующем цикле координаты максимума М снова укажут на неё же.

На рисунке 8, а показано градиентное изображение с удалённой выделенной границей, на рисунке 8, б - исходное изображение с первой выделенной линией.

а)

Рисунок 8 - Выделение первой границы

Когда первая граница оценена, процесс повторяется для оценки следующей границы второй по интенсивности и так далее пока выполняется пороговое условие. Поскольку в большинстве случаев представляют интерес наиболее интенсивные и длинные границы, то соответствующие границы определяются и обрабатываются в первую очередь. Предложенный алгоритм позволяет выделять первые наиболее интенсивные границы на изображениях, которые являются наиболее информативными. За счёт применения фильтра оценивающего местоположение и угол границ, а также применение способа накопления профиля градиента Gs(x) по трём строкам, позволяют алгоритму работать при низких отношениях сигнал/шум.

На выходе программы создаются три файла: файл координат x\,yl,x2,y2 начальных и конечных точек линий, файл величин накопленного градиента MGs и файл углов А ориентации каждой линии, эти файлы являются входными для программы описания объектов с использованием выделенных прямолинейных сегментов границ.

В разделе 3.2 представлена алгоритмическая реализация метода описания объектов на изображениях с использованием линий описывающих прямолинейные сегменты границ.

Алгоритм описания объектов основан на поиске пересечений линий. Структура алгоритма приведена на рисунке 9, а.

Загрузка: координат xl, yl х2, }'2 ; интенсивноетей MGs , углов А

Поиск пересечений линий

Поел роение матрицы пересечений RSLF

Фильтрация и выбор интересующих структур

Структуры

с, c2 c, C, Q, Q CQ

ЗД) L, 1-е L„ L. L, !.„ /.„

La La L, /,„ /„ 4 La

»•= Sj(/-3) ¿„ l„ La '■„ К L,

4 La La La L„ Ln L,

L. L, L, L„ 4 4 L,

б)

а) в)

Рисунок 9-Алгоритм, матрица пересечений, набор возможных структур

Алгоритм берёт первую, самую интенсивную линию из всего набора линий N и сопоставляет с ней последовательно все остальные линии 4...4,., проверяя каждую на наличие пересечения с взятой, путём решения системы двух уравнений прямых. На следующем шаге берётся следующая линия Ь2 и сопоставляется с остальными, и так далее до последней линии.

Все найденные пересечения сводятся в единую матрицу пересечений , где ¿>\, 5'2 ...5'Л, — структуры, каждая из которых включает в себя главную линию и линии ¿0 е ¿,... ¿у, которые с ней пересекаются, Сг..Сд ~ номера пересечений, О — количество допустимых пересечений, определяется порогом, матрица на рисунке 9, б. На следующем этапе структуры селектируются, с целью отброса лишних пересечений с линиями, которые не проходят по критерию, ориентации по направлению и взаимному расположению относительно других линий, при выделении интересующих объектов. На выходе получаем набор структурных описаний интересующих объектов как на рисунке 9, в. Данные структуры могут сравниваться с подобными структурами на других изображениях с целью поиска соответствий.

В четвертой главе представлены результаты исследований разработанных методов и алгоритмов. Для оценки качества работы разработанных алгоритмов используются созданные тестовые, полутоновые изображения с наложением белого шума. В качестве критерия качества выделения объектов взята

характеристика - количество обнаруженных объектов в зависимости от отношения сигнал/шум.

На рисунке 10 представлена обработка тестового изображения детекторол-Кенни совместно с алгоритмом Хафа, с целью выделения прямолинейны:» границ, на рисунке 10, а — тестовое полутоновое изображение, содержаще® объекты с прямолинейными границами с известным отношением сигнал/шум, На рисунке 10, б - результат обработки детектором Кенни. На рисунке 10, в результат преобразования Хафа.

ряд с/ш

1 0.58

2 1,16

3 2.32

4 3.49

5 4.65

6 5.81

7 6.98

8 8.14

9 9.30

10 11.6

Рисунок 10 - Обработка детектором Кенни и преобразование Хафа

б)

оооооооооо оооооооооо 0000000000 оооооооооо оооооооооо оооооооооо оооооооооо

1М*1»1»1»1я1»1«1М1М

В)

ООиЛ •

о о с о

О ..Л и о о о с о :: о о о

□ ООО

еаи еоае

5 © ■ ©

1 Г ООО с

С Г) ОI.

о ^ о; ООО с

О О О'

еэош о о сз с га а в §

На рисунке 11, а представлена обработка тестового изображений детектором Рендела. На рисунке 11,6 - результат обработки с помощью! предложенного алгоритма выделения границ, при этом порог на чистом шумовом изображении был подстроен так, чтобы было обнаружено не более одной ложной линии. На рисунке 11, в — выделенные замкнутые объекты.

Вывод: Детектор Кенни даёт дрожащую линию на зашумлённой границе, преобразование Хафа к дрожащим линиям приводит к фрагментации линий на множество коротких отрезков. Лучшие результаты показывает детектор Рендела, линии не фрагментированы, но потеряны точки пересечения линий.

ряд с/ш а)в)

I о.58■■■■мвмамм

Мб

3 2.32 шЯИЯИЯМЯт¡иД5щЯ5рИИта

4 з.49 (МВЫкТВЯНЭр!ИшмАиЬИиШ

5 4.65 |Ш|М1Ш|И

6 5.811«1«1»м1ДН!иВН

7 6.98 ГД^дДЯМУМта!|и|и|и1и1йтАЫе1а|

В 8.14 Мв1ыИяЮ1ЩМа'|ЯВ1а1||в1»|и1н1а1й1Я

9 9.30 ¡афтфлйМ^ЬгоИ|и|'и|в1И||йВ|«1и1и1а1

10 11.6 |У 1.1 У; М кШ ИиМвЫ5|а|в|н111

Рисунок 11 - Обработка детектором Рендела и предложенным алгоритмом

На рисунке 12 на графиках показаны характеристики обнаружения объектов на тестовом изображении.

а)

: _ I п о т 1_ п _ :ооооос юоооо ш ) о о о и о о

шооООП

) О □ О р о о ] о и о о □ □

В)

□ооооааг □ □□□□□□с

РЯД1 Ря«2

Рисунок 12 - Характеристики обнаружения объектов: ряд 1 - характеристика обнаружения количества замкнутых объектов замкнутых объектов

в зависимости от отношения сигнал/шум с помощью предложенного алгоритма; ряд 2 - характеристика обнаружения количества объектов детектором Рендела, если считать, что объект выделен, когда обнаружены четыре его грани

Из графиков видно, что предложенный метод позволяет выделять объекты, при более низких отношениях сигнал/шум за счёт более малых потерь границ, а также позволяет обнаруживать важные дескрипторы для описания объектов -точки пересечения линий описывающих границы.

Ниже представлена работа алгоритмов на реальных изображениях. На рисунке 13, а - результат обработки изображения полученного с помощью аэрофотосъёмки, на рисунке 13, б - результат обработки изображения той же местности полученного со спутника. «Интересные» структуры, которые описывают одинаковые объекты на разных изображениях, обозначены Белыми линиями очерчены идентичные поля зрения на двух изображениях.

На рисунке 13, в — результат обработки изображения карты местности, на рисунке 13, г - результат обработки изображения той же местности полученного со спутника. На рисунке 13, д - результат обработки изображения полученного от радара с синтезированной апертурой, на рисунке 13, е - результат обработки изображения той же местности полученного со спутника.

Под интересными структурами в данном случае понимаются замкнутые структуры, которые состоят из двух перпендикулярных пар антипараллельных линий. Такими структурами могут описываться такие искусственные объекты как здания, сооружения, мосты. Могут быть заданны и другие параметры структур и осуществляться их поиск из всего набора линий.

На основе полученных описаний объектов можно производить сравнение разных изображений с целью их распознавания, а так же слежение за объектом, может производится автоматическая навигация по карте местности беспилотных летательных аппаратов, определение параметров сдвига камеры или сцены относительно камеры.

/ 1— г.._________

/

0,59 1.16 2.32 3,49 1.65 5,8:1 6.98 8.1Д 9,3 11,6 Си гнал/шум

В приложении представлен исходный код программы «оценивание координат прямолинейных сегментов границ на изображениях» реализованной среде МАТЬАВ, свидетельство о регистрации программы на ЭВМ, акт с внедрении.

Изображение Изображение от радара с

аэрофотосъёмки Карта синтезированной апертурой

а) в)

Изображения той же местности (одно под другим) полученные со спутника

б) г) е)

Рисунок 13 - Выделение объектов на реальных изображениях

ЗАКЛЮЧЕНИЕ

В представленной диссертационной работе была рассмотрена задача выделения на изображениях объектов содержащих прямолинейные границы.

Основные результаты данной работы сводятся к следующим положениям:

1. Предложен новый метод и алгоритм выделения прямолинейных сегментов границ на цифровых изображениях, работающей при более низких отношениях сигнал/шум в сравнении с существующими, и позволяющий получить точки пересечения линий. Алгоритм упорядочивает линии по величине! накопленного градиента и дает информацию о знаке градиента для каждой линии.

2. Предложен новый метод и алгоритм группирования линий в структуры, дающий новое описание объектов на изображениях с использованием выделенных линий, основанный на поиске пересечений линий с учетом их угловой ориентации и сдвига по отношению к другим линиям.

3. Представлены результаты экспериментальных исследований и оценки качества выделения объектов с применением разработанного метода выделения прямолинейных сегментов границ и описания объектов на основе линий на цифровых тестовых, и реальных изображениях. Показано, что совместная работа двух алгоритмов позволяют находить идентичные объекты на изображениях, полученных от разных источников и имеющих различный масштаб.

СПИСОК ОПУБЛИКОВАННЫХ РАБОТ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Онешко, А. В. Выделение прямолинейных кромок на зашумленных изображениях / А. В. Онешко, В. Ю. Волков, Л. С. Турнецкий // Информационно-управляющие системы. - 2011. - Вып. 4 (53). - С. 13-17. (входит в перечень ВАК).

2. Онешко, А. В. Описание и выделение объектов на изображениях с использованием прямолинейных сегментов / А. В. Онешко, В. Ю. Волков, Л. С. Турнецкий // Информационно-управляющие системы. - 2012. - Вып. 5 (60). - С. 7-13. (входит в перечень ВАК).

3. Онешко, А. В. Свидетельство о государственной регистрации программы для ЭВМ № 2012618013 / Онешко А. В., АнцевГ. В., Анцев И. Г., Волков В. Ю., Турнецкий Л. С. // «Программа оценивания координат прямолинейных сегментов кромок на изображениях», Российская Федерация, заявка № 2012615858 от 13.07.2012, опубл. 06.09.2012.

4. Онешко, А. В. Анализ возможности описания структур объектов на изображениях с использованием линейных сегментов / А. В. Онешко, В. Ю. Волков // Актуальные проблемы защиты и безопасности: труды пятнадцатой Всероссийской научно-практической конференции, том 4 - СПб., 2012.-С. 234-236.

5. Онешко, А. В. Описание и выделение объектов на изображениях радиотехнических систем с использованием прямолинейных сегментов / А. В. Онешко, В. Ю. Волков // Актуальные проблемы инфотелекоммуникаций в науке и образовании № 64: материалы международной научно-технической и научно-методической конференции. - СПб. : СПбГУТ, 2012. - С. 39-40.

6. Oneshko, A. Straight Edge Extraction and Localization on Noisy Images / A. Oneshko, V. Volkov, R. Germer, D. Oralov // Proc. IEEE East-West Design&Test Symposium (EWDTS' 10). - Sept 17-20, St. Petersburg, Russia, 2010. - PP. 267-270.

7. Oneshko, A. Objects Description and Extraction by the Use of Straight Line Segments in Digital Images / A. Oneshko, V. Volkov, R. Germer, D. Oralov // Computer Vision and Pattern Recognition IPCV'II: Proceedings of the 2011 International Conference on Image Processing. - Las Vegas, Nevada, USA, CSREA Press, 2011.-PP. 588-594.

8. Oneshko, A. Description and Extraction by the Use of Straight Line Segment, in Digital Images / A. Oneshko, V. Volkov, R. Germer, D. Oralov // Compute Technology and Application. V. 2, № 12. - December 2011 (Serial Number 13). PP. 939-947.

9. Oneshko, A. Object Description and Finding of Geometric Structures on th Base of Extracted Straight Edge Segments in Digital Images / A. Oneshko, V. Volkov R. Germer, D. Oralov // Computer Vision and Pattern Recognition IPCV'12 Proceedings of the 2012 International Conference on Image Processing. - Las Vegas Nevada, USA, CSREA Press, 2012. - PP. 805-812.

10. Oneshko, A. Objects description in digital image of radio engineerin systems of supervision with use of line segments / A. Oneshko // Актуальны проблемы инфотелекоммуникаций в науке и образовании: материалы второ! международной научно-технической и научно-методической конференции. СПб.: СПБГУТ, 2013. - С. 306-308.

Подписано в печать 14.05.2013. Формат 60x84 1/16. Печ. л. 1,0. Тираж 100 экз. Заказ

Отпечатано в СПбГУТ, 191186, Санкт-Петербург, наб. реки Мойки, 61

ФЕДЕРАЛЬНОЕ АГЕНСТВО СВЯЗИ

Федеральное государственное образовательное бюджетное учреждение

Высшего профессионального образования «Санкт-Петербургский государственный университет телекоммуникаций

им. проф. М.А. Бонч-Бруевича»

На правах рукописи

0*201359303

Онешко Александр Викторович

ВЫДЕЛЕНИЕ ОБЪЕКТОВ НА ИЗОБРАЖЕНИЯХ РАДИОТЕХНИЧЕСКИХ СИСТЕМ НАБЛЮДЕНИЯ С ИСПОЛЬЗОВАНИЕМ ПРЯМОЛИНЕЙНЫХ СЕГМЕНТОВ ГРАНИЦ

05.12.04 - Радиотехника, в том числе системы и устройства телевидения

Диссертация на соискание ученой степени кандидата технических наук

Научный руководитель

доктор технических наук, профессор

Волков Владимир Юрьевич

Санкт-Петербург - 2013

Содержание

ВВЕДЕНИЕ....................................................................................................................5

ГЛАВА 1. Применение методов и алгоритмов выделения объектов на изображениях, и распознавания изображений в радиотехнических системах........................................................................................................................12

1.1. Постановка задачи диссертационного исследования....................................12

1.2. Структура радиотехнической системы наблюдения.....................................13

1.3. Типы датчиков используемых в радиотехнических системах наблюдения...............................................................................................................14

1.4. Требования к алгоритмам машинного зрения для применения в радиотехнических системах....................................................................................17

1.5. Вывод к главе 1..................................................................................................22

ГЛАВА 2. Способы описания изображений.............................................................23

2.1. Классификация моделей изображений...........................................................23

2.1.1. Понятие модели изображения...................................................................23

2.1.2. Концепция порождаемых моделей при зрительном восприятии образов человеком................................................................................................25

2.1.3. Классификация моделей, по методам представления и обработки изображений..........................................................................................................28

2.1.4. Классификация моделей по методам дескриптивного подхода к анализу и распознаванию изображений.............................................................29

2.2. Признаковая модель в задачах распознавания и анализа изображений......32

2.2.1. Признаковое описание изображений........................................................32

2.2.2. Определение понятия «признак изображения».......................................33

2.2.3. Современные методы выделения признаков на изображениях.............34

2.3. Прямолинейные сегменты, как важный признак объектов на

изображениях............................................................................................................37

2.3.1. Состояние проблемы выделения и группирования линейных признаков на изображениях.................................................................................39

2.3.2. Выделение прямолинейных сегментов границ с использованием детектора Кенни и преобразования Хафа для прямых линий..........................41

2.3.3. Выделение прямолинейных сегментов границ с применением алгоритма основанного на методе объединения пикселей (детектор Рендела)..................................................................................................................45

Вывод к главе 2.........................................................................................................47

ГЛАВА 3. Описание и выделение объектов на изображениях с использованием прямолинейных сегментов границ................................................49

3.1. Метод выделения прямолинейных сегментов границ на цифровых изображениях............................................................................................................49

3.1.1. Постановка задачи......................................................................................49

3.1.2. Описание метода и алгоритмической реализации..................................49

3.2. Метод группирования линий в структуры.....................................................66

3.2.1. Постановка задачи......................................................................................66

3.2.2. Описание метода и алгоритмической реализации..................................67

3.3. Вывод к главе 3..................................................................................................70

ГЛАВА 4. Исследование качества выделения объектов на изображениях с применением предложенных методов.......................................................................71

4.1. Оценка качества работы детектора Кенни совместно с преобразованием Хафа, детектора Рендела и предложенного метода выделения прямолинейных сегментов границ, применительно к задаче выделения объектов на тестовом изображении....................................................71

4.2. Исследование метода описания объектов с использованием линий на тестовом изображении.............................................................................................76

4.3. Исследование методов выделения прямолинейных сегментов границ и описания объектов на изображениях с использованием линий на реальных изображениях, полученных от радиотехнических систем наблюдения...............................................................................................................79

ЗАКЛЮЧЕНИЕ............................................................................................................89

ЛИТЕРАТУРА.............................................................................................................90

ПРИЛОЖЕНИЕ 1. Программная реализация алгоритма оценивания координат прямолинейных сегментов границ на изображениях в среде MATLAB.......................................................................................................................96

ПРИЛОЖЕНИЕ 2. Свидетельство о регистрации программы для ЭВМ............111

ПРИЛОЖЕНИЕ 3. Акт о внедрении........................................................................112

ВВЕДЕНИЕ

Актуальность темы исследования. Выделение и распознавание объектов на изображениях представляет одну из центральных проблем компьютерного видения. Такая проблема решается при слежении за объектами, восстановлении, индексации, сравнении и распознавании различных изображений. Ключевым моментом при выделении и распознавании объектов является описание различных категорий объектов. Для этого требуется набор надежных и повторяемых признаков (дескрипторов), которые получаются из модели объекта либо из тестовых изображений. Локальные признаки и дескрипторы весьма полезны для компактного представления изображений при их сравнении и распознавании.

Различают три уровня дескрипторов. Дескрипторы нижнего уровня могут быть трех типов: основанные на точках изображения, основанные на линиях и основанные на областях. Линии, соединения линий и углы являются наиболее важными геометрическими признаками для последующего анализа. Такие признаки называются геометрическими примитивами. Дескрипторы промежуточного или среднего уровня получаются путем группирования геометрических примитивов с учетом набора ограничений, вытекающих из свойств объектов, интересных с точки зрения восприятия. Дескрипторы верхнего уровня вытекают из сравнительного анализа полученных структур и могут содержать информацию, достаточную для интерпретации, понимания и сравнения рассматриваемого изображения с другим изображением или шаблоном.

Существуют два класса методов для выделения признаков. Первые основаны на интенсивности и часто не обеспечивают требуемой надежности воспроизведения. Вторые используют геометрические свойства, что влечет более сложную обработку, однако позволяют сравнивать изображения от различных источников. При сравнении изображений между собой или с эталоном можно выделить три ступени обработки. На первой «детектор

признаков» формирует набор точек и «областей интереса». Вторая ступень содержит описание выделенных областей с помощью векторов параметров. Сравнение полученных векторов (признаков) осуществляется на третьей ступени с использованием соответствующей метрики, данный признак на изображении ассоциируется с одним или несколькими признаками на других изображениях. В результате идентифицируются объекты с близкими метриками.

Существует большое количество объектов, отличительными признаками которых являются прямолинейные границы (прямолинейные перепады яркости) и геометрические соотношения между ними. Практически важные задачи включают обнаружение и классификацию искусственных объектов, таких как здания, сооружения, дороги, мосты; оценивание использования земных угодий при обработке земли; выделение рек и водоемов. Описанием прямолинейных границ являются прямые линии. Прямолинейные сегменты границ играют большую роль, поскольку почти все контуры локально прямолинейны, а многие искусственные объекты имеют прямолинейные границы. По этой причине актуальным представляется исследование методов выделения и описания объектов содержащих прямолинейные границы.

Научная задача, на решение которой направлена диссертационная работа имеет народнохозяйственное значение, и заключается в разработке методов и алгоритмов выделения объектов, которые содержат прямолинейные границы. Областями применения предлагаемых методов и алгоритмов является робототехника, и комплексы бортового технического зрения беспилотных летательных аппаратов.

Разработанность темы. На сегодняшний день существуют детекторы прямолинейных сегментов границ на изображениях. Известен детектор Canny (Кенни) совместно с преобразованием Houph (Хафа). Преобразование Хафа строит прямую линию по изображению в параметрическом пространстве без учета пространственной связи между точками. В результате такой способ часто дает фрагментацию линий на короткие отрезки, что практически разрушает геометрическую структуру объекта.

Авторы Randall G., Von Gioi R., Grompone, Jakubovich J., Morel J-M. предложили метод и алгоритм (далее: детектор Рендела) выделения прямолинейных границ, основанный на выравнивании точек путем объединения пикселей в соответствии с направлениями вектора-градиента и позволяющий контролировать ложные обнаружения границ. Алгоритм не дает фрагментации линий и обладает адаптивными свойствами при выделении границ различной протяженности. Однако на краях выделяемых прямолинейных сегментов и в точках пересечения сегментов наблюдается большой разброс направлений градиента, эти участки не попадают в область поддержки границы и теряются. В результате алгоритм не позволяет выделить крайние области прямолинейных сегментов границ. Также из-за значительного увеличения разброса направлений градиента, в условиях зашумлённости, алгоритм не позволяет выделять прямолинейные сегменты границ при низких отношениях сигнал/шум.

Авторы Medioni G., Nevatia R. предложили использовать прямые линии и соотношения между ними в качестве средства описания объектов на изображениях, они же применили термин «антипараллельные пары». Такие пары имеют противоположные ориентации линий, поскольку одна из них образована изменением интенсивности границы от черного к белому, а другая - от белого к черному. Нахождение таких парных линий, расположенных достаточно близко друг к другу, позволяет убрать из рассмотрения лишние линии, находящиеся в данной области.

Идея использовать прямолинейные сегменты границ для описания объектов на изображениях имела продолжение в работах авторов: Сойфера В. А., Фурмана Я. А., Ярославского JI. П., Злобина В. К., Лёвшина В. Л., Bergevin R., Bernier J.-F., Fu Z., Sun Z., Tuytelaars T., Mikolajczyk K., Moreels P., Perona P., Bernstein E. J., Amit Y., Zhao Y., Chen Y. Q. и других.

Цель диссертационной работы. Повышение качества выделения объектов на цифровых изображениях радиотехнических систем наблюдения при действии помех, с использованием прямолинейных сегментов границ.

Объект исследования. Объектом исследования являются цифровые полутоновые шаблонные и реальные цифровые изображения, получаемые от радиолокаторов с синтезированной апертурой, спутниковых систем наблюдения и систем аэрофотосъемки.

Предмет исследования. Выделение объектов на цифровых изображениях, с использованием прямолинейных сегментов границ.

Задачи исследования.

1. Анализ существующих подходов к автоматизированному выделению границ объектов на цифровых изображениях.

2. Разработка метода выделения и упорядочивания прямолинейных сегментов границ на изображениях и оценивание координат начальных, и конечных точек обнаруженных границ.

3. Разработка метода описания объектов на изображениях на основе выделенных прямолинейных сегментов границ. Выделение подобных признаков на разных изображениях позволяет решать задачу их сравнения и согласования при различиях в масштабах, углах поворота, а также полученных от различных источников, и в разное время.

4. Алгоритмическая и программная реализация методов.

5. Исследование качества разработанных алгоритмов применительно к тестовым изображениям и изображениям, полученным от разных источников.

Научная новизна. Разработан метод выделения прямолинейных сегментов границ на цифровых изображениях, который позволяет выделять границы при более низком отношении сигнал/шум в сравнении с существующим детектором Рендела. И позволяет обнаруживать крайние области прямолинейных сегментов границ в отличие детектора Рендела и метода Кенни-Хафа, что позволяет обнаруживать точки пересечения выделенных линий описывающих границы.

Новыми элементами предложенного метода являются.

1. Пространственная ориентированная фильтрация, позволяющая устойчиво выделять прямолинейные границы на зашумлённых изображениях, и предварительно оценивать направление границы.

2. Оценка начальных и конечных точек прямолинейных сегментов границ по суммарному профилю градиента в нескольких строках, путем сравнения с пороговым уровнем, совместно с накоплением суммарного градиента вдоль всей границы, что позволяет с высокой точностью оценивать направления границ, а также обнаружить точки пересечения линий описывающих границы.

3. Использование положительных и отрицательных частей градиента, позволяющее различать положительные и отрицательные перепады яркости (антипараллельность).

4. Предложен новый метод описания объектов на изображениях с использованием выделенных прямолинейных сегментов границ, основанный на группировании линий с учетом их пересечений, угловой ориентации, близости и сдвига по отношению к другим линиям.

Новизна подтверждается положительными рецензиями на публикации, и широким обсуждением результатов на научных конференциях.

Практическая ценность диссертации состоит в алгоритмической и программной реализации предложенных методов, которые совместно позволяют решать задачу выделения объектов на цифровых изображениях. Предложенный метод описывает линиями прямолинейные границы на реальных изображениях искусственных объектов, полученных от спутниковых и самолетных систем наблюдения, и позволяет определить точки пересечения линий для последующего группирования их в структуры. Точки пересечения линий добавляют новый признак в описании объекта, что позволяет разработать новый метод группирования линий в структуры.

Практическая ценность предложенного метода выделения границ и описания объектов, подтверждается успешным использованием его при

обработке реальных изображений аэрофотосъемки, спутниковых и радиолокационных изображений, и полученным актом о внедрении результатов.

Новизна алгоритма выделения прямолинейных сегментов границ подтверждена свидетельством о государственной регистрации программы для ЭВМ №2012618013, РОСПАТЕНТ, 6 сентября 2012 г. «Программа оценивания координат прямолинейных сегментов кромок на изображениях».

Методы исследования. Для решения поставленных в диссертационной работе задач были использованы методы цифровой обработки изображений, теория распознавания образов, линейная алгебра, математическая статистика, применяется вычислительная техника и среда программирования МАТЬАВ.

Основные положения, выносимые на защиту.

1. Метод и алгоритм обнаружения, определения направления и местоположения прямолинейных сегментов границ пространственно ориентированным фильтром, и оценка координат их начальных и конечных точек.

2. Метод и алгоритм формирования структур для описания объектов на изображениях, на основе точек пересечения линий.

3. Результаты исследования характеристик предложенных алгоритмов на шумовых моделях и выделения объектов на реальных изображениях, полученных от системы аэрофотосъемки, от спутниковой системы наблюдения и радиолокатора с синтезированной апертурой.

Достоверность результатов исследования. Подтверждается компьютерным экспериментом на шаблонных изображениях с известными шумовыми характеристиками и на реальных изображениях, полученых от радиотехнических систем.

Внедрение результатов диссертации. Результаты диссертационных исследований, в части применения разработанного метода построения геометрических признаков для выделения объектов на цифровых изображениях, были использованы при построении комплексной системы защиты наземной техники в ходе выполнения НИР «Бронепоезд-2» в ОАО «ВНИИТрансмаш».

Апробация работы. Основные научные результаты диссертационной работы были доложены и обсуждались на научно-технических конференциях: «IEEE East-West Design&Test Symposium (EWDTS'10)» (St. Petersburg, Russia, 2010); 63 научно-техническая конференция профессорско-преподавательского состава научных сотр�