автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Алгоритмы предварительной обработки изображений в системах комбинированного видения летательных аппаратов

На правах рукописи

МУРАТОВ Евгений Рашитович

АЛГОРИТМЫ ПРЕДВАРИТЕЛЬНОЙ ОБРАБОТКИ ИЗОБРАЖЕНИЙ В СИСТЕМАХ КОМБИНИРОВАННОГО ВИДЕНИЯ ЛЕТАТЕЛЬНЫХ АППАРАТОВ

Специальность 05.13.01 — Системный анализ, управление и обработка информации (технические системы)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

4 2013

005538978

Рязань 2013

005538978

Работа выполнена на кафедре электронных вычислительных машин ФГБОУ ВПО «Рязанский государственный радиотехнический университет» (ФГБОУ ВПО «РГРТУ»).

Научный руководитель:

Никифоров Михаил Борисович

кандидат технических наук, доцент каф. ЭВМ ФГБОУ ВПО «РГРТУ»

Официальные оппоненты:

Ведущая организация:

Бехтин Юрий Станиславович доктор технических наук, профессор каф. АИТУ ФГБОУ ВПО «РГРТУ»

Новиков Михаил Владимирович

кандидат технических наук, главный конструктор бортовых информационных комплексов ОАО «Корпорация «ВНИИЭМ», г. Москва

ФГБОУ ВПО «Московский государственный технический университет радиотехники, электроники и автоматики»

Защита диссертации состоится «20» декабря 2013 года в 12.00 часов на заседании диссертационного совета Д 212.211.01 в ФГБОУ ВПО «Рязанский государственный радиотехнический университет» по адресу:

390005, ул. Гагарина, д. 59/1.

С диссертацией можно ознакомиться в библиотеке ФГБОУ ВПО «Рязанский государственный радиотехнический университет».

Автореферат разослан « // » ноября 2013 года.

Ученый секретарь диссертационного совета канд.техн.наук, доцент

В.Н. Пржегорлинский

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Совмещение изображений в настоящее время является весьма актуальной задачей. Оно применяется во многих областях науки и техники. Это картография, дистанционное зондирование Земли, многоспектральные системы технического зрения (СТЗ) летательных аппаратов (ЛА) и зрение робототехнических систем. В современной авионике техническое зрение решает такие актуальные задачи, как корреляционно-экстремальная навигация, обнаружение и сопровождение целей, визуализация изображения закабинно-го пространства и др.

Анализ публикаций в области теории и практики совмещения изображений позволяет говорить о существовании ряда проблем, связанных с обработкой изображений различной физической природы. Они обусловлены неоднородностью формы представления, различными форматами хранения и обработки, различной природой возможных искажений. Сложность задачи существенно возрастает в связи с необходимостью ее решения в режиме реального времени на борту ЛА.

В данной работе рассматривается предварительная обработка разнородных изображений - от видеокамеры и виртуальной модели местности (ВММ) - с целью их последующего совмещения в системах комбинированного видения.

Предварительная обработка (в нашем случае подготовка изображений и их некорреляционное совмещение) заключается в последовательном выполнении ряда процедур:

- перевод цветных изображений в градации серого;

- контрастирование яркостного диапазона;

- устранение шумовой составляющей;

- выделение границ объектов на изображениях;

- фрагментное представление изображений с последующей их пороговой фильтрацией;

- утоньшение границ;

- аппроксимация границ прямолинейными элементами;

- переход к векторному описанию результатов аппроксимации;

- совмещение и визуализация.

От эффективности выполнения этих процедур зависят качество совмещения и возможность работы СТЗ в реальном времени, что в значительной степени определяет безопасность полетов летательных аппаратов.

Степень разработанности темы. Исследованию научных вопросов, связанных с обработкой изображений, посвящены работы известных отечественных и зарубежных ученых. Большой вклад в развитие научных исследований в этой области внесли: Алпатов Б.А., Ви-зильтер Ю.В., Джанджгава Г.И., Евтушенко Ю.Г., Еремеев В.В., Жел-тов С.Ю., Злобин В.К., Сергеев В.В., Сойфер В.А. и другие. Значительное внимание этой проблеме уделяют и зарубежные ученые: Баш-ков Е., Блейхут Р., Понс Ж., Прэтт У., Форсайт Д., Фукунага К.

Многие работы этих ученых, которые посвящены совмещению изображений и связаны с картографией и дистанционным зондированием Земли, зачастую не решают задачи совмещения изображений в реальном времени. Разработчики авиационных систем технического зрения сходятся во мнении, что жесткие требования по точности алгоритмов совмещения, их вычислительной сложности, необходимости аппаратной реализации в ПЛИС вызывают определенные трудности при проектировании СТЗ. Однако до сих пор не существует универсального алгоритма, который мог бы обеспечить для всех областей применения требуемую эффективность. Поэтому при разработке и модификации существующих алгоритмов необходимо учитывать специфику предметной области, реальные характеристики ТВ изображений, полученных камерами ЛА в процессе полета, и ВММ. Главным недостатком известных методов и алгоритмов является сложность их реализации на борту ЛА в реальном времени.

В данной диссертационной работе исследуются и разрабатываются алгоритмы предварительной обработки изображений с целью нахождения информативных признаков для последующего предварительного совмещения изображения, формируемого телекамерой и ракурсов ВММ. Разрабатываются варианты визуализации результатов совмещения на индикаторах пилота ЛА с целью повышения его осведомленности о закабинной обстановке.

Цель диссертации состоит в разработке алгоритмов, повышающих эффективность совмещения изображений, с целью улучшения условий пилотирования ЛА в сложной метеорологической и географической обстановке.

Для достижения поставленной цели решаются следующие основные задачи:

- получение информативных признаков на изображениях;

- разработка методики фильтрации неинформативных объектов на изображении;

- получение информативных признаков от ракурса ВММ, построенного по навигационным данным;

- разработка процедур автоматического выбора значений ключевых параметров разрабатываемых алгоритмов;

- разработка алгоритмов предварительного совмещения изображений;

- сокращение вычислительной сложности предобработки за счет использования вспомогательной информации от ВММ;

- разработка программного стенда для исследования эффективности различных алгоритмов предварительной обработки и совмещения изображений.

Научная новизна диссертации заключается в том, что в ней разработаны алгоритмы, позволяющие решать задачи предобработки и предварительного совмещения изображений в режиме реального времени.

На защиту выносятся следующие новые научные результаты:

- алгоритм выделения границ и фильтрации малозначимых объектов;

- алгоритмы представления границ в векторном описании;

- алгоритмы, позволяющие сократить объем информативных признаков, необходимых для последующего совмещения изображений;

- алгоритм фрагментации, позволяющий существенно снизить трудоемкость алгоритмов обработки изображений;

- алгоритмы, выполняющие предварительное совмещение изображений от видеокамеры и ракурсов ВММ.

Практическая ценность работы состоит в том, что в ней:

- разработан алгоритм выявления характерных признаков на изображении и представления их в векторном описании;

- разработаны алгоритмы сокращения количества признаков с целью ускорения работы процедур последующего совмещения;

- предложены некорреляционные алгоритмы предварительного совмещения реальных изображений с ракурсами ВММ, выполняемые в реальном времени;

- предложены варианты представления результата совмещения на индикаторе пилота с целью повышения его информированности о закабинной обстановке;

- разработан программный стенд для экспериментального исследования и отладки алгоритмов предобработки и предварительного совмещения изображений с ракурсами ВММ.

Реализация и внедрение. Результаты научных исследований, полученные при работе над диссертацией, использованы при выполнении научно-исследовательских работ, проводимых в РГРТУ: НИР № 312, НИР № 29-12, НИР № 3-13, НИР № 4-13.

Результаты диссертационной работы и разработанный программный стенд внедрены в Научно-конструкторском центре видеокомпьютерных технологий (НКЦ ВКТ) ОАО «Государственный Рязанский приборный завод» в виде алгоритмов, реализующих технологии предварительной обработки и предварительного совмещения изображений в системах комбинированного видения (combined vision system CVS) ЛА.

Результаты исследований и программный стенд «Обработка и совмещение изображений в реальном времени», разработанный в кандидатской диссертации, внедрены в учебный процесс кафедры электронных вычислительных машин Рязанского государственного радиотехнического университета и используются студентами-магистрантами направления 230100 «Информатика и вычислительная техника» в курсе «Методы и алгоритмы обработки и анализа изображений».

Апробация работы. Основные результаты диссертации докладывались на 7 научно-технических конференциях, в том числе:

-6 Международная научно-техническая конференция «Космонавтика. Радиоэлектроника. Геоинформатика». Рязань, РГРТУ. 2013;

- 17 Всероссийская научно-техническая конференция с между-

народным участием «Компьютерные и информационные технологии в науке, инженерии и управлении» «КомТех-2013», Таганрог, ЮФУ. 2013;

- научно-техническая конференция «Техническое зрение в сис-

темах управления - 2013». Москва, ИКИ РАН. 2013,

- 3 межвузовская научно-техническая конференция студентов,

молодых ученых и специалистов «Новые технологии в учебном процессе и производстве». Рязань, МГОУ РИ, 2005.

Публикации. По теме диссертации опубликовано 11 печатных работ, из них три - в журналах, входящих в перечень ВАК РФ. Зарегистрирован программный ресурс в Объединенном фонде электронных ресурсов «Наука и образование» (ОФЭРНиО). Результаты диссертации отражены в четырех отчетах о НИР, выполненных в Рязанском государственном радиотехническом университете.

Структура и объем работы. Диссертация состоит из введения, 4-х глав, заключения, списка использованных источников и приложения. Основной текст работы содержит 176 страниц, 60 рисунков и 15 таблиц. Список использованных источников включает 80 наименований.

ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

В первой главе «Исследование методов предобработки изображений в задачах их совмещения с цифровыми моделями местности» сформулированы основные требования к точности и содержимому цифровых карт местности (ЦКМ) и форматам их хранения с позиций использования ЦКМ для формирования ВММ и ее последующего совмещения с телевизионным изображением. По результатам анализа исходных данных от ТВ камер и ВММ сделан вывод о характере признаков, пригодных для совмещения изображений, полученных в условиях ограниченной видимости и сезонно-климатических изменений, с ракурсами ВММ. Установлено, что в качестве таких признаков должны выступать характеристики границ объектов, выделенных на подстилающей поверхности Земли, такие как прямолинейные участки (отрезки) границ объектов, характер их наклона на изображении, длина и углы между такими отрезками.

Для достижения поставленной цели проведено исследование применимости методов выделения границ для решения задач последующей векторизации и совмещения изображений в вычислителе на борту JIA. По результатам исследований выбрана группа градиентных операторов, для каждого из которых произведены оценю!:

- чувствительности оператора к ориентации линии яркостного перепада относительно горизонтальной оси по формуле

а(0) = , где h(i, /I©) - значение градиента на ли-

Л(/,У|® = 0)

нии перепада яркости, расположенной под углом 0 к оси Ох в точке с координатами /,/; h(i,j\& = 0) - значение градиента на линии перепада яркости, параллельной оси Ох в точке с координатами /, j;

- степени эффективности оператора при вычислении градиента на расстоянии d от линии перепада по формуле

h(i,j\d = 0)

- отношения сигнал-шум для масочных операторов по формуле

ч п

CZ'

Ч - ' " 1

In п

4

где <т2 - дисперсия белого шума на входе, п - порядок матрицы А = («у) (маски градиентного оператора), - значения

элемента маски в ячейке (/, j), stJ. - значение тестового полезного сигнала в ячейке (/, J) текущего кадра.

По результатам оценки выбрана группа масочных операторов, которые составили основу для детекторов границ.

С целью повышения эффективности алгоритмов последующего совмещения признаки, полученные детекторами границ, должны быть представлены в векторном описании. Для получения признаков предложена технология предварительной обработки ТВ и ВММ изображений, состоящая из нескольких последовательно применяемых алгоритмов.

Проведены исследования применимости известных методов и алгоритмов предварительной обработки и нахождения признаков, используемых для совмещения изображений, к задаче совмещения ТВ и ВММ изображений с учетом реального времени.

На основании исследований сделан вывод о возможности применения некоторых методов в составе технологии предварительной обработки изображений, намечены критерии усовершенствования отдельных методов и определен круг алгоритмов, требующих разработки.

Во второй главе «Разработка алгоритмов предобработки изображений для последующего совмещения» разработаны комплекс алгоритмов и технология получения информативных признаков в виде векторного описания границ объектов, являющихся ключевыми для последующего совмещения. В главе предложены алгоритмы, существенно снижающие временную сложность предварительной обработки в CVS ЛА. Предложена методика автоматического выбора ключевых параметров для разработанных алгоритмов фильтрации информативных признаков. В качестве ключевых параметров выступают значение яркости, являющееся пороговым для фильтрации результата, представленного детектором границ, и число пикселей в составе фигуры на изображении, позволяющее считать ее малоинформативной. Алгоритм их нахождения заключается в выполнении следующих действий:

1) результат, полученный детектором границ, инвертируется;

2) для диапазона значений [0..247] гистограммы распределения

яркости оператором — = —(-3,-2,-1,0,1,2,3) оценивается наклон дх 28

кривой, огибающей эту гистограмм}';

3) если результат оценки соответствует значению, заданному для определенного метода [например, для метода Собеля с двумя масками 3x3 это значение составляет 1 (точка А на рисунке 1, а)], то зна-

чение гистограммы, при котором была получена эта оценка, считается порогом яркостной фильтрации;

4) вычисляется гистограмма распределения количества пикселей (рисунок 1, б) в образованных фигурах, разделенных между собой пикселями с яркостью 255;

5) фильтрации подлежат все фигуры с количеством пикселей меньше некоторого автоматически вычисленного по гистограмме значения (рисунок 1 ,б).

к В

200

О 255 о

а б

Рисунок 1 - Оценка пороговых значений по гистограммам: а - яркости; б - количества пикселей в фигурах

Модификация алгоритма детектирования границ на основе градиентных операторов позволила сократить количество информативных признаков на 60-80%. Алгоритм контрастирования разработан для коррекции яркости отдельных блоков изображения с целью увеличения чувствительности детектора границ. Разработан алгоритм получения параметрического описания фрагментов изображения, позволяющий сократить временные затраты алгоритмов обработки.

Предложенная модификация позволила осуществить фильтрацию яркостного шума и неинформативных объектов.

Результат работы модифицированного детектора границ, по сравнению с классическим (рисунок 2, а), представлен на рисунке 2, б.

3

а б

Рисунок 2 - Результат работы детектора границ: - классический градиентный метод; б - модифицированный метод

С целью получения векторного описания границ объектов разработан алгоритм утоныления линий. Он использует информацию о фрагментах изображений для корректировки направления поиска очередной точки линии. При этом учитывается направление смещения на

предыдущем шаге.

Разработан алгоритм векторизации для нахождения угловых точек по наклонам элементарных отрезков, аппроксимирующих линии в пиксельном пространстве.

Разработан алгоритм спрямления серии коротких отрезков одним длинным за счет анализа положения отрезков внутри допустимого туннеля направленности. Алгоритм спрямления сокращает количество информативных признаков дополнительно на 20-40%. Предложенный подход упрощает процедуру последующего совмещения.

Для обеспечения возможности применения алгоритмов в бортовом вычислителе разработаны промежуточные и конечные форматы хранения и представления данных, пригодные для применения при параллельных вычислениях.

Технология предварительной обработки, совмещения и визуализации представлена на рисунке 3.

Ракурс ВММ в контурных линиях ТВ кадр

Рисунок 3 - Технология предварительной обработки изображений

В третьей главе «Применение векторного описания границ объектов для предварительного совмещения и визуализации» разработаны алгоритмы некорреляционного совмещения изображений.

Предложен алгоритм нахождения зоны неопределенности для ТВ изображения (зоны, в которой может находиться ВММ изображение). Формирование зоны неопределенности с учетом ошибок сводится к следующему:

1. По заданным значениям ошибок Д0, Д\|/, Ду формируем мат-

рицы вращения Т Ав , Т&1//, ТАу соответственно. Например, ТАв

в плоскостях тангажа, курса и крена

0 єіпД^

1 О впіДб' 0 совДб*,

/ сое Д0 О

Затем нахо-

V

V

дим их произведение - матрицу т(Ау,А9,Ау/)=ТАг-ТАв -ТАч,.

2. Пересчитываем по формуле = Т(Ау,Ад,А^)-Хм координаты точек А1,А(),А2,С1,С0,С2,В1,В0,В2 в основании пирамиды изображения (рис.4).

3. Находим проекции точек Ал ,А0, А2 ,С1; С0,С2,В,, В0 ,В2 на

плоскость г = -(/г + АИ) Земли с учетом ошибок положения Ах, Ау, Д/г и угловых ошибок Аб, Ау/, А у по формулам:

^-Аз: I ~(/г + М) г.(2) л,. , ~01 + АИ) (1)

" -лх + т хм » Ум -"¡У ^ Ш Ум >

х

м

где М - одна из точек Ах ,А0 ,А2,С1, С0,С2,В1, В0 ,В2.

V,

Размеры и положение зоны неопределенности для линии горизонта, синтезированной по ВММ, используются в алгоритме нахождения линии горизонта на ТВ изображении как

коэффициенты уравнения прямой у —ах+ Ь . Рисунок 4 - Пирамида изображения

1. Вычисляем оценки а , Ь коэффициентов а и Ь прямой у=ах+Ь, применяя метод наименьших квадратов к массиву координат пикселей, принадлежащих линии горизонта {(*,.,.у,.)}"=1 ■

2. Находим координаты точки В(хь,уь) пересечения перпендикуляра, опущенного на линию вычисленного горизонта по центру ши-

Ж Л

рины изображения IV (рисунок 5), по формуле хь = —. уь =Ь -хъ +а.

Синтезированный

горизонт

Вычисленный

горизонт і

Рисунок 5 - Нахождение расстояния между синтезированной и вычисленной линиями горизонта

3. Находится точку А(ха,уа) пересечения этого перпендикуляра с линией синтезированного горизонта.

4. Поправку к крену вычисляем как Ау = у - аге^(а), к тангажу

Н • АН

- Ав = в-----, где у - угол крена, а в - угол тангажа по навига-

I п

ционным данным. НА - угол зрения телекамеры в вертикальной плоскости, 1Н - высота изображения в пикселях, АН - разность по высоте в пикселях между синтезированной по ВММ и вычисленной линиями горизонта: АН = Z■sign(yb -уа>у](хь -ха)2 +(уь-уа)2 ,где г - коэффициент учета положения Земли на изображении (2=+1 - небо над плоскостью Земли, 1=-1 - небо под плоскостью Земли).

Предложен алгоритм оценки достоверности найденной линии горизонта:

1. Вычисляется расстояние от всех вершин отрезков, участвующих в формировании уравнения линии горизонта, предложенным выше алгоритмом.

2. Если одно и более полученных в пункте 1 таких расстояний

превышает порог е =./(— соз(0,05))2 +(— зт(0,05))2 , то полученное V 2 2

уравнение не следует считать уравнением линии горизонта. Значение М выбирается как половина ширины кадра.

Предложен алгоритм некорреляционного совмещения в плоскости крена при отсутствии линии горизонта, в основе которого лежит статистический анализ углов наклона отрезков из векторного описания

одного и второго изображений. Для этого находятся математическое ожидание и дисперсия углов наклона первого и второго изображения, отличающихся не более чем на заданную величину.

В результате такого анализа находится угол 8 , на который необходимо повернуть второе изображение для совмещения его с первым. Алгоритм носит итерационный характер и повторяется до тех пор, пока на очередной итерации не выполнится условие 8 < е , где в - требуемая точность совмещения, например е =0.000175 рад (0.01°).

Исходным углом поворота одного изображения относительно другого будем считать А = £ 8„ , где и - номер итерации.

Предложены варианты визуализации результата совмещения.

В четвертой главе «Программный стенд для исследования и апробации алгоритмов предобработки и совмещения» на основе функциональных требований разработано программное обеспечение, позволяющее комбинировать последовательность применения алгоритмов с целью исследования и получения результатов конечной и промежуточной стадий предварительной обработки видеопоследовательностей, полученных от ТВ камер летательных аппаратов. Программный стенд позволяет выполнять анализ и контроль автоматического выбора ключевых параметров алгоритмов предварительной обработки и производить предварительное совмещение по тангажу и крену ТВ и ВММ изображения как в ручном (для анализа и исследований), так и в автоматическом режимах с использованием различных способов визуализации.

Программный стенд (рисунок 6) состоит из нескольких взаимосвязанных модулей:

- управления видеопоследовательностью;

- получения ТВ кадра;

- получения ракурса ВММ;

- предварительного совмещения;

- визуализации результатов;

- интерфейсного модуля, осуществляющего управление последовательностью предварительной обработки.

Разработана методика проведения экспериментов с использованием программного стенда. Приведено обоснование статистической состоятельности объема проводимых испытаний. Показано, что общее число проведения тестовых испытаний (2000 - 10000) является обоснованным и достаточным для утверждения состоятельности результатов испытаний.

Приведены оценки ключевых характеристик разработанных алгоритмов по отдельности и комплекса алгоритмов, работающих как единое целое.

Экспериментальные исследования проводились на программном стенде «Обработка и совмещение изображений в реальном времени», выполняемом под управлением ОС Windows7 32bit, на платформе: CPU AMD Phenom II 3.0 ГГц; ОЗУ 2 Гб, с типом памяти DDR2; видеоадаптер AMD HD7870 с объемом памяти 2 Гб; видеопоследовательность обрабатывается кодеком h-264. Стендом обрабатывались видеопоследовательности от ТВ камер и навигационные параметры. Размерность кадра видеопоследовательностей 704x576 и 800x600, частота смены кадров составляла 25 Гц.

Рисунок 6 - Структура программного стенда

Оценка трудоемкости основных этапов получена по результатам обработки 2000 кадров реального видеоряда съемки полетов на малой высоте и заходов на посадку. В качестве детектора границ использовались модифицированные градиентные операторы, построенные на основе операторов Собеля и Превитта. Результаты оценки и сравнения временных затрат алгоритмов приведены на рисунке 7.

Время

«

0,2

O.t

3 4 5 0 7

Время

0.4

0,3 0,2 0,1 о

1 2 3

5 6?

Этапы обработки JL Детектор гранив

2, Пороговая фильтрация

3, Фрагмента«»«

4, Удаление вмшформатйвиых объектов

5, Утяытше

6, Векторизация

7, Спрямлеш»

Рисунок 7 - Трудоемкость различных вариантов предобработки:

а - с модифицированным детектором границ на основе оператора Собеля с четырьмя масками размером 3x3; б - с использованием классического метода Кэнни; в - с модифицированным детектором границ на основе оператора Собеля с двумя масками размером 5x5

Из приведенных графиков следует (рисунок 8), что предложенные алгоритмы эффективнее последовательности с классическим методом Кэнни в 2,18 - 2,8 раза.

Произведены оценки сокращения временных затрат реализации алгоритмов на GPU и показана эффективность их параллельной реализации.

Сделаны выводы о возможности аппаратной реализации предложенных в работе алгоритмов в ПЛИС, спецпроцессорах и на GPU. Экспериментальные исследования, проведенные в четвертой главе, подтвердили теоретические выводы об эффективности использования разработанных алгоритмов в CVS ЛА.

Время, с

1.2

0.8

0.4

Последовательность алгоритмов с модификацией детектора границ на базе:

1 — метода Собеля с 4 масками размером 3x3;

2 - метода Собеля с 2 масками размером 5x5;

3 - метода Кэнни, заменяющего детектор границ и алгоритмы утоньшсііия

Рисунок 8 - Результаты сравнения алгоритмов

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

В представленной диссертационной работе выполнены исследования и разработка алгоритмов предварительной обработки изображений, которые позволяют:

- выявлять множество характерных признаков и выделять из него наиболее существенные с целью ускорения работы алгоритмов совмещения изображений;

- совмещать исходное изображение и ракурс ВММ некорреляционными методами;

- представлять пилоту варианты визуализации результата совмещения.

В частности:

- выявлены информативные признаки изображений;

- разработаны алгоритмы выявления характерных признаков на изображении и представления их в векторном описании;

- предложены методы фильтрации малозначимых объектов на изображениях;

- разработаны процедуры автоматического выбора значений ключевых параметров алгоритмов;

- разработаны алгоритмы некорреляционного совмещения ВММ и реальных изображений;

- разработана методика сокращения вычислительной сложности предобработки за счет использования вспомогательной информации от ВММ;

- предложены некорреляционные алгоритмы предварительного совмещения изображений с ВММ, выполняемые в реальном времени;

- разработан программный стенд, позволяющий выполнять исследования эффективности различных алгоритмов предварительной обработки и совмещения реальных изображений с ВММ и отладку программного обеспечения бортовых ЭВМ.

Разработанное алгоритмическое и программное обеспечение и испытательный программный стенд внедрены на промышленном предприятии ОАО «Государственный Рязанский Приборный завод», входящем в состав ОАО «Концерн «Радиоэлектронные технологии» (г. Москва), и в учебный процесс кафедры ЭВМ Рязанского государственного радиотехнического университета.

СПИСОК ОСНОВНЫХ РАБОТ ПО ТЕМЕ ДИССЕРТАЦИИ

Работы, опубликованные в научных журналах, входящих в перечень ведущих репетируемых журналов и изданий ВАК РФ

1. Злобин В.К., Костров Б.В., Асаев A.C., Муратов Е. Р. Спектральные методы обработки изображений // Вестник Рязанского государственного радиотехнического университета (Вып. 21). - Рязань, 2007. - С. 3-8.

2. Муратов Е.Р. Совмещение телевизионных изображений и виртуальной модели местности в плоскости крена // Известия ТулГУ. Технические науки. Вып. 9. 4.1.1 - Тула: Изд-во ТулГУ, 2013. - С 253260.

3. Герман Е.В., Муратов Е.Р., Никифоров М.Б. Два подхода к выделению и векторизации контурных линий объектов подстилающей поверхности // ИзвестияЮФУ №5. - Таганрог, 2013. - С. 56-61.

Работы, опубликованные в сборниках трудов научно-технических конференций и в межвузовских сборниках

4. Костров Б.В., Асаев A.C., Муратов Е.Р. Метод фильтрации периодических помех на изображении // Информатика и прикладная математика: межвуз. сб. науч. тр. Рязанского государственного педагогического университета. — Рязань, 2005. — С.36-39.

5. Костров Б.В., Асаев A.C., Муратов Е.Р. Сравнение трудоемкости вычислений спектров изображений Фурье и Уолша // 3-я межвузовская научно-техническая конференция студентов, молодых ученых и специалистов «Новые технологии в учебном процессе и производстве». -Рязань: МГОУ РИ, 2005. - С.ЗЗ.

6. Костров Б.В., Асаев A.C., Муратов Е.Р. Фильтрация периодических помех на изображении // 14-я международная научно-техническая конференция «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций». - Рязань, 2005. - С.205-206.

7. Костров Б.В., Муратов Е.Р. Особенности распознавания изображений в базисе Уолша // Материалы Всероссийской научно-

технической конференции студентов, молодых ученых и специалистов «Новые информационные технологии в научных исследованиях и в образовании». - Рязань, 2007. - С.81-82.

8. Муратов Е.Р. Выделение характерных особенностей на аэрофотоснимках // VIII международная научно-техническая конференция «Теория и практика современной науки», Т.1. — М., 2012. — С.305-309.

9. Герман Е.В., Муратов Е.Р., Логинов A.A., Никифоров М.Б. Сравнение подходов к векторизации границ объектов, выделенных на изображениях подстилающей поверхности в системах комбинированного видения // 6-я МНТК «Космонавтика. Радиоэлектроника. Геоинформатика». - Рязань, 2013. - С. 269-271.

10. Муратов Е.Р. Скелетизация контуров изображений в авиационных системах комбинированного видения // Научно-техническая конференция «Техническое зрение в системах управления - 2013». -М.: ИКИ РАН, 2013. -С.158-159.

11. Loginov A.A., Muratov Е. R., Nikiforov М.В., Novikov A.I. Image vectorization in real time // European Science and Technology: materials of the IV International research and practice Conference. Munich Germany. -2013. - Vol. 1. -P. 274-280.

Регистрация электронного ресурса

Муратов Е.Р. Свидетельство о регистрации электронного ресурса № 19613. Программный стенд «Обработка и совмещение изображений в реальном времени». ОФЭРНиО, 31.10.2013 г.

Муратов Евгений Рашитович

АЛГОРИТМЫ ПРЕДВАРИТЕЛЬНОЙ ОБРАБОТКИ ИЗОБРАЖЕНИЙ В СИСТЕМАХ КОМБИНИРОВАННОГО ВИДЕНИЯ ЛЕТАТЕЛЬНЫХ АППАРАТОВ

Автореферат

диссертации на соискание ученой степени кандидата технических наук

Подписано в печать 06.11.13. Формат бумаги 60x84 1/16. Бумага офсетная. Печать трафаретная. Усл. печ. л. 1,0. Тираж 100 экз.

Рязанский государственный радиотехнический университет. 390005, г. Рязань, ул. Гагарина, 59/1. Редакционно-издательский центр РГРТУ.

Министерство образования и науки Российской Федерации Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования Рязанский государственный радиотехнический университет

04201453562

На правах рукописи

7

¿а

гг

Муратов Евгений Рашитович

АЛГОРИТМЫ ПРЕДВАРИТЕЛЬНОЙ ОБРАБОТКИ ИЗОБРАЖЕНИЙ В СИСТЕМАХ КОМБИНИРОВАННОГО ВИДЕНИЯ

ЛЕТАТЕЛЬНЫХ АППАРАТОВ

Специальность: 05.13.01 - Системный анализ, управление и обработка информации (технические системы)

Диссертация на соискание ученой степени кандидата технических наук

Научный руководитель кандидат технических наук, доцент Никифоров М.Б.

Рязань 2013

СОДЕРЖАНИЕ

Введение................................................................... 6

1 Исследование методов предобработки реальных изображений в задачах их совмещения с цифровыми моделями местности.......................................................................... 13

1.1 Анализ возможностей построения виртуальной модели местности для последующего совмещения с изображениями от

13

сенсоров системы технического зрения.....................................

13

1.1.1 Анализ требований к цифровой карте местности............

19

1.1.2 Форматы для хранения цифровых топографических карт

1.1.3 Методики построения ЗО ЦКМ - ВММ........................ 21

1.1.4 Выбор совместных информативных признаков на

30

изображениях подстилающей поверхности и ВММ

1.2 Методы предварительной обработки изображений с целью выделения «сущности» для последующего совмещения с ВММ........ 38

1.2.1 Методы шумоподавления и повышения четкости телевизионного изображения.................................................. 38

1.2.2 Обзор существующих детекторов границ объектов....... ^

48

1.2.3 Сравнение детекторов границ между собой..................

53

1.2.4 Обзор методов утоньшения контурных линий...............

1.2.5 Сравнительный анализ векторного описания контуров

58

1.2.6 Методы векторизации контурных линий......................

Выводы.......................................................................

2 Разработка методов и алгоритмов предобработки для

последующего совмещения....................................................

2.1 Методы и алгоритмы предобработки............................ 63

63

2.1.1 Модификация яркостного контрастирования.................

67

2.1.2 Модификация градиентных методов...........................

2.1.3 Разработка метода автоматической фильтрации

68

яркостного шума..................................................................

2.1.4 Разработка метода обнаружения и формального описания фрагментов на изображении................................................... ^

2.1.5 Разработка метода фильтрации (удаления) неинформативных объектов на изображении ............................. 77

2.1.6 Разработка метода утоныпения контурных линий в реальном времени................................................................ 79

2.1.7 Разработка метода векторизации контурных линий....... 82

2.2 Вычислительная реализуемость в реальном времени........ 89

2.2.1 Оценка сокращения объема информативных элементов на этапах предобработки.......................................................... 90

2.2.2 Оценка трудоемкости этапов предобработки............... 91

2.2.3 Повышение быстродействия алгоритмов на многопроцессорных платформах............................................ 94

2.2.4 Использование OpenCL для алгоритмов предобработки 96

Выводы........................................................................................................................100

3 Применение векторного описания границ объектов для 102

предварительного совмещения и визуализации

3.1 Предварительное совмещение изображений на основе 102

выделения преобладающих углов характерных линий......

3.1.1 Использование уравнения прямой, аппроксимирующей

линию горизонта, для корректировки ракурса ВММ..................................................102

3.1.2 Методика совмещения по крену при отсутствии линии горизонта....................................................................................................................................................112

3.1.3 Совмещение изображений с применением матрицы томографии................................................................................................................................................117

3.2 Методика визуализации совмещенных изображений в системах комбинированного видения..............................................................................124

3.3 Применение векторного описания контуров ВММ для сокращения общей трудоемкости предварительного совмещения ... 133

Выводы..........................................................................................................................................^^

4 Программный стенд для исследования и апробации

алгоритмов предобработки и совмещения....................................................................137

4.1 Проектирование программного стенда................................................137

4.2 Методика экспериментальных исследований 143

4.3 Результаты исследований....................................................................................145

Выводы..........................................................................................................................................157

Заключение................................................................................................................................158

Список использованных источников................................................................160

ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ

АГП - алгоритм глобального поиска

ББД - бортовая база данных

ВММ - виртуальная модель местности

ГА - генетический алгоритм

ГЭ - глобальный экстремум

КЭНС - корреляционно-экстремальная навигационная система

КХА - качественная характеристика алгоритма

ИНС - инерциальные навигационные системы

JIA - летательный аппарат

ЛЭ - локальный экстремум

МДМ - метод деформируемого многогранника

ММДМ - модифицированный метод деформируемого многогранника

МЭМС - микроэлектромеханические системы

ОСШ - отношение сигнал/шум

РЛИ - радиолокационное изображение

РЛС - радиолокационная станция

СКО - среднее квадратическое отклонение значений

СТЗ - системы технического зрения

ТИ - текущее изображение

ЦКМ - цифровая карта местности

ЦФ - целевая функция

ЭА - эволюционный алгоритм

ЭИ - эталонное изображение

ESVS - Enhanced synthetic vision systems (системы улучшенного и синтезированного видения)

ВВЕДЕНИЕ

Актуальность работы. Совмещение изображений в настоящее время является весьма актуальной задачей. Оно применяется во многих областях науки и техники. Это и картография и методы дистанционного зондирования земли и многоспектральные системы технического зрения летательных аппаратов (ЛА) и зрение робототехнических систем. В современной авионикс техническое зрение решает такие актуальные задачи как корреляционно-экстремальная навигация, обнаружение и сопровождение целей, визуализация изображения закабинного пространства и др.

Изначально сложная научная задача совмещения усложняется при обработке изображений различной физической природы. Это объясняется различной формой их представления, различными форматами хранения и обработки, различной природой возможных искажений. Сложность поставленной задачи существенно возрастает в связи с необходимостью ее решения в режиме реального времени на борту ЛА.

В данной работе рассматривается предварительная обработка разнородных изображений - телевизионных и виртуальной модели местности (ВММ) с целью их последующего совмещения.

Предварительная обработка - в нашем случае подготовка изображений к некорреляционному совмещению - представляет собой, по сути, конвейер последовательного выполнения процедур. Фазами, или ступенями, этого конвейера являются:

- перевод цветных изображений в градации серого;

- контрастирование яркостного диапазона;

- устранение шумовой составляющей;

- выделение границ объектов на изображениях;

- фрагментное представление с последующей пороговой фильтрацией полученных границ;

- утоньшение границ;

- аппроксимация границ прямолинейными элементами (отрезками);

- переход к векторному описанию результатов аппроксимации.

От эффективности выполнения этих процедур зависит качество последующего совмещения и сама возможность работы в реальном времени. Результативность решения поставленных задач в значительной степени определяет безопасность полетов летательных аппаратов.

Одним из средств повышения безопасности является система комбинированная видения CVS (Combined Vision Systems). Основной задачей такой системы является совмещение информации от разноспектральных датчиков, в том числе и телевизионных камер с виртуальной моделью местности, построенной по цифровой карче местности (ЦКМ) и известным навигационным данным J1A. В настоящее время нет единого, принятого всеми определения, что понимать под комбинированным видением, однако есть общий для всех определений и моделей элемент - смоделированное на основе навигационных данных изображение внешней среды, наблюдаемой пилотом из кабины.

Необходимость решения комплекса задач в режиме реального времени совместно с ограничениями по габаритам и потребляемой мощности бортовых вычислителей требует разработки эффективных алгоритмов предобработки видео данных, построению ВММ и совмещения реального и ВММ изображений.

Использование известных методов, таких как корреляционно-экстремальное совмещение или совмещение по группе парных объектов имеют ряд существенных недостатков. Для корреляционно-экстремального совмещения таким недостатком является поиск экстремума среди ракурсов изображений, подверженных преобразованиям по курсу, крену, тангажу и трем координатам положения в пространстве, что является весьма трудоемкой вычислительной процедурой. Для методов совмещения по парным объектом нет гарантированно точного метода нахождения их соответствия. Разработка некореляционных алгоритмов совмещения с устойчивым нахождением множества общих для изображений признаков и одновременным выделением из этого множества минимально необходимого подмножества, обеспечивающего надежное совмещение изображений, позволит устранить

указанные недостатки. Не менее важной задачей является разработка способа представления результатов работы на индикаторах пилота ЛА в зависимости от закабинной обстановки и ситуации полета.

Данная диссертационная работа посвящена исследованию и разработке алгоритмов для:

• предварительной обработки изображений с целью нахождения информативных признаков на телевизионных изображениях для последующего их использования в алгоритмах совмещения реальных изображений с ВММ;

• сокращения объема необходимых информативных признаков за счет выделения «сущностей»;

• определения зоны «неопределенности» расположения объекта на изображении по данным ВММ и значениям погрешностей при определении навигационных данных;

• применения обнаруженных признаков для предварительного совмещения изображений с ВММ;

• представления совмещенных изображений на индикаторах пилота J1A для повышения осведомленности об закабинной обстановке.

Основными требованиями к данным алгоритмам являются:

- возможность реализации их на боргу ЛА в реальном времени;

- обеспечение автоматического выбора параметров алгоритмов при смене условий получения телевизионных (ТВ) кадров.

Алгоритмы предварительной обработки изображений, разработанные в данной диссертационной работе, могут применяться и в системе улучшенного видения EVS (Enhanced Vision System), с целыо раннего обнаружения взлетно-посадочной полосы (ВПП) и других типовых объектов интереса в отсутствие навигационных данных и априорной информации о закабинной обстановке.

Степень разработанности темы. Большой вклад в развитие научных исследований в этой области внесли отечественные ученые Сойфер В.А., Джанджгава Г.И., Визильтер Ю.В., Желтов С.Ю., Сергеев В.В., Злобин В.К., Еремеев В.В., Алпатов Б.А., Евтушенко Ю.Г., Стронгин Р.Г., Сергеев Я.Д.,

Сухарев А.Г. и другие. Однако не существует универсального алгоритма, который мог бы обеспечить для всех областей применения требуемую эффективность. Поэтому при разработке и модификации существующих алгоритмов необходимо учитывать специфику предметной области, реальные характеристики ТВ и ВММ изображений полученных камерами ЛА в процессе полета. Главным недостатком известных методов и алгоритмов является сложность их реализации на борту ЛА в реальном времени.

В данной диссертационной работе исследуются и разрабатываются алгоритмы предобработки изображений с целью нахождения информативных признаков для последующего предварительного совмещения ТВ и ВММ изображений. Разрабатываются методы визуализации результатов предварительного совмещения па индикаторах пилота ЛА с целью повышения его осведомленности о закабинной обстановке.

Цель диссертации состоит в исследовании и разработке алгоритмов предварительной обработки изображений, выявляющих и сокращающих объем характерных признаков, использование которых позволяет совместить исходное изображение и ВММ некореляционным методом, с последующим представлением вариантов визуализации результата совмещения пилоту.

Для достижения поставленной цели решаются следующие основные задачи:

- получение информативных признаков от ТВ изображения;

-разработка методики фильтрации неинформативных объектов и

признаков на изображении;

- получение информативных признаков от ракурса ВММ построенного по навигационным данным;

-разработка процедур автоматического выбора значений ключевых параметров алгоритмов;

-разработка алгоритмов предварительного совмещения ВММ и изображения;

-сокращение вычислительной сложности предобработки за счет использования вспомогательной информации от ВММ;

-разработка программного стенда для исследования эффективности различных алгоритмов предобработки и совмещения изображений и ВММ.

Научная новизна диссертации заключается в том, что в ней разработаны оригинальные алгоритмы, позволяющие решать задачи предобработки и совмещения изображений в режиме реального времени.

На защиту выносятся следующие новые научные результаты: -алгоритмы предварительной обработки изображений и ВММ, выявляющие на них информативные признаки;

-методы фильтрации малозначимых объектов на изображениях; -алгоритмы, позволяющие сократить объем информативных признаков для последующего совмещения по ним ТВ и ВММ кадров;

-алгоритмы, выполняющие предварительное совмещение изображений и ВММ;

-алгоритм фрагментации, позволяющий существенно снизить трудоемкость алгоритмов обработки изображений;

-способы предоставления результата совмещения на индикаторе пилота. Практическая ценность работы состоит в том, что в ней: -разработаны алгоритмы выявления характерных признаков на изображении и представления их в векторном описании;

-разработаны алгоритмы сокращения их количества с целыо ускорения работы процедур последующего совмещения;

- предложены некорреляционные алгоритмы предварительного совмещения изображений с ВММ, выполняемые в реальном времени;

-предложены способы представления результата совмещения на индикаторе пилота с целью повышения его информированности о закабинной обстановке;

-разработаны инструментальные средства для экспериментального исследования и отладки алгоритмов предобработки и предварительного совмещения изображений с ВММ.

Реализация и внедрение. Диссертация выполнена в Рязанском государственном радиотехническом университете в рамках НИР № 3-12, НИР № 29-12, НИР № 3-13, НИР № 4-13.

Результаты диссертационной работы и разработанный программный стенд внедрены в Научно-конструкторском центре видеокомпьютерных технологий (НКЦ ВКТ) ОАО «Государственный Рязанский приборный завод» в виде алгоритмов, реализующих технологии предварительной обработки и предварительного совмещения изображений в CVS системах J1A.

Результаты исследований и разработанный в процессе работы над кандидатской диссертацией программный стенд «Обработка и совмещение изображений в реальном времени» внедрены в учебный процесс кафедры электронных вычислительных машин Рязанского государственного радиотехнического университета и используются студентами-магистрантами направления 230100 «Информатика и вычислительная техника» в курсе «Методы и алгоритмы обработки и анализа изображений».

Апробация работы. Основные результаты диссертации докладывались

на:

-научно-технической конференции «Техническое зрение в системах управления - 2013» (Москва, ИКИ РА11, март 2013);

-17-й Всероссийской научно-технической конференции с международным участием «Компьютерные и информационные технологии в науке, инженерии и управлении» «КомТех-2013" (Таганрог, ЮФУ, май 2013);

-6-й Международной научно-технической конференции «Космонавтика. Радиоэлектроника. Геоинформатика» (Рязань, РГРТУ, октябрь 2013).

Публикации. По теме диссертации опубликовано 11 печатных работ, из них три - в журналах, входящих в перечень ВАК РФ. Результаты диссертации

отражены также в четырех отчетах о НИР, выполненных в Рязанском государственном радиотехническом университете.

Структура и объем работы. Диссертация состоит из введения, 4-х глав, заключения, списка используемых источников и приложения. Основной текст работы содержит 184 страницы, 109 рисунков и 2 таблицы. Список используемых источников включает 79 наименований. В приложении приведены документы о внедрении и практическом