автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Алгоритмы совмещения разнородных изображений в бортовых системах визуализации

На правах рукописи

ГЕРМАН Елена Владимировна

АЛГОРИТМЫ СОВМЕЩЕНИЯ РАЗНОРОДНЫХ ИЗОБРАЖЕНИЙ В БОРТОВЫХ СИСТЕМАХ ВИЗУАЛИЗАЦИИ

Специальность 05.13.01 - Системный анализ, управление и обработка информации (технические системы)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Рязань 2014

3 О ОКТ 2014

005554109

Работа выполнена на кафедре электронных вычислительных машин ФГБОУ ВПО «Рязанский государственный радиотехнический университет» (ФГБОУ ВПО «РГРТУ»).

Научный Никифоров Михаил Борисович

руководитель: кандидат технических наук, доцент, доцент каф. ЭВМ ФГБОУ ВПО «РГРТУ»

Официальные Визильтер Юрий Валентинович оппоненты: доктор физико-математических наук, старший

научный сотрудник, начальник подразделения ФГУП «Государственный научный центр "Государственный научно-исследовательский институт авиационных систем (ГосНИИАС)"», г. Москва

Цудиков Михаил Борисович

кандидат технических наук, доцент, доцент кафедры «Робототехника и автоматизация производства» ФГБОУ ВПО «Тульский государственный университет»

Ведущая ОАО «Научно-производственная корпорация

организация: "Космические системы мониторинга,

информационно-управляющие и

электромеханические комплексы" имени А.Г. Иосифьяна» (ОАО «Корпорация

"ВНИИЭМ"»), г. Москва

Защита диссертации состоится «17» декабря 2014 года в 12.00 часов на заседании диссертационного совета Д 212.211.01 в ФГБОУ ВПО «Рязанский государственный радиотехнический университет» по адресу:

390005, ул. Гагарина, д. 59/1.

С диссертацией можно ознакомиться в библиотеке ФГБОУ ВПО «Рязанский государственный радиотехнический университет» и на сайте http://www.rsreu.ru/. .

Автореферат разослан «Х-?» 2014 года.

Ученый секретарь диссертационного совета канд.техн.наук, доцент

В.Н. Пржегорлинский

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Проблема создания систем комбинированного видения в настоящее время занимает одно из ведущих мест в развитии как отечественной, так и зарубежной авионики. С ней связан ряд задач обработки изображений в системах технического зрения, включая сопоставление ориентиров, привязку изображений к ортофотопланам, обнаружение и сопровождение целей, построение панорам и др.

В последние десятилетия произошел значительный рост вычислительной мощности бортовых вычислительных машин летательных аппаратов (ЛА), благодаря чему в настоящее время появилась возможность решения на борту более трудоемких в вычислительном плане задач, в частности - задач обработки изображений в системах технического зрения.

Согласно исследованиям Всемирного фонда безопасности полетов, почти 75 % аварий летательных аппаратов происходит при заходе на посадку и посадке, причем 65 % всех летных происшествий происходит из-за ошибок, совершенных экипажем в условиях плохой видимости.

Изображения закабинного пространства различной технической природы формирования являются одним из наиболее доступных и широко используемых источников информации для пилотов, повышающих безопасность пилотирования и посадки, в связи с чем возникает необходимость решения класса задач, связанных с их обработкой и комбинированием.

Задача совмещения изображений разной природы, в частности полученных от сенсоров технического зрения (СТЗ) и построенных на основе виртуальной модели местности (ВММ), имеет ряд особенностей, не позволяющих применить для ее решения многие широко используемые методы. Во-первых, различна природа данных типов изображений. Во-вторых, различно количество и качество объектов на них. В-третьих, имеется координатное рассогласование по шести координатам (широта, высота, долгота, курс, тангаж, крен) из-за неточности определения текущего местоположения летательного аппарата . В-четвертых, задача должна решаться без участия оператора.

Решение задачи совмещения изображений зачастую имеет одинаковую для различных систем схему, включающую следующие шаги: -предварительная обработка изображений с целью выявления сопоставимых особенностей;

-нахождение характерных особенностей изображений; - сопоставление характерных особенностей изображений;

-нахождение координатного рассогласования между изображениями;

- компенсация расхождения.

Данный подход является достаточно общим и не учитывает специфику исходных изображений, поэтому требует модификации для каждой конкретной системы. Таким образом, задача совмещения изображений различной природы на сегодняшний день является актуальной. В данной работе решаются задачи предварительной обработки и совмещения разнородных изображений применительно к системам визуализации, что в значительной степени определяет насыщенность информации, получаемой экипажем ЛА.

Степень разработанности темы. Исследованию научных вопросов, связанных с совмещением изображений, таких как предварительная обработка, выделение характерных особенностей для сравнения и их сопоставление, посвящены работы многих известных отечественных ученых. Существенный вклад в развитие научных исследований в этой области внесли: Алпатов Б.А., Визильтер Ю.В., Желтов С.Ю., Еремеев В.В., Кузнецов А.Е., Злобин В.К., Сойфер В.А. и другие. Значительное внимание этой проблеме уделяют и зарубежные ученые: Понс Ж., Форсайт Д., Прэтт У., Фукунага К., Блейхуг Р., Гонсалес Р., Собель И., Хаф П., Харрис Ц. и другие.

Для данных изображений недостаточно проработаны вопросы автоматического выделения характерных особенностей, пригодных для совмещения. Также в литературе не находят достаточного освещения и вопросы дальнейшего сопоставления признаков изображений. Главным недостатком известных методов и алгоритмов является сложность их реализации на борту ЛА в реальном времени.

Цель диссертации состоит в разработке алгоритмов совмещения изображений подстилающей поверхности, полученных от сенсоров технического зрения летательного аппарата и виртуальной модели местности, построенной по цифровой карте местности, обеспечивающих повышение эффективности бортовых систем визуализации.

Для достижения поставленной цели необходимо решить следующие основные задачи:

провести анализ существующих методов и алгоритмов сопоставления изображений и выявить пригодные для достижения поставленной цели;

- разработать алгоритмы выделения границ пригодных для последующего совмещения значимых объектов подстилающей поверхности на изображениях, полученных от СТЗ и построенных по навигационным данным на основе ВММ;

- разработать алгоритм совмещения разнородных изображений по шести координатам, пригодный для применения в бортовых системах технического зрения;

- разработать специализированное алгоритмическое и программное обеспечение оценки различных алгоритмов предварительной обработки и совмещения изображений.

Научная новизна диссертации заключается в том, что в ней разработаны алгоритмы, позволяющие решать задачи выделения границ объектов подстилающей поверхности и совмещения изображений различной природы формирования в реальном времени на борту летательного аппарата.

На защиту выносятся следующие новые научные результаты:

- двухпроходной адаптивный алгоритм выделения границ объектов подстилающей поверхности на изображениях, основанный на модификации метода Отсу, отличающийся устойчивостью к изменениям яркости подстилающей поверхности в окрестности линии горизонта;

- модифицированный алгоритм разметки объектов на изображении и проверки границ, отличающийся высоким быстродействием;

- алгоритм совмещения изображений, пригодный для реализации в бортовых системах визуализации для совмещения по шести координатам в реальном времени;

- методика построения неравномерной сетки перебора, позволяющая уменьшить время перебора.

Практическая значимость работы подтверждается реализацией разработанных алгоритмов в программном ресурсе «Программный стенд "Совмещение изображений различных типов формирования"», зарегистрированном в Объединенном фонде электронных ресурсов «Наука и образование», что позволяет использовать программный ресурс автора в ходе работ заинтересованных предприятий. Также практическая значимость подтверждается внедрением результатов диссертационной работы в ФГБОУ ВПО «Рязанский государственный радиотехнический университет» (ФГБОУ ВПО «РГРТУ») и на ОАО «Государственный Рязанский приборный завод» (ОАО «ГРПЗ»), что позволяет использовать материалы работы в учебном процессе, а также способствует развитию отечественной авионики в части создания и совершенствования систем технического зрениялетательных аппаратов.

Методы исследования. Теоретические исследования в настоящей работе выполнены с использованием методов системного анализа, теории информации, теории компьютерной обработки изображений. Экспериментальные исследования выполнялись на реальных и

синтезированных сюжетах с использованием методов компьютерного моделирования и математической статистики.

Достоверность результатов и выводов диссертации подтверждается корректным использованием математического аппарата, результатами моделирования и экспериментальными исследованиями.

Реализация и внедрение. Результаты научных исследований, полученные при работе над диссертацией, использованы при выполнении научно-исследовательских работ, проводимых на базе Научно-образовательного центра «Специализированных ЭВМ» ФГБОУ ВПО «Рязанский государственный радиотехнический университет» и Научно-конструкторского центра видеокомпьютерных технологийОАО «Государственный Рязанский приборный завод».

Также результаты диссертационной работы и разработанный программный стенд внедрены:

- в Научно-конструкторском центре видеокомпьютерных технологий ОАО «ГРПЗ» в виде алгоритмов, реализующих технологии обработки и совмещения изображений в системах комбинированного видения ЛА;

- в учебном процессе кафедры электронных вычислительных машин ФГБОУ ВПО «РГРТУ» и используются студентами-магистрантами направления 09.01.00 «Информатика и вычислительная техника» в курсе «Методы и алгоритмы обработки и анализа изображений».

Апробация работы. Основные результаты диссертации докладывались на 8 научно-технических конференциях, в том числе 6-й международной научно-технической конференции «Космонавтика. Радиоэлектроника. Геоинформатика». Рязань, РГРТУ, 2013; 17-й Всероссийской научно-технической конференции с международным участием «Компьютерные и информационные технологии в науке, инженерии и управлении» «КомТех-2013», Таганрог, ЮФУ, 2013; 3-й и 4-й научно-технических конференциях «Техническое зрение в системах управления ». Москва, ИКИ РАН, 2012,2013.

Публикации. По теме диссертации опубликовано 12 печатных работ, из них три - в журналах, входящих в перечень ВАК РФ. Зарегистрирован программный ресурс в Объединенном фонде электронных ресурсов «Наука и образование» (ОФЭРНиО). Результаты диссертации отражены в отчетах о НИР, выполненных в ФГБОУ ВПО «РГРТУ» и ОАО «ГРПЗ».

Структура и объем работы. Диссертация состоит из введения, 4-х глав, заключения, списка использованных источников и приложения. Основной текст работы содержит 166 страниц, 62 рисунка и 7 таблиц. Список использованных источников включает 81 наименование.

ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении обоснована актуальность работы, определены степень разработанности темы, цели и основные задачи исследования, сформулирована научная новизна, обоснована практическая значимость работы и достоверность результатов, определены основные положения, выносимые на защиту, приведены данные о реализации, внедрении, апробации работы и ее кратке содержание.

В первой главе «Обзор и анализ методов совмещения изображений и выделения границ» рассмотрены особенности задачи совмещения разнородных изображений в системах технического зрения летательного аппарата, проведены сравнение и анализ основных подходов к совмещению изображений, выделению характерных объектов и скелетизации, выделена их специфика, проанализирована возможность их применения для решения поставленной задачи, сформулированы основные задачи исследования.

Существует ряд методов пространственного совмещения изображений, каждый из которых обладает теми или иными достоинствами и недостатками и требует различной предварительной обработки. Как показал анализ, большинство из данных методов не рассчитаны на работу в реальном времени в бортовых вычислительных комплексах. Однако часть известных методов может быть использована в составе алгоритмов, реализующих предварительную обработку с заданными требованиями изображений, полученных от СТЗ либо построенных на основе цифровой карты местности (ЦКМ), так как удовлетворяют всем необходимым критериям.

В настоящее время задача совмещения разнородных изображений успешно решается:

- при координатной привязке изображений в дистанционном зондировании Земли (ДЗЗ) по опорным точкам и с использованием векторных электронных карт;

- совмещении изображений в корреляционно-экстремальных навигационных системах (КЭНС).

Постановка данных задач существенно отличается от постановки задачи совмещения изображений разной природы в системах визуализации летательного аппарата. Так, различаются вид преобразований исходных изображений относительно друг друга (аффинные преобразования в задачах ДЗЗ, перспективные преобразования в задачах совмещения в бортовых системах визуализации), требования, предъявляемые к цифровым картам местности, количество используемых координат.

Установлено, что вопросы автоматического выделения характерных особенностей изображений подстилающей поверхности проработаны недостаточно. Также в литературе не находят достаточного освещения и вопросы дальнейшего сопоставления признаков разнородных изображений.

Вторая глава «Разработка алгоритма выделения границ объектов» посвящена разработке данного алгоритма на основе модернизации известных и наиболее применяемых алгоритмов.

При модернизации алгоритмов необходимо учесть следующие особенности изображений подстилающей поверхности, имеющих протяженные объекты:

1) наличие выраженных частей, соответствующих собственно подстилающей поверхности и небу,

2) наличие выраженных объектов (реки, сеть дорог и т.д.), отличающихся по яркости от подстилающей поверхности и занимающих большой процент ее площади.

Схема алгоритма выделения границ объектов на изображении, полученном от СТЗ, разработанная в данной диссертации, включает следующие этапы:

1) получение (копирование) исходного изображения;

2) получение бинарного изображения с выделенными объектами (двухпроходным адаптивным алгоритмом на основе модификации метода Отсу);

3) выделение границ на бинарном изображении;

4) разметка объектов на изображении;

5) проверка границ объектов.

Получете бинарного изображения с выделенными объектами будем проводить в два этапа:

1) выделение линии горизонта (разделение изображения на части, соответствующие подстилающей поверхности и фону),

2) выделение собственно объектовой информации на части изображения, составляющей подстилающую поверхность.

Предлагается алгоритм нахождения линии горизонта, разделяющей фоновую часть и часть, соответствующую подстилающей поверхности (первая и вторая части изображения), состоящий из следующих шагов:

1) предварительная обработка изображения: перевод в градации серого, контрастирование;

2) вычисление порога Отсу для всего изображения;

3) бинаризация по порогу: первая часть соответствует классу гистограммы, расположенному справа от порога;

4) выделение линии горизонта на бинаризованном изображении как границы между первой и второй частями изображения.

Для выполнения пороговой бинаризации будем использовать метод Отсу. Метод использует гистограмму распределения значений яркости пикселей растрового изображения. Строится гистограмма по значениям Pi-n/L, где L - общее количество пикселей на изображении, о, -количество пикселей с уровнем яркости /.

Диапазон яркостей делится на два класса с помощью порогового значения уровня яркости к, причем к — целое значение от 0 до 255. Каждому классу соответствуют относительные частоты а>о, a>j:

«о W = £?=i Ph «iCO = Vi = 1 - <u0(fc);

Mo(fe) = йи^; Ki(fc) =

Далее вычисляется максимальное значение оценки качества разделения изображения на две части:

ij(fc) = maxfe ШЩ,

\ общ /

где а^coocoiffjrfig)3 - межклассовая дисперсия, а сг026щ - общая дисперсия для всего изображения целиком.

Значение уровня яркости Т0, соответствующее значению к при максимальном т](к), принимается за пороговое.

Для выделения объектов на второй части изображения будем использовать адаптивный алгоритм, основанный на модифицированном методе Отсу. Модификация необходима из-за неравномерной яркости подстилающей поверхности в окрестности линии горизонта, связанной с влиянием воздушной перспективы. Предлагаемый алгоритм включает следующие шаги:

1) в качестве первоначального (опорного) порога примем порог Т0, рассчитанный при выполнении алгоритма нахождения линии горизонта;

2) для части изображения, занимаемой подстилающей поверхностью, рассчитаем порог Отсу Г/ и примем его в качестве второго порога;

3) по мере отдаления от линии горизонта искомый порог Т„ для пикселя изображения будет уменьшаться, пока не достигнет второго порога.

Величину порога примем равной:

Тп = То- horA,

где hör - расстояние до линии горизонта; А - параметр адаптации: A=kz * ( То - Ti) /у, где кг - коэффициент засвеченности, подбирается эмпирически, рекомендуемое значение - 3-^5; Т0, Tt - соответственно

первый и второй пороги Отсу, у - максимальное удаление от линии горизонта.

Для поиска границ после бинаризации предлагается использовать «скользящее окно» 3x3 пикселя. Яркость пикселя на изображении границ равна разности между текущим и минимальным значениями в данном окне:

УМ =f(s~x,t-y) - min b(x,y), для всех (х, у) е Dh и (s-x, t-y) е Df, где Dh и Df - области определения изображения/по примитиву Ь.

Пиксель принадлежит границе объекта только в том случае, если его яркость равна 1 и в окне 3x3 пикселя находится хотя бы 1 пиксель с яркостью 0.

Далее производится разметка объектов бинарного изображения, при этом на первом проходе по изображению вновь обнаруженный связный сегмент помечается либо новой оригинальной меткой - если он ни одним пикселем не касается какого-либо уже помеченного сегмента в предыдущей по ходу анализа строке, либо меткой той области, которой принадлежит граничащий с ним отрезок предыдущей строки. В некоторых реализациях данного метода для предотвращения коллизий составляется граф эквивалентности таких меток с последующим его разбором, однако данный подход нецелесообразен, так как предполагает два прохода по изображению. Для сокращения вычислительной сложности вместо анализа графа эквивалентности предлагается осуществить добавление всех пикселей области с меньшим количеством пикселей в область с большим количеством пикселей с последующим обнулением первой, что позволит обойтись одним проходом. Выполнение операции разметки объектов изображения с дальнейшей проверкой границ объектов позволяет добиться уменьшения конечного количества пикселей объектов на 10-20 % без потери качества выделения объектов.

Таким образом, разработан алгоритм выделения границ объектов на изображении подстилающей поверхности. Экспериментальные исследования показали, что точностные характеристики результата работы данного алгоритма (вероятность возникновения ошибок выделения первого и второго рода) превосходят аналогичные характеристики широко используемых методов Канни и Отсу на 11-29 %, временные - на 30-40 %.

Сделан вывод о том, что предложенный метод устойчиво выделяет контуры объектов при пиковом значении сигнал-шум обрабатываемого изображения не ниже 25 дБ. Кроме того, предложенный алгоритм показал большую устойчивость к аддитивным шумовым воздействиям, чем метод

Канни, которому для устойчивого выделения контуров требуется пиковое отношение сигнал-шум не менее 40 дБ.

В третьей главе «Разработка алгоритма совмещения изображений разной природы» рассмотрены совмещения разнородных изображений.

Рассогласование реального изображения с некоторым эталонным изображением, в частности с синтезированным изображением, может возникать из-за ошибок в определении координат ЛА, что приводит к геометрическим расхождениям совмещаемых изображений. К ошибкам измерения координат летательного аппарата относятся ошибки в измерении параметров широты х, долготы у, высоты /?, курса у/, тангажа О и крена у. Имеем текущие координаты JLA, заданные вектором координат v= (х, у, h, 0, у/, у), в составе которых тройка чисел (х, у, h) определяет положение ЛА в пространстве, а тройка (О, у/, у) - ориентацию ЛА относительно осей подвижной системы координат, связанной с ЛА.

При решении поставленной в данной работе задачи совмещения будем исходить из того, что:

1) имеется набор модельных изображений (МИ) местности, каждое из которых представлено матрицей размерностью NixN2:

мр = ик^ТЩхШ' где /- функция яркости, и соответствует изображению ЦКМ, построенному с определенным известным ракурсом Ri (x¡, y¡, h¡, &¡, y/¡, y¡), причем: x - Ах <x¡<x + Ах, У-Ау <y¡<}> + Ay, h-Ah<h¡<h+Ah, 0 - A0 <0¡<0 + АО, у/ - Ayj < y/¡ < у/ + Д у/, y-Ay<y¡<y + Д у.

Величины х, у, h, 0, у/, у являются непрерывными, таким образом, в шестимерном пространстве строится параллелепипед, в котором берется шестимерная дискретная сетка с узлами в точках (х„ y¡, h¡, 0¡, yj¡, y¡). Количество МИ равно: tf = |б4 * —* —*—

L Sx Sy Sh SQ Si¡i Sy У

где 8x, 5y, Sh, <59, Stp, Sy - минимальные шаги изменения соответствующих координат. Пусть на каждом изображении выделены границы характерных объектов ЦКМ, точки которых составляют конечные множества Xkp, р= 1: К, причем мощность данных множеств меньше или равна количеству точек (пикселей) МИ;

2) также имеется текущее изображение (ТИ) местности, представленное матрицей размерностью М;хМ>

т = [/]We-р^хТЩ, снятое с неизвестным ракурсом Rr (xr, уп hn 0Г. у/г, уг), причем:

х - A.v < < .г + Ах, у - Ау <уг <у + Лу, h - Ah< hr< h + Л/г, в-Ав<вг<в + Ав, {¡г - Ау/<\(/r<(j/ + Ai/r, У - А у < yr < у + А у.

Пусть на данном изображении выделен набор точек, описывающих характерные особенности данного изображения и составляющих конечное множество Хг, мощность которого меньше или равна количеству точек (пикселей) ТИ. Для каждой точки данного множества имеем ее координаты на снимке (хп у,.), где г - номер точки.

С учетом данных предпосылок предлагается использовать шестимерную сетку гипотез о соответствии модельного и текущего изображений. Для каждой гипотезы в узлах сетки вычисляется решающая функция /(х.у.к.в.тр.у) =\Хкр лЯг|, где оператор |*| обозначает количество пересечений множеств Хкр и Хг. Если размерности (количество отсчетов) МИ и ТИ совпадают (N)=M,, М2=Щ, то задача совмещения сводится к поиску такого ракурса R„ (х, у, И, в, % у), при котором значение решающей функции f, являющейся пересечением множеств Xt и Хк, максимально:

Rn = arg max?/(x,y,h, 9,ф,у).

Таким образом, решение задачи заключается в переборе всех возможных значений (х-„ /г„ б,, у^ для построения функции, значения которой будут соответствовать количеству пересечений множеств Xt и Хкр, и в дальнейшем поиске максимума данной функции. Произведен анализ влияния шага перебора различных координат на точность совмещения. В результате данного анализа определена степень влияния каждой из координат на результат совмещения.

С учетом предположения о том, что величины Х=Х(х), Y=Y(yl), H=H(hi), 0=0(0J, V = ipi), Г=Г(у^ являются независимыми дискретными случайными величинами с нормальным распределением, совокупность N = N(vl) будет шестимерной дискретной случайной величиной (шестимерным дискретным случайным вектором) с нормальным распределением, причем

_ лж лу дл де &ф йГ

<гх - у, 0-у - у, Oft = Од = т< = т ,СТГ = -f-

среднеквадратические отклонения, тх = х, ...,гПу = у - математические ожидания, матрица ковариации данных величин:

Т ~ ^k.ieUüxTJ^' снятое с неизвестным ракурсом Rr (xr, уг, hr, 0Г, у/п уг), причем:

х - Ах <хг<х + Ах, y-Ay<yr<y +Av, h-Ah< hr< h + Ah, 6-Ав<вг<Э + А6, tf - Ащ < i//r < щ + А% у - Ау < уг < у + А у.

Пусть на данном изображении выделен набор точек, описывающих характерные особенности данного изображения и составляющих конечное множество Хг, мощность которого меньше или равна количеству точек (пикселей) ТИ. Для каждой точки данного множества имеем ее координаты на снимке (хг, у,.), где г - номер точки.

С учетом данных предпосылок предлагается использовать шестимерную сетку гипотез о соответствии модельного и текущего изображений. Для каждой гипотезы в узлах сетки вычисляется решающая функция f(x,y,h,e,ip,Y') =\Хкр г\Хг\, где оператор |*| обозначает количество пересечений множеств Хкр и Хг. Если размерности (количество отсчетов) МИ и ТИ совпадают (Ni=M1, N2=M2), то задача совмещения сводится к поиску такого ракурса R„ (х, у, И, О, у/, у), при котором значение решающей функции f, являющейся пересечением множеств Xt и Хк, максимально:

Rn — arg maXy /(х,у, h, 8, ф, у).

Таким образом, решение задачи заключается в переборе всех возможных значений (х„ уь И, у/ь у^ для построения функции, значения которой будут соответствовать количеству пересечений множеств Xt и Хкр, и в дальнейшем поиске максимума данной функции. Произведен анализ влияния шага перебора различных координат на точность совмещения. В результате данного анализа определена степень влияния каждой из координат на результат совмещения.

С учетом предположения о том, что величины Х=Х(х), Y=Y(yj, H=H(hj, ö=9(Ot), Ч> = ^(ipt), Г=Г(у^ являются независимыми дискретными случайными величинами с нормальным распределением, совокупность N = N(vD будет шестимерной дискретной случайной величиной (шестимерным дискретным случайным вектором) с нормальным распределением, причем

Дх Ду Д h Д в М) Ду

= Т' ^ = Т< = - = Т' а* = Т 'ffr = з-среднеквадратические отклонения, mx =x,...,mY =у - математические ожидания, матрица ковариации данных величин:

о о о о о\ О ^ 0 0 0 0

о 0 о о о

0 о о9 ^ о о '

0 0 0 0 ^0 9

\о о о о о

В таком случае плотность нормального распределения будет равна

=-г-где 2 = 1Г1.

Таким образом, предлагается проверка гипотез по каждой из координат только в тех точках шестимерной сетки, сумма плотностей вероятностей которых приближенно равна плотности вероятности в точке математического ожидания для данной координаты. Использование данной неравномерной сетки позволяет сократить количество вычислений решающей функции в 2-4 раза по каждой из координат, соответственно общий порядок перебора уменьшится в 64-400 раз при малых значениях шага перебора (до 270 раз по времени перебора, что сравнимо с наименьшим возможным временем полного перебора) без потери точности совмещения.

В результате может быть сформулирован алгоритм совмещения изображений:

1) проводится предварительная обработка изображений от СТЗ для получения набора точек границ объектов подстилающей поверхности и линии горизонта;

2) для каждого возможного ракурса уь /г,-, у¡) производится построение маски границ объектов ВММ;

3) производится расчет значения решающей функции в точках шестимерной сетки;

4) производится нахождение максимума решающей функции. Соответствующее ему изображение ВММ и будет искомым изображением (см. рисунок).

Произведено сравнение алгоритмов совмещения изображений с известными алгоритмами, основанными на привязке изображений по опорным точкам либо сопоставления информационных признаков для радиолокационных изображений. В качестве меры расхождения совмещенных изображений примем

полуавтоматическом (с участием оператора) и автоматическом режимах. Программный стенд написан на языке программирования С++.

Для отработки и тестирования алгоритмов используется два типа тестовых наборов изображений от СТЗ, содержащих как моделированные, так и натурные изображения подстилающей поверхности. Общий объем генеральной совокупности натурных изображений составляет 1 800 ООО сюжетов. На её основе была получена выборка из 72 ООО сюжетов, для каждого из которых было построено 10 модельных изображений местности.

Экспериментальные исследования выполнялись на персональном компьютере с процессором Intel(R) Соге(ТМ) J7-3820 CPU© 3.60GHz. Среднее время выполнения алгоритма выделения границ объектов на изображении 600x800 пикселей, полученном от СТЗ, составило 0,125 с, среднее время выполнения алгоритма совмещения с использованием неравномерной сетки - 14 с. Показана возможность реализации данных алгоритмов на специализированном оборудовании, что приводит к реальному времени выполнения алгоритмов.

Эксперименты показали, что предложенный алгоритм выделения границ позволяет получить границы объектов, близость которых к эталонным достаточна для проведения операции совмещения (см. таблицу). В качестве параметров сравнения были выбраны следующие показатели:

- средний процент совпадающих точек эталонного и выделенного изображений Psm;

- средний процент точек эталонного контура, не принадлежащих окрестностям ни для одной точки выделенного контура Ptra;

- средний процент точек контура ЦКМ в окрестности полученного контура Р.*;

- средний процент точек контура ЦКМ, не принадлежащие окрестности выделенного контура Ргк.

Результаты экспериментов

Показатель Модельные изображения Натурные изображения

Psm 0,97 0,95

Prm 0,03 0,08

Psk 0,93 0,59

Ргк 0,05 0,19

Проведенные эксперименты показывают, что при настройках параметров перебора не менее шага карты и использовании равномерной сетки перебора значение Р* достигает 98 %, что при доверительной

вероятности (3 = 0,9 дает значение вероятности Р в интервале от р[ « »0,975 до рг ~ 0,987. При настройках параметров перебора не менее шага карты и использовании неравномерной сетки перебора значение Р' достигает 95 %, что при доверительной вероятности р = 0,9 дает значение вероятности Р в интервале от р{ ~ 0,939 до р| ~ 0,968.

Экспериментальные исследования показали эффективность разработанных алгоритмов для целей выделения объектов и совмещения изображений. Их использование позволяет повысить эффективность бортовых систем визуализации в части совмещения разнородных изображений.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

В представленной диссертационной работе проведены разработка и исследование алгоритмов предварительной обработки и совмещения изображений подстилающей поверхности, полученных от сенсоров технического зрения и ВММ, в том числе:

- проведен сравнительный обзор методов предварительной обработки и совмещения изображений, выявлены их недостатки, не позволяющие использовать данные методы для решения поставленной задачи;

- разработан алгоритм выделения границ объектов на изображении, полученном от сенсора ТЗ, точностные характеристики результата которого превосходят аналогичные характеристики широко используемых методов Канни и Отсу на 11 % - 29 %, временные - на 30 -40 %. Показано, что алгоритм является устойчивым к аддитивному гауссову шуму с пиковым отношением сигнал-шум более 25 дБ;

- предложен алгоритм совмещения изображений, полученных от сенсоров СТЗ и виртуальной модели местности, позволяющий провести совмещение по б координатам и пригодный для применения в бортовых системах визуализации;

- предложена методика построения неравномерной сетки перебора, позволяющая уменьшить время перебора до 270 раз без потери точности совмещения;

- разработано инструментальное средство - программный стенд, позволяющий выполнять исследования эффективности различных алгоритмов предобработки и совмещения изображений и ВММ;

- проведено экспериментальное исследование разработанных методик и алгоритмов, показана эффективность их работы, проведено сравнение с известными алгоритмами. Предложенный алгоритм показал приемлемую точность совмещения изображений (не превышающую 1

пикселя, соответственно 4 метра для метрических координат, 0,1° - для угловых) изображений в увеличенном координатном пространстве поиска;

- быстродействие предложенного алгоритма с использованием неравномерной сетки превосходит быстродействие сравниваемых алгоритмов в 2 и более раз, среднее время выполнения алгоритма составляет 14 с на компьютере с процессором Intel(R) Core(TM) J7-3820 CPU© 3.60GHz. Показана возможность реализации данных алгоритмов на специализированном оборудовании, что приводит к реальному времени выполнения алгоритмов.

Разработанное алгоритмическое и программное обеспечение и испытательный программный стенд внедрены на предприятии ОАО «Государственный Рязанский приборный завод», входящем в состав ОАО «Концерн "Радиоэлектронные технологии"» (г. Москва) и в учебном процесс кафедры ЭВМ Рязанского государственного радиотехнического университета.

СПИСОК ОСНОВНЫХ РАБОТ ПО ТЕМЕ ДИССЕРТАЦИИ

Работы, опубликованные в научных журналах, входящих в перечень ведущих рецензируемых журналов и изданий ВАК РФ

1. Герман Е.В., Логинов A.A., Никифоров М.Б. Классификация и исследование мер информативности изображений подстилающей поверхности в корреляционно-экстремальных навигационных системах // Вестник РГРТУ. № 2 (выпуск 44). Рязань, 2013. С. 35-40.

2. Герман Е.В., Муратов Е.Р., Никифоров М.Б. Два подхода к выделению и векторизации контурных линий объектов подстилающей поверхности // Известия ЮФУ. №5 (142). Таганрог: Изд-во ТТИ ЮФУ. Технические науки, 2013. С. 56-61.

3. Герман Е.В., Муратов Е.Р., Новиков А.И. Математическая модель формирования зоны неопределенности в задаче совмещения изображений // Вестник РГРТУ. № 4 (выпуск 46). Часть 2. Рязань, 2013. С. 10-16.

Работы, опубликованные в сборниках трудов научно-технических конференций и в межвузовских сборниках

4. Герман Е.В. Классификация и исследование мер информативности // Вычислительные машины, комплексы, системы и сети. Приложение к межвузовскому сборнику научных трудов «Методы и средства обработки и хранения информации»: тезисы докладов 58-й студенческой научно-технической конференции. Секция электронных вычислительных машин. 22 апреля 2011 г. Рязань: РГРТУ, 2011. С, 8-9.

5. Герман Е. В. Методика оценки безопасности системы комбинированного видения на ранних этапах проектирования // Научно-техническая конференция «Техническое зрение в системах управления-2012»: тезисы докладов. Россия. Москва. ИКИ РАН. 14-16 марта 2012 г. С. 9-10.

6. Герман Е. В. Методика оценки безопасности системы комбинированного видения на ранних этапах проектирования // Техническое зрение в системах управления-2012: сб. тр. науч.-техн. конф. Россия. Москва. ИШ РАН. 14-16 марта 2012 г. С. 40-47.

7. Герман Е.В. Определение зоны неопределенности точки пересечения осевой линии датчика летательного аппарата с подстилающей поверхностью // Вопросы образования и науки: теоретический и методический аспекты: сб. науч. тр. по материаламлам междунар. заоч. науч.-практ. конф. 30 апреля 2012 г.: Часть 6. Тамбов, 2012. С. 30-32.

8. Герман Е.В., Логинов A.A., Никифоров М.Б. Методы выделения характерных особенностей изображений подстилающей поверхности при некорреляционном совмещении // II Всероссийские Армандовские чтения [Электронный ресурс]: Радиофизические методы в дистанционном зондировании сред: материалы V Всероссийской научной конференции (Муром, 26-28 июня 2012 г.) Муром: Изд.-полиграфический центр МИ ВлГУ, 2012. 567 с. ISSN 2304-0297. С. 414-417.

9. Герман Е. В. Выделение яркостных протяженных объектов на изображении подстилающей поверхности // Научно-техническая конференция «Техническое зрение в системах управления-2013». Тезисы докладов. Россия. Москва. ИКИ РАН. 12-14 марта 2013 г. С. 35-37.

10. Герман Е.В., Муратов Е.Р., Логинов A.A., Никифоров М.Б. Сравнение подходов к векторизации границ объектов, выделенных на изображениях подстилающей поверхности в системах комбинированного видения // 6-я МНТК «Космонавтика. Радиоэлектроника. Геоинформатика»: тезисы докладов/ Рязан. гос. радиотехн.ун-т. Рязань,1-3 октября, 2013.С. 269-271

11. Герман Е.В. Методика корреляционного совмещения реальных и синтезированных изображений подстилающей поверхности в системе комбинированного видения летательных аппаратов // Московская молодежная научно-практическая конференция «Инновации в авиации и космонавтике — 2014». М.: ООО «Принт-салон», 2014. С. 19-20.

12. German E.V., Muratov E.R., Assessment of combining heterogeneous images // World & Science: Materials of the international research and practice conference. Brno, Czeh. Rep. Feb. 21,2014. Регистрация электронного ресурса

Герман Е.В. Свидетельство о регистрации электронного ресурса № 20029. Программный стенд «Совмещение изображений различных типов формирования». ОФЭРНиО, 02.04.2014 г.

Герман Елена Владимировна

АЛГОРИТМЫ СОВМЕЩЕНИЯ РАЗНОРОДНЫХ ИЗОБРАЖЕНИЙ В БОРТОВЫХ СИСТЕМАХ ВИЗУАЛИЗАЦИИ

Автореферат

диссертации на соискание ученой степени кандидата технических наук

Подписано в печать . 10.14. Формат бумаги 60x84 1/16. Бумага офсетная. Печать трафаретная.Усл. печ. л. 1,0. Тираж 100 экз. Заказ Рязанский государственный радиотехнический университет. 390005, г. Рязань, ул. Гагарина, 59/1. Редакционно-издательский центр РГРТУ.