автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Алгоритмы оценивания параметров объектов на изображениях для бортовых систем обработки информации и управления летательных аппаратов

На правах рукописи

ФЕЛЬДМАН Александр Борисович

АЛГОРИТМЫ ОЦЕНИВАНИЯ ПАРАМЕТРОВ ОБЪЕКТОВ НА ИЗОБРАЖЕНИЯХ ДЛЯ БОРТОВЫХ СИСТЕМ ОБРАБОТКИ ИНФОРМАЦИИ И УПРАВЛЕНИЯ ЛЕТАТЕЛЬНЫХ АППАРАТОВ

Специальность 05.13.01 - «Системный анализ, управление и обработка информации (технические системы)»

21 НОЯ 2013

Автореферат

диссертации на соискание учёной степени кандидата технических наук

Рязань 2013 0055-5»« —

005539012

Работа выполнена в ФГБОУ ВПО «Рязанский государственный радиотехнический университет».

Научный руководитель:

Алпатов Борис Алексеевич,

доктор технических наук, профессор,

ФГБОУ ВПО «РГРТУ», г. Рязань, зав. кафедрой

Официальные оппоненты

Ларкин Евгений Васильевич, доктор технических наук, профессор, ФГБОУ ВПО «ТулГУ», г. Тула, зав. кафедрой

Пресняков Александр Николаевич, кандидат технических наук, филиал «ГНПРКЦ «ЦСКБ-Прогресс» - «ОКБ «Спектр», г. Рязань, главный специалист

Ведущая организация:

ФГУП «ГосНИИАС», г. Москва

Зашита состоится 25 декабря 2013 г. в 14 часов на заседании диссертационного совета Д 212.211.01 в ФГБОУ ВПО «Рязанский государственный радиотехнический университет» по адресу:

390005, г. Рязань, ул. Гагарина, 59/Ї, ауд. 235.

С диссертацией можно ознакомиться в библиотеке ФГБОУ ВПО «Рязанский государственный радиотехнический университет».

Автореферат разослан 15 ноября 2013 г.

Ученый секретарь диссертационного совета кандидат технических наук, доцент

Пржегорлинский В.Н.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Жизнь и хозяйственную деятельность современного общества невозможно представить без повсеместного использования летательных аппаратов (ЛА). Развитие электроники и методов построения бортовых интеллектуальных систем обработки информации позволило существенно расширить область применения авиации далеко за пределы традиционной сферы, связанной с перевозкой людей и грузов. Современные летательные аппараты применяются в спасательно-поисковых задачах, при тушении пожаров, при проведении мониторинга удаленных объектов и аэрофотосъемки местности, при решении специальных и военных задач. Активно развиваются теория и практика применения беспилотной техники.

Усложнение конструкции летательных аппаратов и повышение сложности решаемых с их помощью задач приводят к тому, что все большая нагрузка в обеспечении полета возлагается на бортовые системы обработки информации управления. Для обеспечения надежного функционирования в условиях непредсказуемой и постоянно-изменяющейся обстановки бортовые системы должны анализировать всю имеющуюся информацию. Одним из наиболее важных источников информации являются изображения окружающей обстановки. Таким образом, можно выделить большой класс бортовых систем, связанных с получением, обработкой и анализом изображений и обеспечивающих информационную поддержку при решении целевых задач полета и задач управления летательным аппаратом. Примерами таких систем служат системы автоматического обнаружения и сопровождения объектов, системы улучшенного и синтезированного видения, системы определения положения и ориентации ЛА по визуальным ориентирам.

В процессе работы бортовые системы анализа изображений решают различные задачи. Так, на этапе движения в заданную точку маршрута должны решаться задачи навигации, обнаружения препятствий, высотных зданий. На этапе решения целевых задач полета необходимо обнаруживать и сопровождать объекты интереса. Вместе с тем можно выделить ряд особенностей, которые объединяют перечисленные задачи. Во-первых, это характер условий наблюдения: наличие ракурсных искажений вследствие движения носителя и поворотов видеодатчика; наличие яркост-ных искажений, вызванных неоднородностью оптической среды и погодными явлениями; наличие специфических искажений, связанных с заслонением объектов интереса. Во-вторых, в каждом из перечисленных выше классов систем конечная задача часто сводится к оценке параметров объектов интереса:

- в системах автосопрождения результаты оценки параметров используются для вычисления сигналов рассогласования и управления приводами поворотной платформы с видеодатчиком;

- в системах улучшенного и синтезированного видения по данным оценки параметров объектов осуществляется совмещение изображений закабинной обстановки с виртуальной моделью или картой местности, осуществляется информирование о препятствиях на пути полета;

- в системах навигации ЛА выполняется обнаружение и оценка параметров заданных опорных участков с известными географическими координатами.

Таким образом, задача оценки параметров объектов является общей для различных бортовых систем обработки изображений.

Достаточно общим также является сам подход к решению задачи оценки параметров объектов, который, как правило, включает следующие этапы:

- формирование и обновление эталонного описания объекта;

- измерение координат объекта в кадре;

- оценку и уточнение параметров объекта за счет процедур фильтрации и межкадровой обработки.

Существует ряд проблем, связанных с разработкой алгоритмов оценивания параметров объектов на изображениях для бортовых систем JIA. Во-первых, следует отметить проблему оценки параметров объектов, наблюдаемых на сложном неоднородном фоне в присутствии мешающих объектов, визуально схожих с объектами интереса. Существующие модели, методы и алгоритмы не всегда учитывают напрямую наличие перечисленных факторов, что может приводить к «перепутыванию» объекта интереса с посторонними объектами или фрагментами фона. Во-вторых, можно отметить проблему оценки параметров протяженных объектов в условиях ракурсных искажений для решения навигационных задач. В этом случае применение многих традиционных подходов либо затруднено в виду высокой неоднородности изображений объектов интереса, либо приводит к неоправданному увеличению вычислительной сложности.

Таким образом, имеют место актуальные проблемы, связанные с разработкой алгоритмов оценивания параметров объектов для бортовых систем ЛА, предназначенных для работы в сложных условиях наблюдения, которые характеризуются наличием ракурсных искажений, пространственно-неоднородного фона и посторонних мешающих объектов, а также большой протяженностью объектов интереса. Данная диссертационная работа призвана частично восполнить существующие пробелы.

Степень разработанности темы. Вопросам проектирования и применения алгоритмов оценки параметров объектов на изображениях уделено значительное внимание в отечественных и зарубежных литературных источниках. Существенный вклад в разработку теории и алгоритмов оценки параметров объектов применительно к бортовым системам обработки видеоизображений внесли такие ученые, как Б.А. Алпатов, П.А. Бакут, И.Н. Белоглазов, Ю.В. Визильтер, С.Ю. Желтов, B.C. Ки-ричук, A.A. Красовский, А.П. Трифонов, J.F. Doherty, Q.Pham, W. Pratt, R.E. Warren и др. Несмотря на большое количество работ по данной тематике, в результате её анализа не было выявлено публикаций, в которых в полной мере решаются и исследуются задача оценки параметров объектов при совокупном действии таких обстоятельств, как подвижный датчик видеоизображений, наличие неоднородного фона и присутствие мешающих объектов, визуально схожих с объектом интереса. Недостаточно проработаны вопросы оценки параметров протяженных объектов на основе современных методов выделения и распознавания точечных особенностей изображений.

Цель диссертационной работы заключается в повышении эффективности бортовых систем обработки информации и управления летательных аппаратов путем совершенствования математического и алгоритмического обеспечения, предназначенного для оценивания параметров объектов на изображениях. Практическая цель работы - разработка специализированного программного обеспечения и экспериментальное подтверждение эффективности разработанных алгоритмов.

Для достижения поставленной цели требуется решить следующие основные ачи:

- проанализировать существующие модели, методы и алгоритмы оценивания аметров объектов на видеоизображениях;

- разработать и усовершенствовать модели наблюдения объектов на изобра-ниях при осуществлении видеосъемки с борта летательного аппарата;

- разработать алгоритмы оценивания параметров объектов, наблюдаемых на днородном фоне в присутствии мешающих объектов и при движущемся датчике еоизображений, предназначенные для систем автоматического сопровождения;

- разработать алгоритмы оценивания параметров протяженных объектов на ове выделения и распознавания их точечных особенностей, предназначенные для тем улучшенного видения и систем навигации ЛА;

- разработать специализированное программное обеспечение, реализующее работанные алгоритмы, и выполнить с его помощью экспериментальные иссле-ания, направленные на оценку их эффективности.

Научная новизна диссертации. Введены модели наблюдения, которые учи-ают ракурсные искажения, неоднородный характер фона и наличие мешающих ектов. На их основе разработаны и теоретически обоснованы алгоритмы оцени-ия параметров объекта, которые позволяют снизить вероятность аномальных ибок по сравнению с алгоритмами, основанными на корреляционно-тремальном анализе. Разработана технология оценки параметров протяженных ектов на основе методов выделения и распознавания особых точек изображений, нология обеспечивает повышение эффективности локализации объекта в кадре ем введения дополнительных этапов, связанных с выбором наиболее стабильных бых точек и их использованием в процессе обновления эталонного описания екта.

Методы исследования. Теоретические исследования в настоящей работе вы-нены с использованием методов системного анализа, теории вероятности, теории тистических решений, теории компьютерной обработки изображений. Экспери-тальные исследования выполнялись на реальных и синтезированных видеосю-ах с использованием методов компьютерного моделирования и математической тистики.

Достоверность результатов и выводов диссертации подтверждается коррект-

использованием математического аппарата, результатами моделирования и периментальными исследованиями.

Реализация и внедрение. Результаты диссертационной работы были исполь-аны при выполнении 4-х научно-исследовательских работ, проводимых в Рязан-й государственном радиотехническом университете по заказу Министерства об-ования и науки РФ, и 2-х научно-исследовательских работ, проводимых в Рязан-м государственном радиотехническом университете по заказу ОАО «Государст-ный Рязанский приборный завод», что подтверждается актами внедрения. Полу-о свидетельство о регистрации программы для ЭВМ.

Апробация работы. Основные результаты работы докладывались на следую-х конференциях: - 13-й, 14-й и 16-й всероссийских научно-технических конфе-циях студентов, молодых учёных и специалистов «Новые информационные тех-огии в научных исследованиях и образовании» (Рязань - 2008, 2009, 2011);

- 11-й, 15-й международных научно-технических конференциях «Цифровая обработка сигналов и ее применения» (Москва - 2009, 2013); - 16-й и 17-й международных научно-технических конференциях «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций» (Рязань -2010, 2012); - Всеросс. конф. по результатам проектов, реализованных в рамках Федеральных целевых программ «Научные и научно-педагогические кадры инновационной России» на 2009-2013 годы, «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2012 годы» в области информационно-телекоммуникационных технологий (Москва - 2010); - 2-й и 4-й научно-технических конференциях «Техническое зрение в системах управления» (Москва -2011, 2013); — 7-й и 8-й всероссийских научно-технических конференциях «Перспективные системы и задачи управления» (Домбай - 2012, 2013); - 6-й международной научно-технической конференции «Космонавтика. Радиоэлектроника. Геоинформатика» (Рязань - 2013).

Публикации. По теме диссертации опубликовано 16 работ, в том числе 4 статьи в изданиях, рекомендованных ВАК. Результаты исследований отражены в 4 отчётах о НИР, прошедших государственную регистрацию.

Основные результаты, выносимые на защиту:

- модели наблюдения и алгоритм оценивания параметров объекта в видеопоследовательности для бортовой системы автоматического сопровождения, использующий оценку фонового изображения на этапе измерения координат объекта интереса;

— модифицированный алгоритм оценки параметров объекта для бортовой системы автоматического сопровождения, который с помощью выделения изображений подвижных мешающих объектов позволяет повысить вероятность правильной локализации объекта интереса по сравнению с корреляционно-экстремальным алгоритмом на 12% до 0,967 при работе в ТВ канале и на 22% до 0,970 при работе в ИК канале;

— модифицированный алгоритм оценки параметров объекта для мультиспек-тральной системы автоматического сопровождения, который с помощью совместной обработки изображений ТВ и ИК каналов обеспечивает повышение вероятности правильной локализации объекта на 6-8% до 0,978 по сравнению с известными корреляционно-экстремальными алгоритмами;

- технология оценивания параметров протяженных объектов для систем навигации ЛА, включающая алгоритм предварительной фильтрации списка особых точек, алгоритм фильтрации списка сопоставленных пар, алгоритм обновления эталонного описания объекта за счет выбора наиболее стабильных особых точек и алгоритм фильтрации списка особых точек по скорости движения.

Структура и объем диссертации. Диссертация состоит из введения, четырёх глав, заключения, списка литературы (146 источников), изложенных на 177 страницах, содержит 43 рисунка, 9 таблиц и 2 приложения.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность работы, определены цели и задачи исследования, сформулирована научная новизна, обоснована практическая значимость работы и приведена краткая структура диссертации.

Первая глава посвящена аналитическому обзору текущего состояния иссле-ований по проблеме оценивания параметров объектов в бортовых системах обра-отки видеоизображений

Современные технические средства, выполняющие сбор, обработку и анализ нформации от различных датчиков, установленных на борту летательного аппара-а, значительно облегчают работу пилотов и операторов полезной нагрузки. Среди акого рода устройств особое место занимают системы обработки видеоизображе-ий. Они являются весьма информативным источником сведений об окружающей бстановке, однако, для того, чтобы извлечь полезную информацию необходимо ешить проблему интерпретации поступающих изображений, которая в болыиинст-е случаев сводится к задачам обнаружения и оценки параметров наблюдаемых объ-ктов.

Обычно потребителя интересуют такие параметры объекта, как координаты, корость, габаритные размеры, ориентация. При решении задач измерения коорди-ат объекта, изображение которого состоит из множества точек, необходимо опре-елить, что подразумевается под координатами объекта. Здесь возможны различные олкования. Например, в качестве координат объекта можно рассматривать средне-рифметическое координат его точек. Во многих случаях достаточно удобно при-ть за координаты объекта координаты центра прямоугольного окна, в которое писывается изображение объекта. Размеры и ориентацию объекта также удобно вязать с размерами и ориентации такого окна. В дальнейшем, если это специально е оговорено, будем использовать именно такой способ задания параметров объекта.

Обзор источников позволяет заключить, что наиболее часто встречаются та-ие классы бортовых систем обработки видеоизображений, как системы автомати-еского обнаружения и сопровождения объектов, системы улучшенно-о/синтезированного видения, системы навигации ЛА по данным видеонаблюдений.

работе проанализированы задачи и принципы функционирования перечисленных истем. Анализ указывает на то, что многие задачи, решаемые в бортовых системах бработки видеоизображений, могут быть сведены к оценке параметров наблюдае-ых объектов.

Проблемы оценки параметров объектов на изображениях бортовой видео-ъемки имеют длительную историю. За это время успел сформироваться набор тре-ований, предъявляемых к конкретным алгоритмам. Основными требованиями яв-яются робастность, точность, отказоустойчивость и восстанавливаемость, незави-имость от оператора, вычислительная реализуемость.

Обзор источников позволяет выделить различные группы методов, которые гспользуют при синтезе алгоритмов оценивания параметров объектов на изображе-ши. Условно их можно разделить на корреляционно-экстремальные методы, мето-ы пространственной фильтрации, методы сегментации, методы выделения движу-ихся фрагментов, методы на основе статистической теории обнаружения и оцени-ания, структурные методы.

На практике при создании бортовых систем анализа видеоизображений полу-или широкое распространение алгоритмы оценки параметров объектов на основе орреляционно-экстремальных методов. Подобные алгоритмы основываются на вы-ислении меры сходства фрагментов наблюдаемого изображения с эталонным изо-ражением объекта. Корреляционно-экстремальные методы обладают высокой по-

мехоустойчивостью, однако не могут обеспечить эффективную работу в условиях когда на изображении присутствуют фоновые образования и посторонние мешаю щие объекты, визуально схожие с объектом интереса. Кроме того при работе с про тяженными объектами значительно возрастает объем требуемых вычислений. Д. оценки параметров протяженных объектов большой интерес представляют методь структурного анализа, согласно которым изображение представляется совокупно стью заданных структурных примитивов. В качестве таких примитивов наиболе часто используются особые точки изображений и прямые линии, соответствующи границам объектов. Однако, проведенный анализ показал, что структурные подходь в основном используются в задачах сопоставления статических изображений. Во просы, связанные с формированием структурного описания объекта и его обновле нием в последовательности изображений, практически не рассматриваются.

Исходя из проведенного анализа, сформулированы основные направления диссертационного исследования.

Первое направление связано с разработкой алгоритмов оценки параметров объектов для бортовых систем автоматического сопровождения при наблюдении объектов интереса в условиях ракурсных искажений, при наличии неоднородного фона и посторонних мешающих объектов. При этом предлагается использоват комплексный подход, в котором сочетаются преимущества методов корреляционно экстремального анализа и методов выделения движущихся фрагментов изображений.

Второе направление связано с разработкой алгоритмов оценки параметров протяженных объектов для систем навигации ЛА. Для этого предлагается воспользоваться методами выделения и распознавания особых точек изображений и ввести ряд дополнительных процедур, которые позволяют формировать и обновлять эталонное описание объекта, выбирать наиболее выраженные и стабильные особые точки и использовать результаты их сопоставления.

Вторая глава посвящена разработке алгоритмов оценивания параметров объектов на видеоизображениях для бортовых систем автоматического сопровождения.

Разработка алгоритма оценивания параметров объекта в видеопоследовательности с использованием оценки фонового изображения на этапе измерения координат. Используется аппликативная модель формирования наблюдаемого изображения:

l(iJ,n)=r(i,j,n)h(i,j,n)+(1 - г{1,],п))ё{},],п)+^,],п), (1)

где (/,у) - пространственные координаты; п - номер кадра; у, п) - нормальный белый шум с нулевым средним и дисперсией ст|(г',у',и); й(г,у',л) - изображение объекта интереса, заданное на множестве #„; g(i,у,п) - изображение фона, заданное на множестве С„; г(/, у, и) - бинарная маска, задающая точки объекта.

Для случая, связанного с наблюдением единственного объекта в условиях ракурсных искажений, модель (1) модифицируется и записывается в виде в виде: / (/, у,«) = г(Тн (/, у, ф(ГЛ (/, у, п),«) + (1 - г(Т, (/, ],п)))8{Тя (/, у>), я)+ £(/, у,«), (2)

где Гл(/,у',и), Тх(/,у,п) - определяют геометрические преобразования изображений

типа «сдвиг-поворот-масштабирование» и отличаются по параметру сдвига, соот-

ветственно задаваемому векторами >.(я) = ¡Л,(п\Лу(«)]', ц(и)= \цх{п\ //>(и)]'. Коэффициент изменения масштаба обозначается у(п), угол поворота - ер{п). Изображения объекта и фона неизвестны, но могут быть получены их прогнозируемые значения Л(ы,у,и) и g(k,m,n). С учетом этого модель наблюдения можно представить в виде

l{hj,n) = s(iJ,n,y(n),<p{n),\{n),ll(n))+${i,j,n), (3)

где .у(/, у, п,у(п), (р{п\ ц(«)) - сигнальная функция, которая зависит от прогнозируемых изображений и параметров геометрических преобразований.

Необходимо оценить вектор Х(и)=[я^(и)Д>,(и)|г, задающий координаты центра объекта. Используя критерий максимума апостериорной плотности, после логарифмирования приходим к необходимости минимизации целевой функции

(«))=№»)-Цп)У КхШп)~ Ц„))+ Ш-и("))Г К ЛпЫп)-иМ)+ + =!ТМ»)-~гЬ)У+ + Л- Шм)-Ки,п,АпЫпЫгЫп)))\ (4)

а7(п) <?ф(п) ('./М-,

где х(п), ц(п) - прогнозируемые значения, а Кх(п), Кц(л) - прогнозируемые ковариационные матрицы векторов ).(п) и ц(и) соответственно; у(п), а2г(п) - прогнозируемое значение и прогнозируемая дисперсия параметра у{п)\ <р{п), о>(и) - прогнозируемое значение и прогнозируемая дисперсия параметра <р{п).

Учитывая, что объект занимает малую часть кадра, целевую функцию (4) можно оптимизировать поэтапно. На первом этапе следует оценить и компенсировать геометрические преобразования фона. На втором этапе - измерить координаты объекта интереса. Первое слагаемое в (4) фактически «штрафует» отклонение измерений координат объекта от прогноза. Моделирование показывает, что в случае маневров объекта такой подход может приводить к ослаблению искомого экстремума. В связи с этим целесообразно исключить первое слагаемое (4) и ввести ограничения на зону поиска объекта.

После преобразований и ряда упрощений приходим к необходимости минимизации целевой функции

- £ {I{^y + u,Я'y+v,n)-g'(л'),+u,Я'y+v,nf,

где А (м,у,и) и g (м,у,п) - прогнозируемые изображения объекта и фона в системе координат наблюдаемого изображения, //* - множество точек, задающих конфигурацию объекта. Первое слагаемое в (5) характеризует сходство фрагмента наблюдаемого изображения, определяемого конфигурационным множеством Н'„ с центром в точке (я*,Я*), с прогнозируемым изображением объекта, второе - отличие этого фрагмента от соответствующего ему участка фона. Результат оптимизации це-

левой функции в зоне поиска IVп представляет собой измерение координат центра объекта в текущем кадре = а^ттУ^2)(л* ,А*).

Далее удобно перейти в систему координат, связанную с первым кадром видеопоследовательности. Это позволяет, при необходимости, производить уточнение и прогнозирование параметров объекта в неподвижной системе координат. Заключительные шаги алгоритма предполагают поточечную оценку и прогнозирование изображений объекта и фона в соответствии с алгоритмом линейного фильтра Кал-мана.

Таким образом, разработанный алгоритм сводится к следующим основным этапам:

1) Выполняется оценка и компенсация геометрических преобразований фона с использованием прогнозируемых изображений.

2) Осуществляется формирование зоны поиска объекта с учетом его прогнозируемого местоположения в текущем кадре.

3) Осуществляется измерение координат объекта интереса в текущем кадре путем минимизации в зоне поиска целевой функции (5).

3) Выполняется вычисление уточнённой оценки координат и составляющих скорости объекта в неподвижной системе координат на основе предшествующих измерений.

4) Осуществляется рекуррентная фильтрация и вычисление прогнозируемых значений яркостей точек объекта и фона в соответствии с алгоритмом линейного фильтра Капмана.

Разработка алгоритма оценки параметров объекта в присутствии посторонних мешающих объектов. Если на изображении присутствуют посторонние объекты, то необходимо минимизировать целевую функцию вида:

Уп(а*,А*. ) = X (/(а^ + и,А* + V,и)-Ъ\ (и,V,и))2 -- X (/(а^ + и, х'у + V,и)- /(я* + и, я; + V, и))2,

К / ( К где /(и,у,и)=ХгДи,у,и)й*(и,у,и) + 1-gl¡(u,v,n); Л|(/,у',и) - изображе-

к=1 V *=г

ние объекта интереса, Л*(/,у,и) и у, л), к = 2,К - изображения и маски мешающих объектов в системе координат наблюдаемого изображения. Однако, если в процессе сопровождения объекта интереса не выполняется обнаружение и оценка параметров посторонних объектов, то информационные параметры г/(/,_/, и) и прогнозируемые изображения Л» (/,7, л) являются неизвестными величинами.

Оценку информационного параметра б(/, у, л) = £Г1 ('>Л и) можно осущест-

к=2

вить в 2 этапа. На первом этапе следует выполнить классификацию всех точек наблюдаемого изображения в зоне поиска на точки принадлежащие объектам (вклю-

чая объект интереса) и точки фона, что позволит оценить параметр

~ к

Ь(/,у,п) = XV* 0',./,и)- втором этапе следует исключить точки объекта интереса

I

из множества точек, для которых й (/,_/, я) = 1. В качестве оценок изображений посторонних объектов Л*(/,у,л), к = 2, К можно в первом приближении использовать яркости точек наблюдаемого изображения /(/,у,и), для которых ¿>(/,у',и) = 1.

Для решения задачи классификации точек наблюдаемого изображения составляются статистические гипотезы. Гипотеза Ха: точка с координатами (/', у) принадлежит фону. Гипотеза Хх \ точка с координатами (/, у) принадлежит объекту. При этом считается, что яркости точек объектов распределены равномерно в интервале [Стш,Стах], который определяет диапазон яркостей наблюдаемого изображения. Решающее правило в соответствии с критерием Неймана-Пирсона записывается в виде:

\l{iJ,n)-g\iJ,n\>T'^a]{iJ,n) + a\(^,j,n) , (7)

где Т,' = \/ 21п[7"| (Стах - Ст|п)] ; Т, - пороговое значение, определяемое заданной вероятностью ложных тревог; а\(и,\',п) - прогнозируемая дисперсия яркостей точек фона.

Операция (7) представляет собой выделение движущихся относительно фона фрагментов изображения. Для улучшения результатов выделения предлагается использовать логическую фильтрацию на основе операций математической морфологии.

Для поиска сегмента (группы точек), порожденного объектом интереса, может использоваться следующий подход. Вычисляются геометрические параметры всех сегментов. Параметры каждого сегмента из списка, полученного в текущем кадре, сравниваются со сглаженными во времени значениями параметров, которые вычисляются для сегмента, принадлежащего объекту интереса, по результатам предыдущих наблюдений. В результате проверки формируется вектор отклонений по всем параметрам рассматриваемого сегмента. Полученные отклонения проверяются на выход за допустимые пределы, которые устанавливаются эмпирически и задаются перед началом работы. Из всех сегментов, прошедших проверку в качестве сегмента, соответствующего объекту интереса, выбирается сегмент, центр которого расположен ближе всего к точке прогнозируемого местоположения объекта (аДн^ЯДи)).

Таким образом, модифицированный алгоритм оценки параметров объекта включает следующие основные этапы:

1) Выполняется оценка и компенсация геометрических преобразований фона с использованием прогнозируемых изображений.

2) Осуществляется формирование зоны поиска объекта с учетом его прогнозируемого местоположения в текущем кадре.

3) Производится выделение изображений движущихся объектов в соответствии с правилом (7).

4) Посредством методов математической морфологии осуществляется логическая фильтрация результатов выделения, полученных на предыдущем шаге.

5) Посредством процедуры сопоставления сегментов осуществляется поиск сегмента, порожденного объектом интереса, и его исключение из результатов выделения движущихся фрагментов, полученных при выполнении пп.3-4. При этом с целью дальнейшего использования осуществляется сглаживание во времени параметров найденного сегмента.

6) Производится измерение координат объекта в текущем кадре путем минимизации в зоне поиска целевой функции (6), где в качестве оценок неизвестных изображений подвижных мешающих объектов используются соответствующие им фрагменты наблюдаемого изображения.

7) Выполняется вычисление уточнённой оценки координат и составляющих скорости объекта в неподвижной системе координат на основе предшествующих измерений.

8) Осуществляется рекуррентная фильтрация и вычисление прогнозируемых значений яркостей точек объекта и фона в соответствии с алгоритмом линейного фильтра Калмана.

Алгоритм оценивания параметров объекта для мультиспектральной системы автоматического сопровождения. В случае мультиспектральной системы автоматического сопровождения, которая включает телевизионный (ТВ) и тепловой (ИК) каналы наблюдения, целесообразно объединять результаты выделения мешающих объектов, полученные в отдельных каналах, в соответствии с правилом:

М'> ■/.«)= (8)

[0, иначе.

Здесь l'я(i,j,n),gm(i,j,n), т = 1,2 - соответственно наблюдаемое изо-

бражение, прогнозируемое изображение фона, приведенное к системе координат наблюдаемого изображения, и оценка дисперсии шума в т-м канале наблюдения; гт' - пороговое значение, выбираемое исходя из заданной вероятности ложных тревог. Исключение из изображения Ъи сегмента, порожденного объектом интереса, осуществляется с помощью рассмотренной ранее процедуры анализа сегментов. В результате получаем изображение Ьм.

Для измерения координат объекта в текущем кадре необходимо минимизировать целевую функцию

»=|(«.»)ся-(„) (а™ (я* + и, Л* + V, п))2 ' ^

/" (и, V, п) = Ъи (и, V, п)Г (и, у,/|) + (1 - Ьм (и, V, п))Ъ'т (а, V, п\ т = 1,2, где к\т(и,у,п) — прогнозируемое изображение объекта интереса в системе координат текущего кадра, - дисперсия шума в т-м спектральном канале.

Этап уточнения координат и вычисления оценки скорости движения объекта выполняется, как и в случае одноканальной системы наблюдения. Прогнозируемые изображения объекта и фона вычисляются независимо в каждом канале.

Таким образом, алгоритм оценки параметров объекта для мультиспектральной системы автоматического сопровождения включает все этапы рассмотренного выше алгоритма оценки параметров объекта, разработанного для случая, когда на изображениях присутствуют подвижные мешающие объекты. Основные отличия состоят в следующем:

1) выделение изображений подвижных объектов производится независимо в каждом канале с последующим объединением результатов;

2) измерение координат объекта интереса осуществляется за счет совместной обработки ТВ и ИК изображений посредством минимизации целевой функции (9).

Третья глава диссертации посвящена разработке алгоритмов для оценки параметров протяженных объектов в бортовых системах навигации ЛА по данным видеонаблюдения.

Технология оценивания параметров протяженных объектов для определения географических координат и курса ЛА схематично изображена на рис.1.

На этапе предполетной подготовки выполняется обработка изображений опорных участков местности (объектов) с известными географическими координа-ами. Обработка заключается в выделении особых точек изображений и вычислении ескрипторов каждой особой точки. Формируется база особых точек (БОТ). В процессе полета выполняется аналогичная обработка текущего изображения. По ре-ультатам сопоставления особых точек текущего изображения с точками из БОТ ринимается решение об обнаружении опорных участков и выполняется их локали-ация. Для исключения грубых ошибок и повышения точности локализации выпол-тется траекторная обработка на основе методов калмановской фильтрации. По анным обнаружения опорных участков с привлечением сведений об их географи-еских координатах осуществляется определение координат и курса ЛА.

Рис. 1 - Технология оценивания параметров протяженных объектов Для повышения эффективности обнаружения и локализации опорных участ-ов предлагается ряд дополнений.

Алгоритм предварительной фильтрации списка выделенных особых точек существляет отбор точек по величине отклика г] и расстоянию от центра зоны

оиска рассматриваемого опорного участка. Для каждой точки вычисляется величи-а Ч) где - гауссиан, центр которого помещается в центр зоны по-

иска. Список особых точек фильтруется в порядке убывания характеристики . Отбираются точки, для которых больше заданного порога.

Алгоритм фильтрации списка сопоставленных пар осуществляет фильтрацию сопоставленных точек по расстоянию между дескрипторами, по геометрическому расстоянию, разнице в масштабных уровнях и по отличию величины главного направления, вычисленного в каждой особой точке пары.

Оценку геометрических параметров объекта предложено осуществлять двумя способами. Первый способ основывается на использовании метода наименьших квадратов (МНК) для решения системы уравнений, связывающих пары сопоставленных точек. Алгоритм МНК дополнен рекуррентной процедурой выбора и исключения из рассмотрения уравнений с большими невязками. Второй способ основывается на использовании метода КАШЛС. Моделирование показывает, что первый способ более эффективен при малом числе особых точек (10-20 шт.). При большем числе особых точек более эффективен способ, основанный на использовании метода ЯАМБАС. В связи с этим предлагается выбирать наиболее подходящий способ в процессе работы.

В диссертации разработан алгоритм обновления эталонного описания объекта интереса. Для обновления описания объекта осуществляется выбор наиболее стабильных особых точек. Точка из эталонного описания называется стабильной, если она была сопоставлена с точкой наблюдаемого изображения не менее к раз в N последних кадрах. При оценке геометрических параметров объекта используются только стабильные особые точки. Если точка из эталонного описания была сопоставлена в текущем кадре с точкой наблюдаемого изображения, то осуществляется обновление ее параметров: координат, масштабного уровня, главного направления, дескриптора и величины отклика. Новые точки, попадающие в доверительную область, построенную с учетом габаритных размеров объекта, добавляются в эталонное описание, но не получают статус стабильных. Точки из эталонного описания, которые ни разу не были обнаружены в N последних кадрах, исключаются из дальнейшего рассмотрения.

Для исключения особых точек, которые принадлежат посторонним объектам и элементам фона предлагается использовать алгоритм фильтрации особых точек по скорости движения, который осуществляется в 2 этапа. На первом этапе с помощью фильтра скользящего среднего выполняется оценка проекций скорости стабильных особых точек:

—/ / \ -ч ,ч °х(п~Мр) о'х(п)-,,л -ч ,ч о'у(п-*Гг) _ и'у{п) —

и,(п) = их(и-1)--—- + и у(п) = иу[п-1)--У-—-+ ~—,1 = \,М ,

Ир Ир Мр N Р

где о'х(п\ о'у(п) - измерения проекций скорости /-й точки; Nр- размер фильтра. На втором этапе исключаются точки, для которых выполняется одной из условий:

(и) ■- Vх(«} > Ти ¡ЪуХп) или (л)■- Vу{п\ > Ти-¡Щп), где Vх{п),Уу{п) и Оух(«), йуу(п) - оценки проекций скорости центра объекта и их дисперсии соответственно; Ти - заданное пороговое значениею

Четвертая глава посвящена компьютерному моделированию и экспериментальным исследованиям алгоритмов оценивания параметров объектов для бортовых систем обработки информации и управления

При выполнении исследования эффективности алгоритмов оценки параметров объектов для бортовых систем автоматического сопровождения использовались 29 пар видеосюжетов ТВ и ИК диапазонов (рис.2). Длительность сюжетов варьировалась от 100 до 400 кадров, средняя длительность - 229 кадров. Объекты интереса -движущиеся по трассе автомобили, наблюдаемые на удалении от 1000 до 2000 м. Результаты исследований приведены в таблице 1. В таблице отражены следующие показатели эффективности:

1) частота правильной локализации (Рй);

— I — 2 ~2

2) среднеквадратическая ошибка оценивания координат (ст = ах + <ту );

3) средняя продолжительность непрерывного слежения (Мср) в кадрах;

4) отношение средней длительности периодов слежения N к длине видеосюжета (/сру,

5) вероятность срыва ( РА ).

В качестве базового алгоритма использовался корреляционно-экстремальный алгоритм с критериальной функцией типа «модуль разности».

Рис.2 - Пример оценки параметров объектов на тестовых видеосюжетах

Результаты исследований демонстрируют преимущество разработанных алгоритмов над алгоритмами на основе корреляционно-экстремальной обработки по критерию частоты правильной локализации на 12% при работе в ТВ канале, на 22% - при работе в ИК канале, на 6-8% при совместной обработке спектральных каналов.

Для исследования эффективности алгоритмов оценки параметров протяженных объектов и технологии определения координат и курса ЛА был разработан специализированный программный комплекс. Для моделирования изображений подстилающей поверхности комплекс осуществляет взаимодействие с авиасимулятором Р^ЫХЗеаг. Программный комплекс включает модуль подготовки снимков местности, модуль разметки опорных участков, модуль задания маршрутов, модуль выполнения экспериментальных полетов, модуль оценки результатов, интегрированные базы данных опорных участков и видеосюжетов.

I

Таблица 1 - Результаты исследования эффективности алгоритмов оценивания параметров объектов для бортовой системы автоматического сопровождения_

Ро пикселей N ср кадров /с, Рл

Базовый алгоритм (ТВ) 0,849 1,95 111,20 0,487 0,008

Базовый алгоритм (ИК) 0,750 1,91 82,22 0,399 0,010

Разработанный алгоритм (ТВ) 0,967 1,44 182.92 0,725 0,005

Разработанный алгоритм (ИК) 0,970 1,45 129.07 0,579 0,008

Алгоритм на основе выбора спектрального канала 0,895 1,82 131,97 0,592 0,007

Алгоритм совместной обработки каналов с разностным критерием сходства 0,909 1,58 157,95 0,666 0,005

Разработанный алгоритм (совместная обработка ТВ и ИК каналов) 0,978 1,31 189,90 0,779 0,005

Для выполнения моделирования использовались фотореалистичные текстуры, полученные на основе космических снимков г. Брест, Франция с разрешением примерно 3 м/пиксель (рис. 3). Всего использовалось 12 видеосюжетов общей длительностью более 2500 кадров, содержащих около 100 различных опорных участков. В качестве базовых способов выделения и описания особых точек использовались известные алгоритмы SIFT и ORB.

Результаты исследований представлены в таблице 2. Для оценки эффективности предложенного подхода использовались следующие показатели качества:

1) PD — частота правильной локализации опорных участков;

2) PFA — частота ложных тревог;

3) а - СКО ошибки локализации опорных участков на изображении;

4) <7ы — СКО ошибки определения истинного курса.

6) <jg — СКО ошибки позиционирования ЛА;

Рис.3 - Пример локализации опорных участков на тестовых видеосюжетах

Таблица 2 - Результаты экспериментального исследования алгоритмов оценки

Рг% а, пике. <тс,м

SIFT 97,5 2,5 3,0 0,16 3,58

ORB 88,6 2,2 3,8 0,25 3,90

Таким образом, результаты проведенных экспериментов свидетельствуют о работоспособности предложенных алгоритмов и целесообразности их применения в бортовых системах обработки информации и управления ЛА. С помощью разработанных алгоритмов за счет снижения частоты аномальных ошибок удается увеличить длительность непрерывного слежения за объектами на 30%-40%. При решении навигационных задач достигается точность, сопоставимая с точностью спутниковых навигационных систем.

В заключении сформулированы основные результаты диссертационной работы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ

1. Выполнен анализ особенностей функционирования основных классов бортовых систем обработки видеоизображений. Сформулированы требования, предъявляемые на практике к алгоритмам оценивания параметров объекта на видеоизображениях.

2. Введены модели наблюдения объекта на неоднородном фоне в условиях ракурсных искажений. На их основе разработан алгоритм оценивания параметров объектов для системы автоматического сопровождения, особенностью которого является использования оценки фонового изображения на этапе измерения координат объектов интереса. Для получения прогнозируемых оценок изображений объекта и фона применяются методы межкадровой фильтрации.

3. Рассмотрена проблема оценки параметров объекта в условиях присутствия на изображениях посторонних мешающих объектов, визуально схожих с объектом интереса. С целью преодоления данной проблемы разработана модификация алгоритм оценки параметров объектов, особенностью которой является введение этапа выделения изображений посторонних мешающих объектов и их учет на этапе измерения координат объекта интереса. Показано, что разработанный алгоритм позволяет повысить вероятность правильной локализации объекта интереса по сравнению с корреляционно-экстремальным алгоритмом на 12% до 0,967 при работе в ТВ канале и на 22% до 0,970 при работе в ИК канале.

4. Разработана модификация алгоритма оценки параметров объекта для мультиспектральной системы автоматического сопровождения. В соответствии с разработанным алгоритмом осуществляется выделение изображений посторонних объектов путем раздельной пороговой обработки в каждом спектральном канале с последующим объединением результатов выделения. Результаты выделения посторонних объектов в дальнейшем используются на этапе локализации объекта интереса, который осуществляется путем совместной обработки спектральных каналов. Показано, что разработанный алгоритм обеспечивает повышение вероятности правильной локализации объекта на 6-8% до 0,978 по сравнению с корреляционно-экстремальными алгоритмами, ориентированными на обработку мультиспектраль-ных изображений

5. Разработана технология оценки параметров протяженных объектов, основу которой составляют:

- алгоритм предварительной фильтрации списка особых точек;

- алгоритм фильтрации списка сопоставленных пар;

- алгоритм оценивания геометрических параметров объекта;

- алгоритм обновления эталонного описания объекта интереса на основе выбора наиболее стабильных особых точек;

- алгоритм фильтрации особых точек по скорости движения.

С помощью разработанной технологии решена задача оценки географических координат и курса ЛА по данным наблюдения опорных участков подстилающей поверхности.

6. Создано специализированное программное обеспечение, которое реализует разработанные алгоритмы. С его помощью выполнены эксперименты, которые подтверждают работоспособность предложенных подходов и целесообразность их использования при создании бортовых систем обработки информации и управления летательных аппаратов.

ОПУБЛИКОВАННЫЕ РАБОТЫ ПО ТЕМЕ ДИССЕРТАЦИИ

Публикации в журналах, рекомендованных ВАК

Г. Бабаян П.В., Фельдман А.Б. Определение местоположения объекта на изображении в системах технического зрения мобильных робототехнических комплексов // Вестник Рязанского государственного радиотехнического университета. - Рязань, 2011. - №4. - С. 19-25.

2. Алпатов Б.А., Бабаян П.В., Коблов Ю.С., Муравьев B.C., Стротов В.В., Фельдман А.Б. Автоматизация разработки и исследования алгоритмов машинного зрения для навигации беспилотных летательных аппаратов на базе специализированного программного комплекса // Известия ЮФУ. Технические науки. - 2012. - №3. - С.85-91.

3. Алпатов Б:А., Муравьев B.C., Стротов В В., Фельдман А.Б. Исследование эффективности применения алгоритмов анализа изображений в задаче навигации беспилотных летательных аппаратов /'/ Цифровая обработка сигналов - 2012. - №3 - С.29-34

4. Алпатов Б.А., Бабаян П.В., Смирнов С.А., Фельдман А.Б. Измерение координат объекта в последовательности мультиспектральных изображений // Цифровая обработка сигналов -2012-№4-С. 13-17.

Тезисы докладов на конференциях и семинарах

5. Фельдман А.Б. Распознавание движущихся объектов в последовательности космических изображений // Новые информационные технологии в научных исследованиях и в образовании: XIII Всероссийская научно-техническая колф. студентов, молодых учёных и специалистов. -Рязань, 2008.-С. 114-115.

6. Фельдман А.Б. Обнаружение и слежение за малоразмерными объектами, наблюдаемыми на фоне облачности // Новые информационные технологии в научных исследованиях и в образовании: XIV Всероссийская научно-техническая конф. студентов, молодых учёных и специалистов. - Рязань, 2009. - С.333-334

7. Алпатов Б.А., Бабаян П.В., Фельдман А.Б. Обнаружение и оценка параметров малоразмерных воздушных объектов в последовательности изображений // Цифровая обработка сигналов и ее применение: Труды Российского научно-технического общества радиотехники, электроники и связи им. А.С.Поноза. - М., 2010. Т. 1 - С. 117-120.

8. Фельдман А.Б. Алгоритм оценки параметров воздушных объектов в видеопоследовательностях на основе кратномасштабной обработки изображений // Проблемы передачи и обработки информации в сетях и системах телекоммуникаций: Материалы 16-й междунар. науч.-техн. конф. - Рязань, 2010. - С. 174-176.

9. Алпатов Б.А., Бабаян П.В., Балашов O.E., Муравьев B.C., Смирнов С.А., Степашкин А.И., Стротов В.В., Фельдман А.Б. Информационные технологии обработки и анализа

изображений в оптико-электронных системах обнаружения и сопровождения объектов // Сборник тезисов Всеросс. конф. по результатам проектов, реализованных в рамках Федеральных целевых программ «Научные и научно-педагогические кадры инновационной России» на 2009-2013 годы, «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2012 годы» в области информационно-телекоммуникационных технологий. - Москва, 2010. - С. 11-12.

10. Фельдман А.Б. Алгоритм измерения координат наземных объектов для бортовой системы технического зрения // Новые информационные технологии в научных исследованиях: XVI Всеросс. науч.-техн. конф. студентов, молодых учёных и специалистов. - Рязань, 2011. -С.320-322.

11. Алпатов Б.А., Фельдман А.Б. Измерение координат объекта в видеопоследовательности с использованием оценки фонового изображения // Техническое зрение в системах управления 2011 Сб. тр. науч. конф. - М., 2011. - С. 231 -236.

12. Фельдман А.Б. Применение технологий машинного зрения для навигации БПЛА // Проблемы передачи и обработки информации в сетях и системах телекоммуникаций: материалы 17-й междунар. науч.-техн. конф - Рязань, 2012. - С. 10-12.

13. Коблов Ю.С., Фельдман А.Б. Программный инструментарий для моделирования полетов БПЛА и имитации бортовой видеосъемки / Проблемы передачи и обработки информации в сетях и системах телекоммуникаций: материалы 17-й междунар. науч.-техн конф - Рязань, 2012. - С.7-8

14. Алпатов Б.А., Стротов В.В., Фельдман А.Б. Распознавание и прослеживание опорных участков местности для определения координат и курса беспилотного летательного аппарата // Доклады 15-й между нар. конф. DSPA-2013 том-2. - М., 2013_С.62-66.

15. Алпатов Б.А., Муравьев B.C., Фельдман А.Б. Сравнение эффективности алгоритмов SIFT и ORB в задаче определения координат и курса БПЛА // Материалы Восьмой Всероссийской научно-практической конференции "Перспективные системы и задачи управления». - Таганрог: Изд-во ТТИ ЮФУ, 2013. - с. 136-140.

16. Алпатов Б.А., Фельдман А.Б., Фоломеев П.В. Адаптация скорости обновления эталона в алгоритме измерения координат объекта на видеоизображениях // Космонавтика. Радиоэлектроника. Геоинформатика: 6-я Междунар. науч - техн. конф. - Рязань, 2013. - С.262-263

Свидетельство о государственной регистрации программы для ЭВМ №2012616699. Программа для проведения научных исследований в области создания алгоритмов определения координат и ориентации беспилотных летательных аппаратов по данным видеонаблюдения / правообладатель: федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Рязанский государственный радиотехнический университет» (RU); авторы: Алпатов Б А., Бабаян П.В., Фельдман А.Б., Стротов В В., Муравьёв B.C., Коблов Ю.С (RU) - заявлена 29.05.2012; зарегистрирована 26.07.2012

ФЕЛЬДМАН Александр Борисович АЛГОРИТМЫ ОЦЕНИВАНИЯ ПАРАМЕТРОВ ОБЪЕКТОВ НА ИЗОБРАЖЕНИЯХ ДЛЯ БОРТОВЫХ СИСТЕМ ОБРАБОТКИ ИНФОРМАЦИИ И УПРАВЛЕНИЯ ЛЕТАТЕЛЬНЫХ АППАРАТОВ

Автореферат

диссертации на соискание учёной степени кандидата технических наук

Подписано в печать 11.11.2013 Бумага офисная. Формат бумаги 60x84 1/16. Гарнитура Тайме.

Усл. печ. л. 1,0. Тираж 100 экз.

Печать офсетная. Заказ № Отпечатано в ООО «Интермета», 390000, Рязань, ул. Семинарская, д.З.

Федеральное государственное бюджетное образовательное учреждение

высшего профессионального образования «Рязанский государственный радиотехнический университет»

На правах рукописи

Фельдман Александр Борисович

АЛГОРИТМЫ ОЦЕНИВАНИЯ ПАРАМЕТРОВ ОБЪЕКТОВ НА ИЗОБРАЖЕНИЯХ ДЛЯ БОРТОВЫХ СИСТЕМ ОБРАБОТКИ ИНФОРМАЦИИ И УПРАВЛЕНИЯ ЛЕТАТЕЛЬНЫХ АППАРАТОВ

Специальность 05.13.01 - «Системный анализ, управление и обработка информации

(технические системы)»

Диссертация на соискание учёной степени кандидата технических наук

Научный руководитель — доктор технических наук, профессор Б.А. Алпатов

Рязань-2013

СОДЕРЖАНИЕ

Введение...............................................................................................................................4

1 Аналитический обзор текущего состояния исследований по проблеме оценивания параметров объектов в бортовых системах обработки видеоизображений................12

1.1 Вводные замечания..............................................................................................12

1.2 Обзор и анализ отдельных классов бортовых систем обработки видеоизображений.....................................................................................................15

1.3 Анализ требований к алгоритмам оценивания параметров объектов для применения в бортовых системах обработки информации и управления летательных аппаратов..............................................................................................22

1.4 Аналитический обзор методов и алгоритмов оценивания параметров объектов для бортовых систем обработки видеоизображений.............................26

1.5 Выводы.................................................................................................................43

2 Алгоритмы оценивания параметров объектов для бортовых систем автоматического сопровождения.....................................................................................46

2.1 Вводные замечания..............................................................................................46

2.2 Математические модели фоноцелевой обстановки.........................................47

2.3 Алгоритм оценки параметров объекта, расположенного на неоднородном фоне.............................................................................................................................54

2.4 Алгоритм оценки параметров объекта интереса в случае присутствия на изображениях посторонних движущихся объектов...............................................65

2.5 Замечания по практической реализации разработанного алгоритма.............74

2.6 Алгоритм оценки параметров объекта для мультиспектральной системы наблюдения.................................................................................................................88

3 Алгоритмы оценивания параметров протяженных объектов на основе выделения и распознавания точечных особенностей изображений для систем навигации летательных аппаратов......................................................................................................91

3.1 Вводные замечания..............................................................................................91

3.2 Технология и алгоритмы определения географических координат и курса летательного аппарата...............................................................................................94

3.3 Технология и алгоритмы оценивания параметров объектов на основе выделения и распознавания точечных особенностей..........................................102

4 Компьютерное моделирование и экспериментальные исследования алгоритмов оценки параметров объектов для бортовых систем обработки информации и управления летательных аппаратов...............................................................................122

4.1 Экспериментальные исследования алгоритмов оценивания параметров объектов для бортовых систем автоматического сопровождения.....................122

4.2 Программное обеспечение и экспериментальные исследования технологии и алгоритмов оценивания параметров объектов для определения координат и курса летательного аппарата по данным видеонаблюдения...............................130

Заключение.......................................................................................................................158

Список использованных источников.............................................................................160

Приложения......................................................................................................................176

Введение

Актуальность работы. Жизнь и хозяйственную деятельность современного общества невозможно представить без повсеместного использования летательных аппаратов (ЛА). Развитие электроники и методов построения бортовых интеллектуальных систем обработки информации позволило существенно расширить область применения авиации далеко за пределы традиционной сферы, связанной с перевозкой людей и грузов. Современные летательные аппараты применяются в спасательно-поисковых задачах, при тушении пожаров, при проведении мониторинга удаленных объектов и аэрофотосъемки местности, при решении специальных и военных задач. Активно развиваются теория и практика применения беспилотной техники.

Усложнение конструкции летательных аппаратов и повышение сложности решаемых с их помощью задач приводят к тому, что все большая нагрузка в обеспечении полета возлагается на бортовые системы обработки информации управления. Для обеспечения надежного функционирования в условиях непредсказуемой и постоянно-изменяющейся обстановки бортовые системы должны анализировать всю имеющуюся информацию. Одним из наиболее важных источников информации являются изображения окружающей обстановки. Таким образом, можно выделить большой класс бортовых систем, связанных с получением, обработкой и анализом изображений и обеспечивающих информационную поддержку при решении целевых задач полета и задач управления летательным аппаратом. Примерами таких систем служат системы автоматического обнаружения и сопровождения объектов, системы улучшенного и синтезированного видения, системы определения положения и ориентации ЛА по визуальным ориентирам.

В процессе работы бортовые системы анализа изображений решают различные задачи. Так, на этапе движения в заданную точку маршрута должны решаться задачи навигации, обнаружения препятствий, высотных зданий. На этапе решения целевых задач полета необходимо обнаруживать и сопровождать объекты интереса. Вместе с тем можно выделить ряд особенностей, которые объединяют перечисленные задачи. Во-первых, это характер условий наблюдения: наличие ракурсных искажений вследствие движения носителя и поворотов видеодатчика; наличие яркост-

ных искажений, вызванных неоднородностью оптической среды и погодными явлениями; наличие специфических искажений, связанных с заслонением объектов интереса. Во-вторых, в каждом из перечисленных выше классов систем конечная задача часто сводится к оценке параметров объектов интереса:

- в системах автосопрождения результаты оценки параметров используются для вычисления сигналов рассогласования и управления приводами поворотной платформы;

- в системах улучшенного и синтезированного видения по данным оценки параметров объектов осуществляется совмещение изображений закабинной обстановки с виртуальной моделью или картой местности, осуществляется информирование о препятствиях на пути полета;

- в системах навигации ЛА выполняется обнаружение и оценка параметров заданных опорных участков с известными географическими координатами.

Таким образом, задача оценки параметров объектов является общей для различных бортовых систем обработки изображений.

Достаточно общим также является сам подход к решению задачи оценки параметров объектов, который, как правило, включает следующие этапы:

- формирование и обновление эталонного описания объекта;

- измерение координат объекта в кадре;

- оценку и уточнение параметров объекта за счет процедур фильтрации и межкадровой обработки.

Существует ряд проблем, связанных с разработкой алгоритмов оценивания параметров объектов на изображениях для бортовых систем ЛА. Во-первых, следует отметить проблему оценки параметров объектов, наблюдаемых на сложном неоднородном фоне в присутствии мешающих объектов, визуально схожих с объектами интереса. Существующие модели, методы и алгоритмы не всегда учитывают напрямую наличие перечисленных факторов, что может приводить к «перепутыванию» объекта интереса с посторонними объектами или фрагментами фона. Во-вторых, можно отметить проблему оценки параметров протяженных объектов в условиях ракурсных искажений для решения навигационных задач. В этом случае применение многих традиционных подходов либо затруднено в виду высокой неоднородно-

сти изображений объектов интереса, либо приводит к неоправданному увеличению вычислительной сложности.

Таким образом, имеют место актуальные проблемы, связанные с разработкой алгоритмов оценивания параметров объектов для бортовых систем JIA, предназначенных для работы в сложных условиях наблюдения, которые характеризуются наличием ракурсных искажений, пространственно-неоднородного фона и посторонних мешающих объектов, а также большой протяженностью объектов интереса. Данная диссертационная работа призвана частично восполнить существующие пробелы.

Степень проработанности темы. Вопросам проектирования и применения алгоритмов оценки параметров объектов на изображениях уделено значительное внимание в отечественных и зарубежных литературных источниках. Существенный вклад в разработку теории и алгоритмов оценки параметров объектов применительно к бортовым системам обработки видеоизображений внесли такие ученые, как Б.А. Алпатов, П.А. Бакут, И.Н. Белоглазов, Ю.В. Визильтер, С.Ю. Желтов, B.C. Киричук, A.A. Красовский, А.П. Трифонов, J.F. Doherty, Q.Pham, W. Pratt, R.E. Warren и др. Несмотря на большое количество работ по данной тематике, в результате её анализа не было выявлено публикаций, в которых в полной мере решаются и исследуются задача оценки параметров объектов при совокупном действии таких обстоятельств, как подвижный датчик видеоизображений, наличие неоднородного фона и присутствие мешающих объектов, визуально схожих с объектом интереса. Недостаточно проработаны вопросы оценки параметров протяженных объектов на основе современных методов выделения и распознавания точечных особенностей изображений.

Цель диссертационной работы заключается в повышении эффективности бортовых систем обработки информации и управления летательных аппаратов путем совершенствования математического и алгоритмического обеспечения, предназначенного для оценивания параметров объектов на изображениях. Практическая цель работы - разработка специализированного программного обеспечения и экспериментальное подтверждение эффективности разработанных алгоритмов.

Для достижения поставленной цели требуется решить следующие основные задачи:

- проанализировать существующие модели, методы и алгоритмы оценивания параметров объектов на видеоизображениях;

- разработать и усовершенствовать модели наблюдения объектов на изображениях при осуществлении видеосъемки с борта летательного аппарата;

- разработать алгоритмы оценивания параметров объектов на неоднородном фоне, в присутствии мешающих объектов, при движущемся датчике видеоизображений, предназначенные для систем автоматического сопровождения;

- разработать алгоритмы оценивания параметров протяженных объектов на основе выделения и распознавания их точечных особенностей, предназначенные для систем улучшенного и синтезированного видения и систем навигации ЛА;

- разработать специализированное программное обеспечение, реализующее разработанные алгоритмы, и выполнить с его помощью экспериментальные исследования, направленные на оценку их эффективности.

Научная новизна. Введены модели наблюдения, которые учитывают ракурсные искажения, неоднородный характер фона и наличие мешающих объектов. На их основе разработаны и теоретически обоснованы алгоритмы оценивания параметров объекта, которые позволяют снизить вероятность аномальных ошибок по сравнению с алгоритмами, основанными на корреляционно-экстремальном анализе. Разработана технология оценки параметров протяженных объектов на основе методов выделения и распознавания особых точек изображений. Технология обеспечивает повышение эффективности локализации объекта в кадре путем введения дополнительных этапов, связанных с выбором наиболее стабильных особых точек и их использованием в процессе обновления эталонного описания объекта.

Конкретно на защиту выносятся:

- модели наблюдения и алгоритм оценивания параметров объекта в видеопоследовательности для бортовой системы автоматического сопровождения, использующий оценку фонового изображения на этапе измерения координат объекта интереса;

- модифицированный алгоритм оценки параметров объекта для бортовой системы автоматического сопровождения, который с помощью выделения изображений подвижных мешающих объектов позволяет повысить вероятность правильной лока-

7

лизации объекта интереса по сравнению с корреляционно-экстремальным алгоритмом на 12% до 0,967 при работе в ТВ канале и на 22% до 0,970 при работе в ИК канале;

- модифицированный алгоритм оценки параметров объекта для мультиспек-тральной системы автоматического сопровождения, который с помощью совместной обработки изображений ТВ и ИК каналов обеспечивает повышение вероятности правильной локализации объекта на 6-8% до 0,978 по сравнению с известными корреляционно-экстремальными алгоритмами;

- технология оценивания параметров протяженных объектов для систем навигации JTA, включающая алгоритм предварительной фильтрации списка особых точек, алгоритм фильтрации списка сопоставленных пар, алгоритм обновления эталонного описания объекта за счет выбора наиболее стабильных особых точек и алгоритм фильтрации списка особых точек по скорости движения.

Практическая ценность работы заключается в следующем. Разработаны алгоритмы оценки параметров объектов, которые обеспечивают повышение эффективности применения бортовых систем автоматического сопровождения объектов при сложных условиях наблюдения, связанных с наличием неоднородного фона и мешающих объектов. Разработаны технологии определения координат и курса летательного аппарата по данным видеонаблюдения на основе оценки параметров объектов подстилающей поверхности. Выполнена оценка возможностей применения и сравнение методов SIFT и ORB, предназначенных для выделения и распознавания особых точек изображений, в задачах, связанных с навигацией JIA. Разработано программное обеспечение для автоматизации экспериментальных исследований при создании алгоритмов анализа видеоизображений для навигации JIA.

Методы исследования. Теоретические исследования в настоящей работе выполнены с использованием методов системного анализа, теории вероятности, теории статистических решений, теории компьютерной обработки изображений.

Экспериментальные исследования выполнялись на реальных и синтезированных видеосюжетах с использованием методов компьютерного моделирования и математической статистики.

Реализация и внедрение. Разработанные в диссертации методики были использованы при выполнении научно-исследовательских работ, проводимых в Рязанском государственном радиотехническом университете по заказу Министерства образования и науки РФ (НИР 19-12Г, НИР 23-11, НИР 45-11, НИР 39-10), при выполнении работ, проводимых в Рязанском государственном радиотехническом университете по заказу ОАО «Государственный рязанский приборный завод» (НИР 1-12, НИР 1-13).

Апробация работы. Основные результаты работы докладывались на следующих конференциях:

- 13-й, 14-й и 16-й всероссийских научно-технических конференциях студентов, молодых учёных и специалистов «Новые информационные технологии в научных исследованиях и образовании» (Рязань - 2008, 2009, 2011);

- 11-й, 15-й международных научно-технических конференциях «Цифровая обработка сигналов и ее применения» (Москва - 2009, 2013);

- 16-й и 17-й международных научно-технических конференциях «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций» (Рязань -2010,2012);

- Всеросс. конф. по результатам проектов, реализованных в рамках Федеральных целевых программ «Научные и научно-педагогические кадры инновационной России» на 2009-2013 годы, «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2012 годы» в области информационно-телекоммуникационных технологий (Москва -2010).

- 2-й и 4-й научно-технических конференциях «Техническое зрение в системах управления» (Москва - 2011, 2013)

- 7-й и 8-й всероссийских научно-технических конференциях «Перспективные системы и задачи управления» (Домбай - 2012, 2013)

- 6-й международной научно-технической конференции «Космонавтика. Радиоэлектроника. Геоинформатика» (Рязань - 2013)

Выступление на 13-й всероссийской конференции «Новые информационные технологии в научных исследованиях и образовании» (2008) отмечено дипломом за лучший доклад.

Публикации.

По теме диссертации опубликовано 16 работ, в том числе 4 статьи в изданиях, рекомендованных ВАК. Результаты исследований отражены в 4 отчётах о НИР, прошедших государс