автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Улучшение качества тепловизионных изображений на основе суперразрешения и анализа ситуаций

УЛУЧШЕНИЕ КАЧЕСТВА ТЕПЛОВИЗИОННЫХ ИЗОБРАЖЕНИЙ НА ОСНОВЕ СУПЕРРАЗРЕШЕНИЯ И АНАЛИЗА СИТУАЦИЙ

Специальность 05.13.01 Системный анализ, управление и обработка информации (информатика, управление и вычислительная техника)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Москва 2011 г

005005285

Работа выполнена в Московском авиационном институте (национальном исследовательском университете), МАИ.

Научный руководитель: кандидат технических наук, профессор

Ким Николай Владимирович

Официальные оппоненты: доктор физико-математических наук, профессор

Соколов Сергей Михайлович

кандидат физико-математических наук, доцент Протасов Владислав Иванович

Ведущая организация: «Корпорация «Фазотрон», г.Москва

Защита состоится «19» декабря 2011 г. в 13:00 часов на заседании диссертационного совета Д 212.125.11 в Московском авиационном институте (государственном техническом университете), МАИ по адресу: 125993, Москва, А-80, ГСП-3, Волоколамское шоссе, дом 4.

Отзывы в двух экземплярах, заверенные гербовой печатью, просьба высылать по адресу института: 125993, Москва, А-80, ГСП-3, Волоколамское шоссе, д. 4.

Автореферат разослан »

Ученый секретарь диссертационного совета, кандидат технических наук, доцент__^ /_Ю.В. Горбачев

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность. Одной из основных характеристик оптико-электронных тепловизионных систем наблюдения (ТПВ СН), определяющих эффективность решения целевых задач оператором, является качество сформированного изображения. При этом качество изображения в значительной мере связно с его разрешением, а также точностью отображения границ (краев) объектов интереса. В последние годы применение «смотрящих» фокально - плоскостных двумерных многоэлементных матриц фотоприемников позволило существенно увеличить качество изображений ТВП СН. Несмотря на это, разрешение таких приемников значительно ниже аналогичных по классу телевизионных приемников. В большей степени это обусловлено современными технологиями производства. Кроме этого, на тепловизионные приемники высокого разрешения накладываются жесткие таможенные ограничения, а приемники с разрешением выше 1280x768 серийно не выпускаются.

Увеличение разрешения тепловизионных систем наблюдения возможно осуществлять аппаратными, программными и аппаратно-программными методами. Развитие современной микроэлектроники позволяет успешно применять программные методы увеличения разрешения. Среди программных методов можно выделить методы, использующие один кадр, и методы, использующие последовательность кадров. В литературе методы, использующие последовательность кадров часто называются методами суперразрешения. Методы суперразрешения используют серию кадров низкого разрешения для получения кадра (кадров) высокого разрешения. Увеличенное таким методом изображение содержит в себе больше деталей, и обладает большей информативностью, чем каждый кадр по отдельности. В то же время, при увеличении разрешения тепловизионных изображений возможно усиление краевого эффекта - размывания границ наблюдаемых объектов, в частности искусственных (зданий, сооружений). Для уменьшения влияния краевого эффекта предлагается обрабатывать эти границы специальным фильтром. При этом обрабатываемые области предварительно локализуются с помощью анализа наблюдаемой ситуации, реализуемого вычислителем системы наблюдения.

Цифровой обработке изображений в отечественной и зарубежной литературе посвящено большое число работ. Тем не менее, в настоящее время в тепловизионных системах наблюдения для улучшения качества не применяются методы увеличения разрешения, основанные на методах суперразрешения и анализе наблюдаемой ситуации. Восстановление этих границ на основе традиционного использования, например, высокочастотных фильтров, не всегда позволяет получать желаемые результаты, либо вообще может привести к искажению формы полученных линий по отношению к истинным (идеальным) границам изображений объектов. В связи с этим исследование и разработка методов улучшения качества тепловизионных

изображений на основе суперразрешения и анализа ситуаций является актуальной задачей.

Целью диссертационной работы является улучшение качества предъявляемых оператору тепловизионных изображений за счет повышения разрешения методами суперразрешения и точности отображения краев искусственных объектов на основе использования методов анализа ситуаций.

Для достижения сформулированной цели необходимо решить следующие основные задачи:

• исследовать влияние разрешения приемника ТПВ на вероятности обнаружения/распознавания целей в зависимости от их дальности;

• провести анализ известных алгоритмов увеличения разрешения изображений и выделить наиболее эффективные из них;

• реализовать методы быстрого суперразрешения и определить особенности применения методов суперразрешения к тепловизионным изображениям;

• разработать метод компенсации краевых эффектов на тепловизионных изображениях высокого разрешения на основе анализа ситуации;

• разработать комплексный алгоритм улучшения качества тепловизионных изображений;

• провести исследование разработанного комплексного алгоритма и предложить критерий оценки качества восстановленного изображения;

• провести исследования, подтверждающие работоспособность и эффективность предлагаемых решений;

Методы исследования. В работе использованы методы математического моделирования, цифровой обработки сигналов, теории вероятностей, математической статистики, компьютерного зрения. Моделирование проводилось в среде Microsoft Visual Studio, Matlab, Borland Delphi. Для реализации алгоритмов использовались языки С и С++ в среде программирования Texas Instruments Code Composer Studio для DSP-процессоров серии TMS320C64xx.

Научная новизна работы состоит в следующем:

1. Определены особенности применения методов суперразрешения при обработке тепловизионных изображений. Показана зависимость эффективности методов суперразрешения от числа используемых кадров в серии и величины фактора заполнения матрицы приемника.

2. Предложен критерий оценки качества изображения, основанный на использовании среднеквадратического отклонения производной яркости.

3. Разработан метод обнаружения краев сегментируемых областей на тепловизионном изображении искусственных сооружений, основанный на анализе ситуаций, в том числе с использованием цифровых карт местности.

4. Разработана методика улучшения качества тепловизионных изображений, содержащих искусственные сооружения.

5. Предложен и реализован комплексный алгоритм улучшения качества тепловизионных изображений.

Практическая ценность работы заключается в том, что разработанный и реализованный алгоритм позволяет программными средствами существенно (до 4-х раз) увеличивать разрешение и до 10 раз уменьшать СКО координаты максимума производной яркости вдоль границы искусственных сооружений. Это повышает эффективность работы оператора-наблюдателя системы наблюдения в задачах обнаружения, распознавания, слежения и т.п. Также возможно использование результатов работы при модернизации серийно выпускаемых тепловизионных систем наблюдения, в том числе, в многоканальных системах с комплексированием изображений.

Достоверность результатов полученных в работе, подтвердилась результатами математического моделирования, а также в процессе проводимых исследований и испытаний в ЗАО «ТПК «Линкос» в рамках НИР «Интриган», ОКР: «Интриган-Д2», «Тайфун-М-ОЭС», что подтверждается соответствующими актами о внедрении результатов диссертационной работы.

Апробация работы. Основные положения докладывались на 18-ом международном научно-техническом семинаре «Алушта-2009», на VIII всероссийской юбилейной научно-технической конференции «Проблемы совершенствования робототехнических и интеллектуальных систем летательных аппаратов», 9-ой Международной конференции «Авиация и космонавтика-2010», научно-технической конференции «Техническое зрение в системах управления - 2011».

Публикации. По результатам диссертационной работы опубликовано 4 работы, в том числе 2 научно-технических статьи в изданиях, включенных в перечень ВАК.

Структура и объем работы.

Диссертация состоит из введения, четырех глав, заключения, списка литературы. Работа изложена на 111 страницах машинописного текста, содержит 43 рисунка, 7 таблиц и 63 наименования литературных источников.

Во введении дано краткое обоснование актуальности работы, сформулированы цель работы, задачи исследования, практическая ценность, приведены основные положения, выносимые на защиту. В первой главе исследуется влияние разрешения приемника на характеристики системы наблюдения в задачах обнаружения и распознавания характерных объектов, проводится обзор алгоритмов увеличения разрешения изображений, и рассматриваются особенности увеличения разрешения тепловизионных изображений. Вторая глава диссертации посвящена методам быстрого суперразрешения, разработке метода оценивания межкадровых движений, экспериментальному определению зависимости качества методов суперразрешения от количества кадров в серии и фактора заполнения матрицы приемника. В третьей главе предлагается метод компенсации краевых эффектов, основанный на поиске границ изображений искусственных зданий и сооружений с помощью анализа ситуаций. Четвертая глава работы содержит результаты экспериментальных исследований комплексного алгоритма улучшения качества тепловизионных изображений.

СОДЕРЖАНИЕ РАБОТЫ

Во введении дано краткое обоснование актуальности работы, сформулированы цель работы, задачи исследования, практическая ценность, приведены основные положения, выносимые на защиту.

В первой главе исследуется влияние разрешения приемника на характеристики системы наблюдения в задачах обнаружения и распознавания характерных объектов, проводится обзор алгоритмов увеличения разрешения изображений, и рассматриваются особенности увеличения разрешения тепловизионных изображений.

Одной из важнейших характеристик системы наблюдения является дальность обнаружения и распознавания характерных объектов. Дальность распознавания и обнаружения - напрямую зависит от качества изображений ТПВ систем. Т.к. качество изображения в подавляющем большинстве случаев зависит от разрешения изображения, то и вероятности распознавания и обнаружения также зависят от разрешения приемника СН.

Для исследования влияния разрешения на характеристики системы наблюдения использовалась методика, основанная на построении контрастно- передаточной функции системы наблюдения.

а о (/)

СТР

1+-

I2

3 \

где С77^(/) - контрастно-передаточная функция глаза оператора, Л/1Р5И(/)- передаточная функция системы наблюдения:

МТРп, (/) = (/) ■ (/) • (/) • МТ^„р (/),

где Л/777^ (/) - передаточная функция атмосферы, МТТ^Д/) -передаточная функция оптической системы, МТГм (/) - передаточная функция приемника, АЯТ^Д/)- передаточная функция дисплея.

Зная контрастно передаточную функцию системы, дальность наблюдения, характер задачи наблюдения, размер и тип объекта наблюдения, можно говорить об успешности выполнении задачи наблюдения с заранее заданной вероятностью.

На рис. 1 представлен график зависимости вероятности распознавания цели типа танк от дальности наблюдения для двух разных разрешений приемника. По графику можно сделать вывод, что разрешение оказывает существенную роль в вероятности распознавания цели.

-♦-640x480 - 320x240

Рис. 1. Зависимости вероятности распознавания цели (танк)

Существующие методы увеличения разрешения можно классифицировать следующим образом:

К однокадровым пространственным методам относятся:

• Линейные методы

- метод ближайшего соседа;

- билинейная интерполяция;

- бикубическая интерполяция;

• Адаптивные нелинейные методы (мало распространены из-за специфичности применения)

К многокадровым методам относятся:

• итерационные методы суперразрешения;

• прямые быстрые методы суперразрешения;

В настоящее время наиболее эффективными методами увеличения разрешения являются многокадровые методы.

При увеличении разрешения ТПВ изображений возможно усиление краевого эффекта - размывания границ наблюдаемых объектов, в частности искусственных (зданий, сооружений). Пример размывания границ приведен на рис. 2. На ТПВ изображениях низкого разрешения краевой эффект не столь заметен, и размазанные границы занимают всего лишь несколько пикселей. На изображениях с высоким разрешением краевому эффекту

Восстановленный кадр высокого разрешения

«Размазанные» на несколько пикселей края здания

Распределение яркости \оперек края здания

Идеальная граница

Реальная граница

Рис. 2. Краевые эффекты на ТПВ изображении высокого разрешения

подвержено значительно большее число пикселей. На графике рис. 2 показано распределение яркости поперек края здания. Реальная граница отображена пунктиром, идеальная - сплошной линией.

Восстановление этих границ на основе традиционного использования, например, высокочастотных фильтров, может привести к существенному искажению формы полученных линий по отношению к истинным (идеальным) границам изображений объектов.

Существующие методы увеличения разрешения не учитывают эту особенность увеличения разрешения ТПВ изображений.

Вторая глава диссертации посвящена методам быстрого суперразрешения, разработке метода оценивания межкадровых движений, экспериментальному определению зависимости качества методов суперразрешения от количества кадров в серии и фактора заполнения матрицы приемника.

В общем случае задача суперразрешения ставится в виде задачи минимизации: найти такое изображение, которое, будучи уменьшенным с учетом движения, даст минимальное суммарное квадратичное отклонение от исходной серии изображений низкого разрешения. В таком виде задача суперразрешения является некорректно поставленной. Для ее решения с

хорошим приближением необходимо использовать весьма ресурсоемкие итерационные методы.

В отличие от итерационного метода суперразрешения - метод быстрого суперразрешения является прямым и менее ресурсоемким. Схема метода быстрого суперразрешения приведена на рис. 3.

Интерполяция

Определение межкадрового движения и совмещение изображений

Устранение размытости

Совмещенное изображение высокого разрешения

Рис. 3. Схема реализации метода быстрого суперразрешения

На первом этапе кадры исходной видеопоследовательность низкого разрешения интерполируются методом бикубической интерполяции.

На следующем этапе определяется межкадровое движение между опорным кадром и остальными кадрами интерполированной видеопоследовательности. Затем, с учетом найденного межкадрового движения интерполированные кадры исходной видеопоследовательности совмещаются усреднением. Результатом этого этапа является размытое совмещенное изображение высокого разрешения.

На последнем этапе происходит устранение размытости фильтром Винера и формируется результирующее изображение высокого разрешения.

В результате анализа и систематизации методов определения межкадрового движения все методы были разделены по ряду признаков: по количеству используемых кадров, по используемой модели межкадровых движений, по области реализации и по критерию оценки. Базовыми в работе исследовались блочный метод и метод Лукаса-Канаде. Блочный метод основан на сравнении регионов. Целевой функцией для лучшего соответствия блоков является функция SAD:

1 ¿max jmax

LI Кд/-1) - w/)| " /=1 1

(dx, dy) = arg min (Kd Jv),

Блочный метод характеризуется значительными вычислительными затратами, но достаточно хорошо оптимизируется при реализациях на цифровых сигнальных процессорах.

Метод Лукаса-Канаде для оценки межкадровых движений использует пространственно-временные производные и основан на уравнении оптического потока и дополнительных ограничениях на структуру оптического потока:

Ух

Метод Лукаса-Канаде обладает высокой субпиксельной точностью. Недостатками метода являются существенное увеличения ошибки при увеличении межкадровых движений и низкое быстродействие на целочисленных сигнальных процессорах.

Были проведены эксперименты, определяющие влияние аддитивного гаусового шума и величины межкадровых движения на погрешность работы методов.

На графике рис. 4 видно, что методы примерно одинаково реагируют на шум. На графике рис. 5 видно, что метод Лукаса-Канаде имеет высокую субпиксельную точность в пределах перемещения 1-2 пиксела, затем его

Yilyili)2

-lilytyW^

точность падает. Точность блочного метода во всем диапазоне примерно одинакова. На основании этих экспериментов предложен комбинированный метод, суть которого состоит в том, чтобы проводить грубую оценку блочным методом, а уточнять и проводить субпиксельную оценку методом Лукаса-

Канаде.

0,002 0,004 0,006 0,008 0,01 ♦-Блочный метод •»«-Метод Лукаса-Канаде

Рис. 4. Зависимость математического ожидания ошибки определения межкадрового движения от величины аддитивного гаусового шума

1

т

0,9

0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1

О 1 2 3 4 й 5

♦ Блочный метод ■ Метод Лукаса-Канаде

Рис. 5. Зависимость математического ожидания ошибки определения межкадрового движения от величины межкадрового сдвига

Важным параметром, влияющим на эффективность методов суперразрешения, является число используемых кадров в серии. Эффективное число используемых кадров в серии зависит от фактора заполнения матрицы приемника. На рис. 6 изображена качественная зависимость эффективности применения методов суперразрешения от числа используемых кадров в серии, а также зависимость количества используемых кадров в серии от фактора заполнения матрицы приемника.

Фактор заполнения (ЯМааог) - одна из характеристик матрицы приемника. Характеризует отношение светочувствительной площади ко всей площади приемника. Тепловизионные матрицы имеют существенно более низкий фактор заполнения. Это связано с технологией производства. Исходя из этого, можно утверждать, что применение метода суперразрешения к ТПВ видеопоследовательностям более эффективно, чем к телевизионным видеопоследовательностям. В ходе эксперимента было показана разница в эффективности применения методов суперразрешения для ТВ и ТПВ видеопоследовательностей.

Рис. 6. Зависимости эффективности применения методов суперразрешения от числа используемых кадров в серии (слева), зависимость количества используемых кадров в серии от фактора заполнения матрицы приемника (справа)

На графике рис. 7 отображена зависимость ошибки восстановления кадра от номера кадра для ТВ и ТПВ. Фактор заполнения ТВ около 90%. Фактор заполнения ТПВ около 60%. В среднем разница в эффективности применения методов CP для ТВ и ТПВ около 13-17%.

2 0

0

-►

число кадров

-►

фактор заполнения

-Суперразрешение ТВ —♦—Суперразрешение ТПВ

Рис. 7. Зависимость среднеквадратической ошибки восстановления кадра от номера кадра видеопоследовательности

В третьей главе предлагается метод компенсации краевых эффектов, основанный на поиске границ искусственных сооружений с помощью анализа ситуаций.

Для компенсации краевых эффектов предлагается искать границы, принадлежащие искусственным сооружениям. Выделение этих линий может быть реализовано на основе анализа наблюдаемой ситуации. Будем считать, что наблюдаемые здания находятся в прямой видимости системы наблюдения. Тогда, с помощью навигационной системы СНВ и имеющейся карты местности, можно определить положение искомых объектов на изображении и локализовать их края.

Схема алгоритма локализации обрабатываемых областей, позволяющего идентифицировать границы искусственных объектов (зданий и сооружений), представлена на рис. 8.

Первым этапом локализации обрабатываемых областей является перевод координат искусственных сооружений в систему координат камеры.

Рис. 8. Схема локализации обрабатываемых областей с помощью анализа

ситуации

Вариант1. Использование плоских ЦКМ. При использовании ЦКМ необходимо переводить координаты искусственных сооружений в систему координат камеры. На рис. 9 изображена схема перевода координат.

Пусть:

<ра,Х() - широта и долгота СН

- широта и долгота узловой точки сооружения а - азимут визирной оси СН Р - горизонтальный угол зрения СН т, п - разрешение камеры Тогда:

у, -направление на узловую точку сооружения:

Л

л:, - координата узловой точки сооружения в СК камеры: _ т(у,-а + 0.5/3)

Вариант2. Использование трехмерных ЦКМ. Пусть:

широта и долгота СН сд, А(, к - широта и долгота узловой точки сооружения аг,ав - азимут визирной оси СН Р,,Рг- горизонтальный угол зрения СН т, п - разрешение камеры Тогда:

У*' У« -направление на узловую точку сооружения: <Р,~<Р<1

У„ = = ага&

М-ы

координата узловой точки сооружения в СК камеры: _ т(у, -а+ 0.5/?) _ п(у1-а + 0.5/?)

= 'У,= Р '

Следующим этапом локализации обрабатываемых областей является выделение контурных линий и распознавание линий, принадлежащих искусственным сооружениям. Для выделения краев работе исследовались различные методы: метод Робертса, метод Собела, метод Канни. Наиболее перспективным для выделения краев показано использование метода Канни с предварительным сглаживание изображений с помощью низкочастотного фильтра. Для выделение линий на изображении рассматривались варианты использования алгоритма, основанного на преобразовании Хафа, и метод цепного кода.

Для принятия решения о принадлежности контурной линии искусственному сооружению в работе предлагается использовать статистические методы обнаружения и распознавания. В качестве признаков

У принадлежности найденных линий искусственным сооружениям используется среднеквадратическое отклонение а координаты максимума производной яркости вдоль границы линии.

После того, как линии, относящиеся к границам искусственных сооружений локализованы (см. рис. 10) происходит двухстороннее восстановление окраски приграничных областей фона и объекта на основе сглаживания их яркостей.

Рис. 10. Изображения с выделенными линиями

Для этого локализованные границы обрабатываются фильтром: У,-г + х, •

у. —>' = п,...[справа от границы

у ,+х.

у. = —-, / = -и,... -1 слева от границы

В работе также исследовалось применение других известных фильтров. Выбор предлагаемого фильтра обусловлен тем, что он в наименьшей степени изменяет области, прилегающие к обрабатываемой линии, и предотвращает появление артефактов и искажений формы полученных линий по отношению к истинным границам изображений объектов.

Четвертая глава работы содержит результаты экспериментальных исследований комплексного алгоритма улучшения качества тепловизионных изображений.

Для оценки качества предложенного метода компенсации краевых эффектов предлагается использовать среднеквадратическое отклонение координаты максимума производной яркости вдоль границы. На рис. 11 изображены координаты максимума производных яркости для различных границ здания до обработки сгю и после обработки ао6р.

°"„с, = 5> 12Р'Х аоб„ = 3 ]Р'Х Рис. 11. СКО координаты максимума производной яркости вдоль различных

границ

Был проведен эксперимент по применению предложенного критерия для оценки качества разработанного метода компенсации краевых эффектов к трем различным тепловизионным сценам. На изображении каждой сцены выделялись края, принадлежащие искусственным сооружениям. После этого края обрабатывались фильтром предложенным. В табл. 1 показаны результаты применения предложенного критерия для первых 10 выделенных краев.

Таблица 1

№ Сцены СКО линий

1 2 3 4 5 6 7 8 9 10 Среднее

Сцена1 исх. 6,13 7,21 7,13 6,05 5,73 5,92 4,19 6,56 5,96 6,08 6,096

обр 0,46, 0,58 0,65 0,52 ,_ 0,61, 0,44 0,38 0,42 0,49 0,53 0,508

Сцена2 исх. 5,72 4,22 6,09 7,65 5,79 6,59 7,94 6,11 5,73 5,0Г1 6,085

обр. 0,31 0,41 0,54 0,63 0,57 0,58 0,67 0,49 0,52 0,65 0,537

СценаЗ исх. 8,17 4,12 6,43 6,44 5,12 5,43 5,22 6,45 7,72 8,41 6,351

обр. 0,72 0,44 0,52 0,69 0,75 0,48 0,57 0,51 0,66 0,589

На основе описанного во второй главе метода быстрого суперразрешения, предложенного комбинированного метода определения межкадрового движения и разработанного в третье главе метода компенсации краевых эффектов, разработан комплексный алгоритм улучшения качества тепловизионных изображений. Схема комплексного алгоритма улучшения качества тепловизионных изображений представлена на рис. 12.

Рис. 12. Схема комплексного алгоритма улучшения качества тепловизионных

изображений

Для исследования возможностей разработанного комплексного алгоритма улучшения качества тепловизионных изображений была проведена

обработка ряда характерных тепловизионных видеопоследовательностей полученных при опытных испытаниях разрабатываемой ТПВ СН.

На рис. 13 - рис. 14 представлены результаты работы разработанного комплексного алгоритма улучшения качества тепловизионных изображений по изображениям различных сцен.

Рис. 13. Исходное тепловизионное изображение низкого разрешения (слева) и увеличенное в 4 раза методом суперразрешения с компенсацией краевых

эффектов (справа)

Рис. 14. Исходное тепловизионное изображение низкого разрешения (слева) и увеличенное в 4 раза методом суперразрешения с компенсацией краевых

эффектов (справа)

Эксперименты показали, что разработанный алгоритм позволяет в целом существенно повысить разрешение и четкость изображений, а также заметно улучшить качество отображения краев искусственных сооружений. Кроме этого, для всех проведенных экспериментов следует отметить значительное снижение уровня аддитивного шума на изображениях, восстановленных с помощью разработанного алгоритма.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

В представленной работе сформулирована и решена актуальная техническая задача улучшения качества предъявляемых оператору тепловизионных изображений за счет повышения разрешения методами суперразрешения и точности отображения краев искусственных объектов на основе использования методов анализа ситуаций.

В рамках проведенных системных исследований было показано, что многокадровые методы суперразрешения являются наиболее эффективными программными методами увеличения разрешения. В частности, ошибки восстановленных кадров методом суперразрешения ниже на 45-65% наиболее простых методов ближайшего соседа и на 25-35% наиболее эффективных однокадровых методов бикубической интерполяции. Кроме того, на основе проведенного анализа методов суперразрешения показано, что важным параметром, влияющим на эффективность методов суперразрешения, является число используемых кадров в серии и величина фактора заполнения матрицы приемника. При этом, т.к. тепловизионные матрицы имеют существенно более низкий фактор заполнения, применение метода суперразрешения к ТПВ видеопоследовательностям более эффективно, чем к телевизионным видеопоследовательностям. В среднем разница в эффективности применения методов суперразрешения для ТВ и ТПВ около 13-17%.

Предварительная реализация методов суперразрешения показала, что при увеличении разрешения тепловизионных изображений, возможно увеличение нежелательных краевых эффектов, с целью устранения которых, были определены направления исследований, основанные на использовании методов анализа ситуаций.

На основе выбранных направлений исследований предложены и реализованы методы и алгоритмы, позволяющие решить поставленные в работе задачи:

1. Реализован алгоритм быстрого суперразрешения. Отмечено, что одним из основных этапов увеличения разрешения методами быстрого суперразрешения является определение межкадрового движения. Предложен комбинированный метод определения межкадрового движения, суть которого состоит в том, чтобы проводить грубую оценку блочным методом, а уточнять и проводить субпиксельную оценку методом Лукаса-Канаде.

2. Разработан критерий оценки качества изображения, основанный на использовании среднеквадратического отклонения координаты максимума производной яркости вдоль границы.

3. Разработан метод компенсации краевых эффектов, обеспечивающий повышение точности отображения краев объектов интереса (зданий, искусственных сооружений) на тепловизионном изображении высокого разрешения, при этом локализация обрабатываемых областей, позволяющая определить границы искусственных объектов, выполняется на основе анализа наблюдаемой ситуации и использовании цифровых карт местности.

4. Предложено использование статистических методов обнаружения и распознавания для принятия решения о принадлежности контурной линии искусственному сооружению. В качестве признака принадлежности найденных линий искусственным сооружениям предлагается использовать среднеквадратическое отклонение координаты максимума производной яркости вдоль границы линии. В зависимости от наличия цифровых карт местности рассмотрены различные критерии обнаружения. Предлагается использовать критерий идеального наблюдателя Зигерта-Котельникова для случая использования цифровых карт местности, а также критерий максимального правдоподобия Фишера для случая их отсутствия.

5. Предложен фильтр для двухстороннего восстановления окраски приграничных областей фона и объекта на основе сглаживания их яркостей. Данный фильтр в наименьшей степени изменяет области, прилегающие к обрабатываемой линии, и предотвращает появление артефактов и искажений формы полученных линий по отношению к истинным границам изображений объектов.

6. Разработан комплексный алгоритм улучшения качества тепловизионных изображений, основанный на методе суперразрешения и предложенном методе компенсации краевых эффектов, позволяющий существенно (до 4-х раз) увеличивать разрешение изображений и до 10 раз уменьшать СКО координаты максимума производной яркости вдоль границы искусственных сооружений.

7. На основании результатов экспериментов, проведенных с помощью опытных образцов разрабатываемых ТПК «Линкос» тепловизионных систем наблюдения показано, что предлагаемые решения являются работоспособными и позволяют в существенной степени повысить качество предъявляемых тепловизионных изображений.

ОСНОВНЫЕ ПОЛОЖЕНИЯ ДИССЕРТАЦИОННОЙ РАБОТЫ ОПУБЛИКОВАНЫ:

1. Коссов П.В., Михеев С.М. Разработка алгоритма электронной стабилизации видеопоследовательности на базе цифрового сигнального процессора//Вестник МАИ. 2010. №6. С. 139-143.

2. Коссов П.В. Увеличение разрешения изображений с динамичными объектами // Сборник докладов VIII всероссийской юбилейной научно-технической конференции «Проблемы совершенствования робототехнических и интеллектуальных систем летательных аппаратов» - М.: МАИ-ПРИНТ. 2010.

3. Коссов П.В., Михеев С.М. Применение цифрового сигнального процессора для вычисления параметров коррекции визирной линии бортовой системы наблюдения // Современные технологии в задачах управления, автоматики и обработки информации: Труды 18-го Международного научно-технического семинара. Алушта, сент. 2009. М.: МИРЭА. 2009, с.185.

4. Ким Н.В., Коссов П.В., Михеев С.М. Увеличение информативности телевизионных и тепловизионных изображений // Вестник компьютерных и информационных технологий. 2011. №11.

Подписано в печать: 15.11.2011 Объем: 1 усл.п.л. Тираж: 100 экз. Заказ №732 Отпечатано в типографии «Реглет» 119526, г. Москва, Ленинградский пр-к, д.74, корп.1 (495) 790-47-77; www.reglet.ru

Содержание.

Введение.

1 Аналитический обзор и систематизация методов улучшения качества тепловизионных изображений.

1.1 Исследование влияния разрешения на характеристики системы наблюдения.

1.2 Обзор и классификация методов увеличения разрешения изображений.

1.2.1 Микросканирование.

1.2.2 Макросканирование.

1.2.3 Частотные методы увеличения разрешения.'.

1.2.4 Регуляризация Тихонова.

1.2.5 Однокадровые методы увеличения разрешения.

1.2.6 Многокадровые методы увеличения разрешения.

1.3 Краевые эффекты на тепловизионных изображениях высокого разрешения.

1.4 Выводы.

2 Увеличение разрешения методом суперразрешения.

2.1 Метод быстрого суперразрешения.

2.2 Определение межкадровых движений.

2.2.1 Корреляционный алгоритм на основе модуля абсолютной разности.

2.2.2 Дифференциальный метод Лукаса-Канаде.

2.2.3 Комбинированный метод определения межкадровых движений.

2.3 Влияние числа кадров в серии и фактора заполнения матрицы приемника на эффективность методов суперразрешения.

2.4 Выводы.

ЦНЛ ашш^лхио ни Ч/ЧУАХV иишшои VII 1 ^ ицхш. ализ ситуаций и поиск границ, принадлежащих искусственш ениям. ревод координат искусственных сооружений в систему коордиь иск контурных линий.

1.1 Статистические методы обнаружения и распознавания.

Актуальность. Одной из основных характеристик оптико-электронных тепловизионных систем наблюдения (TUB СН), определяющих эффективность решения целевых задач оператором, является качество сформированного изображения. При этом качество изображения в значительной мере связно с его разрешением, а также точностью отображения границ (краев) объектов интереса [1]. В последние годы применение «смотрящих» фокально - плоскостных двумерных многоэлементных матриц фотоприемников позволило существенно увеличить качество изображений ТВП СН [2-4]. Несмотря на это, разрешение таких приемников значительно ниже аналогичных по классу телевизионных приемников. В большей степени это обусловлено современными технологиями производства! Кроме этого, на тепловизионные приемники высокого разрешения накладываются, жесткие таможенные ограничения, а приемники с разрешением выше 1280x768 серийно не выпускаются.

Увеличение разрешения тепловизионных систем наблюдения возможно осуществлять аппаратными, программными и аппаратно-программными методами. Развитие современной микроэлектроники позволяет успешно применять программные методы увеличения разрешения. Среди программных методов можно выделить методы, использующие один» кадр, и методы, использующие последовательность кадров. В литературе методы, использующие последовательность кадров часто называются методами суперразрешения [5 -10]. Методы суперразрешения используют серию кадров низкого разрешения для получения кадра (кадров) высокого разрешения. Увеличенное таким методом изображение содержит в себе больше деталей, и обладает большей информативностью, чем каждый кадр по отдельности. В то же время, при увеличении разрешения тепловизионных изображений, возможно усиление краевого эффекта — размывания границ наблюдаемых объектов, в частности искусственных (зданий, сооружений)

И]. Для уменьшения влияния краевого эффекта предлагается обрабатывать эти границы специальным фильтром. При этом обрабатываемые области предварительно локализуются с помощью анализа наблюдаемой ситуации, реализуемого вычислителем системы наблюдения.

Цифровой обработке изображений в отечественной и зарубежной литературе посвящено большое число работ [12-—16]. Тем не менее, в настоящее время в тепловизионных системах наблюдения для улучшения качества не применяются методы увеличения разрешения, основанные на методах суперразрешения' и анализе наблюдаемой ситуации. Восстановление этих границ на основе традиционного; использования, например,, высокочастотных фильтров, не всегда позволяет , получать . желаемые результаты, либо вообще может привести к искажению.формьг полученных линий по отношению к истинным: (идеальным) границам изображений объектов. В связи с этим исследование и- разработка методов' улучшения качества тепловизионных изображений на основе суперразрешения и анализа ситуаций является актуальной задачей.

Целью диссертационной, работы является- улучшение качества предъявляемых оператору тепловизионных изображений за счет повышения разрешения: методами суперразрешения и точности отображения краев искусственных объектов на основе использования методов анализа ситуаций.

Для достижения сформулированной цели необходимо решить следующие основные задачи:

• исследовать влияние разрешения приемника ТПВ на вероятности; обнаружения/распознавания целей в зависимости от их дальности;

• провести анализ известных алгоритмов увеличения разрешения - изображений и выделить наиболее эффективные из них;

• разработать метод компенсации краевых эффектов на тепловизионных изображениях высокого разрешения на основе анализа ситуации;

• разработать комплексный алгоритм улучшения качества тепловизионных изображений;

• провести исследование разработанного' комплексного алгоритма и предложить критерий оценки качества восстановленного изображения;

• провести исследования, подтверждающие работоспособность и эффективность предлагаемых решений;

Методы исследования. В работе использованы методы^ математического моделирования, цифровой* обработки*, сигналов, теории вероятностей, математической статистики, компьютерного • зрения. Моделирование проводилось в среде Microsoft VisuaL Studio, Matlab, Borland, Delphi. Для« реализации, алгоритмов использовались языки- С и С++ в среде программирования Texas Instruments^ Code Composer Studio» для DSP-процессоров серии TMS320C64xx'.

Научная новизна работы состоит в следующем:

1. Определены особенности: применения методов суперразрешения при обработке тепловизионных изображений: Показана» зависимость эффективности методов суперразрешения, от числа используемых кадров в серии и величины фактора заполнения матрицы^приемника.

2. Предложен, критерий оценки,качества изображения, основанный на использовании среднеквадратического отклонения производной яркости.

3. Разработан метод обнаружения краев сегментируемых областей на тепловизионном изображении искусственных сооружений; основанный на анализе ситуаций, в том числе с использованием цифровых карт местности.

4. Разработана методика улучшения качества тепловизионных изображений, содержащих искусственные сооружения.

Практическая ценность работы заключается в том, что разработанный и реализованный алгоритм позволяет программными средствами существенно (до 4-х раз) увеличивать разрешение и до 10 раз уменьшать СКО координаты максимума производной яркости вдоль границы искусственных сооружений. Это повышает эффективность работы оператора-наблюдателя системы наблюдения в задачах обнаружения, распознавания, слежения и т.п. Также возможно использование результатов работы при модернизации серийно выпускаемых тепловизионных систем наблюдения, в том числе, в многоканальных системах с комплексированием изображений [17-19].

Достоверность результатов, полученных в работе, подтвердилась результатами математического моделирования, а также в процессе проводимых исследований и,испытаний в ЗАО «ТПК «Линкос» в.рамках НИР «Интриган», ОКР: «Интриган-Д2», «Тайфун-М-ОЭС», что подтверждается, соответствующими*актами о внедрении результатов-диссертационной работы.

Апробация работы. Основные положения докладывались на 18-ом международном научно-техническом семинаре «Алушта-2009», на VIII' всероссийской юбилейной научно-технической конференции «Проблемы совершенствования робототехнических и интеллектуальных систем* летательных аппаратов», 9-ой Международной* конференции* «Авиация и. космонавтика-2010», научно-технической конференции «Техническое зрение в системах управления - 20Г1».

Публикации. По результатам диссертационной работы опубликовано 4 работы, в том числе 2 научно-технических статьи в изданиях, включенных.в перечень ВАК.

Структура и объем работы.

Диссертация состоит из введения, четырех глав, заключения, списка литературы. Работа изложена на 111 страницах машинописного текста, содержит 43 рисунка, 7 таблиц и 63 наименования литературных источников.

4.5 Выводы

Разработан критерий оценки качества изображения, основанный на использовании среднеквадратического отклонения координаты максимума производной яркости вдоль границы.

Разработан1 комплексный алгоритм улучшения качества тепловизионных изображений, основанный на методе суперразрешения и предложенном методе компенсации краевых эффектов, позволяющий существенно (до 4-х раз) увеличивать разрешение изображений и до 10 раз уменьшать СКО координаты максимума производной яркости вдоль границы искусственных сооружений.

На основании результатов экспериментов, проведенных с помощью опытных образцов разрабатываемой ТПК «Линкос» ТПВ СН показано, что предлагаемые решения являются работоспособными и позволяют в существенной степени повысить качество предъявляемых оператору тепловизионных изображений.

Заключение

В представленной работе сформулирована и решена актуальная техническая- задача улучшения качества предъявляемых оператору тепловизионных изображений1 за счет повышения разрешения методами суперразрешения> и точности отображения^ краев искусственных объектов на основе использования методов анализа ситуаций.

В рамках проведенных системных исследований было показано, что многокадровые методы; суперразрешения являются наиболее эффективными, программными методами увеличения разрешения; В: частности; ошибки восстановленных кадров методом суперразрешения ниже на 45-65% наиболее простых методов? ближайшего соседа и на 25-35% наиболее эффективных однокадровых методов бикубической интерполяции: Кроме того; на основе проведенного анализа методов суперразрешения« показано;- что важным? параметром, влияющим* на эффективность, методов . суперразрешения, является число используемых кадров в серии и-величина-фактора заполнения матрицы? приемника-. При этом, т.к. тепловизионные матрицы имеют; существенно . более низкий« фактор,' заполнения, применение: метода; суперразрешения; к ТПВ видеопоследовательностям более эффективно, чем к телевизионным видеопоследовательностям: В среднем разница; в эффективности, применения методов суперразрешения; для ТВ и ТПВ около 13-17%.

Предварительная реализация методов; суперразрешения показала;, что при увеличении разрешения тепловизионных изображений возможно также увеличение нежелательных краевых эффектов, с целью устранения которых, были определены направления исследований, основанные на использовании методов анализа ситуаций.

На основе выбранных направлений исследований предложены, и реализованы методы и алгоритмы, позволяющие решить поставленные в работе задачи:

1. Реализован алгоритм быстрого суперразрешения. Отмечено, что одним из основных этапов увеличения разрешения методами быстрого суперразрешения'является определение межкадрового движения. Предложен комбинированный метод определения межкадрового движения, суть которого состоит в том, чтобы проводить грубую оценку блочным методом, а уточнять и проводить субпиксельную оценку методом Лукаса-Канаде.

2. Разработан критерий* оценки качества изображения, основанный на использовании' среднеквадратического отклонения координаты максимума производной яркости вдоль границы.

3. Разработан,метод компенсации краевых эффектов, обеспечивающий повышение точности отображения краев объектов интереса (зданий, искусственных сооружений) на тепловизионном изображении- высокого разрешения, при этом, локализация обрабатываемых областей, позволяющая определить границы искусственных объектов, выполняется на основе анализа наблюдаемой ситуации и использовании цифровых карт местности.

4. Предложено использование статистических методов обнаружения- и, распознавания для принятия» решения о принадлежности контурной линии искусственному сооружению. В качестве признака принадлежности^ найденных линий искусственным сооружениям предлагается! использовать, среднеквадратическое отклонение координаты максимума производной яркости вдоль границы линии. В зависимости от наличия цифровых карт местности рассмотрены, различные критерии- обнаружения. Предлагается использовать критерий идеального наблюдателя' Зигерта-Котельникова для случая использования цифровых карт местности, а также критерий максимального правдоподобия Фишера для случая их отсутствия.

5. Предложен фильтр для двухстороннего восстановления окраски приграничных областей фона и объекта на основе сглаживания их яркостей.

Данный фильтр в наименьшей степени изменяет области, прилегающие к обрабатываемой линии, и предотвращает появление артефактов и искажений формы полученных линий по отношению к истинным границам изображений объектов.

6. Разработан комплексный алгоритм улучшения качества тепловизионных изображений, основанный на методе суперразрешения и предложенном методе компенсации краевых эффектов, позволяющий существенно (до 4-х раз) увеличивать разрешение изображений и до 10 раз уменьшать СКО координаты максимума производной яркости вдоль границы искусственных сооружений.

7. На основании результатов экспериментов, проведенных с помощью опытных образцов разрабатываемых ТПК «Линкос» тепловизионных систем наблюдения показано, что предлагаемые решения являются работоспособными и позволяют в существенной степени повысить качество предъявляемых тепловизионных изображений.

1. Теория передачи и восприятия изображений. Красильников Н.Н. -М.: Радио и связь, 1986.

2. Волков В.Г., Ковалев А.В., Федчишин В.Г. Тепловизионные приборы нового поколения. Специальная техника. 2004.

3. Илюшин В.А. Многоэлементные фотоприемные устройства и тепловизоры: Учеб. пособие. — Новосибирск: Изд-во НГТУ, 2003.

4. Irani М., Peleg S. Super resolution from image sequences. Departament of Computer Science The Hebrew University of Jerusalem, Israel, June 1990.

5. S. Farsiu, D. Robinson, M. Elad, and P. Milanfar. Fast and Robust Multi-frame Super-resolution. IEEE Transactions on Image Processing, vol. 13, 2004.

6. A. Krokhin. Superresolution in image sequences. Boston, 2005.

7. Насонов A.B., Крылов А.С. Быстрое суперразрешение изображений с использованием взвешенной медианной фильтрации // Труды 12-й международной конференции и выставки «Цифровая обработка сигналов и её применение» (DSPA2010), т. 2. Москва, 2010. С. 101-104.

8. A.W.M. van Eekeren. Super-Resolution of Moving Objects in Under-Sampled Image Sequences. Delft, 2009.

9. Trimeche. Super-Resolution Image Reconstruction Using Non-Linear Filtering Techniques. Tampere, 2006.7.M. Trimeche. Super-Resolution.

10. Ким H.B., Коссов П.В., Михеев C.M. Увеличение информативности телевизионных и тепловизионных изображений // Вестник компьютерных и информационных технологий. 2011. №11.

11. Гонсалес Р., Вудс Р. Цифровая обработка изображений. — М.:Техносфера, 2005.

12. Прэтт. У. Цифровая обработки изображений: Пер. с анг.- М.: Мир, 1982.

13. Форсайт А., Понс Дж. Компьютерное зрение. Современный подход. -М.: Вильяме, 2004.

14. Ярославский Л.П. Введение в цифровую обработку изображений. — М.: Советское Радио, 1979.

15. Визильтер. Ю.В. Желтов С.Ю., Бондаренко А.В., Ососков М.В„ Моржин А.В. Обработка и анализ изображений в задачах машинного зрения: Курс лекций и практических занятий,- М.: Физматкнига, 2010.

16. Иванов Е.Л., Смагин М.С. Слияние изображений в многоканальной системе наблюдения местности // Датчики и системы.-2006.-№11. С.6-9.

17. Blum R.S. Multi-Sensor Image Fusion and Its Applications / Blum R.S., Liu Z. // Signal Processing and Communications.- 2006.- C.40-42.

18. Дж. Ллойд, Системы тепловидения. Москва, Мир, 1978

19. Gerald С. Hoist, Electro-optical imaging system performance, Second Ed., SPIE Optical engineering press, 2000.

20. Krapels K., Driggers R., Garcia J., III. Optics Express. Vol. 15, № 19, pp 12296-12305.

21. Cabanski W., Breiter R., Mauk K-H. Miniaturized high performance starring thermal imaging system. -SPIE Proc., vol. 4028 (2000), p.p. 208 219.

22. Тарасов B.B., Якушенков Ю.Г. Некоторые пути совершенствования тепловизионных систем. Специальная техника. 2004. №2.

23. Cabanski W., Breiter R., Koch R. et al. Third generation focal plane array IR detection modules at AIM SPIE Proc., vol.4369 (2001), p.p.547 - 558.

24. Scan 5000. — URL: http://scanner.pentacon.de/index.php?id=l 1 &L=1

25. Schneider D., Potzsch M., Maas H.-G. Accuracy and application potential of the 94 megapixel RGB macro-scanning camera Pentacon Scan 5000.

26. Винер H., Пэли P. Преобразование Фурье в комплексной плоскости: Пер. с англ. М.: Наука, 1964. - 267 с.

27. Василенко Г.И., Тараторин A.M. Восстановление изображений. — М.: Радио и связь, 1986. 304 с.

28. Хонина С.Н., Баранов В.Г., Котляр В.В. Спектральный метод увеличения фрагментов цифровых изображений. Компьютерная оптика. 1999. №19.

29. Soifer V.A., Kotlyar V.V., Doskolovich L.L. Iterative methods for diffractive optical elements computation. London: Taylor & Francis, 1997.32; Тихонов A.H., Арсенин В.Я. Методы- решения некорректных задач. М.: Наука, 1979.- 286 с.

30. Насонов А. В., Крылов А.Г., Лукин А.С. Увеличение разрешения изображения с использованием метода регуляризации Тихонова. Материалы международной конференции "Тихонов и современная математика". Москва, 2006. №1. С. 1-1.

31. Математическая энциклопедия. Под редакцией И.М. Виноградова. -М.: Советская энциклопедия, 1977.

32. Denney, Т. S. Optimal brightness functions for optical flow estimation of deformable motion / T. S. Denney, J. L. Prince // IEEE Trans, on Image Processing. 1994. T . 3 , № 2. - С 178-191.

33. Elad, M: Restoration of a single superresolution image from: several blurred, noisy, and, undërsamplèd measured images / M. Elad, A. Feuer // IEEE Trans, on Image Processing;,- 1997. T. 6, № 12. - G 1646-1658.

34. Nguyen, N. Efficient generalized cross-validation; with applications to parametric image restoration and resolution enhancement / N. Nguyen, P. Milanfar, G; Golub // IEEE Trans, on Image Processing. 2001. - T. 10. - C. 1299-1308.

35. Park, C. Super-resolution image reconstruction: a technical overview / Park, M. K. Park, M. G: Kang // IEEE Signal Processing Magazine. 2003. - Вып: 3 . - G 21-36: "

36. Ким H: В; «Обработка и анализ изображений в системах технического зрения: Учебное пособие» М. Изд-во МАИ, 2001.

37. Солонина А.И., Улахович Д.А., Яковлев JI.A. «Алгоритмы и процессоры цифровой обработки сигналов»: СПб.: БХВ-Петербург,:2001.46; Хорн?Б:К. Зрение роботов.г Mt: Мир, 1989;

38. Zhigang Zhu, Guangyou Xu, Yudong Yang, Jesse S. Jin "Stabilization . Based on 215DjMotion Estimation and Inertia!'Motion Filtering". Department of Computer Science and Technology, Tsinghua University, China.

39. К.-Н. Lee, S.-H. Lee, S.-J. Ко. «Digital image stabilizing algorithms based on bit-plane matching». IEEE Transactions on Consumer Electronics, Vol. 44, No. 3, pp. 617-622, August 1998.

40. Eddy Vermeulen «Real-Time Video Stabilization For Moving Platforms». 21st UAV Bristol Systems Conference, April 2007.

41. Т.-К. Chiew, P. Hilll, D.R. Bulll, C.N. Canagarajah. "Robust global motion estimation using the Hough transform for real time video coding". Picture Coding Symposium 2004, December 2004.

42. A. Litvin, J. Konrad; W.G. Karl. Probabilistic Video Stabilization Using Kalman Filtering and Mosaicking. Proceedings of SPIE Conference on Electronic Imaging, 2003.

43. Carlos Morimoto, Rama Chellappa. "Fast Electronic Digital Image Stabilization for Off-Road Navigation". Computer Vision laboratory, Center for Automation Research, University of Maryland.

44. Bouguet J.-Y. Pyramidal Implementation of the Lucas Kanade Feature Tracker. Intel Corporation Microprocessor Research Labs, 2000.

45. Дуда. P., Харт П. Распознавание образов и анализ сцен: Пер. с анг,-М.:Мир, 1976.

46. Марр. Д. Зрение. Информационный подход к изучению представления и обработки зрительных образов. — М.: Радио и связь, 1987.

47. Б. Яне. Цифровая обработка изображений. Техносфера, 2007. — 584с.

48. Milan Sonka, Vaclav Hlavac, Roger Boyle. Image processing, analysis and Machine vision. 2008.

49. H.B. Ким. Алгоритмы сжатия изображения. Учебное пособие. — М.: Изд-во МАИ, 2005.

50. D. Sorokin. A. Krylov. Short Reference Image Quality Estimation Using Modified Angular Edge Coherence. Moscow, 2010.