автореферат диссертации по приборостроению, метрологии и информационно-измерительным приборам и системам, 05.11.07, диссертация на тему:Методы и средства цифровой коррекции изображения в оптико-электронных системах визуализации

На правах рукописи

Демидов Владимир Михайлович

МЕТОДЫ И СРЕДСТВА ЦИФРОВОЙ КОРРЕКЦИИ ИЗОБРАЖЕНИЯ В ОПТИКО-ЭЛЕКТРОННЫХ СИСТЕМАХ ВИЗУАЛИЗАЦИИ

Специальность 05 11 07 — Оптические и оптико-электронные приборы и комплексы

Автореферат диссертация на соискание ученой степени кандидата технических наук

Москва-2008

003169677

Работа выполнена на кафедре оптико-электронных приборов Московского государственного университета геодезии и картографии (МИИГАиК)

Научный руководитель- доктор технических наук

Тарасов Виктор Васильевич

Официальные оппоненты, доктор технических наук, профессор

Титов Виталий Семенович

кандидат технических наук, доцент Шавенько Николай Константинович

Ведущая организация: Санкт-Петербургский государственный

университет информационных технологий, механики и оптики

г

Защита состоится «10» июня 2008 г в íS часов на заседании диссертационного совета Д 212.143 03 в Московском государственном университете геодезии и картографии (МИИГАиК) по адресу. 105064 Москва, Гороховский пер, 4, зал заседания Ученого совета

С диссертацией можно ознакомиться в библиотеке Московского государственного университета геодезии и картографии (МИИГАиК)

Автореферат разослан «7» мая 2008 г

Ученый секретарь

диссертационного совета "----- Климков Ю М.

1. Общая характеристика работы

Актуальность. Одной из наиболее явных тенденций развития современных оптико-электронных систем визуализации, и, в частности, тепловизионных, является использование в их составе матричных приемников излучения В последние годы все большее распространение в таких системах находят неохлаждаемые болометрические матричные приемники (микроболометры) Микроболометры, как правило, не требуют криогенной системы охлаждения, и, следовательно, тепловизионный модуль имеет меньшие энергопотребление, габариты и массу Производство микроболометрических матриц на основе оксида ванадия или на кремниевой основе значительно дешевле, чем охлаждаемых фотоприемников Однако, применение матричных приемников излучения, в частности, микроболометрических, ведет к необходимости учета и компенсации ряда факторов, связанных с дискретностью структуры приемника, заметно влияющих на качество получаемых изображений К ним относятся искажения из-за дискретизации изображения наблюдаемой сцены, из-за неоднородности параметров и характеристик отдельных чувствительных элементов матричных приемников К недостаткам микроболометрических матриц относится также высокий уровень шума

Развитие современной микроэлектроники позволяет успешно внедрять методы коррекции изображения электронными средствами, в первую очередь, цифровые, основанные на использовании многоэлементных матричных приемников излучения и цифровых компонентов (аналого-цифровые и цифро-аналоговые преобразователи, интегральные схемы), осуществляющие обработку видеоизображения, полученного в оптико-электронной системе в реальном масштабе времени Наибольшие успехи в этой области связаны с широким распространением цифровой аппаратуры видео- и фотосъемки, а также с развитием алгоритмов сжатия для передачи в сетях информационной коммуникации и хранения видеоданных

Возможность хранения цифрового изображения в памяти позволяет производить совмещение двух изображений, стабилизацию, построение панорамного изображения и другие операции

Рис 1 Обобщенная структурная схема современной тепловизионной системы «смотрящего» типа с микроболометрической матрицей

На рис 1 приведена обобщенная структурная схема современной тепловизионной системы «смотрящего» типа с микроболометрической матрицей. Применяемые микроболометрические матрицы снабжены системой поддержания температуры на подложке чувствительных элементов Параметры работы матрицы (уровень сигнала, чувствительность, внутренняя температура) задаются набором входных напряжений, поступающих с блока управления и питания матрицы Для проведения калибровки предусмотрен узел шторки, расположенный между объективом и матрицей В некоторых системах предусмотрена система фокусировки по получаемому изображению Микроболометрическая матрица формирует аналоговый сигнал, который в дальнейшем оцифровывается на АЦП Блок цифровой обработки сигнала производит обработку оцифрованного сигнала для дальнейшего его представления на встроенном дисплее или на внешнем

устройстве отображения В данной диссертации блок цифровой обработки сигнала построен на базе программируемой логической интегральной схемы (ПЛИС), либо на базе цифрового сигнального процессора (Digital Signal Processor - DSP) Настройка и управление системой производится либо с пульта управления, либо с ПК через стандартные интерфейсы

Требования к результатам цифровой обработки тепловизионного изображения, получаемого с микроболометрических матриц, очень часто аналогичны требованиям, предъявляемым к телевизионному изображению, несмотря на то, что качество изображений, получаемых с микроболометрических матриц, хуже, чем с фотоприемных матриц, работающих в видимом диапазоне Цифровой обработке изображений в отечественной и зарубежной литературе посвящено большое число работ (У Прэтг, Р Гонсалес, Р. Вудс, Б Яне, Д А Форсайт, Ж Понс, С Уэлстид, Д С Лебедев, В А Сойфер, И И Цуккерман, Л П Ярославский и многие другие) Тем не менее, развитые сегодня методы цифровой обработки изображения, используемые в видео- и фототехнике, применительно к неохлаждаемым тепловизионным системам нуждаются в существенном совершенствовании, что связано со сравнительно большой неоднородностью параметров и характеристик матричных микроболометров, нелинейностью их характеристик, высоким уровнем шумов и, как правило, низким контрастом самой сцены Необходимость коррекции и ослабления влияния этих факторов на видеоизображение и определяет актуальность темы диссертации

Целью работы является разработка алгоритмов цифровой обработки, позволяющих улучшить качество тепловизионого видеоизображения, получаемого при помощи микроболометрической матрицы

Для достижения этой цели решались следующие задачи

1 анализ и совершенствование методов компенсации неоднородности параметров и характеристик элементов микроболометрической матрицы,

2. разработка алгоритмов компенсации шумов и образования высококонтрастных изображений, получаемых с помощью микроболометрической матрицы;

3. разработка метода определения взаимного сдвига, масштабирования и поворота двух кадров видеоизображения

Методы исследования. Все разработанные методы и алгоритмы были предварительно протестированы на персональных компьютерах. В качестве тестовых видеоданных применялись необработанные цифровьми методами видеопоследовательности, записанные после оцифровки с микроболометрической матрицы тепловизора После тестирования на персональном компьютере алгоритм переносился на тепловизионные системы, разработанные в ОАО «ЦНИИ «Циклон» Для реализации использовались либо язык С и С++ в среде программирования Texas Instruments Code Composer Studio для DSP-процессоров TMS320C6200 и TMS320C6400, либо язык Verilog HDL в среде Xilmx 1SE для ПЛИС Xilinx XC2S200 и XC2VP4

Научная новизна результатов диссертационных исследований состоит в следующем:

1 обосновано применение трехточечной многотабличной калибровки для существенного улучшения качества изображения в тепловизионных системах на основе микроболометрических матриц,

2 построена система алгоритмов (замещения дефектных элементов матрицы, компенсации шумов, повышения контраста, автофокусировки), использующая результаты применения общего для всех них фильтра, что позволяет оптимизировать вычислительный процесс,

3 обнаружено наличие искажений равномерности по всему кадру дисперсии шумов после геометрических преобразований

(масштабирование, поворот) равномерно зашумленных белым шумом изображений,

4 разработан быстрый алгоритм автоматической регулировки уровней яркостей, который эффективен в случае обработки изображений с широким диапазоном яркостей,

5 разработан алгоритм поиска и коррекции геометрического рассогласования двух кадров для произвольного угла их взаимного поворота

Практическая ценность работы состоит в том, что в целях улучшения качества изображения на выходе тепловизионых систем «смотрящего» типа, использующих микроболометрические матрицы, разработана и реализована целостная система алгоритмов цифровой обработки видеоизображения

Основные положения, выносимые на защиту:

1 многотабличная трехточечная калибровка в тепловизионных системах с микроболометрами позволяет обеспечивать требуемое качество изображения в широком диапазоне температур наблюдаемых сцен,

2 для реализации ряда алгоритмов (замещения дефектных элементов матрицы, компенсации шумов, повышения контраста и автофокусировки) возможно использование общего фильтра размытия,

3 для компенсации искажений равномерности дисперсии шумов по кадру после геометрических преобразований (масштабирование, поворот) равномерно зашумленных белым шумом изображений возможно использовать предложенный метод, основанный на использовании фильтра размытия;

4 предложенный быстрый алгоритм автоматической регулировки уровней яркостей эффективен в случае обработки изображений с широким диапазоном яркостей,

5 используя алгоритм, основанный на сборе статистики по окружностям

на изображении, можно найти геометрическое рассогласование двух

кадров для произвольного угла их взаимного поворота,

Апробация работы. Основные положения докладывались на научно-практических конференциях международных форумов «0птика-2006» и «0птика-2007» и на международном форуме «Научная сессия МИФИ-2007» (12 докладов) Реализация алгоритмов была осуществлена на тепловизионных системах, разработаных в ОАО «ЦНИИ «Циклон» на базе ББР-процессора ТМ5320С6400 и ПЛИС Х11шх ХС2Б200, ХС2УР4.

Публикации. По результатам диссертационной работы опубликовано 7 научно-технических статей, из них одна в журнале, включенном в перечень ВАК

Достоверность полученных в работе алгоритмов подтвердилась в процессе проводимых исследований и испытаний в ОАО «ЦНИИ «Циклон» в рамках ОКР «Модуль МБ-2», «Филин», «Обзор-ТМ1», «Шахин», «Аврора», «Сыч-3», «Скопа-3» и др

Объем и структура работы

Диссертационная работа состоит из введения, трех глав и заключения. Работа содержит 126 страниц машинописного текста, 62 рисунка. Список литературы включает 98 наименования

2. Содержание работы

Во введении обоснована актуальность работы, цель работы, методы исследования, научная новизна, практическая ценность, основные положения, выносимые на защиту, апробация работы, достоверность, объем и структура работы

В первой главе диссертации проведен обзор известных методов цифровой обработки изображений, применяемых в фото- и видеосистемах с матричными фотоприемниками, а также в ряде тепловизионных систем (компенсация неоднородностей параметров и характеристик элементов матричного приемника, выявление дефектных элементов и их замещение, компенсация шумов методами пространственной и временной фильтрации, выделение контуров, автофокусировка, преобразование уровней яркости и контраста, геометрическое совмещение двух кадров, мультиспектральное сложение, стабилизация)

Анализ этих методов применительно к тепловизионным системам на базе микроболометрических матриц показывает, что они нуждаются в существенной доработке Так, применительно к тепловизионным системам с микроболометрами наиболее часто используемая двухточечная калибровка не обеспечивает требуемого качества изображения во всем наблюдаемом диапазоне температур При компенсации шума при помощи пространственной фильтрации происходит размытие контрастных границ объектов, что снижает пространственное разрешение, а как следствие, снижает расстояние обнаружения и распознавания Применяя линейный фильтр дифференцирования можно повысить контраст границ объектов, что приводит к повышению дальности обнаружения и распознавания. Побочным эффектом является повышение уровня шума и изменение внешнего вида изображения (выделение контуров) Используя линейный фильтр дифференцирования, можно построить алгоритм, позволяющий производить сравнительную оценку качества фокусировки объектива Линейный метод автоматической регулировки уровней яркости, применяемый в тепловизионных системах, нуждается в доработке с целью увеличения контраста изображений в широком температурном диапазоне

Во второй главе рассматриваются пути совершенствования методов цифровой обработки изображений в тепловизионных системах на основе микроболометрических матриц

Экспериментально было показано, что зависимость сигнала от температуры наблюдаемого объекта не является линейной, но достаточно хорошо описывается полиномом второго порядка Дальнейшее увеличение порядка полинома не приводит к существенному снижению ошибки приближения Поправочные коэффициенты определяются путем калибровки по трем температурам объекта для каждой из рабочих температур матрицы и записываются в память прибора

Предлагается метод замещения дефектного элемента (пиксела), основанного на применении в блоке цифровой обработки сигнала (рис. 1) фильтра размытия, используемого в ряде других алгоритмов (фильтрация шумов, оконтуривание, автофокусировка) Под линейным фильтром понимается следующая операция Р над элементами изображения .

где А\,Ыг,М^,Мг задают размеры «окна» фильтра с независимыми от весовыми коэффициентами матрицы ^ Для обеспечения сохранения общего уровня сигнала накладывается условие

В работе использовалась следующая маска

(I 3 8 3 1

3 3 9 24 9 3

8 (1 3 8 3 1) = — 8 24 64 24 8 256

3 3 9 24 9 3

.0 Ь 3 8 3 1.

Дефектные элементы исключаются из рассмотрения В местах, соответствующих дефектным элементам, весовые коэффициенты фильтра ^ принимали нулевое значение

~ {Рц , если - рабочий элемент '' |0 , если д -дефектный элемент,

при этом сумма всех элементов должна быть равной единице, для этого проводится нормировка.

При применении пространственного фильтра размытия для снижения влияния шума резкие переходы яркостей изображения становятся более гладкими, а мелкие детали практически исчезают. Этого можно избежать, проведя селекцию контрастных участков, для которых производится более слабое размытие или оно не производится вовсе Для селекции применяется фильтр дифференцирования Нижняя граница определяется из расчета вероятности принадлежности к равномерному участку, которая должна быть больше определенной граничной величины (например а = 0,999), верхняя -меньше другой граничной величины (например /? = 0,001) Промежуточные значения, лежащие в интервале между нижней и верхней границами, определяются при помощи линейной интерполяции Можно считать, что шум имеет нормальный закон распределения Комбинирование размытого и исходного изображения предлагается производить следующим образом

где весовой коэффициент степени размытия кя определяется на основе квантилей а и Ъ по следующей зависимости

ч'„ = к,,

0 при \т)и\ ¿а

^ I I

—- приа<4г] \<Ь

Ь-а

1 при 6

Р{\т}„\<а} = а,

П\Щ\>Ь) = Р,

где а = 0,999, Д = 0,001, ^ - значение сигнала после применения

дифференцирующего фильтра Для поиска квантилей а и Ъ можно воспользоваться формулой

«м

и---— | е 2<г* (1у , р--(— I

иы2я о о-Пл о

Здесь опять используется маска размытия Это позволяет

использование единого фильтра размытия для нескольких алгоритмов различного назначения

Д ля реализации дифференциального фильтра предлагается использовать лапласиан, построенный на разности исходного изображения и фильтра размытия, применяемого для подавления шумов и замещения дефектных элементов матрицы.

Построение адаптивной временной фильтрации производится аналогичным образом

при 117 \< а

/? = -

»(Д) у'

¡е'^'ф.

к-

(ка-кь) при а <| |< Ь

Ь-а

при

где - элементы входного изображения (пиксели) / +-! кадра, Щ -обработанное изображение I- го кадра, ки - коэффициенты, выбираемые в зависимости от скорости изменения яркости каждого пикселя, Ка и Кь -верхний и нижний коэффициент накопления, причем Кь =0, а Ка может быть

любым числом, лежащим в интервале от 0 до 1 (например =0,7) Будем считать, что если значение сигнала пикселя (в качестве изображения принимается «размытая» разница между кадрами) ниже верхней границы наличия шума, то с вероятностью 0,999 это изменение значения вызвано шумом, а при значении ^, находящемся выше нижней границы отсутствия шума, с вероятностью 0,001 можно считать, что изменение значения в этом пикселе вызвано движением на изображении Вычисление квантилей а и Ь производится тем же способом, что и при пространственной фильтрации Контрастные границы, которые в тепловизионном изображении движутся, в силу разных причин несколько размыты Для исключения возникновения дефектов при движении этих границ, желательно расширить зону влияния изменяющихся зон (на разности изображений) Это можно осуществить, применив маску наращивания, те поиск максимума модуля разности по локальной подобласти

При работе многих тепловизионных приборов было замечено значительное преобладание коррелированного шума по столбцам и строкам, имеющего вид полос, над прочими шумами Указанные выше фильтры не способны удалить эти полосы без существенной потери качества изображения В диссертации предлагается метод компенсации влияния данного вида шума на изображение, который иллюстрирован алгоритмом компенсации горизонтальных полос Алгоритмы, производящие компенсацию шумов по столбцам или по строкам, выполняются по отдельности Разработанный метод базируется на предположении, что изменение изображения под действием шума происходит для всей полосы (столбца или строки) по общему закону

Я'и =/{я1Ра,\

где - исходное (зашумленное указанным типом шума) изображение, д^ - результирующее (очищенное) изображение, а, - искомый вектор параметров

В качестве функции / взята линейная зависимость /(?„,«,=(*>,)) = К дч + Ь,

Параметры преобразования а, (такие, как к, и Ь,) находятся из условия минимизации разницы между результирующим изображением и предполагаемым

¡И?,;.«.)-?,!

Предполагаемое изображение Цч находится путем аппроксимации значений соседних с элементов, считая, что значения элементов рассматриваемой полосы г не известны Задача решается методом наименьших квадратов Для ограничения искажения всей полосы из-за влияния контрастных границ на результаты вычислений вводятся ограничения на разность яркости рассматриваемых пикселей

На основе анализа линейного и гистограммного методов регулировки уровней яркости предлагается новый метод, компенсирующим основные недостатки каждого из них При этом простота метода, по сравнению с гистограммным методом, сохраняется Он позволяет уменьшить влияние шума и снизить влияние больших однотонных зон, обеспечивая контраст между двумя объектами с различной яркостью Это достигается введением верхних и нижних ограничений контраста На основе этого предложения был разработан быстрый алгоритм, позволяющий реализовать данный метод со скоростью, сравнимой со скоростью реализации гистограммного метода Новый алгоритм основан на сборе гистограммы от гистограммы уровней сигнала по одному кадру Полученное изображение для восприятия человеком лучше или, в крайнем случае, не хуже, чем при использовании линейного или гистограммного методов

При масштабировании, повороте и прочих аффинных преобразованиях изображения широко применяются различные интерполяционные функции

При масштабировании в нецелое число раз видеопоследовательности, имеющей высокий уровень шума, появляется «сетка» чередующихся зон с высоким и низким уровнями шума Различия между этими двумя зонами могут быть незначительными, однако в связи с периодичностью и отсутствием передвижения этих зон при движении сцены эта «сетка» хорошо различима и может отвлекать внимание оператора. Этот эффект возникает из-за особенностей интерполяции при масштабировании и повороте. Переход от линейной функции интерполяции к кубической не устраняет этот эффект В диссертации предлагается метод интерполяции, который осуществляется путем вычисления взвешенного среднего (с динамически изменяемыми весовыми коэффициентами)

¡«о

где <7, - значение яркости в пикселе старого изображения, ^ - значение яркости в пикселе нового, масштабированного, изображения, П - область, по которой производится интерполяция (близлежащие точки), индекс пиксела } связан с областью О (с индексами 1) заданным пространственным преобразованием, ка, - интерполяционные коэффициенты, такие, что = 1 Индекс ] можно рассматривать как некоторое представление

да

новых координат, а индекс ; - старых. Рассматривается аддитивный некоррелируемый гауссовский шум с математическим ожиданием, равным нулю В этом случае сигнал можно представить в виде

Ч. =*„+#„>

где х и д - незашумленная и зашумленная (получаемая) видеопоследовательности, £ - величина шума с математическим ожиданием М(%) = 0 и дисперсией £>(£)=сг2, 1 - индекс пиксела в рассматриваемой строке матрицы изображения, I - номер кадра При условии некоррелируемости

шума ссп>(£,£)= 0 выражение для дисперсии по времени / для преобразованного изображения примет вид

т)

1«а

Поскольку повысить резкость в размытых интерполяцией областях мы не можем, то, соответственно, для равномерности дисперсии шума искусственно «размоем» изображение в областях, не подверженных интерполяционному размытию. Поскольку размытие при интерполяции не велико, то и дополнительное местное размытие не должно сильно повлиять на изображение Такое незначительное размытие может уменьшить влияние шумов, так как его можно рассматривать как низкочастотный фильтр В работе представлено два примера построения подобных нелинейных фильтров

Поиск пространственного взаимного рассогласования двух изображений является одной из основных частей алгоритмов геометрической стабилизации изображения, построения панорамного изображения, совмещения изображений В работе предложен метод, рассчитанный для работы при произвольном угле взаимного поворота изображений.

Наиболее простой способ нахождения параметров поворота, смещений и масштабирования заключается в переборе некоторых возможных их сочетаний Этот подход очень затратен по времени Статистический анализ по столбцам и строкам позволяет оптимизировать только работу со смещениями и масштабированием, но работает нестабильно при движении и требует проверки ответа. Для каждого угла возможного угла поворота необходимо проводить всю процедуру заново Такой метод пригоден для работы с малыми углами отклонения При больших углах поворота он становится трудоемок

Предлагается использовать значения сигналов и статистические моменты, собранные по кольцу (группе окружностей) с радиусами г,<г<г2

на изображении /(х,у), где /(х,у) - непрерывная функция, интерполирующая дискретное изображение ди С каждым таким кольцом можно связать матрицу М{г,<р), где г изменяеться с шагом Дг, те г = г, + к Аг (где

к = 0 -——), а индекс <р=1 Ар (где 1 = 1 —) Элементы матрицы М(г,<р) Дг Ад>

определяются интерполяционно, например, по билинейной интерполяции

С кольцом А'л(грг2) свяжем ряд полезных в дальнейшем числовых

характеристик

математическое ожидание значений яркости внутри кольца Кр(^,г2) -дисперсия значений яркости внутри кольца Кр{г^гг) —

момент инерции значений яркости на кольца К (г,,г2) -

1уеК,(г, г,)

где x=px+r cos<р,

y=py+r cos tp

Заметим, что при вращении изображения /¡(х,у) на произвольный угол вокруг пикселя р значения числовых характеристик тр, Dp, Jр кольца Кр(г,,г2) не меняются по значению, так как при вычислении тр, Dp и Jp просто циклически меняется порядок суммирования

Сначала ищутся три числа mp, Dp и Jp, которые характеризуют распределение значений яркости вокруг пикселя р и которые инвариантны относительно поворотов вокруг пикселя р На практике равенство следует рассматривать как некоторый допустимый интервал значений Таким образом mPt, DPt и J н на первом кадре в точке р, должны быть близки

аналогичным значениям тЛ, йРг и JPl на втором кадре в соответствующей точке рг

Поиск угла и смещения находится перебором путем сравнения эталонного кольца с выбранным Для оптимизации работы на выбранном кольце число точек может быть существенно меньше, чем на эталонном. Подходящими значениями будем считать те значения смещений и поворота, при которых обеспечивается максимальная корреляция (либо минимальное рассогласование изображений по выбранной норме)

Используя величин взаимного смещения, поворота и масштабирования последовательности кадров, можно строить панорамное изображение, под которым здесь понимается покадровое совмещение изображений последовательности отдельных кадров, получаемой сканированием оптико-электронной системой (ОЭС) интересуемого участка пространства. Алгоритмически задача построения панорамного изображения из нескольких кадров близка к задаче пространственной стабилизации видеоизображения Отличие заключается в том, что при построении панорамного изображения необходимо компенсировать полностью все движения, а не только высокочастотные, как это делается при стабилизации Это накладывает более строгие ограничения на точность определения смещения. Проблема состоит в том, что с каждым последующим кадром ошибка накапливается В работе предлагается уменьшать накопленную погрешность путем увеличения расстояния по времени между сравниваемыми кадрами Для оптимизации объемов памяти предлагается вводить специальные опорные кадры, по которым будет производиться сравнение Развитием идеи сравнения с опорным кадром является сравнение текущего кадра с построенной панорамой Это позволит сократить использование памяти для хранения кадров для сравнения, а также, в некоторых случаях, сократить время на сравнение.

В третьей главе кратко описаны системы, в которых использованы разработанные алгоритмы Приводятся основные технические характеристики тепловизионных систем и комплексов «Сыч», «Скопа», «Шахин», «Модуль-МБ2», «Филин», «Аврора», разработанных в ОАО «ЦНИИ «Циклон». Большинство рассмотренных тепловизионных систем было построено на базе ПЛИС фирмы Xihnx Некоторые системы построены на базе DSP-процессоров фирмы Texas Instruments Схемы других приборов отличаются незначительно В качестве дисплея (если он предусматривается конструкцией) используется OLED-дисплей Для вывода на внешние средства отображения во всех приборах полученное изображение преобразуется в телевизионные форматы PAL или NTSC

На рис 2 показана последовательность обработки сигнала с матрицы при компенсации неоднородностей и шумов Она может быть реализована конвейерно Разработанные в диссертации алгоритмы позволили расширить функциональные возможности тепловизионных систем и комплексов Традиционный линейный алгоритм автоматической регулировки усиления заменен на последовательность обработки изображения перед выходом, состоящим из алгоритмов оконтуривания и преобразования уровней яркости с помощью модифицированного гистограммного метода Для работы алгоритма оконтуривания кроме изображения заранее подготавливается размытое изображение, формируемое с помощью линейного фильтра размытия с учетом адаптивной фильтрации. В системах осуществляющих мультиспектральное совмещение, пространственное преобразование производится только над одним из видеоизображений.

Рис 2 Последовательность обработки сигнала с матрицы

3. Заключение

Результаты проведенных исследований и разработок позволяют сделать следующие основные выводы

1 Применение многотабличной трехточечной калибровки в тепловизионных системах с микроболометрами позволяет обеспечивать требуемое качество изображения в широком диапазоне температур наблюдаемых сцен

2 Для замещения дефектных элементов матрицы, компенсации шумов, повышения контраста и автофокусировки может быть построена система алгоритмов, реализуемая на базе общего фильтра размытия

3 Для компенсации искажений равномерности дисперсии шумов по кадру после геометрических преобразований (масштабирование, поворот) равномерно зашумленных бельм шумом изображений возможно использовать предложенный метод, основанный на использовании фильтра размытия

4 Предложенный быстрый алгоритм автоматической регулировки уровней яркости эффективен для обработки в реальном масштабе времени изображений с широким диапазоном яркости

5 Используя метод, основанный на сборе статистики по окружностям на изображении, можно построить алгоритм нахождения геометрического рассогласования двух кадров для произвольного угла их взаимного поворота

Реализация и тестирование предложенных методов и программных средств повышения качества изображений подтверждают их эффективность для тепловизионных систем с неохпаждаемыми микроболометрическими матрицами

4. Список научных работ по теме диссертации

1 Демидов В М Преобразование уровней яркости видеоизображения с широким диапазоном градаций // в сб «Оптико-электронные системы визуализации и обработки оптических изображений» вып 2, - М ЦНИИ «Циклон», 2007, с 212-221

2 Демидов В М. Компенсация неравномерности шума, возникающей при интерполяции // в сб «Оптико-электронные системы визуализации и обработки оптических изображений» вып 2, - М ЦНИИ «Циклон», 2007, с 235-242

3 Демидов В М Яковлев М Б, Снижение уровня шума на видеоизображении путем цифровой обработки // в сб «Оптико-злектронные системы визуализации и обработки оптических изображений» вып 2, - М ЦНИИ «Циклон», 2007, с 243-247

4 Демидов В М Критерии сопоставления качества фокусировки объектива // в сб. «Оптико-электронные системы визуализации и обработки оптических изображений» вып 2, - М- ЦНИИ «Циклон», 2007, с 264-272

5 Демидов В М, Поляков А Ю Алгоритм пространственной стабилизации изображения с использованием свободных коэффициентов // в сб «Оптико-электронные системы визуализации и обработки оптических изображений» вып 2, - М ЦНИИ «Циклон», 2007, с 273 - 280

6 Демидов В М, Поляков А.Ю Алгоритм пространственной стабилизации изображения И Научная сессия МИФИ-2007, Том 1, - 2007, с 93-94

7 Демидов В М Повышение точности определения геометрического рассогласования кадров видеопоследовательности при тепловизионной аэро- и космической съемке // «Изв вузов Геодезия и аэрофотосъемка» -2008 №2. с 168-175

Подписано в печать 05 05 2008г Гарнитура Тайме Формат 60x90/16 Бумага офсетная Печать офсетная Объем 1,5 усл.печ л. Тираж 80 экз. Заказ № 7 Цена договорная

Издательство ОАО «ЦНИИ «Циклон» 107497, Москва, Щелковское ш., 77

Отпечатано в типографии ОАО «ЦНИИ «Циклон»

Введение.

Глава 1. Обзор методов цифровой обработки изображений.

1.1. Компенсация неоднородностей характеристик элементов матрицы.

1.2. Выявление дефектных элементов матрицы и их замещение.

1.3. Компенсация шума методом пространственной фильтрации.

1.4. Компенсация шума методом временной фильтрации.

1.5. Выделение контуров.

1.6. Автофокусировка.

1.7. Преобразование уровней яркости.

1.8. Геометрическое совмещение.

1.9. Мультиспектральное совмещение.

1.10. Стабилизация.

Выводы по главе 1.

Глава 2. Совершенствование методов цифровой обработки изображений втепловизионных системах на основе микроболометрических матриц.

2.1. Трехточечная многотабличная калибровка.

2.2. Замещение дефектных пикселей при помощи фильтра размытия.

2.3. Адаптивный алгоритм пространственной фильтрации.

2.4. Адаптивный алгоритм временной фильтрации.

2.5. Компенсация общего по всей строке или столбцу шума.

2.6. Реализация алгоритма контрастирования.

2.7. Модернизированный гистограммный метод регулировки уровней яркости.

2.8. Анализ и компенсация неравномерности характеристик шума при интерполяции.

2.9. Метод определения сдвигов и масштаба изображения при больших углах его поворота.

2.10. Панорамное изображение.

Выводы по главе 2.

Глава 3. Практическая реализация предложенных алгоритмов в тепловизионных системах.

3.1. Обобщенная структурная схема реализованных тепловизионных систем.

3.2. Портативный тепловизор «Сыч».

3.3. Миниатюрный тепловизор «Скопа».

3.4. Тепловизионный прицел «Шахин».

3.5. Тепловизионный модуль «Модуль МБ-2».

3.6. Двухспектральная система видеонаблюдения «Филин».

3.7. Термограф «Аврора».

Выводы по главе 3.

Актуальность. Одной из наиболее явных тенденций развития современных оптико-электронных систем визуализации, и, в частности, тепловизионных, является использование в их составе матричных приемников излучения. В последние годы все большее распространение в таких системах находят неохлаждаемые болометрические матричные приемники (микроболометры). Микроболометры, как правило, не требуют криогенной системы охлаждения, и, следовательно, тепловизионный модуль имеет меньшие энергопотребление, габариты и массу. Производство-микроболометрических матриц на основе оксида ванадия или на кремниевой основе значительно дешевле, чем охлаждаемых фотоприемников. Однако, применение матричных приемников излучения, в частности, микроболометрических, ведет к необходимости учета и компенсации ряда факторов, связанных с дискретностью структуры приемника, заметно влияющих на качество получаемых изображений. К ним относятся-искажения из-за дискретизации изображения наблюдаемой сцены, из-за неоднородности параметров и характеристик отдельных чувствительных элементов матричных приемников. К недостаткам микроболометрических матриц относится также высокий уровень шума.

Развитие современной микроэлектроники позволяет успешно внедрять методы коррекции изображения электронными средствами, в первую очередь, цифровые, основанные на использовании многоэлементных матричных приемников излучения и цифровых компонентов (аналого-цифровые и цифро-аналоговые преобразователи, интегральные схемы), осуществляющие обработку видеоизображения, полученного' в оптико-электронной системе в реальном масштабе времени. Наибольшие успехи в этой области связаны с широким распространением цифровой аппаратуры видео- и фотосъемки, а также с развитием алгоритмов сжатия для передачи в сетях информационной коммуникации и хранения видеоданных. 4

Возможность хранения цифрового изображения в памяти позволяет производить совмещение двух изображений, стабилизацию, построение панорамного изображения и другие операции.

Рис. 1. Обобщенная структурная схема современной <тепловизионной системы «смотрящего» типа с микроболометрической матрицей

На рис. 1 приведена обобщенная структурная схема современной тепловизионной системы «смотрящего» типа с микроболометрической матрицей. Применяемые микроболометрические матрицы снабжены системой поддержания температуры на подложке чувствительных элементов. Параметры работы матрицы-(уровень сигнала, чувствительность, внутренняя температура) задаются набором входных напряжений, поступающих с блока управления и питания матрицы. Для проведения-калибровки предусмотрен узел шторки, расположенный между объективом и матрицей. В некоторых системах предусмотрена система фокусировки по получаемому изображению. Микроболометрическая матрица формирует аналоговый' сигнал, который в дальнейшем оцифровывается на АЦП. Блок цифровой обработки сигнала производит обработку оцифрованного сигнала для дальнейшего его представления на встроенном дисплее или на внешнем устройстве отображения. В данной диссертации блок цифровой обработки сигнала построен на базе программируемой логической интегральной схемы (ПЛИС), либо на базе цифрового сигнального процессора (Digital Signal Processor - DSP). Настройка и управление системой производится либо с пульта управления, либо с ПК через стандартные интерфейсы.

Требования к результатам цифровой обработки тепловизионного изображения, получаемого с микроболометрических матриц, очень часто аналогичны требованиям, предъявляемым к телевизионному изображению, несмотря на то, что качество изображений, получаемых с микроболометрических матриц, хуже, чем с фотоприемных матриц, работающих в видимом диапазоне. Цифровой обработке изображений в отечественной и зарубежной литературе посвящено большое число работ (У. Прэтт, Р. Гонсалес, Р. Вудс, Б. Яне, Д.А. Форсайт, Ж. Понс, С. Уэлстид, Д.С. Лебедев, В.А. Сойфер, И.И. Цуккерман, Л.П. Ярославский и многие другие). Тем не менее, развитые сегодня- методы цифровой обработки изображения, используемые в видео- и фототехнике, применительно к неохлаждаемым тепловизионным системам нуждаются в существенном совершенствовании, что связано со сравнительно большой неоднородностью параметров и характеристик матричных микроболометров, нелинейностью их характеристик, высоким уровнем шумов и, как правило, низким контрастом самой* сцены. Необходимость коррекции и ослабления влияния-этих факторов на видеоизображение и определяет актуальность темы диссертации.

Целью работы является разработка алгоритмов цифровой- обработки, позволяющих улучшить качество тепловизионого видеоизображения; получаемого при помощи микроболометрической матрицы.

Для достижения этой цели решались следующие задачи:

1. анализ и совершенствование методов компенсации неоднородности параметров и характеристик элементов микроболометрической матрицы; 6

2. разработка алгоритмов компенсации шумов- и образования высококонтрастных изображений, получаемых с помощью микроболометрической матрицы;

3. разработка метода определения взаимного сдвига, масштабирования и поворота двух кадров видеоизображения.

Методы исследования. Все разработанные методы и. алгоритмы были предварительно протестированы на персональных компьютерах. В качестве тестовых видеоданных применялись необработанные цифровыми методами видеопоследовательности' записанные после оцифровки с микроболометрической матрицы тепловизора. После тестирования на персональном компьютере алгоритм переносился на тепловизионные системы, разработанные в ОАО «ЦНИИ «Циклон». Для реализации* использовались либо язык С и С++ в среде программирования Texas, Instruments Code Composer Studio для DSP-процессоров TMS320C6200 и TMS320C6400, либо язык Verilog HDL в среде Xilinx ISE для ПЛИС Xilinx XC2S200 и XC2VP4.

Научная новизна результатов диссертационных исследований состоит в следующем:

1. обосновано применение трехточечной многотабличной калибровки для существенного улучшения качества изображения в тепловизионных системах на основе микроболометрических матриц;

2. построена система алгоритмов (замещения дефектных элементов матрицы, компенсации шумов, повышения контраста, автофокусировки), использующая результаты применения общего для всех них. фильтра; что позволяет оптимизировать вычислительный процесс;

3. обнаружено наличие искажений равномерности по всему кадру дисперсии шумов после геометрических преобразований масштабирование, поворот) равномерно: зашумленных белым; шумом изображений; .

4. разработан быстрый алгоритм автоматической регулировки уровней яркостей, который эффективен в случае обработки- изображений; с широким диапазоном яркостей;

5. разработан алгоритм» поиска и;, коррекции геометрического? рассогласования двух; кадров для произвольного угла их взаимного поворота.

Практическая ценность работы состоит в том, что в целях улучшения качества изображения на выходе тепловизионых систем «смотрящего» типа; использующих микроболометрические матрицы, разработана и реализована целостная система алгоритмов цифровой обработки видеоизображения.

Основные положения, выносимые на защиту:

1. многотабличная трехточечная калибровка в тепловизионных системах с микроболометрами позволяет обеспечивать требуемое качество изображения в широком диапазоне температур наблюдаемых сцен;

2. для реализации ряда алгоритмов; (замещения дефектных элементов матрицы, компенсации шумов, повышения контраста и автофокусировки) возможно использование общего фильтра размытия;

3. для компенсации искажений равномерности дисперсии шумов по кадру после геометрических преобразований (масштабирование, поворот) равномерно* зашумленных белым шумом изображений возможно использовать; предложенный метод, основанный на использовании фильтра размытия; 4. предложенный быстрый'алгоритм автоматической регулировки уровней яркостей эффективен в случае обработки изображений с широким диапазоном яркостей;

5. используя алгоритм, основанный на сборе статистики по окружностям на изображении, можно найти геометрическое рассогласование двух кадров для произвольного угла их взаимного поворота;

Апробация работы. Основные положения докладывались на научно-практических конференциях международных форумов «0птика-2006» и «0птика-2007» и на международном форуме «Научная сессия МИФИ-2007» (12 докладов). Реализация алгоритмов была осуществлена на тепловизионных системах, разработаных в ОАО «ЦНИИ «Циклон» на базе DSP-процессора TMS320C6400 и ПЛИС Xilinx XC2S200, XC2VP4.

Публикации. По результатам диссертационной работы опубликовано 7 научно-технических статей [23 — 29]., из них одна в журнале, включенном в перечень ВАК [27].

Достоверность полученных в работе алгоритмов подтвердилась в процессе проводимых исследований и испытаний в ОАО «ЦНИИ «Циклон» в рамках ОКР: «Модуль МБ-2», «Филин», «Обзор-TMl», «Шахин», «Аврора», «Сыч-3», «Скопа-3» и др.

Объем и структура работы

Диссертационная работа состоит из введения, трех глав и заключения. Работа содержит 126 страниц машинописного текста, 62 рисунка. Список литературы включает 98 наименования.

Выводы по главе 3

Разработанные в диссертации алгоритмы позволили расширить функциональные возможности тепловизионных систем и комплексы «Сыч», «Скопа», «Модуль-МБ2», «Шахин», «Обзор-TMl», «Филин», «Аврора».

Практически подтверждена возможность реализации алгоритмов на тепловизионных системах, разработанных в ОАО «ЦНИИ «Циклон» на базе DSP-процессоров TMS320C6200, TMS320C6400 и ПЛИС Xilinx XC2S200, XC2VP4.

Заключение

Результаты проведенных исследований и разработок позволяют сделать следующие основные выводы.

1. Применение многотабличной трехточечной калибровки в тепловизионных системах с микроболометрами позволяет обеспечивать требуемое качество изображения в широком диапазоне температур наблюдаемых сцен.

2. Для замещения дефектных элементов матрицы, компенсации шумов, повышения контраста и автофокусировки может быть построена система алгоритмов, реализуемая на базе общего фильтра размытия.

3. Для компенсации искажений равномерности дисперсии шумов по кадру после геометрических преобразований (масштабирование, поворот) равномерно зашумленных белым шумом изображений возможно использовать предложенный метод, основанный на использовании фильтра размытия.

4. Предложенный быстрый алгоритм автоматической регулировки уровней яркости эффективен для обработки в реальном масштабе времени изображений с широким диапазоном яркости.

5. Используя метод, основанный на сборе статистики по окружностям на изображении, можно построить алгоритм нахождения геометрического рассогласования двух кадров для произвольного угла их взаимного поворота.

Реализация и тестирование предложенных методов и программных средств повышения качества изображений подтверждают их эффективность для тепловизионных систем с неохлаждаемыми микроболометрическими матрицами.

1. Абламейко С.В., Лагуновский Д.М. Обработка изображений: технология, методы, применение: Учебное пособие. Минск: Амалфея, 2000.-304 с.

2. Аксенов И.В., Антонов К.А., Скоробогатов А.П., Корольков С.М. Алгоритм рекуррентной оценки тепловизорного изображения на фоне шумов / Материалы межведомственной конференции на международной специализированной' выставке «Граница-2005». с. 407-412.

3. Алеев P.M., Иванов В.П., Овсяников В.А. Несканирующие тепловизионные приборы: Основы теории и расчета. — Казань: Изд-во Казанского ун-та, 2004. — 228 с.

4. Алпатов Б.А., Бабаян П.В. Электронная юстировка изображений при мультиспектральном наблюдении / Цифровая обработка сигналов, №1, — 2003. с. 24-26.

5. Анкудинов К.А., Аксенов И.В., Антонов К.А., Корольков С.М. Алгоритм оценки теплового изображения по двумерному зашумленному сигналу / Материалы межведомственной конференции на международной специализированной выставке «Граница-2005». с. 418-423.

6. Астафьева Н.М., Вейвлет-анализ: основы теории и примеры применения. Успехи Физических Наук, 1996. - Т. 166. - № 11. с. 1145-1170.

7. Ю.Бибило П.Н. Основы языка VHDL. М.: СОЛОН-Р, 1999, - 200 с.

8. П.Буймов А.Г. Корреляционно-экстремальная обработка изображения / Под ред. В.П. Тарасенко. — Томск: Изд-во Томского университета, 1987. 134 с.

9. Ватолин Д., Радушняк А., Смирнов М., Юкин В. Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео. — М.: ДИАЛОГ-МИФИ, 2002. 384 с.

10. Верютин М.В. Подавление паразитных тепловых дефектов алгоритмическим способом. // в сб. «Оптико-электронные системы визуализации и обработки оптических изображений» вып. 2, — М.: ЦНИИ «Циклон», 2007, с. 222 - 228.

11. Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. — СПб.: БХВ-Петербург, 2002. 608 с.

12. Гонсалес Р., Вудс Р. Цифровая обработка изображений. / Пер. с англ. под ред. П.А. Чочиа. — М.: Техносфера, 2005. 1072 с.

13. Гонсалес Р., Вудс Р., Эддинс С. Цифровая обработка изображений в среде MATLAB. / Пер. с англ. В.В. Чепыжова. М.: Техносфера, 2006.,-616 с.

14. Госсорг Ж. Инфракрасная термография. Основы, техника, применение / Пер. с франц. Н.В. Васильченко; Под ред. Л.Н. Курбатова-М.: Мир, 1988.-416 с.

15. Гришин В.А. Оценка точности установления соответствия. // Труды Российского научно-технического общества радиотехники, электроники и связи- им. А.С. Попова. Серия: Цифровая обработка сигналов и ее применение Вып. X, М., - 2008, с. 428 - 431.

16. Грушвицкий Р.И., Мурсаев А.Х., Угрюмов Е.П. Проектирование систем на микросхемах программируемой логики. — СПб.: БХВ-Петербург, 2002. 608.

17. Грязин Г.Н. Системы прикладного телевидения: Учеб. пособие для вузов. — СПб.: Политехника, 2000. — 277 с.

18. Демидов В.М., Поляков А.Ю. Алгоритм пространственной стабилизации изображения // Научная сессия МИФИ-2007, Том 1, 2007, с. 93 - 94.

19. Демидов В.М., Поляков А.Ю. Алгоритм пространственной стабилизации изображения с использованием свободных коэффициентов // в сб.

20. Оптико-электронные системы визуализации и обработки оптических изображений» вып. 2, М.: ЦНИИ «Циклон», - 2007, с. 273 - 280.

21. Демидов В.М. Компенсация неравномерности шума, возникающей при интерполяции // в сб. «Оптико-электронные системы визуализации и обработки оптических изображений» вып. 2, — М.: ЦНИИ «Циклон», — 2007, с. 235-242.

22. Демидов В.М. Критерии сопоставления качества фокусировки объектива // в сб. «Оптико-электронные системы визуализации и обработки оптических изображений» вып. 2, — М.: ЦНИИ «Циклон», 2007, с. 264 -272.

23. Демидов В.М. Повышение точности определения геометрического рассогласования кадров видеопоследовательности при тепловизионной аэро- и космической съемке // «Известия ВУЗов. Геодезия и аэрофотосъемка» 2008. №2. с. 168 -175.

24. Демидов В.М. Преобразование уровней яркости видеоизображения с широким диапазоном градаций // в сб. «Оптико-электронные системы визуализации и обработки оптических изображений» вып. 2, — М.: ЦНИИ «Циклон», 2007, с. 212 - 221.

25. Демидов В.М., Яковлев М.Б. Снижение уровня шума на видеоизображении путем цифровой обработки // в сб. «Оптико-электронные системы визуализации и обработки оптических изображений» вып. 2, М.: ЦНИИ «Циклон», - 2007, с. 243 - 247.

26. Дьяконов В.П. Вейвлеты. От теории к практике. М.: COJIOH-P, -2002.-448 с.

27. Елизаров А.В., Куртов А.В., Соломатин В.А., Якушенков Ю.Г. Обзорно-панорамные оптико-электронные системы. // Изв. ВУЗов. Приборостроение, 2002, Т. 45, №2, с. 37 45.

28. Жохов Д.В. Переход к внедрению «системы на кристалле» при проектировании оптико-электронных схем. // в сб. «Оптико-электронные системы визуализации и обработки оптических изображений» вып. 2, — М.: ЦНИИ «Циклон», 2007, с. 229 - 234.

29. Иконика в физиологии и медицине / Под ред. A.M. Уголева. Л.: Наука, 1987.-302 с.

30. Казеннов Г.Г., Миргородский А.Ю. Численная оценка параметров поворота и сдвига изображений // Электросвязь. 2006. — №4. -с. 48-49.

31. Катыс Г.П. Обработка визуальной информации. — М.: Машиностроение, 1990.-320 с.

32. Корреляционно-экстремальные видеосенсорные системы для роботов / Под ред. A.M. Корикова и В.П. Тарасенко. Томск: Изд-во Томского университета, 1986. - 240 с.

33. Лебедев Д.С., Цуккерман И.И. Телевидение и теория информации.- М.-Л.: Издательство «Энергия», 1964, 219 с.

34. Ллойд Дж. Системы тепловидения. Пер. с англ. / Под ред. А.И. Горячева / -М.: Мир, 1979.-416 с.

35. Методы компьютерной обработки изображений / Под. ред. В .А. Сойфера. 2-е издание, испр. - М.: ФИЗМАТ ЛИТ, 2003. - 784 с.

36. Миано Дж. Форматы и алгоритмы сжатия изображений в действии. / Пер. с англ.- М.: Издательство Триумф, 2003. 336 с.

37. Миргородский А.Ю. Метод оценки масштабирования, поворота и сдвига сцены с использованием объектов бинаризованных изображений // Электросвязь. 2006. - №4. - с. 46 - 47.

38. Писеев А.В. Универсальное устройство отображения видеосигнала на базе OLED-микродисплея ЕМА-100080 фирмы eMagin. // в сб. «Оптико-электронные системы визуализации и обработки оптических изображений» вып. 2, М.: ЦНИИ «Циклон», - 2007, с. 248 - 255.

39. Поляков А.Ю. Методы и алгоритмы компьютерной графики в примерах на Visual С++. СПб.: БХВ-Петербург, 2002. - 416 с.

40. Потапов А.С. Влияние взаимных геометрических искажений на возможность пространственного совмещения изображений методом локальной корреляции / «Оптический журнал», том 71, №8, 2004.- с. 74 80.

41. Потапов А.С. Малышев И.А., Луцив В.Р. Совмещение аэрокосмических изображений с субпиксельной точностью методом локальнойкорреляции / «Оптический журнал», том 71, №5, 2004. -с. 31 -36.

42. Раковский Ю.Н. Оценка вероятностей ошибок обнаружения малоразмерного объекта на случайном неравномерном фоне / «Оптический журнал», том 73, №10, — 2006. с. 58 62.

43. Романов В.Ю. Популярные форматы файлов для хранения графических изображений на IBM PC. М.: Унитех, 1992. - 156 с.

44. Рутковская Д., Пилиньский М., Рутковский JI. Нейронные сети, генетические алгоритмы и нечеткие' системы / Пер. с польск. Hi Д. Рудинского. — М.: Горячая линия Телеком, 2004, - 452 с.

45. Сергиенко А.Б. Цифровая обработка сигналов. — СПб.: Питер, 2003. — 608 с.

46. Системы технического зрения: Справочник / В.И. Сырямкина, B.C. Титова, Ю.Г. Якушенков и др. // Под общ. ред. В.И. Сырямкина, B.C. Титова. Томск: МГП «РАСКО», 1992. - 367 с.

47. Столниц Э., ДеРоуз Т., Салезин Д., Вейвлеты в компьютерной графике / Пер. с англ. JI.A. Кунгуровой. Под. ред. Е.В. Мищенко — Ижевск: НИЦ «Регулярная и хаотическая динамика», 2002. — 272 с.

48. Строзотт Т., Шлехтвег Ш. Нефотореалистичная компьютерная графика: моделирование, рендеринг, анимация. / Пер. с англ. А.В. Петрова, под ред. А.В. Борескова М.: КУДИЦ-ОБРАЗ, 2005. - 416 с.

49. Суслин К.В., Шкурский Б.И. Способ квантования изображения / «Оптический журнал», том 72, №12, — 2005. с. 29 — 32.

50. Сэломон Д. Сжатие данных, изображения и звука. / Пер. с англ. В.В. Чепыжова М.: Техносфера, 2004. - 368 с.

51. Таненбаум Э., ван Стеен М. Распределенные системы. Принципы и парадигмы. / Пер. с англ. В. Горбунко. СПб.: Питер, 2003. - 877 с.

52. Тарасов В.В., Якушенков Ю.Г. Адаптивные оптико-электронные системы визуализации с матричными приемниками излучения. // в сб. «Оптико-электронные системы визуализации и обработки оптических изображений» вып. 2, М.: ЦНИИ «Циклон», - 2007, с. 16 - 37.

53. Тарасов В.В., Якушенков Ю.Г. Двух- и многодиапазонные оптико-электронные системы с матричными приемниками излучения. — М.: Университетская книга; Логос, 2007. — 192 с.

54. Тарасов В.В., Якушенков Ю.Г. Инфракрасные системы «смотрящего» типа. М.: Логос, 2004. - 444 с.

55. Тарасов В.В., Якушенков Ю.Г. Многоспектральные оптико-электронные системы // Спец. техника. 2002. № 4. - С. 56-62.

56. Тарасов В.В., Якушенков Ю.Г. Некоторые пути совершенствования тепловизионных систем // Спец. техника 2004. - №2, с. 11-19.

57. Тетерин В.В., Павлов В.А., Александров В.А. Метод комплексирования информации от многоканальной системы с использованием вейвлет-спектров / «Оптический журнал», том 73, №10, 2006. с. 47 — 51.

58. Титов B.C., Тру фанов М.И. Адаптивная калибровка оптико-электронных устройств. — Курск.; Курск. гос. техн. ун-т, 2007.- 143 с.

59. Трифонов М.И., Макулов В.Б. Автоматическое улучшение контраста изображений / «Оптический журнал», том 73, №10, — 2006. с. 34-40.

60. Уэлстид С. Фракталы и вейвлеты для сжатия изображения в действии. / Пер. с англ. JI.B. Печниковой М.: Издательство Триумф, 2003. — 320 с.

61. Форсайт Д.А., Понс Ж. Компьютерное зрение. Современный подход. / Пер. с англ. А.В. Назаенко, И.Ю.Дорошенко — М.: Издательский дом «Вильяме», 2004. 928 с.

62. Хайкин С. Нейронные сети: полный курс, 2-е издание. / Пер. с англ. Н.Н. Куссуль, А.Ю. Шелестова М.: Издательский дом «Вильяме», 2006. — 1104 с.

63. Хорн Б.К.П. Зрение роботов: Пер. с англ. И.М. Бродской, Е.Ю. Зуевой, А.Ю. Каргашина, под ред. Е.И. Кугушева, Ю.А. Садова М.: Мир, 1989. -487 с.

64. Цифровая обработка телевизионных и компьютерных изображений / Дворкович А. В., Дворкович В. П., Зубарев Ю. Б. и др.; Под ред. Ю. Б. Зубарева, В. П. Дворковича. М.: Междунар.центр науч.и техн.информ., 1997.-212 с.

65. Шапиро JL, Стокман Дж. Компьютерное зрение / Пер. с англ. А.А. Богуславского, под ред. С.М. Соколова. М.: БИНОМ. Лаборатория зрения, 2006. - 752 с.

66. Штарк Г.-Г. Применение вейвлетов для ЦОС. / Пер. с нем. Н.И. Смирновой, под. ред А.Г. Кюркчана-М.: Техносфера, 2007. — 192 с.

67. Эндрюс Г.Р., Основы многопоточного, параллельного и распределенного программирования. / Пер. с англ. А.Б. Ставровского, А.С. Подосельника, Г.И. Сингаевской — М.: Издательский дом «Вильяме», 2003. 512 с.

68. Якушенков Ю.Г. Теория и расчет оптико-электронных приборов. Учебник. 5-е издание, перераб. и доп. - М.: Логос, 2004. - 472 с.

69. Яне Б. Цифровая обработка изображений. / Пер. с нем. A.M. Измайловой. — М.: Техносфера, 2007. 584 с.

70. Ярославский Л.П. Введение в цифровую обработку изображений. — М.; Сов. радио, 1979.-312 с.

71. Ярославский. Л.П. Цифровая обработка сигналов в оптике и голографии: Введение в цифровую оптику. — М.: Радио и связь, 1987. — 296 с.

72. Alfred Mertins Signal Analysis: Wavelets, Filter Banks, Time-Frequency Transforms and Applications. — John Wiley & Sons Ltd, 1999.

73. Cha J.H., Jacobs E. Superresolution Reconstruction and its Impact on Sensor Performance / Proceeding of SPIE, Vol. 5784, 2005, pp. 107 113.

74. Dah-Chung Chang and Wen-Rong Wu. Image Contrast Enhancement Based on a Histogram Transformation of Local Standard Deviation, IEEE Transactions on medical imaging, vol. 17, no. 4, August 1998, pp. 518 — 531.

75. Das S., Krebs W.K. Sensor fusion of multi-spectral imagery. Institution of Electrical Engineers: Electronics Letters, 36, 2000, pp. 1115-1116.

76. Elad M., Feuer A. Restoration of a Single Superresolution Image from Several Blurred, Noisy, and Undersampled Measured Images / IEEE Transactions on Image Processing, Vol. 6 (12), 1997, pp. 1646 1658.

77. J.L. Tissot et al, "320x240 microbolometer uncooled IRFPA development", SPIE Vol. 4130, Infrared technology and Applications XXVI, 2000, pp. 473 -479.

78. Nguyen N., Milanfar P., Golub G. A Computationally Efficient Superresolution Image Reconstruction Algorithm / IEEE Transactions on Image Processing, Vol. 10 (4), 2001, pp. 573 583.

79. P. Bone, R. Young, C. Chatwin. Position, rotation, scale and orientation invariant multiple object recognition from cluttered scenes / Proceeding of SPIE, Vol. 5816, 2005, pp. 66 77.

80. Rummelt N.I., Cicchi Т., Curzan J.P. A Combined Non-uniformity and Bad Pixel Correction Method for Superpixelated Infrared Imagery / Proceeding of SPIE, Vol. 6206, 62060V 2006, pp. 1 8.

81. Schonbach B. Dynamic Tool to Estimate the Measurement Error in Radiometric IR Cameras / Proceeding of SPIE, Vol. 4360, 2001, pp. 381 -386.

82. Warren C. Infrared thermometry in the real word / Proceeding of SPIE, Vol. 4360, 2001, pp. 342-346.

83. Zhigang Zhu, Guangyou Xu, Yudong Yang, Jesse S. Jin. Camera Stabilization Based on 2.5D Motion Estimation and Inertial Motion Filtering. IEEE International Conference on Intelligent Vehicles, 1998, p. 329.