автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Разработка и исследование методов и алгоритмов улучшения визуального качества изображения в инфракрасном диапазоне на базе нейропроцессора NM6403 (Л1879ВМ1)

На правах рукописи

СОЛИНА Нелли Игоревна

РАЗРАБОТКА И ИССЛЕДОВАНИЕ МЕТОДОВ И АЛГОРИТМОВ УЛУЧШЕНИЯ ВИЗУАЛЬНОГО КАЧЕСТВА ИЗОБРАЖЕНИЯ В ИНФРАКРАСНОМ ДИАПАЗОНЕ НА БАЗЕ НЕЙРОПРОЦЕССОРА ЫМ6403 (Л1879ВМ1)

Специальность: 05.13.18 — Математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Нальчик —2004

Работа выполнена на кафедре «Автоматизированных систем обработки информации» Кабардино-Балкарского государственного университета

НАУЧНЫЙ РУКОВОДИТЕЛЬ доктор технических наук, профессор,

заслуженный деятель науки РФ Макаревич Олег Борисович

ОФИЦИАЛЬНЫЕ ОППОНЕНТЫ:

1. Доктор технических наук, профессор Бабенко Людмила Климентьевна (ТРТУ, г. Таганрог)

2. Кандидат технических наук, профессор Пашинцев Владимир Петрович (СевКавГТУ, г. Ставрополь)

ВЕДУЩАЯ ОРГАНИЗАЦИЯ: Федеральное государственное унитарное предприятие «Российский научно-исследовательский институт космического приборостроения» (ФГУП «РНИИ КП»), г. Москва

Защита состоится «4» сентября 2004 г. в 15:00 на заседании диссертационного совета К 212.245.02 Северо-Кавказского государственного технического университета, по адресу: г. Ставрополь, просп. Кулакова, 2, зал заседаний.

Отзывы на автореферат просьба направлять по адресу: 355029, г. Ставрополь, просп. Кулакова, 2, СевКавГТУ, диссертационный совет К 212.245.02.

С диссертацией можно ознакомиться в библиотеке СевКавГТУ. Автореферат разослан «/?» июля 2004 г.

Ученый секретарь

диссертационного совета К 212.245.02

Канд. физ.-мат. наук, доцент

О. С. Мезенцева

<&&м

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Все объекты излучают, поглощают, пропускают и отражают инфракрасное (ИК) излучение определенным образом, что позволяет получать определенную информацию об исследуемом объекте. Если произвести обработку данной информации, то можно определить и проконтролировать параметры объекта, особенно ценно то, что измерения производятся бесконтактным методом. Инфракрасное излучение лучше, чем видимое, проходит сквозь атмосферную дымку, замутненную среду, туманы большой плотности, что дает возможность видеть объекты, удаленные на расстояние в десятки и сотни километров, в том числе и полной темноте, осуществлять аэровидеосъемку как с самолета, так и со спутника. Но для того чтобы визуально увидеть объекты, полученные с помощью ИК излучений, необходимо провести предварительную обработку изображения. На сегодняшний день одной из актуальных задач инфраобработки является обработка динамических изображений в реальном времени с хорошим визуальным качеством на выходе, а это предъявляет очень жесткие требования к вычислительной мощности устройства обработки, и ведет к росту его стоимости.

Сейчас появилась потребность в создании компактных переносных те-пловизионных приборов с более низкой себестоимостью, с внутренней обработкой динамической информации в реальном времени. Для реализации тепловизоров с такими требованиями существует несколько подходов:

— усовершенствовать технику, а именно использовать современные цифровые сигнальные процессоры;

— преобразовать существующие известные методы работы с изображениями;

— произвести распараллеливание процесса вычислений.

В качестве цифрового сигнального процессора был выбран нейропро-цессор отечественного производства ИМ6403 (далее — Л1879ВМ1). Важнейшая особенность данного векторного процессора — работа с операндами произвольной длины (даже не кратной степени двойки) в диапазоне 1-64 бит, чего не делает ни один другой процессор. За счет данной особенности нет простоев процессора, а значит увеличивается скорость вычислений векторных операций.

Архитектура Л1879ВМ1 требует новых подходов к программированию известных алгоритмов обработки изображений в части улучшения визуального качества. Поэтому для получения более эффективной аппаратной реализации на нейропроцессоре Л1879ВМ1 можно и нужно воспользоваться двумя оставшимися путями, а именно произвести модификацию известных алгоритмов для их реализации на Л1879ВМ1 и использовать параллельные вычисления, в данном случае заключающиеся в деление разрядной сетки ней-ропроцессора для векторных операций.

Актуальность диссертационной работы заключается в удовлетворении потребности отечественного производства в эффективной обработке изображений в инфракрасном диапазоне. В диссертации эта задача решается с по-

мощью нейропроцессора Л1879ВМ1 с использованием модифицированных алгоритмов обработки сигналов, получаемых с матричного неохлаждаемого микроболометрического фотоприемного устройства (далее — тепловизор), в режиме реального времени.

Целью работы является модификация классических методов улучшения визуального качества изображения и разработка комплекса программ для Л1879ВМ1, обрабатывающего в режиме реального времени поступающие на тепловизионный прибор ИК сигналы от динамических объектов.

В связи с поставленной целью в диссертации решаются следующие основные задачи:

— анализ существующих классических методов и алгоритмов обработки изображения в инфракрасном диапазоне;

— модификация метода рекурсивной фильтрации и его программная реализация на нейроматричном аппарате вычисления процессора Л1879ВМ1;

— модификация метода двухточечной калибровки и его программная реализация на нейроматричном аппарате вычисления процессора Л1879ВМ1;

— модификация метода порогового подавления шумов в метод исправления «дефектных» элементов и его программная реализация на нейроматричном аппарате вычисления процессора Л1879ВМ1;

— модификация метода коррекции слабоконтрастных динамических объектов на изображениях с помощью линейного контрастирования в режиме реального времени и его программная реализация на нейроматричном аппарате вычисления процессора Л1879ВМ1;

— программная реализация гистограммной обработки в режиме реального времени на нейроматричном аппарате вычисления процессора Л1879ВМ1;

— модификация метода коррекции слабоконтрастных динамических объектов на изображениях с помощью нелинейного контрастирования в режиме реального времени с учетом значений линейного контрастирования и его программная реализация на нейроматричном аппарате вычисления процессора Л1879ВМ1;

— проверка эффективности реализации на процессоре Л1879ВМ1 алгоритмов обработки сигналов с матричного неохлаждаемого микроболометрического фотоприемного устройства.

Объект исследования. В работе исследуются методы обработки изображений в инфракрасном диапазоне.

Предмет исследования. Методы обработки изображений с целью улучшения визуального восприятия и эффективность обработки изображений нейроматричным аппаратом процессора Л1879ВМ1 в режиме реального времени.

В рамках исследования используются методы теории обработки изображений, цифровой обработки сигналов, основы теории инфракрасной техники, теория нейроматричного аппарата вычисления процессора Л1879ВМ1.

Научная новизна. Новизна диссертационной работы заключается в модификации известных методов обработки ИК изображений и их реализация на нейропроцессоре Л1879ВМ1 в режиме реального времени.

В результате проведенных в диссертации исследований

— модифицирован метод рекурсивной фильтрации, основанный на рекуррентном соотношении между входными и выходными переменными системы для накопления значений кадров в процессе вычисления поправочных коэффициентов и значений в режиме линейного контрастирования;

— модифицирован метод двухточечной коррекции, позволяющий выравнивать чувствительность, исправлять геометрические искажения;

— модифицирован метод порогового подавления шумов, корректирующий ошибки «дефектных» элементов матрицы;

— модифицированы для реализации в режиме реального времени методы линейного и нелинейного контрастирования, предназначенные для выделения изображения в определенном диапазоне яркостей с целью улучшения его визуального восприятия. В результате произведено сокращение времени обработки;

— разработан алгоритм построения гистограммы по 25% значений каждого кадра, упрощающий расчет значений линейного контрастирования в режиме реального времени.

Практическая ценность работы определяется возможностью использования результатов работы при проектировании и внедрении новых систем обработки динамического изображения в инфракрасном диапазоне для различных тепловизионных приборов, а также возможностью использования отдельных разработанных методов и алгоритмов при разработке и исследовании широкого круга задач по предварительной обработки информации для ее последующего распознавания.

Использование результатов работы. Результаты диссертации использованы в ОКР «Разработка и изготовление опытных образцов блока цифровой обработки сигналов для тепловизионной системы изделия ТПП-9С475Н», выполненной по заказу ОАО «Красногорский завод им. С. А. Зверева», г. Красногорск; в НИР №1/02-29 «Разработка блока цифровой обработки сигналов для тепловизионного канала информационного комплекса», НТЦ «Модуль» г. Москва; а так же в других программных продуктах, разрабатываемых НТЦ «Модуль», г. Москва.

Достоверность основных положений работы и применимость предложенных методов подтверждается результатами экспериментов по обработке изображений в инфракрасном диапазоне. Полученные в диссертационной работе алгоритмы проверены экспериментально на реальных изображениях, приходящих с оптической системы тепловизора. На основе проведенных исследований для об-

работки получаемого с фоточувствительной матрицы изображения осуществлена реализация комплекса программ, являющегося частью функционального программного обеспечения вычислительной системы на базе нейропроцессора Л1879ВМ1 в составе инструментального модуля МЦ4.02 (НТЦ «Модуль», г. Москва). Результаты диссертационной работы в виде функционального программного обеспечения использованы и внедрены в ОАО «Красногорский завод им. С. А. Зверева» (г. Красногорск), НТЦ «Модуль» (г. Москва).

Апробация работы. Основные результаты работы докладывались на Всероссийской научной конференции студентов, аспирантов и молодых ученых «Перспектива 2002» (Нальчик: Каб.-Бапк. ун-т, 2002 г.), на II Международной научно-технической конференции «Информатизация процессов формирования открытых систем на основе СУБД, САПР, АСНИ и систем искусственного интеллекта» (Вологда: ВоГТУ, 2003 г.), на IV Международной конференции молодых ученых и студентов «Актуальные проблемы современной науки» (Самара, 2003 г.), на X Всероссийской научно-технической конференции «Информационные технологии в науке, проектировании и производстве» (Нижний Новгород, 2003 г.), на XI Международной конференции «Математика, компьютер, образование» (Дубна, 2004 г.), на IX Международной открытой научной конференции «Современные проблемы информатизации в технике и технологиях» (Воронеж, 2004 г.), на IX Всероссийской научно-технической конференции студентов, молодых ученых и специалистов «Новые информационные технологии в научных исследованиях и в образовании НИТ-2004» (Рязань, 2004 г.), на X Юбилейной Международной научно-практической конференции студентов, аспирантов и молодых ученых «Современные техника и технологии СТТ'2004» (Томск, 2004 г.), на XI Всероссийской научно-технической конференции «Информационные технологии в науке, проектировании и производстве» (Нижний Новгород, 2004 г.), опубликованы в сборнике научных трудов молодых ученых (Нальчик: Каб.-Балк. ун-т, 2002 г.), в Международном сборнике научных трудов «Информационные технологии моделирования и управления» (Воронеж, 2004 г.).

Публикации. По теме диссертации опубликовано II печатных работ. Зарегистрирована 1 программа для ЭВМ (свидетельство № 2004611614).

Структура и объем работы. Диссертация включает введение, обзорную главу, три тематических раздела, заключение, список используемых источников и приложения. Основное содержание работы изложено на 173 страницах, включая список литературы из 72 наименований, 6 таблиц, 64 рисунка и 6 программ.

В работе получены и выносятся на защиту следующие новые основные результаты.

1) Модифицированный метод рекурсивной фильтрации, отличающийся от существующих методов возможностью выполнения параллельно с другими вычислениями с помощью операции взвешенного сумми-

рования на векторном процессоре, что существенно сокращает время обработки, и немаловажно для режима реального времени;

2) Модифицированный метод двухточечной коррекции, повышающий качество визуального восприятия и чистоту изображения за счет выравнивания чувствительности, исправления геометрических искажений и определяющий «дефектные» элементы для их последующей коррекции;

Ъ) Модифицированный метод исправления «дефектных» элементов, отличающийся от существующих возможностью выполнения в режиме реального времени без потери визуального качества изображения;

4) Модифицированные методы линейного и нелинейного контрастирования, усиливающие перепады яркостей слабоконтрастных изображений, обусловленные узким диапазоном яркостей наблюдаемого объекта, с целью улучшения визуального восприятия изображения и их выполнения в режиме реального времени. СОДЕРЖАНИЕ РАБОТЫ

Во введении раскрывается актуальность работы, ставятся цели и задачи исследования, выделяются новые научные результаты, выносимые на защиту, представлена структура и краткое содержание диссертационной работы.

В первой главе приведен обзор современного состояния тепловизион-ных приборов. Дана общая характеристика тепловизоров сканирующего и смотрящего типов: отличие одних от других, преимущества и недостатки. Уточнено, для какого типа тепловизоров будут рассматриваться методы и алгоритмы обработки ИК изображений. Представлены современные тепловизоры отечественных и зарубежных производителей. Объяснен принцип формирования тепловизионного видеосигнала. Проведен анализ известных методов и алгоритмов обработки изображения. Такими методами являются: метод двухточечной коррекции, рекурсивной фильтрации, метод порогового подавления шума, метод преобразования Фурье с блочной фильтрацией изображения, метод Дж. Тьюки, простой метод линейного контрастного масштабирования, метод линейного контрастного масштабирования с ограничением, методы Эндрюса и Холла, метод Кетчам. Анализ вычислительной сложности методов обработки ИК изображений и оценка их быстродействия при реализации на универсальных скалярных процессорах и на нейропроцессоре JI1879BM1 привели к выводу о необходимости модификации данных методов.

Известный метод рекурсивной фильтрации при неоптимальных значениях весовых множителей неустойчив: возникают ошибки округления и шум. Особенно это характерно для целочисленных реализаций — по этой причине данный метод не подходит для реализации на JI1879BM1.

Известный метод двухточечной коррекции плохо отражает реальный диапазон изменения кодов исправных элементов.

Известный метод порогового подавления шумов, реализованный на универсальном скалярном процессоре, выполняется за время 0,93 с (для матрицы 320 х 240) и 0,64 с (128 * 128), а на нейропроцессоре — за время 0,7 с (для матрицы 320 * 240) и 0,16 с (128 * 128) соответственно. Таким образом,

реализация данного метода не укладывается в режим реального времени (0,04 с). Если же для исправления «дефектных» элементов воспользоваться преобразованием Фурье, то необходимо ввести блочную фильтрацию изображения, в результате чего появится избыточная обработка данных, которая приведет к замедлению работы программы. Так, для матрицы 128 * 128 пиксел время исправления «дефектных» элементов на нейропроцессоре составит 0,09 с, а для матрицы 320 х 240 пиксел — 0,48 с, что также не укладывается в режим реального времени. Существует еще метод медианного фильтра Дж. Тыоки, который выполняется за еще большее время и, исправляя шум на изображении, подавляет полезный сигнал, который невозможно восстановить.

Простой метод линейного контрастного масштабирования не вносит существенных изменений в коррекцию слабоконтрастных динамических объектов на изображениях. А выполнение на нейропроцессоре расчета линейного контрастного масштабирования с ограничением осуществляется за 0,037 с, что соответствует выполнению данной процедуры в режиме реального времени, но не позволяет выполняться вместе с процедурой исправления «дефектных» элементов за время 0,04 с. Помимо этого, после проведения предварительной обработки изображения по улучшению визуального качества должно оставаться время от общего 0,04 с на выполнение других процедур по обработке изображения. Поэтому необходимо произвести модификацию метода линейного контрастного масштабирования с ограничением с целью уменьшения времени расчетов. Для определения ограничений проводится построение гистограммной обработки. Были проанализированы известные методы: метод Эндрюса и Холла и метод Кетчам. От них пришлось отказаться в виду двух причин. Первая причина заключается в ограничении процессора Л1879ВМ1 на работу с вещественными числами и потому метод Кетчам не может бьпъ применим. Вторая причина со-стош' в том, что метод Эндрюса и Холла без возможности исправить ошибки квантования не вносит должного эффекта в исправление контраста, а изображение по качеству не отличается от изображения, полученного по методу простого линейного контрастного масштабирования.

Поэтому в главе 2 и главе 3 произведены модификации методов с тем, чтобы реализовать их на нейропроцессоре Л1879ВМ1 в режиме реального времени.

Во второй главе разрабатываются модификации известных методов рекурсивной фильтрации, двухточечной коррекции и исправления «дефектных» элементов.

Метод рекурсивной фильтрации. Рекурсивная фильтрация основывается на рекуррентном соотношении между входными и выходными переменными системы. Были проведены исследования на устойчивость метода рекурсивной фильтрации при различных весовых коэффициентах для разных матриц. Производилась оценка временных характеристик. Результирующее изображение проверялось на потери качества. Было решено воспользоваться линейным фильтром с весовым коэффициентом 2q:

а,, — аа'„ .,.

(1)

где ^ — коды текущего фильтрованного кадра; а,у — коды текущего нефильтрованного кадра; аа'у — коды предыдущего накопленного кадра.

Величина q обозначает время накопления кадров, измеряется в количестве накопленных кадров (2Ч) и соответствует постоянной времени фильтра т (период одного кадра). Для определения точного значения периода т выводится уравнение эквивалентности из формулы (1) при нулевом входном сигнале ац. При этом выходной сигнал ^ за время кадра будет уменьшаться в

результате умножения на коэффициент (1 - 2"4):

а„-оа'.. . а',.

а'н=—--+аа]„

У //>

аа„

"и аа'„

= ехр(-1/г),

а отсюда получается:

ехр(-1/г)=(1-2-'), (2)

Из (2) следует выражение для эквивалентного времени накопления одного кадра:

Г(9)=-1/1П(1-2-<). (3)

Зависимость т(д), рассчитанная по (3), приведена в таблице 1. Таблица 1. Зависимость времени накопления кадров от величины q для сдвига разрядной сетки при расчете на нейропроцессоре, где значения т исчисле-

1 2 3 4 5 6 7 8

2Ч 2 4 8 16 32 64 128 256

с(я) (кадров) 1,4 3,5 7,5 15,5 31,5 63,5 127,5 255,5

г(д) * 40л<с 56 140 300 620 1260 2540 5100 10220

Исходя из данных, полученных по формуле (3) и описанных в таблице 1, расчет значений по формуле (1) происходит за время, равное г(д)х 40мс, что соответствует реальному времени. А так как расчет данных производится на нейропроцессоре, то процесс накопления значений кадров можно выполнять параллельно с другими командами с помощью операции взвешенного суммирования (см. (22)) на векторном процессоре, что существенно сокращает время обработки. Накопление значений последовательности кадров (1) необходимо для получения поправочных коэффициентов, используемых для коррекции чувствительности и шума фоточувствительных элементов, и расчета значений в режиме линейного контрастирования. В главе приведен алгоритм, реализующий метод рекурсивной фильтрации.

Получаемое с фоточувствительной матрицы изображение зачастую бывает сильно искаженным из-за разброса характеристик фоточувствительных элементов; так же на матрице могут присутствовать «битые» элементы (испорченные физически). Попадаются сбойные элементы, чувствительность которых близка к нулю или, напротив, больше, чем это необходимо. По этой причине изображение, выводимое на экран, будет испорчено появлением то-

чек и полос. Исправить данную ситуацию, то есть произвести выравнивание чувствительности и устранение геометрического искажения, удается с помощью метода двухточечной коррекции. В работе используется модифицированный метод двухточечной коррекции, для чего производится процедура калибровки по «низкой» и «высокой» температурам.

Калибровка является подготовительной функцией, при которой определяются параметры улучшения качества изображения (поправочные коэффициенты), а также выявляются «дефектные» элементы матрицы тепловизора.

Чувствительность — это входное напряжение при заданном отношении сигнал/шум на выходе по мощности. Выравнивание чувствительности производится для того, чтобы все элементы изображения равномерно освещенного объекта воспроизводились с одинаковой яркостью.

На оптическую систему поступает входной сигнал Я^), искажаемый таким образом, что на выходе получается сигнал и. Модифицированный метод выглядит следующим образом:

/(О = (I/ - Ь)к, (4)

где к и Ь — случайные процессы, которые описывают простейшие случайные искажения сигнала, к — мультипликативный шум (вольтовая чувствительность), Ь — аддитивный шум (геометрическое искажение). Геометрические искажения возникают благодаря переотражению поступающего сигнала внутри объектива либо в случае, когда сигнал от нагретого объектива забивает более слабый сигнал от объекта, находящегося на большом расстоянии от камеры. Коэффициент Ь позволяет уменьшить неравномерности изображения в рабочем диапазоне «низких» температур, связанных с геометрическими искажениями и получить равномерную засветку экрана; другими словами — обеспечить точную «установку нуля». Коэффициент к используется для учета разброса элементов матрицы по чувствительности, т.е. позволяет выравнивать вольтовую чувствительность фоточувствительных элементов матрицы.

Так как обрабатываются значения не одного кадра, а «бесконечного» потока кадров, то (4) будет записано в виде:

=Ц, - б,,)* (5)

где я„ — исходные значения кадра; а у — обработанные значения кадра;

Ьц — поправочный коэффициент ¡, j значения кадра для точной «установки нуля» по «низкой» температуре;

ку — поправочный коэффициент 1, ] значения кадра для учета разброса чувствительности элементов матрицы по «высокой» температуре.

Расчет поправочных коэффициентов проводится в режиме калибровки по «низкой» температуре. Исходные коды кадра берутся из области памяти. Приход очередного кадра вызывает выполнение программы, т.е. программа работает только с одним кадром. Сколько будет кадров, столько раз будет выполняться программа. Количество кадров в 1 секунду равно 25. Во

Во время работы калибровки по «низкой» температуре производится обработка 356 кадров, что составляет б порций накоплений кадров. Во всех порциях накопления, кроме второй, участвует по 68 кадров. Во второй порции количество кадров составляет 16 и используется для расчета среднего отклонения значений кодов. Первая порция накопления кадров используется для расчета математического ожидания. Третья порция — для вычисления первоначальных усредненных значений кадров для последующего расчета Ьу в четвертой порции. В четвертой, пятой и шестой порциях рассчитывается Ьу. Для определения значений коэффициентов Ьу используют 272 кадра: четыре порции накопления по 68 кадров в каждой. Каждая из четырех порций накопления рассчитывается с помощью метода рекурсивной фильтрации (1). Расчет каждой порции накопления производится следующим образом. Вначале суммируются первые 4 кадра, полученное значение усредняется и используется в дальнейшем как начальное для функции накопления 64 кадров методом рекурсивной фильтрации (1). Время накопления кадров я определяет количество накопленных кадров. Для 64 кадров q равняется 6.

Значение коэффициентов Ьу определяется по формуле:

где ¿у — первоначальные усредненные значения 68 накопленных кадров (третья порция) или же значение Ьу, вычисленное на предыдущем этапе, а^ — усредненные значения следующих 68 накопленных кадров (четвертая порция).

Для получения усредненного результата используется матрица, производящая деление на 64 с помощью операции умножения с накоплением (22) на векторном процессоре.

По полученным результатам Ьу формируется таблица поправочных коэффициентов в специально отведенной области памяти для обеспечения аппаратной корректировки кодов кадров.

Расчет поправочных коэффициентов кч проводится в режиме калибровки по «высокой» температуре.

Во время работы калибровки по «высокой» температуре производится обработка 220 кадров, что составляет 4 порции накопления кадров. Во всех порциях накопления, кроме второй, участвует по 68 кадров. Во второй порции количество кадров составляет 16 и используется для расчета нового среднего отклонения значений кодов.

Первая порция накопления кадров используется для расчета нового значения математического ожидания. Третья порция - для вычисления первоначальных усредненных значений кадров для расчета ку в четвертой порции. В четвертой порции накопления кадров ку рассчитывается по формуле, аналогичной расчету Ьу (6):

(6)

и

где с!н — первоначальные усредненные значения 68 накопленных кадров (третья порция), а^ — усредненные значения следующих 68 накопленных кадров (четвертая порция).

Расчет ку:

1. Производится предварительный расчет поправочных коэффициентов кд по формуле (7).

Значения, полученные во время расчета четвертой порции накопления кадров, складываются с усредненными значениями, полученными при расчете третьей порции. Результат усредняют.

2. Производится окончательный расчет поправочных коэффициентов ку. В начале определяется среднее значение поправочного коэффициента всего кадра по полученным на первом этапе поправочным коэффициентам Ц:

] км к,,8г = —— У к,., (8) " И*Мм7„| 4 '

где N — количество строк матрицы, М — столбцов.

Затем производится вычисление максимального значения поправочного коэффициента:

киМах = 2 * к^г. (9)

Используя значение кцМах, производится определение неисправных элементов кадра. Для этого было введено условие к11Мах1А<к11 < к„Мах, по которому элементы, не удовлетворяющие условию, считаются неисправными.

Рассчитанные поправочные коэффициенты ку записываются в область памяти.

Полученные значения коэффициентов ку используются для корректировки коэффициентов Ьу (корректировка нулевого уровня):

(10)

Корректировка нулевого уровня производится по нижней границе для отрицательных значений. Если Ьу<0, то Ьу=0.

После корректировки Ьи и ку производится формирование таблиц поправочных коэффициентов и «дефектных» элементов для обеспечения аппаратной корректировки значений кадров при работе в режиме реального времени. Таблицы «дефектных» элементов содержат информацию о неисправных элементах, методах их исправления и информацию об исправных элементах, участвующих в устранении неисправностей. На этом процедура калибровки заканчивается. Включается режим реального времени. Каждый приходящий кадр обрабатывается с учетом полученных поправочных коэффициентов, тем самым выравнивая фоточувствительные элементы по чувствительности (5). Время выхода на рабочий режим, т.е. время на проведение расчетов поправочных коэффициентов в режиме калибровки и определения «дефектных» элементов и элементов для их исправления составило: для калибровки по «низкой» температуре 14,28 с, для калибровки по «высокой» температуре 8,84 с.

Исправление «дефектных» элементов.

Просмотрев множество методов подавления «дефектных» элементов было решено модифицировать пороговый метод подавления шумов в метод исправления «дефектных» элементов в связи с тем, что известные методы не удовлетворяют требованиям режима реального времени (см. Таблицу 2).

Теперь в исправлении значений «дефектных» элементов будут участвовать не все соседние элементы, а только выбранные на этапе калибровки, и записанные в специальную таблицу.

Метод исправления «дефектных» элементов был модифицирован с целью уменьшения времени расчетов. Были введены два понятия: замена и интерполяция «дефектного» элемента. Под понятием «замена» понимается изменение значения, полученного от «дефектного» элемента, на значение исправного соседнего элемента (см. рис. 1, а).

ит — дефектный ЭЛСМС1ГГ матрицы у— исправный элемент матрицы

Рис. 1,а Замена дефектного элемента

Замена происходит в любых направлениях. Под понятием «интерполяция» понимается замена значения сбойного элемента на полусумму полярно стоящих от него исправных элементов (см. рис. 1, б); интерполяция производится в направлении от первого элемента массива ко второму. Могут быть взяты соседние элементы по горизонтали, по вертикали или по диагонали. Если получилось так, что соседние элементы тоже являются сбойными, то производится поиск более удаленных соседей, но с исправными значениями. Каждое из понятий реализуется в виде процедуры. Но перед тем как выполнять процедуру замены или интерполяции, необходимо определить «дефектные» элементы и записать место их расположения в специальной таблице. В данной таблице должны храниться адреса «дефектных» элементов. Так же используются таблицы, участвующие в исправлении «дефектных» элементов: в первой записано, какая процедура будет применена для исправления определенного «дефектного» элемента, во второй находятся значения исправных элементов, участвующих в замене или интерполяции.

у 14

У*

стт< -у5

у12-

У7

уб

- >1 12 у4 -

- У' и етт _

- у!0 «Т > уИ у12 у13 -

- у14 у15 ч у!6 у!7 у18

- - - -

стт—дефопный элемент матрицы у— исправный элемент жприцы

Рис. 1,6 Интерполяция дефектного элемента

У1 У* >С1Т т *ят

у5- *ТТ >1 егт -У егт и егт

У7 у8- \ У 19 уЮ уП

у!2 у!3 у!4 У15 у!б у!7

стт—дефектный элемент матрицы у— исправный элемент матрицы

Рис. 1, в. Пример применения процедур замены и интерполяции дефектных элементов

Программная процедура интерполяции должна иметь высший приоритет, и только в том случае, когда ее невозможно выполнить, должна выполняться процедура замены (см. рис. 1, в).

Во время работы программы, реализующей метод исправления «дефектных» элементов, были осуществлены замеры времени ее выполнения. Оценка времени обработки одного кадра не превышает 2,38 мс, из них на процедуру корректировки чувствительности и геометрического искажения уходит 0,36 мс, а на процедуру исправления «дефектных» элементов — 2,02 мс. Таблица 2. Временные характеристики классических и модифицированного

методов исправления «дес >ектных» элементов.

Метод Процессор Время выполнения метода

Классический метод порогового подавления шумов Ме1® РеШшш™ IV 3,4 ГГц 0,93 с (320x240) 0,64 с (128 х 128)

Л1879ВМ1 0,7 с (320x240) 0,16 с (128 х 128)

Преобразование Фурье с блочной фильтрацией Л1879ВМ1 0,48 с (320x240) 0,09 с (128 х 128)

Модифицированный метод Л1879ВМ1 0,00202 с (320 х 240) 0,00059 с (128 х 128)

Третья глава посвящена модификации методов линейного и нелинейного контрастирования, улучшающих визуализацию тепловизионных изображений.

Для исправления слабоконтрастных изображений, обусловленных узким диапазоном яркостей наблюдаемого динамического объекта, необходимо воспользоваться методом линейного контрастирования, так как метод нелинейного контрастирования имеет более сложную процедуру вычислений, которая не укладывается в режим реального времени. За основу берется известный метод линейного контрастирования: точно также по гистограмме изо-

бражения находятся минимальное и максимальное значения кадра и с их помощью производится усечение кадра.

В отличие от известных методов линейного контрастирования, для вычисления результирующего сигнала используется модифицированный для реализации на нейроматричном аппарате вычислений в режиме реального времени алгоритм расчета значений гистограммы (по 25% значений кадра) и алгоритм накопления промежуточных значений.

Расчет гистограммы происходит следующим образом. Для каждого 4-го пиксела берется значение его яркости и подсчитывается количество пик"" селей данной яркости в диапазоне [0; (количество строк матрицы х количество столбцов матрицы)/4], т.е. для построения гистограммы используется 25% яркостей. Вычисленные значения записываются в массив по смещению, равному значению яркости данного пиксела. Затем для каждого приходящего кадра определяются максимальное (Amax) и минимальное (Л min) значения гистограммы, которые будут использоваться для последующего расчета уровня серого Us, коэффициента передачи Кр и усечения значений кадров в режиме линейного контрастирования.

Используя минимальное значение гистограммы, вычисляется: начальное (для первого кадра) и текущее (на каждом последующем кадре) значение серого Us:

Ш = чМА mi%6)+1; (п) Процесс деления выполняется с помощью процедуры смещения на 4 бита вправо.

Коэффициент передачи Кр задается формулой:

к 255 __ 255 (12)

Р (Л max-\6Us) (Лтах-(Лгшп+16))' ^ В начале вычисляется делитель A max- (/fmin+16), а затем по таблице выбирается значение коэффициента передачи. В таблице хранятся заранее рассчитанные по формуле (12) значения для делителей от 1 до 170, т. к. при делении на 1 получается Кр max = 255, при делении на 170 — Кр min = 1. Если Кр < Кр miii, то Кр = Кр min, если Кр > Кр max,то Кр = Кр max. Процесс деления подменяется уже вычисленными значениями, прописанными в таблице, из-за невозможности осуществить деление над получаемыми в процессе работы ' программы скалярными числами, так как деление на процессоре JI1879BM1

может быть выполнено только над векторами с помощью матриц или над заранее известными числами с помощью команд смещения. Найденное значе-i ние Кр заносится в ячейку памяти.

Для вычисления значений а"'» в режиме линейного контрастирования используется модифицированный метод рекурсивной фильтрации, поэтому необходимо определить начальные значения Us (11) и Кр (12) по первому кадру (используется на начальном этапе вычисления), а затем по последующим кадрам текущие значения Us (11) и Кр (12). Процедура рекурсивной фильтрации проводится по двум кадрам (см. (1)). Текущие значения Us и Кр

вместе со значениями из предыдущего кадра используются для вычисления новых значений Us и Кр по формулам:

(13)

Кр = - Кр^^^,)/!4 + , (14)

где q=l (накопление по двум кадрам: предыдущему и текущему). Накопление Us и Кр можно осуществлять не только по двум кадрам (q=l), но и по четырем (q=2), по восьми (q=3) или по шестнадцати (q=4), так как все эти значения укладываются в режим реального времени, работающий с 25 кадрами в секунду. Но выбор пал на q=l из-за более быстрой обработки поступающих кадров.

Полученный результат сохраняется в ячейке памяти и используется для расчета значений в режиме линейного контрастирования и для расчета новых Us и Кр уже на следующем кадре. Затем производится усечение исходного кадра по минимуму и максимуму гистограммы:

если ац < А min, ТО а(; = А min, если > Атвх, то ач = Лтах. Результат записывается в область памяти и используется для коррекции кодов кадра в режиме линейного контрастирования с использованием текущих оценок уровня серого Us (13) и коэффициента передачи Кр (14). Согласование видеосигнала с диапазоном входных сигналов видеомонитора в режиме линейного контрастирования выполняется путем пересчета кодов ац по формуле:

=Л>(ау-16№), (15) где a,j — исходное значение i, j пикселя.

Нелинейное контрастирование. Как уже было сказано ранее, реализовать с высокой точностью нелинейную характеристику передачи уровней не всегда удается, в частности, из-за большого количества вычислений. Исправления слабоконтрастных изображений были проведены в работе с помощью линейных характеристик, потому что обработка кадров с помощью нелинейных характеристик не укладывалась в режим реального времени. Конечно же, изображение, обработанное с помощью линейных преобразований, более контрастное, чем изображение, обработанное нелинейными преобразованиями. Но данную ситуацию можно откорректировать, если ввести табличную гамма-коррекцию, с целью приведения значений линейного контрастирования к нелинейному виду. За счет такого преобразования смягчается контраст изображения и работа программы укладывается в режим реального времени.

Вычисление нелинейных значений для таблицы гамма-коррекции производится по формулам (16) и (17):

•расчет значений таблицы гамма-коррекции:

у = цм.[( 127.5г -(*-127.5)г)/255], (1б) * = 0-=-255.

где х — значения яркостей, полученных при линейном контрастировании и порядковые номера в таблице, у — значения таблицы гамма-коррекции.

•расчет значений нелинейного контрастирования по таблице гамма-коррекции (см. рис.2):

гег = х + у* N/6 4,

(17)

N = -64 + 64, 4 '

N — коэффициент нелинейности.

Из рис. 2 видно, что в зависимости от коэффициента нелинейности N значения яркостей в разных диапазонах изменяются сильнее или слабее. К примеру, для N = -64 сильные изменения значений яркостей коснутся нижнего диапазона (темные области изображения), а для N = 64 — верхнего диапазона значений яркостей (светлые области изображения).

I

»а ю Ш К

300 250 200 150 100

N■>16

яркость на входе

Рис. 2. Значения яркостей при нелинейном контрастировании для различных коэффициентов нелинейности, полученные по формуле (17).

При использовании линейного контрастирования в автоматическом режиме при съемке объектов с помощью тепловизора яркость объектов изменялась скачками, и в результате получались слишком резкие перепады яркости изображения. Благодаря замене линейного контрастирования на нелинейное через таблицу гамма-коррекции, было получено более мягкое контрастное изображение. Причем перепады яркостей стали плавными. Получаемое решение имеет вид таблицы, записываемой в память, в которой для каждого входного уровня (результата работы линейного контрастирования) указывается соответствующий выходной уровень (нелинейное контрастирование). Конечно же, степень улучшения субъективного восприятия зависит от характера изображения. Приведем примеры изображений без применения процедуры контрастирования (см. рис. 3), с применением процедуры линейного контрастирования (см. рис. 4) и нелинейного контрастирования (см. рис. 5).

:»л--** л Ж-*-- ■

Рис. 3. Выходной кадр при работе тепловизора без включения режима контрастирования _

Рис. 4. Выходной кадр, полученный при работе тепловизора в режиме линейного контрастирования Так как работа программ по обработке изображения проводится в режиме реального времени, то при переходе от линейного контрастирования к нелинейному не должна появиться задержка по времени. Были осуществлены замеры времени выполнения всего комплекса программ обработки одного кадра в режиме контрастирования изображения, приходящего от тепловизора. Время выполнения программ оказалось равным 24,3 мс, что соответствует обработке изображения в реальном времени. При этом из 24,3 мс на процедуру линейного контрастирования уходит 0,5 мс, а при сопоставлении ему по таблице значений нелинейного контрастирования—еще 0,27 мс.

Рис. 5. Выходной кадр, полученный при работе тепловизора в режиме нелинейного контрастирования

В четвертой главе показан принцип работы нейропроцессора Л1879ВМ1 и его вычислительного аппарата, и как с его помощью можно решить поставленные задачи в режиме реального времени. Для осуществления работы тепловизора в режиме реального времени, необходимо, чтобы процессор в течении 40 мс обрабатывал все значения поступившего кадра, проводил усреднения рассчитанных значений, вносил поправки и выводил результат на экран. Так как почти все операции являются векторными, то основные вычисления выполняются специальным векторным процессором, который представляет собой специализированный матричный узел нейропроцессора Л1879ВМ1 и используется для выполнения операций умножения с накоплением, арифметических и логических операций, маскирования, функций активации над векторами и матрицами. Использование векторного умножителя для реализации большого количества однотипных операций при оценке параметров помех и цифровой фильтрации приводит к существенному выигрышу в аппаратных затратах и производительности цифровой обработки. Все основные операции, описанные в 2 и 3 главах, рассчитываются с помощью векторного процессора, для чего'используется операция умножения с накоплением (взвешенное суммирование):

г, = Г,+ = ...,М;у = 1,...,лО, (22)

где г, — элемент выходного вектора;

X, — элемент данных, поступающих на вход операционного узла векторного процессора;

У, — частичная сумма, накопленная на предыдущем шаге взвешенного суммирования;

УГу — весовые коэффициенты, расположенные в соответствующих ячейках рабочей матрицы процессора;

М — количество столбцов рабочей матрицы;

N — количество строк рабочей матрицы.

В результате проведенных практических разработок на базе нейропро-цессора Л1879ВМ1 был разработан действующий комплекс программ обработки изображений, полученных с тепловизора в инфракрасном диапазоне. Программы выполняют специализированные функции: проведение процедуры калибровки по двум точкам, выравнивание чувствительности и исправление геометрического искажения, исправление дефектных» элементов матрицы на изображении, накопление значений кадров с помощью процедуры рекурсивной фильтрации, исправление слабоконтрастных изображений с помощью процедур линейного и нелинейного контрастирования. После проведения калибровки по двум точкам формируется изображение с приемлемым качеством, несмотря на присутствие в матрицах размером (320 х 240) около 4.6% неисправных пиксел. Представлена проверка правильности выполнения программ. Показано, что используемые методы и реализованные на их основе программы обеспечивают работу на микропроцессорном модуле в режиме реального времени. Приведены результаты обработки изображений программами, реализованными по алгоритмам из главы 2 и главы 3.

В процессе проведения проверки был сделан вывод о том, что работа программы без гистограммной обработки в режиме контрастирования может привести к существенному ухудшению качества выходного кадра в случае, если на исходном кадре присутствуют «большие» светлые или темные пятна, что подтверждается полученными изображениями.

В заключении подводится итог проведенным исследованиям, и формулируются полученные результаты.

В приложениях приводятся тексты программ.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

В процессе выполнения работы получены следующие основные результаты:

1. Произведен анализ существующих методов улучшения изображений в инфракрасном диапазоне. В процессе исследования возникла необходимость в модификации методов рекурсивной фильтрации, двухточечной коррекции, исправления шумов и контрастирования.

2. Модифицирован метод рекурсивной фильтрации, основанный на рекуррентном соотношении между входными и выходными переменными системы для накопления значений кадров в процессе вычисления поправочных коэффициентов и значений в режиме линейного контрастирования. Данный фильтр устойчив для разных значений весовых множителей и выполняется в режиме реального времени без потери качества. Произведена программная реализация метода рекурсивной фильтрации в режиме реального времени на нейроматричном аппарате вычисления процессора Л1879ВМ1.

3. Модифицирован метод двухточечной коррекции, позволяющий выравнивать чувствительность, исправлять геометрические искажения, определять «дефектные» элементы матрицы и элементы для их исправления. Для выравнивания чувствительности и геометрических искажений были вычислены поправочные коэффициенты, сформированы таблицы поправочных коэффициентов и «дефектных» элементов для обеспечения корректировки значений кадров при работе в режиме реального времени. Произведена программная реализация метода двухточечной коррекции на нейроматрич-ном аппарате вычисления процессора Л1879ВМ1. Оценка времени обработки одного кадра в программе, производящей коррекцию элементов матрицы, равна 2,38 мс, из них на процедуру корректировки чувствительности и геометрических искажений уходит 0,36 мс, а на процедуру исправления «дефектных» элементов — 2,02 мс.

4. Модифицирован метод порогового подавления шумов в метод исправления «дефектных» элементов. Исправление «дефектных» элементов производится по таблицам, содержащим информацию о неисправных элементах, методах их исправления и информацию об исправных элементах, участвующих в устранении неисправных. Произведена программная реализация в режиме реального времени (программа выполняется за 2,02 мс) на ней-роматричном аппарате вычисления процессора Л1879ВМ1.

5. Модифицирован метод коррекции слабоконтрастных динамических объектов на изображениях с помощью линейного контрастирования для выделения изображения в определенном диапазоне яркостей с целью улучшения визуального восприятия и реализации в режиме реального времени. Произведена программная реализация в режиме реального времени (программа выполняется за 0,5 мс) на нейроматричном аппарате вычисления процессора Л1879ВМ1.

6. Разработан алгоритм построения гистограммы по 25% значений каждого приходящего кадра, упрощающий расчет значений линейного контрастирования в режиме реального времени. Производится усечение исходного кадра по минимуму и максимуму гистограммы для исправления ситуации, когда в диапазон яркостей выходного изображения могут попасть отрицательные значения. Произведена программная реализация гистограммной обработки в режиме реального времени (программа выполняется за 1,1 мс) на нейроматричном аппарате вычисления процессора Л1879ВМ1.

7. Модифицирован метод коррекции слабоконтрастных динамических объектов на изображениях с помощью нелинейного контрастирования с учетом значений линейного контрастирования. Была реализована табличная гамма-коррекция, с целью приведения значений линейного контрастирования к нелинейному виду. Полученные нелинейные характеристики смягчают контраст изображения, и добавляют всего 0,27 мс ко времени выполнения всего комплекса программ на нейроматричном аппарате вычисления процессора Л1879ВМ1, что укладывается в режим реального времени.

8. Осуществлена проверка эффективности реализации предложенных алгоритмов по обработке ИК сигналов. В результате проведенных практических разработок на базе нейропроцессора Л1879ВМ1 был разработан действующий комплекс программ обработки изображений, полученных с тепловизора в инфракрасном диапазоне. Программы выполняют специализированные функции: проведение процедуры калибровки по двум точкам, выравнивание чувствительности и исправление геометрических искажений, исправление «дефектных» элементов матрицы на изображении, накопление значений кадров с помощью процедуры рекурсивной фильтрации, исправление слабоконтрастных изображений с помощью процедур линейного и нелинейного контрастирования. После проведения калибровки по двум точкам формируется качественное изображение, несмотря на присутствие в матрицах и 4,6% неисправных пиксел. Было выявлено, что работа программы без гистограммной обработки в режиме контрастирования может привести к существенному ухудшению качества выходного кадра в случае, если на исходном кадре присутствуют «большие» светлые или темные пятна, что подтверждается полученными изображениями. Показано, что используемые методы и реализованные на их основе программы обеспечивают работу на микропроцессорном модуле в режиме реального времени, т.е. соответствуют длительности кадра в 40 мс. Общее время обработки комплексом программ одного кадра составляет 24,3 мс, что намного меньше требуемых 40 мс.

Основные результаты опубликованы в следующих печатных работах.

1. Солина Н.И. Обработка данных, посылаемых на нейропроцессор ЫМ6403, редактором связей. Сборник научных трудов молодых ученых. — Нальчик: Каб.-Балк. ун-т, 2002. С. 67-70.

2. Солина Н.И. Построение класса «нейрон» для многослойной нейросети с корректировкой связи. Материалы Всероссийской научной конференции студентов, аспирантов и молодых ученых «Перспектива 2002». — В 5-ти томах. — Нальчик: Каб.-Балк. ун-т, 2002. — Т. 2. С. 161-164.

3. Солина Н.И. Алгоритм функции калибровки оцифрованных сигналов для улучшения качества изображения. Информатизация процессов формирования открытых систем на основе СУБД, САПР, АСНИ и систем искусственного интеллекта: Материалы 2-й Межд. науч.-техн. конф. — Вологда: ВоГТУ, 2003. С. 168-171.

4. Солина Н.И. Расчет поправочных коэффициентов в режиме калибровки по низкой температуре на нейропроцессоре №/16403 (Л1879ВМ1). Труды 4-й Международной конференции молодых учёных и студентов «Актуальные проблемы современной науки». Естественные науки. Часть 17 Секции: информатика, вычислительная техника и управление. Самара, 2003. С. 133— 136.

5. Солина Н.И. Линейное и нелинейное контрастирование изображения

фоточувствительной матрицы на нейропроцессоре NN16403 // Десятая всероссийская научно-техническая конференция «Информационные техно-

логии в науке, проектировании и производстве»: Сборник материалов. —

Нижний Новгород: НГТУ, 2003. С. 22-23.

6. Солина Н.И. Решение проблемы обработки изображения в реальном времени на нейропроцессоре Л1879ВМ1 // Девятая Международная открытая научная конференция «Современные проблемы информатизации в технике и технологиях»: Сборник тезисов докладов. Воронеж, 2004. С. 253.

7. Солина Н.И. Расчет поправочных коэффициентов в режиме калибровки по высокой температуре на нейропроцессоре Л1879ВМ1 // Международная конференция «Математика. Компьютер. Образование»: Сборник тезисов докладов. — Под общ. ред. Г.Ю. Ризниченко, вып.11, Москва -Ижевск: Изд-во «Регулярная и хаотическая динамика», 2004. С.153.

8. Солина Н.И. Выравнивание чувствительности и исправление геометрического шума в тепловизионных изображениях методом двухточечной коррекции // Информационные технологии моделирования и управления: Междунар. сб. науч. тр. — Под ред. д.т.н., проф. О. Я. Кравца. Вып. 15. — Воронеж: Изд-во «Научная книга», 2004. С. 115-122.

9. Солина Н.И. Результаты программной реализации метода двухточечной коррекции на базе нейропроцессора Л1879ВМ1 // XI Всероссийская научно-техническая конференция «Информационные технологии в науке, проектировании и производстве»: Сборник материалов. — Нижний Новгород: МВВО АТН РФ, 2004. С. 37.

10. Солина Н.И. Алгоритм расчета гистограммы теплового изображения на нейропроцессоре Л1879ВМ1 // IX Всероссийская научно-техническая конференция студентов, молодых ученых и специалистов «Новые информационные технологии в научных исследованиях и в образовании»: Сборник тезисов докладов. Рязань, 2004. С. 180-182.

11. Солина Н.И. Корректировка тепловизионного изображения в режиме линейного контрастирования на нейропроцессоре Л1879ВМ1 // X Юбилейная Международная научно-практическая конференция студентов, аспирантов и молодых ученых «Современные техника и технологии»: Труды. В 2-х т. — Томск: Изд-во Томского политехи, ун-та, 2004. — Т. 2. С. 196197.

Программы, созданные в ходе работы над диссертацией, зарегистрированы

в Российском агентстве по патентам и товарным знакам (Роспатент) как программа для ЭВМ, свидетельство № 2004611614 от «5» июля 2004 г.

РНБ Русский фонд

2007-4 17881

Основные обозначения и сокращения.

Введение.

Глава 1. Анализ современных средств, методов и алгоритмов обработки изображений.

1.1. Общая характеристика тепловизоров.

1.1.1. Сканирующие и смотрящие тепловизоры.

1.1.2. Современные тепловизоры отечественных и зарубежных производителей.

1.2. Процесс формирования тепловизионного видеосигнала.

1.3. Обзор классических методов и алгоритмов обработки ИК изображений.

1.3.1. Классический метод рекурсивной фильтрации.

1.3.2. Классический метод двухточечной коррекции.

1.3.3. Классические методы контрастирования.

Выводы.

Глава 2. Разработка и исследование методов и алгоритмов обработки тепловизионного изображения.

2.1. Модификация метода рекурсивной фильтрации.

2.2. Модификация метода двухточечной коррекции.

2.2.1. Выравнивание чувствительности и геометрических искажений.

2.2.2. Исправление «дефектных» элементов.

Выводы.

Глава 3. Разработка метода контрастирования тепловизионного изображения.

3.1 Модификация метода линейного контрастирования.

3.2. Разработка метода нелинейного контрастирования.

Выводы.

Глава 4. Практическая реализация модифицированных алгоритмов на процессоре Л1879ВМ1 и анализ полученных результатов.

4.1. Принцип работы нейропроцессора Л1879ВМ1 и его вычислительного аппарата.

4.2. Функциональная схема взаимодействия модуля аналоговой обработки с блоком микропроцессорного прибора в тепловизоре смотрящего типа.

4.3. Проверка эффективности реализации модифицированных алгоритмов обработки изображений в ИК диапазоне на процессоре Л1879ВМ1.

4.3.1. Практическая реализация метода двухточечной коррекции.

4.3.2. Анализ полученных результатов методом двухточечной коррекции.

4.3.3. Анализ информации, полученной в режиме контрастирования

Выводы.

Актуальность темы

Все объекты излучают, поглощают, пропускают и отражают инфракрасное (ИК) излучение определенным образом, что позволяет получать определенную информацию об исследуемом объекте. Если произвести обработку данной информации, то можно определить и проконтролировать параметры объекта, особенно ценно то, что измерения производятся бесконтактным методом. Инфракрасное излучение лучше, чем видимое, проходит сквозь атмосферную дымку, замутненную среду, туманы большой плотности и полную темноту, что дает возможность видеть объекты, удаленные на расстояние в десятки и сотни километров, осуществлять аэровидеосъемку как с самолета, так и со спутника [1,2]. Но для того чтобы визуально увидеть объекты, полученные с помощью ИК излучений необходимо провести предварительную обработку изображения.

На сегодняшний день одной из актуальных задач инфраобработки является обработка изображений в реальном времени (с частотой полукадра 50 Гц) [3] и на выходе с хорошим визуальным качеством, что предъявляет очень жесткие требования к вычислительной мощности устройства обработки, а это ведет к росту его стоимости. Связано это с тем, что большинство таких ИК приборов (далее — тепловизионные приборы) должны проводить обработку ИК изображений (в данном случае улучшения визуального качества) не отдельных статических изображений, а динамических объектов с частотой 1 кадр за время равное 0.04 с, с возможность последующего распознавания объекта. Такие требования предъявляются к тепловизионным приборам работающим [4]: для охранных систем, для обеспечения безопасности движения автомобилей, для оснащения самолетов с целью повышения безопасности посадки в условиях плохой видимости из-за плохих метеоусловий и в темное время суток (используется в комплексе со стандартными бортовыми средствами обеспечения посадки), в судоходстве для обеспечения безопасности движения морских и речных судов в тяжелых условиях навигации, обнаружения мелководья, узкого русла, и в условиях высокого трафика или для спутников в системах космической диагностики биосферы и инфраструктуры земной экономики.

Развитие полупроводниковых технологий, появление новых компактных экономичных относительно недорогих фотоматриц, работающих в РЖ диапазоне, делает возможным и экономически оправданным значительное расширение области практического применения РЖ-приборов. В наше время производители фотоприемных устройств (ФПУ) стараются вводить новые конструкторские решения, использовать различные сплавы для улучшения качества работы фоточувствительных матриц. На данный момент существует тенденция создания ФПУ, в которых многоэлементный приемник излучения (МЭПИ) объединен с системой первичной обработки сигналов. Одной из причин предпочтения цифровых систем [5] для обработки аналоговых сигналов является способность быстрого перестроения программной структуры обработки сигнала без перестройки физической структуры аппарата для различных задач. Так как обработка полученных сигналов производится на персональной машине, то не может быть и речи о мобильности самих аппаратов, помимо этого возникает проблема связанная с обработкой данных в реальном времени потому что большинство существующих тепловизионных приборов производят накопление статистической информации. Связано это во-первых с необходимостью использовать более мощные процессоры для обработки изображений в реальном времени, во-вторых с большой стоимостью данных процессоров. Примером таких тепловизоров служит семейство тепловизоров AGEMA фирмы FLIR SYSTEMS (США, Швеция), семейство тепловизоров TP фирмы FSI (США), тепловизор ThermoView Ti30 фирмы Raytek [6] (США - Германия) (Частота кадров 20Гц), тепловизор СВИТ-101 фирм «Хелс-Сервис» и МАНО «Квантовая медицина» (Новосибирск) (Время измерения одного кадра = 0.05 с. Время выхода на рабочий режим = 30 мин) [7] и т.д. Конечно же существуют переносные тепловизионные приборы малых размеров, но в них так же не производится полная обработка данных, тем более в режиме реального времени. А осуществляется их постепенное накопление в виде фотографий или видеозаписей, которые в последствии раскладываются на кадры, и обрабатываются на персональных компьютерах. Сейчас появилась потребность в создании компактных переносных тепловизионных приборов с более низкой себестоимостью, с внутренней обработкой информации в реальном времени. Для реализации тепловизоров с такими требованиями существуют несколько подходов: усовершенствовать технику, а именно использовать современные универсальные скалярные процессоры; преобразовать существующие классические методы работы с изображениями; произвести распараллеливание процесса вычислений.

Проблема выбора типа процессора является одной из важнейших при проектировании. Основное требование к процессору — обеспечение заданного быстродействия. Для обработки изображения в реальном времени на любом универсальном скалярном процессоре его тактовая частота не должна быть меньше 1,8-2 ГГц [5]. При обработке изображения производится много векторных вычислений, которые не эффективно по времени выполняются на скалярных процессорах, не приспособленных для такого типа вычислений. Существует и еще одна причина по которой от использования универсальных скалярных микропроцессоров приходится отказываться. Это большая стоимость самого процессора и вычислительного модуля, в который он будет встраиваться. Для сравнения в Таблице 1 приведена стоимость универсальных скалярных процессоров и средняя стоимость цифровых сигнальных процессоров.

Таблица 1°. [8].

ПРОЦЕССОРЫ: розничная цена в руб. оптовая цена в руб. тактовая частота

INTEL: XEON

BOX Xeon 3066 Mhz 512k/533Mhz BX80532KE3066D 14366.5 13511.00 3,06 ГГц

BOX Xeon 2800 Mhz 512k/533Mhz BX80532KE2800D 10325.00 9702.55 2,8 Ггц

BOX Xeon 2000 MHz 512k/533Mhz BX80532KE2000D 7286.5 6708.3 2 ГГц

INTEL: PENTIUM - 4 (S 478):

BOX Pentium-4 3,4C GHz, mS478/512k-800MHz BX80532PG3400D 12537.5 11767.55 3,4 ГГц

BOX Pentium-4 1,8A GHz, mS478/512k BX80532PC1800D 3481.00 3265.65 1,8 ГГц

INTEL: CELERON:

BOX Celeron 2800MHz 128k S478 BX80532RC2800B 3835.00 3593.1 2,8 Ггц

AMD:

BOX AMD Athlon AMP 2200+ (Thoroughbred) Socket A 266MHz 4336.5 4071.00 1,8 ГГц

Средняя стоимость сопоставимых цифровых сигнальных процессоров 1475 295 40 - 80 Mгц

1) Данные на 7 мая 2004 г.

В результате было решено воспользоваться цифровым сигнальным процессором (ЦСП). Не смотря на малую тактовую частоту ЦСП выполнит свою работу лучше любого универсального процессора с частотой большей

1,8 ГГц. Проанализировав множество сигнальных процессоров [5, 9, 10], таких как TMS320C4x, ADSP-21535, SHARC ADSP-21062, WE DSP16A, DSP56000 и др., было решено воспользоваться ЦСП отечественного производства NM6403 (далее — JI1879BM1 или нейропроцессор). Нейропроцессор имеет ряд преимуществ перед другими выше перечисленными процессорами, основным из которых является наличие эффективного 64-разрядного векторного умножителя [11, 12, 13], позволяющего легко выполнять векторные вычисления большой размерности за малое количество времени. Л1879ВМ1 сочетает в себе черты двух современных архитектур: VLIW (Very Long Instruction Word) и SIMD (Single Instruction Multiple Data) [14, 15]. Процессор ориентирован на эффективное выполнение векторно-матричных операций над данными переменной разрядности от 1 до 64 бит в системах цифровой обработки сигналов и искусственных нейронных сетях. Важнейшая особенность векторного процессора — работа с операндами произвольной длины (даже не кратной степени двойки) в диапазоне 1-64 бит, чего не делает не один другой процессор. За счет данной особенности нет простоев процессора, а значит увеличивается скорость вычислений.

Для осуществления работы тепловизора в режиме реального времени необходимо, чтобы процессор в течение 40 мс обрабатывал все значения поступившего кадра (пикселы), проводил усреднения рассчитанных значений, вносил поправки и выводил результат на экран. При работе с матрицей 128x128 процессор должен успеть обработать 16384 пиксел, а для матрицы 320x240 пиксел — 76800 пиксел.

Для того, чтобы сигналы обрабатывались в реальном времени, длительность цикла по обработке кадра не должна превышать время формирования следующего кадра изображения, которое составляет 40 мс. Поэтому за

1 сек должно быть обработано 25 кадров: у^с = 0.040с = 40л<с.

Архитектура Л1879ВМ1 требует новых подходов к программированию известных алгоритмов обработки изображений в части улучшения визуального качества. Поэтому для получения более эффективной аппаратной реализации на нейропроцессоре Л1879ВМ1 можно и нужно воспользоваться двумя оставшимися путями, а именно произвести модификацию известных алгоритмов для их реализации на Л1879ВМ1 и использовать параллельные вычисления, в данном случае заключающиеся в деление разрядной сетки ней-ропроцессора для векторных операций.

Актуальность диссертационной работы заключается в удовлетворении потребности отечественного производства в эффективной обработке изображений в инфракрасном диапазоне. В диссертации эта задача решается с помощью нейропроцессора Л1879ВМ1 с использованием модифицированных алгоритмов обработки сигналов, получаемых с матричного неохлаждаемого микроболометрического фотоприемного устройства (далее — тепловизор), в режиме реального времени.

Цель работы

Целью работы является модификация классических методов улучшения визуального качества изображения и разработка комплекса программ для Л1879ВМ1, обрабатывающего в режиме реального времени поступающие на тепловизионный прибор ИК сигналы от динамических объектов.

В связи с поставленной целью в диссертации решаются следующие основные задачи'. анализ существующих классических методов и алгоритмов обработки изображения в инфракрасном диапазоне; модификация метода рекурсивной фильтрации и его программная реализация на нейроматричном аппарате вычисления процессора Л1879ВМ1; модификация метода двухточечной калибровки и его программная реализация на нейроматричном аппарате вычисления процессора Л1879ВМ1; модификация метода порогового подавления шумов в метод исправления «дефектных» элементов и его программная реализация на нейроматричном аппарате вычисления процессора Л1879ВМ1; модификация метода коррекции слабоконтрастных динамических объектов на изображениях с помощью линейного контрастирования в режиме реального времени и его программная реализация на нейроматричном аппарате вычисления процессора Л1879ВМ1; программная реализация гистограммной обработки в режиме реального времени на нейроматричном аппарате вычисления процессора Л1879ВМ1; модификация метода коррекции слабоконтрастных динамических объектов на изображениях с помощью нелинейного контрастирования в режиме реального времени с учетом значений линейного контрастирования и его программная реализация на нейроматричном аппарате вычисления процессора Л1879ВМ1; проверка эффективности реализации на процессоре Л1879ВМ1 алгоритмов обработки сигналов с матричного неохлаждаемого микроболометрического фотоприемного устройства.

Объект исследования

В работе исследуются методы обработки изображений в инфракрасном диапазоне.

Предмет исследования

Предметом исследования являются методы обработки изображений с целью улучшения визуального восприятия и эффективность обработки изображений нейроматричным аппаратом процессора Л1879ВМ1 в режиме реального времени.

Методологическая и теоретическая основа исследования

В рамках исследования используются методы теории обработки изображений, цифровой обработки сигналов, основы теории инфракрасной техники, теория нейроматричного аппарата вычисления процессора Л1879ВМ1.

Научная новизна

Новизна диссертационной работы заключается в модификации известных методов обработки ИК изображений и их реализация на нейропроцессо-ре Л1879ВМ1 в режиме реального времени.

В результате проведенных в диссертации исследований: модифицирован метод рекурсивной фильтрации, основанный на рекуррентном соотношении между входными и выходными переменными системы для накопления значений кадров в процессе вычисления поправочных коэффициентов и значений в режиме линейного контрастирования; модифицирован метод двухточечной коррекции, позволяющий выравнивать чувствительность, исправлять геометрические искажения; модифицирован метод порогового подавления шумов, корректирующий ошибки «дефектных» элементов матрицы; модифицированы для реализации в режиме реального времени методы линейного и нелинейного контрастирования, предназначенные для выделения изображения в определенном диапазоне яркостей с целью улучшения его визуального восприятия. В результате произведено сокращение времени обработки; разработан алгоритм построения гистограммы по 25% значений каждого кадра, упрощающий расчет значений линейного контрастирования в режиме реального времени.

Практическая ценность

Практическая ценность работы определяется возможностью использования результатов работы при проектировании и внедрении новых систем обработки динамического изображения в инфракрасном диапазоне для различных тепловизионных приборов, а также возможностью использования отдельных разработанных методов и алгоритмов при разработке и исследовании широкого круга задач по предварительной обработки информации для ее последующего распознавания.

Использование результатов работы

Результаты диссертации использованы в ОКР «Разработка и изготовление опытных образцов блока цифровой обработки сигналов для тепловизи-онной системы изделия ТПП-9С475Н», выполненной по заказу ОАО «Красногорский завод им. С. А. Зверева», г. Красногорск; в НИР №1/02-29 «Разработка блока цифровой обработки сигналов для тепловизионного канала информационного комплекса», НТЦ «Модуль» г. Москва; а так же в других программных продуктах, разрабатываемых НТЦ «Модуль», г. Москва.

Достоверность полученных результатов

Достоверность основных положений работы и применимость предложенных методов подтверждается результатами экспериментов по обработке изображений в инфракрасном диапазоне. Полученные в диссертационной работе алгоритмы проверены экспериментально на реальных изображениях, приходящих с оптической системы тепловизора. На основе проведенных исследований для обработки получаемого с фоточувствительной матрицы изображения осуществлена реализация комплекса программ, являющегося частью функционального программного обеспечения вычислительной системы на базе нейропроцессора Л1879ВМ1 в составе инструментального модуля МЦ4.02 (НТЦ «Модуль», г. Москва). Результаты диссертационной работы в виде функционального программного обеспечения использованы и внедрены в ОАО «Красногорский завод им. С. А. Зверева» (г. Красногорск), НТЦ «Модуль» (г. Москва).

Апробация работы

Основные результаты работы докладывались на Всероссийской научной конференции студентов, аспирантов и молодых ученых «Перспектива 2002» (Нальчик: Каб.-Балк. ун-т, 2002 г.), на II Международной научно-технической конференции «Информатизация процессов формирования открытых систем на основе СУБД, САПР, АСНИ и систем искусственного интеллекта» (Вологда: ВоГТУ, 2003 г.), на IV Международной конференции молодых ученых и студентов «Актуальные проблемы современной науки» (Самара, 2003 г.), на X Всероссийской научно-технической конференции «Информационные технологии в науке, проектировании и производстве» (Нижний Новгород, 2003 г.), на XI Международной конференции «Математика, компьютер, образование» (Дубна, 2004 г.), на IX Международной открытой научной конференции «Современные проблемы информатизации в технике и технологиях» (Воронеж, 2004 г.), на IX Всероссийской научно-технической конференции студентов, молодых ученых и специалистов «Новые информационные технологии в научных исследованиях и в образовании НИТ-2004» (Рязань, 2004 г.), на X Юбилейной Международной научно-практической конференции студентов, аспирантов и молодых ученых «Современные техника и технологии СТТ'2004» (Томск, 2004 г.), на XI Всероссийской научно-технической конференции «Информационные технологии в науке, проектировании и производстве» (Нижний Новгород, 2004 г.), опубликованы в сборнике научных трудов молодых ученых (Нальчик: Каб.-Балк. ун-т, 2002 г.), в Международном сборнике научных трудов «Информационные технологии моделирования и управления» (Воронеж, 2004 г.).

Публикации

По теме диссертации опубликовано 11 печатных работ: 2 статьи в сборниках научных трудов и 9 статей в материалах Российских и Международных конференций. Зарегистрирована 1 программа для ЭВМ в Российском агентстве по патентам и товарным знакам (Роспатент), свидетельство №2004611614.

Структура и объем работы

Диссертация включает введение, обзорную главу, три тематических раздела, заключение, список используемых источников и приложение. Основное содержание работы изложено на 173 страницах, включая список литературы из 72 наименований, 6 таблиц, 64 рисунков и 6 программ.

Выводы

В результате проведенных практических разработок на базе нейропро-цессора Л1879ВМ1 был создан действующий комплекс программ обработки изображений, полученных с тепловизора в инфракрасном диапазоне. Программы выполняют специализированные функции: проведение процедуры калибровки по двум точкам, выравнивание чувствительности и исправление геометрического искажения, исправление «дефектных» элементов матрицы на изображении, накопление значений кадров с помощью процедуры «накопление с фильтрацией», исправление слабоконтрастных изображений с помощью процедур линейного и нелинейного контрастирования. После проведения калибровки по двум точкам формируется качественное изображение, несмотря на присутствие в матрицах « 4.6% неисправных пиксел. Представлена проверка правильности выполнения программ. Показано, что используемые методы и реализованные на их основе программы обеспечивают работу на микропроцессорном модуле в режиме реального времени. Приведены результаты обработки изображений программами, реализованными по алгоритмам из главы 2 и главы 3.

В ходе испытаний на одной из матриц визуально был обнаружен столбец, в котором группа чувствительных элементов в середине столбца была электрически замкнута на другие элементы этого же столбца. Такое замыкание не обнаруживалось при равномерной засветке матрицы, и данный столбец не мог быть отбракован в процессе калибровки. Был сделан вывод, что такие дефектные столбцы или строки могут быть выявлены только при зон-довой засветке.

В процессе проведения проверки был сделан вывод о том, что работа программы без гистограммной обработки в режиме контрастирования может привести к существенному ухудшению качества выходного кадра в случае, если на исходном кадре присутствуют «большие» светлые или темные пятна, что подтверждается полученными изображениями.

Заключение

В процессе выполнения работы получены следующие основные результаты:

1. Произведен анализ существующих методов улучшения изображений в инфракрасном диапазоне. В процессе исследования возникла необходимость в модификации методов рекурсивной фильтрации, двухточечной коррекции, исправления шумов и контрастирования.

2. Модифицирован метод рекурсивной фильтрации, основанный на рекуррентном соотношении между входными и выходными переменными системы для накопления значений кадров в процессе вычисления поправочных коэффициентов и значений в режиме линейного контрастирования. Данный фильтр устойчив для разных значений весовых множителей и выполняется в режиме реального времени без потери качества. Произведена программная реализация метода рекурсивной фильтрации в режиме реального времени на нейроматричном аппарате вычисления процессора Л1879ВМ1.

3. Модифицирован метод двухточечной коррекции, позволяющий выравнивать чувствительность, исправлять геометрические искажения, определять «дефектные» элементы матрицы и элементы для их исправления. Для выравнивания чувствительности и геометрических искажений были вычислены поправочные коэффициенты, сформированы таблицы поправочных коэффициентов и «дефектных» элементов для обеспечения корректировки значений кадров при работе в режиме реального времени. Произведена программная реализация метода двухточечной коррекции на нейроматричном аппарате вычисления процессора Л1879ВМ1. Оценка времени обработки одного кадра в программе, производящей коррекцию элементов матрицы, равна 2,38 мс, из них на процедуру корректировки чувствительности и геометрических искажений уходит 0,36 мс, а на процедуру исправления «дефектных» элементов — 2,02 мс.

4. Модифицирован метод порогового подавления шумов в метод исправления «дефектных» элементов. Исправление «дефектных» элементов производится по таблицам, содержащим информацию о неисправных элементах, методах их исправления и информацию об исправных элементах, участвующих в устранении неисправных. Произведена программная реализация в режиме реального времени (программа выполняется за 2,02 мс) на нейроматричном аппарате вычисления процессора Л1879ВМ1.

5. Модифицирован метод коррекции слабоконтрастных динамических объектов на изображениях с помощью линейного контрастирования для выделения изображения в определенном диапазоне яркостей с целью улучшения визуального восприятия и реализации в режиме реального времени. Произведена программная реализация в режиме реального времени (программа выполняется за 0,5 мс) на нейроматричном аппарате вычисления процессора Л1879ВМ1.

6. Разработан алгоритм построения гистограммы по 25% значений каждого приходящего кадра, упрощающий расчет значений линейного контрастирования в режиме реального времени. Производится усечение исходного кадра по минимуму и максимуму гистограммы для исправления ситуации, когда в диапазон яркостей выходного изображения могут попасть отрицательные значения. Произведена программная реализация гистограммной обработки в режиме реального времени (программа выполняется за 1,1 мс) на нейроматричном аппарате вычисления процессора Л1879ВМ1.

7. Модифицирован метод коррекции слабоконтрастных динамических объектов на изображениях с помощью нелинейного контрастирования с учетом значений линейного контрастирования. Была реализована табличная гамма-коррекция, с целью приведения значений линейного контрастирования к нелинейному виду. Полученные нелинейные характеристики смягчают контраст изображения, и добавляют всего 0,27 мс ко времени выполнения всего комплекса программ на нейроматричном аппарате вычисления процессора Л1879ВМ1, что укладывается в режим реального времени.

8. Осуществлена проверка эффективности реализации предложенных алгоритмов по обработке ИК сигналов. В результате проведенных практических разработок на базе нейропроцессора Л1879ВМ1 был разработан действующий комплекс программ обработки изображений, полученных с тепловизора в инфракрасном диапазоне. Программы выполняют специализированные функции: проведение процедуры калибровки по двум точкам, выравнивание чувствительности и исправление геометрических искажений, исправление «дефектных» элементов матрицы на изображении, накопление значений кадров с помощью процедуры рекурсивной фильтрации, исправление слабоконтрастных изображений с помощью процедур линейного и нелинейного контрастирования. После проведения калибровки по двум точкам формируется качественное изображение, несмотря на присутствие в матрицах « 4,6% неисправных пиксел. Было выявлено, что работа программы без гистограммной обработки в режиме контрастирования может привести к существенному ухудшению качества выходного кадра в случае, если на исходном кадре присутствуют «большие» светлые или темные пятна, что подтверждается полученными изображениями. Показано, что используемые методы и реализованные на их основе программы обеспечивают работу на микропроцессорном модуле в режиме реального времени, т.е. соответствуют длительности кадра в 40 мс.

Общее время обработки комплексом программ одного кадра составляет 24,3 мс, что намного меньше требуемых 40 мс.

1. Козелкин В.В., Усольцев И.Ф. Основы инфракрасной техники: Учебник для техникумов. — 3-е изд., перераб. и доп. — М.: Машиностроение, 1985. — 264 е., ил.

2. Госсорг Ж. Инфракрасная термография. Основы, техника, применение: Пер. с франц. — М.: Мир, 1988. — 416 е., ил.

3. Жуков А.Г. и др. Тепловизионные приборы и их применение / А.Г. Жуков, А.Н. Горюнов, A.A. Кальфа. — М.: Радио и связь, 1983 — 168 с.

4. Бартенев В.Г., Бартенев Г.В. «Альтера» предлагает создать свой сигнальный процессор. CHIP NEWS, 1997, № 7.

5. Ю.Бартенев В.Г., Бартенев Г.В. Адаптивный цифровой фильтр на ЦСП Л1879ВМ1 // Научно-технический журнал «Цифровая обработка сигналов» № 4/2001, С. 1-56.

6. Архитектура нейропроцессора NeuroMatrix Л1879ВМ1 // Сборник докладов V Всероссийской конференции «Нейрокомпьютеры и ихприменение» / П.А. Шевченко, Д.В. Фомин, В.М. Черников, П.Е. Викс-не. М., 1999.

7. Солина Н.И. Обработка данных, посылаемых на нейропроцессор NM6403, редактором связей. Сборник научных трудов молодых ученых. — Нальчик: Каб.-Балк. ун-т, 2002. С. 67-70.

8. Солина Н.И. Построение класса «нейрон» для многослойной нейросе-ти с корректировкой связи. Материалы Всероссийской научной конференции студентов, аспирантов и молодых ученых «Перспектива 2002».

9. В 5-ти томах. — Нальчик: Каб.-Балк. ун-т, 2002. — Т. 2. С. 161-164.

10. Процессор NeuroMatrix JI1879BM1. Computer Review, 1998, № 21 (71).

11. Архитектура «NeuroMatrixNM6403. Руководство пользователя». Научно-технический центр «Модуль». 1999.

12. Бурыкин A.B. Многоканальные переносные инфракрасные газоанализаторы для контроля транспортных выбросов: Дисс. кан. тех. наук. — М., 2002. —166 е., ил.

13. Taubkin I.I., Trishenkov М.А. //Proc. SPIE, 2001. V. 4369. P. 94-105.

14. Радиационные измерения температур слабо нагретых тел / Под ред. В.Г. Вафиади и М.М. Мирошникова. — Минск.: 1969. — 168 с.

15. Ранцевич В.Б. Пирометрия при посторонних источниках излучения. — М.: Наука и техника, 1989. — 104 с.

16. Сафронов Ю.П., Эльман Р.И. Инфракрасные распознающие устройства. M.: МОСССР, 1979. — 208 с.

17. Тымкул В.М., Ананич М.И. Системы тепловидения. Моделирование тепловизионных изображений: Учебное пособие. — Новосибирск: СГГА. —1995.

18. ГОСТ 18353-79. Контроль неразрушающих. Термины и определение.

19. М.: Изд-во стандартов, 1979.

20. Журавлев Ю.А. Радиационный теплообмен в огнетехнических установках. — Красноярск: Изд. КГУ, 1983. — 146 с.

21. Лукаш В.П. Определение температуры объектов с помощью теплови-зионных систем. ЦИАМ, обзор № 156,1982. — 58 с.

22. Вгееп Т., Butler N. Applications of Uncooled Microbolometer Sensors// SPIE Procidings, April 1998. V. 3379.

23. Филачев A.M., Пономаренко В.П., Таубкин И.И., Ушакова М.Б. Фотоэлектроника: Инфракрасные матрицы и тенденции их развития // Прикладная физика: Науч.-техн. журнал. — 2003. — № 1. стр. 105-120.

24. Butler N., Blackwell R. Dual use, low cost uncooled microbolometer imaging system //SPIE Procidings. V. 2552, Infrared Technology XXI, July 1995. P. 558-591.

25. Marshall C.A., Breen T. Quanitative and Imaging Performance of Uncooled Microbolometer Sensors for Medical Applications// IEEE/EMBS Procidings, October 1997. P. 718-721.

26. Прэтт У. Цифровая обработка изображений. / Под ред. к.т.н. Д.С. Лебедева: Пер с англ. — М: Мир, 1982. — Кн 2 — 480 е., ил.

27. Василенко Г.И., Цибулькин Л.М. Распознавание изображений голо-графическими методами. — М.: Радио и связь, 1985.

28. Вгееп Т., Butler N. More Applicathions of Uncooled Microbolometer Sen-sors//Ibid. Jule 1998. V. 3436. P. 530-540.

29. Цифровая обработка изображений в информационных системах: Учеб. пособие./ Грузман И.С., Киричук B.C., Косых В.П., Перетягин Г.И., Спектор А.А. — Новосибирск: Изд-во НГТУ, 2002. — 352 е.: ил.

30. Эндрюс Г. Двумерные преобразования // Обработка изображений и цифровая фильтрация / Под ред. Т. Хуанг: Пер. с англ. — М.: Мир, 1979.

31. Pratt W. К., Vector Formulation of Two Dimensional Signal Processing Operations, J. Comput. Graphics Image Proc., 4, No.l, 1-24 (March 1975) (Academic Press, New York).

32. Куприянов М.С., Матюшкин Б.Д. Цифровая обработка сигналов: процессоры, алгоритмы, средства проектирования. — 2-е изд., перераб. и доп. — СПб.: Политехника, 1999. — 592 е.: ил.

33. Прэтт У. Цифровая обработка изображений: / Под ред. к.т.н. Д.С. Лебедева: Пер с англ. — М: Мир, 1982. — Кн 1 — 312 с., ил.

34. Childers D.G., Durling A., Digital Filtering and Signal Processing, West Publishing, St. Paul, Minn., 1975.

35. Ярославский Л.П. Цифровая обработка сигналов в оптике и голографии: Введение в цифровую оптику. — М.: Радио и связь, 1987. — 296 е.: ил.

36. Тепловизор на основе «смотрящей» матрицы из CD0.2 HGo.s Те формата 128x128. К.О. Болтарь, Л.А. Бовина, Л.Д. Сиганов, В.И. Стафеев, И.С. Гибин, В.М. Малеев, www.vimi/ru/applphys/appl-99/99-2/99-2-6r.htm.

37. Сондхи. Реставрация изображения: устранение пространственно-инвариантных искажений. — ТИИЭР, 1972, т. 60, № 7, С. 108-123.

38. Фриден Б. Улучшение и реставрация изображения. — В кн.: Обработка изображения и цифровая фильтрация. / Под ред. Т. Хуанга. — М.: Мир, 1979.

39. Tsujiuchi J., Correction of Optical Images by Compensation of Aberrations and by Spatial Frequency Filtering, in: Progress in Optics, Vol. 2, Wolf E., Ed., Wiley, NewYork, 1963, pp. 131-180.

40. Pratt W. K., Pseudoinverse Image Restoration Computational Algorithms in Optical Information Processing, Vol. II, Stroke G.W., Nesterikhin Y., Barrekette E. S., Eds., Plenum Press, New York, 1977.

41. Mascarenhas N.D., Pratt W.K., Digital Image Restoration Under a Regression Model, IEEE Trans. Circuits and Systems, CAS-22, 3, pp.252-266 (March 1975).

42. Хелстром К. Статистическая теория обнаружения сигналов. — М.: 1963, ил.

43. Миддлтон Д. Введение в статистическую теорию связи. — М.: Советское радио, т. 1, 1961, т. 2, 1962.

44. Dinneen G.P., Programming Pattern Recognition, Proceedings Western Joint Computer Conference, March 1955, P. 94-100.

45. Graham R. E., Snow-Removal: A Noise-Stripping Process For Picture Signals, IRE Trans. Inf. Theory, IT-8, 1 , 129-144 (February 1962).

46. Rosenfeld A., Park С. M., Strong J. P., Noise Cleaning in Digital Pictures, Proceedings EASCON Convention Record, October 1969, P. 264-273.

47. Nathan R., Spatial Frequency Filtering, in: Picture Processing and Psy-chopictorics, Lipkin B. S., Rosenfeld A., Eds., Academic Press, New York,1970, P. 151-164.

48. Helms H.D., Fast Fourier Transform Method of Computing Difference Equations and Simulating Filters, IEEE Trans. Audio and Electroacoustics, AU-15, 2, 85-90, June 1967.

49. Tukey J.W., Exploratory Data Analysis, Addison-Wesley, Reading, Mass.,1971.

50. Nathan R., Picture Enhancement for the Moon, Mars, and Man, in: Pictorial Pattern Recognition, Cheng G.C., Ed., Thompson, Washington D.C., 1968, P. 239—266.

51. Billingsley F., Applications of Digital Image Processing, Appl. Opt., 9, 2, 289—299 (February 1970).

52. Ketcham D.J., Real Time Image Enhancement Technique, Proceedings SPIE/OSA Conference on Image Processing, Pacific Grove, California, Vol. 74, February 1976, P. 120-125.

53. Holl E.L. et al., A Survey of Preprocessing and Feature Extraction Techniques for Radiographic Images, IEEE Trans. Computers, C-20, 9, 10321044, September, 1971.

54. Andrews H.C., Kruger R.P., Tescher A.G., Image Processing by Digital Computer, IEEE Spectrum, 9,7, 20-32, July 1972.

55. Hall E.L., Almost Uniform Distribution for Computer Image Enhancement IEEE Trans. Computers, C-23, 2, 207-208, February 1974.

56. Базовое программное обеспечение процессора ЫМ6403. №игоМа1пхЫМ6403. Описание языка ассемблера. Научно-технический центр «Модуль». 1999.

57. Каллан Р. Основные концепции нейронных сетей.: Пер. с англ. — М.: Издательский дом «Вильяме», 2001. — 288 е.: ил.

58. Кашкаров В. Описание реализации алгоритма «Преобразование Ада-мара». Программное обеспечение процессора ЫМ6403. Научно-технический центр «Модуль». 1999.

59. Круз П. и др. Основы инфракрасной техники / П. Круз, Л. Макглоумен, Р. Макквистан. — М.: Воениздат, 1964. — 464 с.