автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Комплексирование изображений разных диапазонов спектра в многоканальных системах наблюдения

005006572

КОМПЛЕКСИРОВАНИЕ ИЗОБРАЖЕНИЙ РАЗНЫХ ДИАПАЗОНОВ СПЕКТРА В МНОГОКАНАЛЬНЫХ СИСТЕМАХ НАБЛЮДЕНИЯ

Специальность 05.13.01 «Системный анализ, управление и обработка информации (Информатика, управление и вычислительная техника)»

Специальность 05.11.16 «Информационно-измерительные и управляющие системы (авиационная и ракетно-космическая техника)».

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

- 8 ДЬН 2011

Москва - 2011

005006572

Работа выполнена в Московском авиационном институте (национальном исследовательском университете), МАИ.

Научный руководитель: кандидат технических наук, профессор Ким Николай Владимирович

Научный консультант: кандидат технических наук, с.н.с.

Самарин Олег Федорович

Официальные оппоненты: доктор физико-математических наук, с.н.с.

Визильтер Юрий Валентинович кандидат технических наук Темнов Кирилл Анатольевич

Ведущая организация: Московский Научно-Исследовательский

Телевизионный Институт

Защита состоится "19" декабря 2011 г. В 15:00 часов на заседании диссертационного совета Д 212.125.11 в Московском авиационном институте (государственном техническом университете), МАИ по адресу: 125993, Москва, А-80, ГСП-3, Волоколамское шоссе, дом 4.

Отзывы в двух экземплярах, заверенные гербовой печатью, просьба высылать по адресу института: 125993, Москва, А-80, ГСП-3, Волоколамское шоссе, д.4.

Автореферат разослан •у/ SS 2011 г.

Ученый секретарь диссертационного

совета, к.т.н., доцент / I' / Горбачев Юрий Васильевич

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Современные многоканальные оптико-электронные системы наблюдения (МСН) имеют в своем составе датчики различной физической природы. Каждый датчик обладает уникальными свойствами и характеристиками и вносит свой вклад в изображение, которое анализирует человек-оператор комплекса. МСН позволяют вести круглосуточное и всепогодное наблюдение, обнаружение, сопровождение наземных и воздушных объектов, выполнять охрану периметра, разведку местности, оценку состояния техногенной, экологической обстановки, мониторинг местности в условиях

чрезвычайных ситуаций.

Большое распространение получили системы, снабженные тепловизионной (ТПВ) и телевизионной (ТВ) камерами. Тепловизионный канал предназначен для получения на экране монитора изображения в инфракрасном (ИК) диапазоне спектра (3..5 мкм - ближний ИК, 8..14 мкм - дальний ИК). Данный канал позволяет обнаруживать и идентифицировать объекты, обладающие тепловым контрастом. Телевизионный канал обладает цветовым контрастом и предназначен для получения изображения наблюдаемой сцены в видимом диапазоне спектра (0,38...0,76 мкм).

Полезная информация, необходимая для принятия решения оператором, может быть распределена между изображениями разного спектра. В этом случае оператор вынужден анализировать несколько изображений и сопоставлять их между собой, что приводит к задержкам в принятии решения. Особенно критичны данные задержки в работе оператора комплекса беспилотного летательного аппарата, оборудованного бортовой МСН. По этой причине целесообразно выводить на дисплей комплексированное изображение, синтезированное из исходных ТПВ и ТВ кадров. Такой режим позволяет повысить информативность системы, объединив на одном кадре детали наблюдаемой сцены в инфракрасном и в видимом диапазонах спектра.

В большинстве работ, посвященных данной задаче, не учитывается факт пространственного смещения изображений, обусловленного конструктивными особенностями МСН, либо рассматриваются частные случаи решения данной проблемы, например для фиксированного формата камеры. Тем не менее, в некоторых работах задачу комплексирования разбивают на два этапа: привязку, необходимую для пространственного совмещения изображения, и непосредственно синтез изображений, позволяющий объединить информацию разного спектра.

В настоящее время не существует единого алгоритма комплексирования изображений в МСН. В существенной степени это связано с тем, что оценка качества предъявляемых изображений является субъективной и зависит от психофизиологических особенностей оператора, решаемой задачи и условий наблюдения.

Разработанные на данный момент алгоритмы синтеза имеют одну общую особенность: объединение информации происходит без учета целевой задачи. В то время как в ряде применений МСН целевой задачей оператора является поиск, распознавание и слежение за объектами интереса (человеком и техникой).

Будем считать, что с целью обеспечения требуемой информативности изображений, необходимой для принятия обоснованных решений, повышения точности и быстродействия работы и снижения утомляемости оператора, предъявляемое комплексированное изображение должно обеспечивать:

1. Отображение основной информации, содержащейся в исходных ТВ и ТПВ изображениях;

2. Максимально точную привязку ТВ и ТПВ изображений;

3. Выделение (подчеркивание) объектов интереса в соответствие с решаемой целевой задачей.

Реализация указанных функций позволит повысить качество

предъявляемых оператору изображений.

Поиск объектов интереса может быть реализован с использованием анализа наблюдаемой сцены, в частности, алгоритмов статистического распознавания и алгоритмов обнаружения по признакам движения.

Решение указанных задач является актуальным, поскольку позволит повысить эффективность работы оператора.

Целью диссертационной работы является повышение качества предъявляемых оператору изображений за счет комплексирования исходных изображений разных диапазонов спектра и выделения (контрастированием и/или маркировкой) предполагаемых объектов интереса.

Достижение поставленной цели связано с выполнением следующих

этапов исследования:

1. Анализ существующих методов привязки с целью выбора наиболее эффективного критерия сравнения разноспектрапьных изображений.

2. Разработка методики оценки ошибки привязки разноспектральных изображений.

3. Разработка алгоритмов обнаружения предполагаемых объектов интереса.

4. Разработка метода повышения качества предъявляемых оператору изображений на основе выделения объектов интереса.

Объектом исследования является многоканальная оптико-электронная

система наблюдения.

Предметом исследования является процесс комплексирования предъявляемых оператору изображений, полученных в инфракрасном и

видимом диапазонах спектра.

Методы исследования. Исследования выполнены с использованием аппарата математического моделирования, математической статистики, компьютерного зрения, теории информации. Моделирование проводилось в

среде Matlab, Borland Delphi и с использованием пакета ImageJ. Для реализации алгоритма использовались языки С и С++ в среде программирования Texas Instruments Code Composer Studio для DSP-процессоров серии TMS320C64x.

Научная новизна. В диссертационной работе получены следующие новые научные результаты:

1. Разработан метод привязки ТВ и ТПВ изображений, основанный на критерии максимума взаимной информации. Метод является инвариантным к яркостному различию изображений.

2. Разработана методика оценки качества алгоритмов привязки ТВ и ТПВ изображений, основанная на вычислении радиуса корреляции изображений. Методика позволяет получить оценку точности использованного критерия максимума взаимной информации.

3. Разработан метод локального синтеза ТВ и ТПВ изображений, основанный на обнаружении и маркировании предполагаемых объектов интереса. Метод позволяет повысить качество предъявляемых оператору изображений.

Научные положения, выносимые на защиту:

1. Новый метод и соответствующий алгоритм привязки изображений разных диапазонов спектра, основанные на критерий максимума взаимной информации и позволяющий оценить параметры трансформации: смещение и коэффициент масштаба;

2. Метод оценки качества алгоритмов привязки ТВ и ТПВ изображений, основанный на вычислении радиуса корреляции изображений и позволяющий получить оценку точности использованного критерия взаимной информации;

3. Рекомендации по использованию алгоритмов обнаружения объектов (на базе метода Отцу, модифицированного алгоритма Отцу, критерия Фишера) на типовых сценах, наблюдаемых на ТПВ изображении;

4. Алгоритм обнаружения предполагаемых объектов интереса по признакам движения на ТПВ изображениях, основанный на методе Лукаса-Канаде;

5. Метод локального синтеза, обеспечивающий повышение эргономического качества предъявляемых оператору изображений и основанный на обнаружении и выделении (контрастированием и/или маркировкой) предполагаемых объектов интереса.

Практическая ценность полученных в диссертационной работе результатов:

1. Разработанный метод привязки изображений разных диапазонов спектра на основе критерия максимума взаимной информации обеспечивает более точную оценку, чем распространенные корреляционные методы. В частности, средняя ошибка определения смещения в 10-15 раз меньше, чем при использовании метода суммы модуля разности, а ошибка определения изменения масштаба меньше на 20-25%.

2. Разработанный метод локального синтеза, основанный на вычислении адаптивного порога сегментации ТПВ изображения и выделении предполагаемых объектов интереса, позволяет повысить качество предъявляемых оператору изображений в 1,5-2 раза

3. Комплексирование ТВ и ТПВ изображений многоканальной системы наблюдения позволит снизить информационную загруженность оператора и повысить надежность его работы.

Апробация работы. Основные положения и результаты диссертации докладывались на УШ-й Всероссийской научно-технической конференции «Проблемы совершенствования робототехнических и интеллектуальных систем летательных аппаратов» (МАИ, 2010), 9-й Международной конференции «Авиация и космонавтика - 2010» (МАИ, 2010), научно-технической конференции «Техническое зрение в системах управлениях» (ИКИ РАН, 2011).

Реализация на практике. Разработанное программное обеспечение комплексирования ТВ и ТПВ изображений использовано в процессе проводимых исследований и испытаний в Технологическом Парке Космонавтики «Линкос» в рамках НИР «Интриган», ОКР «Интриган-Д2» и «Тайфун-М-ОЭС», что отражено в акте внедрения кандидатской диссертационной работы.

Публикации. По результатам диссертационной работы опубликовано 4 работы, в том числе 2 научно-технических статьи в изданиях, включенных в перечень ВАК.

Объем и структура работы. Диссертационная работа состоит из введения, четырех глав, заключения и списка литературы (63 наименования). Работа содержит 112 страниц машинописного текста, 52 рисунка, 8 таблиц.

СОДЕРЖАНИЕ ДИССЕРТАЦИИ Во введении обоснована актуальность работы, определена цель исследования, методы исследования, научная новизна, практическая ценность, апробация работы, объем и структура работы.

В первой главе диссертации проведен обзор методов привязки и повышения разрешения изображений, исследованы существующие методы синтеза.

Прямое применение описанных методов синтеза в МСН невозможно по причине различного разрешения и относительной пространственной деформации исходных изображений.

Различное разрешение обусловлено форматом матрицы тепловизионного датчика. На сегодняшний день доступные тепловизионные матрицы уступают телевизионным в разрешении в 1.5-3 раза. Существует ряд программных методов, позволяющих повысить разрешение. В настоящее время наиболее эффективными методами увеличения разрешения являются многокадровые методы.

На рисунке 1 представлена схема полей зрения ТВ и ТПВ каналов.

Рисунок 1. Поля зрения ТВ и ТПВ каналов в горизонтальной плоскости

Пространственная деформация вызвана рядом факторов:

1) Проблема параллакса. Между изображениями образуется относительная деформация, зависящая от расстояния между параллельными визирными осями видеокамеры и тепловизора. Наблюдаемые изображения, в зависимости от дальности наблюдения и угла зрения будут смещены относительно друг друга в вертикальной и горизонтальной плоскости на вектор (х,у).

2) Ошибка выставки одинакового угла зрения в двух каналах. Результаты эксперимента подтверждают, что средняя ошибка составляет 15%. Данный фактор приводит к тому, что наблюдаемые изображения имеют разный масштаб. Коэффициент масштаба обозначим за 5 .

Под привязкой изображений понимают процесс приведения к одной системе координат двух изображений сцены. Привязка является ключевым шагом всех задач анализа изображений, в которых финальная информация получается из комбинации различных источников данных, и состоит из следующих стадий: (1) Согласование блоков, (2) Оценка параметров модели трансформации, (3) Трансформация изображений. В соответствии названой причиной деформации принята трехпараметрическая модель: Т = (х,у,я).

Результаты проведенных исследований показали, что, в рамках рассматриваемой задачи, использование критериев фазовой корреляции, дифференциального подхода и классической кросс-корреляции менее эффективно по сравнению с методом взаимной информации, который позволяет получить более точную и надежную оценку пространственного смещения.

Проведен анализ методов синтеза изображений. Данной задаче посвящено множество трудов. В частности, ряд методов основан на кратномасштабной или частотной декомпозиции исходных изображений и их синтезе на каждом уровне либо на фильтрации ТПВ кадра и прямом суммировании с исходным ТВ кадром.

Как показывает анализ известной литературы, существующие методы синтеза имеют одну общую особенность: объединение информации происходит

без учета целевой задачи наблюдения.

Одной из основных целевых задач оператора, реализуемых с помощью рассматриваемого класса МСН, является наблюдение некоторых объектов интереса В связи с этим, представляется актуальным реализовать анализ исходных кадров на предмет присутствия на наблюдаемой сцене объектов интереса и выполнить локальный синтез изображений в тех областях кадра, где обнаружен объект. Данный подход позволит наиболее полно сохранить ТВ изображение и отобразить оператору целевые объекты, контрастные в

инфракрасном спектре.

Таким образом, поставлена задача: обеспечить точную привязку исходных ТВ и ТПВ кадров, выполнить их локальный синтез, основанный на обнаружении и маркирование предполагаемых объектов интереса.

Вторая глава посвящена разработке метода привязки изображении разных диапазонов спектра. Точность данного этапа значительно влияет на качество

результирующего изображения.

Исходя из полученных оценок эффективности различных методов, предлагается для определения параметров трансформации использовать критерий взаимной информации (ВИ). ВИ - это статистическая функция двух случайных величин, описывающая количество информации, содержащейся в одной случайной величине относительно другой. Вычисление функции осуществляется по блокам А и В - фрагментам ТВ и ТПВ изображении

1(А,В) = Н(А)+Н(В)-Н(А,В), (1)

где: 1(А,В) - взаимная информация изображений (блоков) А и В; Н{А), Н(В) - собственная энтропия изображений по Шеннону; Н(А,В) - совместная энтропия; __^ _ _ ^ ^

/1,

Н(А) = -^Рл(а)^РА(а)-, Н(В) = -^Рв(Ь)\о%Рв(Ь),

я Ь

ь

(3)

Для определения величины взаимной информации необходимо оценить

вероятности: РА(а), РВ(Ь), РАВ(а,Ь).

Если рассматривать яркости пикселей изображения А, как отсчеты случайной величины, тогда распределение частот яркостей С(а), а - 0..255 (гистограмма изображения) соответствует плотности вероятности этой величины РА(а) = С(а)/ЫА, где МА - размер изображения. Совместная гистограмма С(а,Ь) (рисунок 2) определяется подсчетом пар пикселей яркости а на изображении А и яркости Ь на В, где а = 0..255, Ь = 0..255, таким образом С(а,Ь) говорит нам, как часто проявляет себя определенная пара

пикселей.

Рлн{а,Ъ)

I

Рисунок 2. Совместная гистограмма ТВ и ТПВ изображений Соответствующая частоте G{a,b) вероятность равна:

P/W(a,b) = G(a,b)/NA, (4)

Поиск максимума ВИ шах/ = (Т(А),В) осуществляется перебором

параметров трансформации Т по отношению к блоку А.

На рисунке 3 представлены графики целевых функций, экстремумы которых соответствуют наилучшему совмещению ТПВ и ТВ изображений.

а) б)

Рисунок 3. Целевые функции привязки: взаимная информация (а), корреляционная функция (б)

Из полученных графиков видно, что только функция взаимной информации имеет выраженный максимум на исследуемом интервале.

Для оценки эффективности предлагаемых решений было проведено сравнение критериев, оценивающих качество привязки изображений. Истинные параметры смещения Тист вычислены по опорным точкам, найденным вручную.

Для удобства сравнения предлагается определять ошибку, как отношение разницы невязки между полученной оценкой и истинным параметром к радиусу (интервалу) корреляции ТВ изображения. Математическое ожидание ошибки по 200 экспериментам:

Л (%) = ^^ (0/о) = ¿Уо^-Фю ^ А Ру

где рх - радиус (интервал) корреляции изображения; <£с01<е11,сЬссинт - оценка и

синтезированный сдвиг соответственно.

С целью сокращения вычислений в работе предлагается выполнять поиск по каждому параметру отдельно. При одной зафиксированной координате .„ ушах-угшп . ,, хтах-хтт

(Т = ----/Х =---) для разных коэффициентов масштаба (с

грубым шагом 0,05) методом имитации отжига ведется поиск минимума по координате X и У. Тем самым устанавливается приблизительные значение для всех трех параметров.

Размер блока значительно влияет на точность метода. На рисунке 4 представлены зависимости величины ошибки от размера блока для критерия взаимной информации и корреляционной функции.

Из полученного графика следует, что корреляционная функция имеет недопустимую точность при любом размере блока. Функция ВИ обеспечивает приемлемую точность на уровне 5% при размере блока от 128 пикселей и обеспечивает точность на уровне 1%, начиная с размера 256 пикселей.

Размер блока, пике

Рисунок 4. Влияние размера блока на точность оценки

Таким образом, разработан метод привязки ТВ и ТПВ изображений, точность которого превосходит существующие корреляционные методы.

Третья глава посвящена разработке метода локального синтеза изображений, основанном на поиске и выделении объектов интереса.

На рисунке 5 показана схема метода локального синтеза (подробный алгоритм приведен в диссертации):

И сходные данные для синтеза

"7

/ ТПВ - кадр повышенного / разрешения

)' Предыдущий у кадр

Анализ межкадрового движения

Обнаружение объекта

Поиск по признаку движения

ад

Данные МСН: координаты, время, дата, влажность, температура, объект

Размеры объекта ~)

Определение

порога сегментации по текущему кадру

Определение порога сегментации по базе типовых сцен

Поиск по яркости

/ Трансформ. ' ТВ-кадр

ср

Формирование полноцветного синтезированного кадра с контрастирование и маркированием объектов интереса

Синтезированное изображение ) ( Конец )

Рисунок 5. Схема метода локального синтеза

В качестве критерия поиска объектов были выбраны два признака:

Яркостной признак обусловлен тем, что человек и техника имеют тепловое излучение выше излучения фона и контрастны на ТПВ изображении.

Признак движения позволяет уменьшить ошибку распознавания в условиях наблюдения, когда тепловое излучение фона близко к излучению объекта.

Задача обнаружения объектов интереса в переменных и неопределенных условиях наблюдения является одной из наиболее сложных в области систем технического зрения. Алгоритм обнаружения позволяет определить некоторый порог Вср. Если яркость какого-либо пикселя на текущем изображении

превышает найденный порог, то принимается решение об обнаружении искомого объекта. В настоящей работе были исследованы 3 подхода к обнаружению объектов по яркости:

1. Классический метод, основанный на сегментации Отцу;

2. Модифицированный метод Отцу, учитывающий особенности гистограмм ТПВ изображений [4]. В данном подходе определяется правый порог сегментации по критерию минимума дисперсии при перемещении порога от максимальной яркости: ВтюГ) = аг§гшп 0(Вп,Вшх). Итоговый порог среза Вср

определяется как по максимуму гистограммы в диапазоне от В0юо до ;

3. Статистический алгоритм обнаружения. В данном методе статистическая связь между значениями яркости элементов изображения и состояниями (наличия или отсутствия объектов интереса) определяется условными плотностями распределения. В работе плотности оценивались с помощью гистограмм типовых сцен для фрагментов объекта и фона [2].

На рисунке 6 решающая поверхность Г„ делит пространство признаков У на две области, соответствующих принадлежности пикселя изображения фону (Ь) или объекту (о). При этом область В (ограниченная У0, участком кривой р{У | Ь), У < У0 и осью У) определяет ошибку «пропуска цели», которая возникает при принятии решения о принадлежности пикселя фону, а область А ( р(У | о), У > У0) соответствует ошибке «ложная тревога» при принятии решения о принадлежности пикселя объекту. При неизвестных априорных вероятностях присутствия объектов Р(о), Р{Ь) и принятии равных рисков ошибочных решений /?12 = /Ш был использован критерий максимального правдоподобия Фишера. Тогда положение решающей поверхности (рисунок 9) определяется уравнением р(У \ о) = р(У \ Ь) и при сегментации ТПВ изображения принимается решение, что пиксели с яркостью У>У„, относятся к объектам интереса.

160 140 120 100 80 60 40 20 0

Кол-во

пикселем

Объект

I иТт- Т.

Ц-

151 181

_яркость

Рисунок 6. Сегментация ТПВ изображения

Для повышения информативности предъявляемого оператору изображения, объект может быть выделен контрастированием или

маркировкой, например, стробом.

В работе реализовано выделение движущихся объектов интереса. Для данной цели предложен метод определения межкадрового движения на основе алгоритма Лукаса-Канаде. Использование указанного метода позволяет построить карту векторов для каждого кадра ТПВ изображения (рисунок 7). На данной карте группируются вектора, принадлежащие движущимся объектам.

а) б)

Рисунок 7. Выделение движущихся объектов

Доступное в МСН цветное ТВ изображение позволяет сформировать описание наблюдаемой сцены, на основании которого оператор принимает решения по выполнению целевой задачи. По этой причине, основная концепция предлагаемого алгоритма синтеза заключается в наименьшем искажении исходного ТВ изображения при добавлении и контрастировании на синтезируемом кадре целевой информации (предполагаемых объектов интереса), полученной в инфракрасном спектре. Предлагается синтез производить по красной компоненте цвета.

Результирующий кадр вычисляется по следующему выражению для

полноцветного ТВ изображения:

ТУ(х,у), если Ш(х,у) < Уср (6>

/7^у) = \тУ(х,у,Я) + \т(х,у)-А\-А&

т(х,у), если Щх,у) > Уср\ ¿М^, > сЬ,ф

где: Щх,у) - пиксель ТПВ изображения, ТУ(х,у,Я) - Я-компонента пикселя ТВ изображения, А - среднее значение яркости элементов ТПВ изображения, А& - среднее значение абсолютных отклонений яркости элементов ТПВ изображения, - локальное и глобальное движение кадра.

13

В рамках решаемой задачи, в работе в качестве ключевого критерия рассматривается контраст К целевых объектов

оценки качества синтеза относительно фона:

К

(7)

где: В0 - яркость объекта, Вф - яркость фона.

На основе экспертных оценок была получена зависимость качества изображения от контраста (рисунок 8). За максимальное значение качества принято 10.

риор.тв к1т = 0.5 К

лок.синтез

Рисунок 8. Зависимость качества от контраста

Существующие методы синтеза обеспечивают контрастность объектов интереса на уровне 0,3-0,5, что соответствует значениям 4-6 на шкале качества.

Предлагаемый алгоритм локального синтеза обеспечивает контраст на уровне 1-1,3, что соответствует значениям от 9 на шкале качества.

Маркирование, применяемое для выделения движущихся объектов, может быть приравнено к максимальному контрастированию. В таблице 1 представлены результаты оценки контрастности для 5 различных сцен.

Конт./Кач.

М. Лаплас.

М. приор. ТВ

М. Объекта.

Сцена 1

0,52/6

0,46/6

1,4/9

Сцена 3

0,6/6

0,34/6

1,45/9

Сцена 3 Сцена 4 Сцена 5

0,39/4 0,51/6 0,63/6

0,32/4 0,45/6 0,5/6

1,5/9 1,31/8 1,53/9

синтез обеспечивает наилучшую контрастность по сравнению с

существующими методами.

Таким образом, в данной главе разработан метод локального синтеза, основанный на выделении объектов: по яркости и по движению. Кроме того, разработаны рекомендации по использованию на типовых сценах, наблюдаемых на ТПВ изображении, исследованных алгоритмов обнаружения объектов.

Четвертая глава посвящена оценке результатов комплексирования и практической реализации разработанных алгоритмов. В главе представлено общее описание алгоритма комплексирования (рисунок 9) и разработанного программного обеспечения.

Рисунок 9. Схема алгоритма комплексирования изображений в многоканальной

системе наблюдения

В качестве примера, на рисунке 10 представлен один из вариантов исследованных сюжетов: исходные ТПВ и ТВ кадры (а, б). Ниже приведены результаты синтеза изображений существующими методами (Лапласианов, алгоритм с приоритетом ТВ изображения) (в, г) и предлагаемым алгоритмом локального синтеза (д, е). Предлагаемый алгоритм позволяет наиболее точно сохранить исходный ТВ кадр при контрастном отображении тепловых объектов, которые на цветном изображении выделяются в красном канале.

15

б) Исходный ТПВ кадр

д) Локальный синтез е) Полноцветный локальный синтез

Рисунок 10. Результат синтеза существующими методиками и разработанным алгоритмом локального синтеза.

В четвертой главе сделаны расчеты аппаратной реализуемости разработанной методики [1],[3].

При частоте 30 кадров в секунду выход на режим займет 0,38 секунды или 38-0,3 я 12 кадров видеопоследовательности. Непосредственно синтез, который осуществляется на каждой паре кадров, поступающих с одинаковой частотой, займет (20+ 5+ 4)/1000 = 0,029 секунды, что не превышает максимально допустимые для заданной частоты кадров 0,033 секунды.

Таким образом, в четвертой главе получены величины производительности разработанного алгоритма и приведены графические результаты его работы. Повышение эргономического качества синтезированного изображения по данным результатам подтверждено экспертами, что отражено в акте внедрения диссертационной работы.

ЗАКЛЮЧЕНИЕ

В ходе выполнения диссертационной работы, в рамках специальности 05.13.01 «Системный анализ, управление и обработка информации (Информатика, управление и вычислительная техника)», получены следующие основные научные и практические результаты:

1. Решена актуальная научно-техническая задача комплексирования изображений разных диапазонов спектра в многоканальных системах наблюдения. В качестве модернизируемой системы рассматривался серийный комплекс, в состав которого входит тепловизионная (ТПВ) и телевизионная (ТВ) камеры. В рамках решаемой задачи комплексирования исследованы два последовательных этапа: привязка и синтез изображений.

2. Предложена новый метод привязки изображений, полученных в разных диапазонах спектра, основанный на критерии максимума взаимной информации и позволяющий оценить параметры трансформации: смещение и коэффициент масштаба.

3. Разработана методика оценки качества алгоритмов привязки ТВ и ТПВ изображений, основанная на вычислении радиуса (интервала) корреляции изображений. Методика позволяет получить оценку точности использованного критерия. В частности показано, что средняя ошибка определения смещения в 10-15 раз меньше, чем при использовании метода суммы модуля разности, а ошибка определения изменения масштаба меньше на 20-25%.

4. Разработан алгоритм обнаружения предполагаемых объектов интереса по признакам движения на ТПВ изображениях, основанный на определении оптического потока методом Лукаса-Канаде;

5. На основе проведенных исследований, разработаны рекомендации по использованию на типовых сценах, наблюдаемых на ТПВ изображении, алгоритмов обнаружения объектов:

- на базе метода сегментации Отцу;

- предложенного модифицированного алгоритма Отцу с адаптивным порогом;

- статистического алгоритма на основе критерия максимального правдоподобия Фишера

Кроме того, ряд результатов получен в соответствии со специальностью 05.11.16 «Информационно-измерительные и управляющие системы (авиационная и ракетно-космическая техника)»:

6. Разработан метод локального синтеза, обеспечивающий повышение эргономического качества предъявляемых оператору изображений, основанный на выделении (контрастированием и/или маркировкой) предполагаемых объектов интереса. Метод позволяет повысить качество предъявляемых

оператору изображений в 1,5-2 раза.

7. Разработан алгоритм комплексирования ТВ и ТПВ изображений, основанный на привязке изображений с помощью критерия взаимной информации и локальном синтезе. В качестве модернизируемой системы рассматривался серийный комплекс МКОЭС, в состав которого входит тепловизионная (ТПВ) и телевизионная (ТВ) камеры. Алгоритм обеспечивает выход на режим за 0,3 секунды и синтез изображений при неизменном угле

зрения с частотой 30 кадров в секунду.

8. Исследования, основанные на обработке изображений, полученных на модифицируемом оптико-электронном комплексе (МСН), подтвердили работоспособность разработанных алгоритмов.

СПИСОК ОПУБЛИКОВАННЫХ РАБОТ

1. Коссов П.В., Михеев С.М. Разработка алгоритма электронной стабилизации видеопоследовательности на базе цифрового сигнального процессора// Вестник МАИ, №6, 2010.

2. Ким Н.В., Коссов П.В., Михеев С.М. Увеличение информативности телевизионных и тепловизионных изображений // Вестник компьютерных и информационных технологий, №11, 2011

3. Коссов П.В., Михеев С.М. Применение цифрового сигнального процессора для вычисления параметров коррекции визирной линии бортовой системы наблюдения // Труды 18-го международного научно-технического семинара. Алушта, 2009.

4. Михеев С.М. Объектный подход к синтезу разноспектральных изображений в многоканальный системах наблюдения // Сборник докладов VIII всероссийской юбилейной научно-технической конференции «Проблемы совершенствования робототехнических и интеллектуальных систем летательных аппаратов». М.: МАИ-ПРИНТ, 2010.

Подписано в печать: 15.11.2011 Объем: 1 усл.п.л. Тираж: 75 экз. Заказ №732 Отпечатано в типографии «Реглет» 119526, г. Москва, Ленинградский пр-к, д.74, корп.1 (495) 790-47-77; www.reglet.ru

ВВЕДЕНИЕ.

1 АНАЛИТИЧЕСКИЙ ОБЗОР И СИСТЕМАТИЗАЦИЯ МЕТОДОВ КОМПЛЕКСИРОВАНИЯ ИЗОБРАЖЕНИЙ.

1.1 Анализ режима комплексирования в многоканальной системе наблюдения.

1.2 Повышение разрешения изображения.

1.3 Задача привязки изображений.

1.3.1 Методика привязки изображений.

1.3.2 Селекция характерных точек.

1.3.3 Блочные методы.

1.3.4 Модель трансформации.

1.4 Методы синтеза разноспектральных изображений.

1.4.1 Многомасштабное преобразование.

1.4.2 Вейвлет-синтез.

1.4.3 Синтез с приоритетом ТВ изображения.

1.5 Выводы и постановка задачи диссертационной работы.

2 ПРИВЯЗКА ИЗОБРАЖЕНИЙ РАЗНЫХ ДИАПАЗОНОВ СПЕКТРА.

2.1 Особенности привязки ТВ и ТПВ изображений.

2.2 Критерий согласования блоков.

2.2.1 Критерий максимума взаимной информации.

2.2.2 Предобработка.

2.2.3 Сокращение времени вычисления.

2.2.4 Стратегия поиска.

2.3 Сравнительный анализ критериев согласования.

2.4 Результаты и выводы.

3 СИНТЕЗ ИЗОБРАЖЕНИЙ РАЗНЫХ ДИАПАЗОНОВ СПЕКТРА.

3.1 Описание метода локального синтеза.

3.2 Обнаружение объектов интереса по яркости.

3.3 Обнаружение объектов по признаку движения.

3.3.1 Алгоритм определения оптического потока.

3.3.2 Выделение движущихся объектов.

3.4 Синтез изображений и маркировка объектов интереса.

3.5 Оценка качества синтеза.

3.6 Результаты и выводы.

4 ОЦЕНКА РЕЗУЛЬТАТОВ КОМПЛЕКСИРОВАНИЯ И ПРАК ТИЧЕСКАЯ РЕАЛИЗАЦИЯ РАЗРАБОТАНОГО АЛГОРИТМА.

4.1 Общая схема алгоритма комплексирования.

4.2 Комплексирование ТВ и ТПВ изображений.

4.3 Конструкция многоканальной системы наблюдения.

4.4 Программное обеспечение и аппаратная реализация.

4.5 Результаты и выводы.

Актуальность темы. Современные многоканальные оптико-электронные системы наблюдения (МСН) имеют в своем составе датчики различной физической природы. Каждый датчик обладает уникальными свойствами и характеристиками и вносит свой вклад в изображение, которое анализирует человек-оператор комплекса [1] - [3]. МСН позволяют вести круглосуточное и всепогодное наблюдение, обнаружение, сопровождение наземных и воздушных объектов, выполнять охрану периметра, разведку местности, оценку состояния техногенной, экологической' обстановки; мониторинг местности,в условиях чрезвычайных.ситуаций.

Большое распространение получили системы, снабженные тепловизионной (ТПВ) и телевизионной (ТВ) камерой. [2]. Тепловизионный канал предназначен' для получения- на экране монитора изображения- в инфракрасном (ИК) диапазоне спектра* (-3.5- мкм> — ближний, ИК, 8.14 — дальний ИК). Данный канал позволяет обнаруживать и- идентифицировать объекты, обладающие тепловым контрастом. Телевизионный канал обладает цветовым контрастом, и предназначен для получения- изображения* наблюдаемой сцены в видимом диапазоне спектра (0,38-.0,76 мкм).

Полезная информация, необходимая для принятия» решения человеком-оператором, может быть распределена между изображениями разного спектра. В. этом случае оператор вынужден анализировать несколько изображений и сопоставлять их между собой, что приводит к задержкам в принятии решения: Особенно критичны данные задержки в работе оператора комплекса беспилотного' летательного аппарата, оборудованного бортовой МСН. По этой причине целесообразно выводить на дисплей единое комплексированное изображение, синтезированное из исходных ТПВ и ТВ кадров. Такой режим позволяет повысить информативность системы, объединив на одном кадре детали наблюдаемой сцены в инфракрасном и в видимом диапазонах спектра.

В большинстве работ, посвященных данной задаче, не учитывается факт пространственного смещения изображений [1]-[5], обусловленного конструктивными особенностями МСН, либо рассматриваются частные случаи решения, данной проблемы [6],[7]. Тем не менее,'в данных работах задачу комплексирования разбивают на два этапа: привязку, необходимую для пространственного совмещения изображения, и непосредственно синтеза изображений, позволяющий объединить информацию разного спектра.

В настоящее время, не существует единой методики комплексирования изображений в МСН. В существенной степени это, связано с тем, что оценка качества предъявляемых изображений' является субъективной и зависит от психофизиологических особенностей оператора, решаемой задач» и условий наблюдения.

Разработанные на данный момент алгоритмы синтеза имеют одну общую особенность: объединение информации происходит без>учета целевой задачи. В то время как в ряде применений-МСН целевой задачей оператора является поиск, распознавание и слежение за объектами интереса* (человеком и техникой).

Будем считать, что с целью повышения эргономического качества предъявляемых оператору изображений, необходимого для принятия обоснованных решений, повышения точности и быстродействия работы, а также снижения утомляемости оператора [8],[9],[10],[11], предъявляемое комплексированное изображение должно обеспечивать:

1. Отображение основной информации, содержащейся в исходных ТВ и ТПВ изображениях;

2. Максимально точную привязку ТВ и ТПВ изображений;

3. Выделение предполагаемых объектов интереса в соответствие с решаемой целевой задачей.

При этом поиск предполагаемых объектов интереса может быть реализован с использованием анализа наблюдаемой сцены, в частности, алгоритмов статистического распознавания и алгоритмов обнаружения по признакам движения [12], [13].

Решение указанных задач является актуальным, поскольку позволит повысить эффективность работы оператора.

Целью диссертационной работы является повышение качества предъявляемых оператору изображений за счет комплексирования исходных изображений разных диапазонов спектра и выделения (контрастированием и/или маркировкой) предполагаемых объектов интереса.

Достижение поставленной цели связано с выполнением следующих этапов исследования:

1. Анализ» существующих методов привязки с целью выбора наиболее-эффективного критерия сравнения разноспектральных изображений.

2. Разработка методики оценки ошибки привязки разноспектральных изображений.

3. Разработка алгоритмов обнаружения предполагаемых объектов интереса.

4. Разработка метода повышения качества предъявляемых оператору изображений на основе выделения объектов интереса.

Объектом исследования, является многоканальная оптико-электронная система наблюдения

Предметом исследования является процесс комплексирования предъявляемых оператору изображений, полученных в инфракрасном и видимом диапазонах спектра.

Методы исследования. Исследования выполнены с использованием аппарата математического моделирования, математической статистики, компьютерного зрения, теории информации. Моделирование проводилось в среде Matlab, Borland Delphi и с использованием пакета ImageJ. Для реализации алгоритма использовались языки С и С++ в среде программирования Texas Instruments Code Composer Studio для DSP-процессоров серии TMS320C64x.

Научная новизна. В диссертационной работе получены следующие новые научные результаты:

1. Разработан метод привязки ТВ и ТПВ изображений, основанный на критерии максимума взаимной информации. Метод является инвариантным к яркостному различию изображений.

2. Разработана методика оценки качества алгоритмов, привязки ТВ и ТПВ изображений, основанная на вычислении« радиуса корреляции изображений. Методика позволяет получить оценку точности-использованного критерия максимума взаимной информации.

3. Разработан метод локального' синтеза ТВ и ТПВ изображений, основанный на обнаружении и маркировании предполагаемых объектов интереса. Метод позволяет повысить качество предъявляемых оператору изображений.

Научные положения, выносимые на защиту:

1. Новый» метод и соответствующий алгоритм привязки изображений разных диапазонов спектра, основанные на критерий максимума взаимной информации и позволяющие оценить параметры трансформации: смещение и коэффициент масштаба;

2. Методика оценки качества алгоритмов привязки ТВ и ТПВ изображений, основанная на вычислении радиуса корреляции изображений и позволяющая получить оценку точности использованного критерия;

3. Рекомендации по использованию алгоритмов обнаружения объектов (на базе метода Отцу, модифицированного алгоритма Отцу, критерия Фишера) на типовых сценах, наблюдаемых на ТПВ изображении;

4. Алгоритм обнаружения предполагаемых объектов интереса по признакам движения на ТПВ-изображениях, основанный на методе Лукаса-Канаде;

5. Метод локального синтеза, обеспечивающий повышение эргономического качества предъявляемых оператору изображений; и основанный на выделении (контрастированием: и/или маркировкой)? предполагаемых объектов интереса.

Практическая? ценность полученных вг диссертационной работе результатов:

1. Разработанный« метод привязки изображений разных диапазонов* спектра на основе критерия^ максимума: взаимной"; информации обеспечивает более, точную^ оценку, чем распространенные: в задачах привязки: корреляционные методы. В частности;,. средняя ошибка определения.- смещения; в; 10-15 раз; меньше; чем при; использовании; метода- суммы модуля? разности^ а ошибка-, определения изменения масштаба меньше на 20-25%.

2. Разработанный; метод локального синтеза;, основанный на вычислении, адаптивного порога сегментации; TUB изображения: и выделении предполагаемых объектов. интереса, позволяет повысить качество предъявляемых оператору изображений в 1,5-2 раза.

3. Комплексирование ТВ и ТПВ изображений многоканальной системы наблюдения-позволит снизить.,информационную загруженность: оператора и? повысить надежность его работы.

Апробация работы. Основные положения и результаты диссертации докладывались на VIII-й Всероссийской научно-технической^ конференции «Проблемы совершенствования' робототехнических и интеллектуальных систем, летательных аппаратов» (МАИ, 2010), 9-й Международной конференции «Авиация и космонавтика - 2010» (МАИ, 2010), научно-технической конференции «Техническое зрение в системах управлениях» (ИКИ РАН, 2011).

Реализация на практике. Разработанное программное обеспечение комплексирования ТВ и ТПВ изображений использовано в процессе проводимых исследований и испытаний в Технологическом Парке Космонавтики «Линкос» в рамках НИР «Интриган», ОКР «Интриган-Д2» и «Тайфун-М-ОЭС», что отражено в акте внедрения кандидатской диссертационной работы.

Публикации. По результатам диссертационной работы опубликовано 4 работы, в том числе 2 научно-технических статьи в изданиях, включенных в перечень ВАК.

Объем и структура работы. Диссертационная работа состоит из введения, четырех глав, заключения и списка литературы (63 наименования). Работа содержит 112 страниц машинописного текста, 53 рисунка, 8 таблиц.

ЗАКЛЮЧЕНИЕ

В ходе выполнения диссертационной работы, в рамках специальности 05.13.01 «Системный анализ, управление и обработка информации (Информатика, управление и вычислительная техника)», получены следующие основные научные и практические результаты:

1. Решена актуальная научно-техническая задача комплексирования изображений разных диапазонов спектра в многоканальных системах наблюдения. В качестве модернизируемой системы рассматривался серийный комплекс, в состав которого входит тепловизионная (ТПВ) и телевизионная (ТВ) камеры. В рамках решаемой задачи комплексирования исследованы два последовательных этапа: привязка и синтез изображений.

2. Предложен новый метод привязки изображений, полученных в разных диапазонах спектра, основанный^ на критерии максимума взаимной информации и позволяющий оценить параметры трансформации: смещение и коэффициент масштаба.

3. Разработана методика оценки качества алгоритмов привязки ТВ и ТПВ изображений, основанная на вычислении радиуса (интервала) корреляции изображений. Методика позволяет получить оценку точности использованного критерия. В частности показано, что средняя ошибка определения смещения в 10-15 раз меньше, чем при использовании метода суммы модуля разности, а ошибка определения изменения масштаба меньше на 20-25%.

4. Разработан алгоритм обнаружения предполагаемых объектов интереса по признакам движения на ТПВ изображениях, основанный на определении оптического потока методом Лукаса-Канаде;

5. На основе проведенйых исследований, разработаны рекомендации по использованию на типовых сценах, наблюдаемых на ТПВ изображении, алгоритмов обнаружения объектов:

- на базе метода сегментации Отцу;

- предложенного модифицированного алгоритма Отцу с адаптивным порогом; статистического алгоритма на основе критерия максимального правдоподобия Фишера

Кроме того, ряд результатов получен в соответствии со специальностью 05.11.16 «Информационно-измерительные и управляющие системы (авиационная и ракетно-космическая техника)»:

6. Разработан метод локального синтеза, обеспечивающий повышение эргономического качества предъявляемых оператору изображений, основанный на выделении (контрастированием и/или маркировкой) предполагаемых объектов интереса. Метод позволяет повысить качество предъявляемых оператору изображений в 1,5-2 раза.

7. Разработан алгоритм комплексирования ТВ и ТПВ изображений, основанный на привязке изображений с помощью критерия взаимной информации и локальном синтезе. В качестве модернизируемой системы рассматривался серийный комплекс МКОЭС, в состав которого входит тепловизионная (ТПВ) и телевизионная (ТВ) камеры. Алгоритм обеспечивает выход на режим за 0,3 секунды и синтез изображений при неизменном угле зрения с частотой 30 кадров в секунду.

8. Исследования, основанные на обработке изображений, полученных на модифицируемом оптико-электронном комплексе (МОН), подтвердили работоспособность разработанных алгоритмов.

1. Canga E.F. Image fusion. Project report for the degree of Meng, in electrical and electronic engineering.-University of Bath, 2002

2. Иванов E.JI., Смагин M.C. Слияние изображений в многоканальной системе наблюдения местности. Датчики и системы.-2006.-№11. С.6-9

3. Stathaki Т. Image fusion: Algorithm and Appliations. Elsevier, 2008. 519c.

4. Blum R1S. Multi-Sensor Image Fusion and Its Applications. / Blum R.S., Liu Z. // Signal Processing and Communications.- 2006.- C.40-42

5. Аксенов OJO. Совмещение изображений. ЦОС №3, 2005, С.51-55

6. В. А. Войтов В.А., Голицын A.B., Дегтярев Е.В., П. В. Журавлев П.В., Журов Г.Е., Шлишевский В.Б. Способ формирования единого информационного поля. Оптический журнал, том 76, 2009, № 12, стр. 84-87.

7. Смоляров: A.M. Системы отображения информации и инженерная психология. М.: Высшая школа, 1982.-272 с.

8. Алиев Т.М., Вигдоров Д.И., Кривошеев В.П. Системы отображения информации. -М.: Высшая школа, 1988, 223 с.

9. Запорожец A.B., Костюков В.М. Проектирование систем отображения информации. М.: Машиностроение, 1992.-336 с.

10. Ломов Б.Ф. Основы инженерной психологии. М: ВШ, 1977.-335 с.

11. Ким Н.В. Обработка и анализ изображений в системах технического зрения. Учебное пособие. -М.: Изд-во МАИ. 2001. 164 с.

12. Форсайт Д, Понс Ж. Компьютерное зрение. Современный подход. Вильяме, 2004. 928 с.

13. Насонов А.В., Крылов А.С., Ушмаев О.С. Применение метода суперразрешения для биометрических задач- распознавания лиц в видеопотоке'// Системы высокой доступности. 2009. №1. С. 26-34

14. Deepu Raj an, Subhasis Chaudhuri: Generalized Interpolation and1 Its Application in Super-Resolution Imaging, Image and Vision Computing, Volume 19, Issue 13,, Pages 957-969, 2001

15. Гонсалес, Р. Цифровая обработка изображений / Р. Гонсалес, Р. Вудс. М.: Техносфера, 2005. 1072 с. - ISBN 5-94836-028-8.

16. Bouguet J.Y. Pyramidal. Implementation of the Lucas Kanade Feature Tracker/AIntel Corporation Microprocessor Research Labs, 2000

17. Zitova В., Flusser Jan. Image registration methods: a survey // Image and Vision Computing. 2003. №21. C. 977-1000

18. Medha V. Wyawahare, Dr. Pradeep M. Patil, and Hemant K. Abhyankar. Image Registration Techniques: An overview // Image Processing and Pattern Recognition. Vol. 2, No.3, September 2009

19. Shi J., Tomasi С. Good features to track / 9th IEEE Conference on Computer vision and Pattern recognition. Springer. 1994.

20. Yu J. J.-H., Hung B.N., Liou C.L. Fast algorithm for digital retinal- image alignment //Proc. ШЕЕ Ann. Int. Conf. Engineering Medicine Biology Society, 1989,-.vol. 2, C. 374-375.

21. Studholme C., Hill D.L.G, Hawkes D.J. Multiresolution voxel similarity measures for MR-PET registration // Information Processing in Medical Imaging, Y. Bizais et al., Eds. Amsterdam, The Netherlands: Kluwer, 1995. C. 287-298.

22. Lee D.J, Krile T.F., and Mitra S. Digital registration techniques forsequential fundus images // Proc. IEEE Applications of Digital Imager

23. Processing X, 1987, vol. 829, C. 293-300.

24. Kim S.P., Su W.Y. Subpixel accuracy image registration by spectrum cancellation//Proc. IEEE 1993 Int. Conf. Acoustics, Speech Signal Processing, ICASSP-93, 1993, vol. 5, C. 153-156.

25. Reddy B.S., Chatterji B.N. An FFT-based technique for translation, rotation and scale-invariant image registration // IEEE Trans. Jmage Processing, vol. 5, 1996. C. 1266-1271

26. Коссов П.В., Михеев С.М. Разработка алгоритма электронной стабилизации видеопоследовательности на базе цифрового сигнального процессора // Вестник МАИ, №6, 2006.

27. Василенко Г.И., Тараторин A.M. Восстановление изображений. М.: Радио и связь, 1986. - 304 с.

28. Soifer V.A., Kotlyar V.V., Doskolovich L.L. Iterative methods, for diffractive optical elements computation. London: Taylor & Francis, 1997.

29. Cabanski W., Breiter R., Koch R. et al. Third generation focal plane array IR detection modules at AIM SPIE Proc., vol.4369,' 2001, C.547 - 558.

30. Ravi K. S. Probabilistic Model-based Multisensor Image Fusion. PhD thesis, Oregon Graduate Institute of Science and Technology, Portland, Oregon, 1999

31. Peter J. Burt and Edward H. Adelson, The Laplacian Pyramid as a Compact Image Code, IEEE Transactions On Communications, Vol. Com-31, No. 4, C. 532540.

32. Yaonan Wang, Multisensor Image Fusion: Concept, Method and Applications, Faculty of Electrical and Information Engineering, Hunan University, Changsha, 410082, China

33. Bruno Aiazzil, Luciano Alparone, Stefano Barontil, Ivan Pippil, Fusion of 18 m MOMS-2P and 30 m Landsat TM Multispectral Data by the Generalized Laplacian Pyramid

34. Eli.Shechtman. Sequence Fusion Based'on 3D Pyramids / Project Report, 2000, http://www.wisdom.weizmann.ac.il/~elishe/SF technical report.html

35. Hui Li, B.S. Manjunath, Sanjit K. Mitra H. Li, B. S. Manjunath and S. K. Mitra, Multisensor Image Fusion Using the Wavelet Transform, Proc. firstinternational conference on image processing, ICIP 94, Austin, Texas, Vol. I,1994, C. 51-55.

36. Chipman L., Orr T., Graham L. Wavelets and Image Fusion, Proceedings International Conference on Image Processing, vol. 3, 1995, C. 248-251.

37. Nunez J., Otazu X., Fors O., Prades A. Multiresolution-Based Image Fusion with Additive Wavelet Decomposition, IEEE Transactions on Geoscience and Remote Sensing, vol. 37, no. 3, 1999, C. 1204-1211.

38. Koren I, Laine A., Taylor F. Image Fusion Using Steerable Dyadic Wavelet Transform, Proceedings International Conference on Image Processing, vol. 3,1995, G. 232-235.

39. Mendonca A.M, Campilho A., Nunes J. A new similarity criterion for retinal image registration / Proc. IEEE 1994 Int. Conf. Image Processing ICIP-94, Los Alamitos, CA, 1994, C. 696-700.

40. Cideciyan A.V., S: G. Jacobson; C. M. Kemp, R. W. Knighton, and J. H. Nagel. Registration, of high- resolution images of the retina. / in Proc. SPIE: Medical Imaging VI: Image Processing, vol. 1652, 1992, C. 310-322.

41. Wakahara T. An iterative image registration technique using local affine transformation / Syst. Comput. Japan, vol. 21s, no. 12; 1990,1 C. 78-89.

42. Wells W.M., Viola P. Multimodal volume registration by maximization of mutual information. Med. Image Anal., vol. 1, no. 1, 1996, C. 35-51'.

43. Dowsland К. Simulated annealing /Modern Heuristic Techniques for Combinatorial Problems, C. R. Reeves, Ed. New York: Wiley, 1993, C. 20-69.

44. Ким H.B., Коссов П.В., Михеев C.M. Увеличение информативности телевизионных и тепловизионных изображений /Вестник компьютерных технологий, №10, 2011

45. Otten R. Н. J. М., van Ginneken L. Р: P. P. The Annealing Algorithm / Boston, MA: Kluwer, 1989.

46. Гонсалес P., Вудс P. Цифровая обработка изображений.-Тех.сфера, 2005

47. Дуда Р., Харт П. Распознавание образов и анализ сцен: Пер. с англ.-М.: Мир, 1976'

48. Визильтер Ю.В., Желтов С.Ю., Бондаренко'А.В., Ососков М.В., Моржин А.В. Обработка и анализ изображений в задачах машинного зрения.-М.: Физматкнига, 2010

49. Otsu N. A threshold selection method from gray-level histograms / IEEE Trans. Systems, Man and cybernetics. 1979. Vol. SMC-9

50. Солдатов C.A., Стрельников K.H., Ватолин Д.С. Быстрое и надежное определение глобального движения' в видеопоследовательностях / 16-я Международная конференция по компьютерной* графике и ее приложениям, ИВМиМГ СО РАН, 2006, С.430-437

51. Denney, Т. S. Optimal brightness functions for optical flow estimation of deformable motion / T. S. Denney, J. L. Prince // IEEE Trans, on Image Processing. 1994.-T.3 ,№2.-С 178-191

52. The Math Works, inc. http://www.softline.ru, http://www.mathworks.com

53. Коссов П.В., Михеев C.M. Применение цифрового сигнального процессора для вычисления параметров коррекции визирной линии бортовой системы наблюдения/ Труды 18-го международного научно-технического семинара. Алушта, 2009

54. Солонина А.И., Улахович Д.А., Яковлев JI.A. «Алгоритмы и процессоры цифровой обработки сигналов», СПб.: БХВ-Петербург, 2001, 445 с.