автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.05, диссертация на тему:Разработка методики синтеза структуры вычислительных устройств слияния изображений

На правах рукописи

00345505Т

Смагин Михаил Сергеевич

РАЗРАБОТКА МЕТОДИКИ СИНТЕЗА СТРУКТУРЫ ВЫЧИСЛИТЕЛЬНЫХ УСТРОЙСТВ СЛИЯНИЯ ИЗОБРАЖЕНИЙ

05.13.05 - «Элементы и устройства вычислительной техники и систем управления»

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

о

5 Я»

Москва - 2008

003455057

Работа выполнена на кафедре Вычислительной техники на факультете Вычислительных машин и систем в Государственном образовательном учреждении высшего профессионального образования «Московский государственный институт радиотехники, электроники и автоматики (технический университет)»

Научный руководитель: кандидат технических наук, доцент

Иванов Евгений Леонидович.

Официальные оппоненты: доктор технических наук, профессор

Алёхин Владимир Александрович, кандидат технических наук, доцент Алехнович Валентин Иванович

Ведущая организация: Институт Автоматики и

Электрометрии СО РАН

Защита состоится 2008 в I Ц часов на заседании

диссертационного совета Д.409.009.01 при ОАО «Институт электронных управляющих машин им. И.С. Брука» по адресу: 119334, Москва, ул. Вавилова 24

С диссертацией можно ознакомиться в библиотеке Института электронных управляющих машин им. И.С. Брука

Автореферат разослан /3 " коб^рл

Учёный секретарь диссертационного совета р к.т.н., профессор

№

2008 г.

Красовский В.Е.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ Актуальность проблемы

Идея слияния изображений появилась в ходе работ по расширению таких функциональных возможностей систем наблюдения местности, как рабочий спектральный диапазон и помехоустойчивость. Одним из способов решения данной задачи было комплексирование датчиков различных спектральных диапазонов. Изображения, получаемые от различных датчиков, предъявлялись оператору либо последовательно, либо параллельно на одном или нескольких мониторах. Однако, как показал практический опыт, такая форма предъявления изображений оператору приводит к чрезмерной психофизической нагрузке на него, связанной с необходимостью не только анализа каждого из изображений, но сопоставления их между собой. Кроме того, временные затраты на просмотр и сопоставление видеоданных приводили к неприемлемым задержкам при принятии решений.

Таким образом, возникла идея комбинирования информации, содержащейся в нескольких изображениях, с целью получения одного конечного изображения, содержащего более информативное описание наблюдаемой сцены, чем любое из исходных изображений в отдельности. Такая операция получила название слияния изображений. Под устройствами слияния изображений традиционно понимаются специализированные устройства, предназначенные для выполнения алгоритмов слияния изображений.

На сегодняшний день устройства слияния изображений широко применяются в системах квазиреального времени, таких как медицинские или дефектоскопические системы. Однако в последнее время всё острее возникает необходимость в применении данных устройств и в системах реального времени, например промышленных системах машинного зрения, системах поиска скрыто-

го оружия, а также в многоканальных системах наблюдения местности различного назначения.

Одним из путей построения таких устройств, является реализация устройств слияния в виде специализированных цифровых вычислителей. Практическое использование данного подхода стало возможно совсем недавно, когда производительность вычислительных устройств стала соответствовать вычислительной сложности алгоритмов слияния.

Очевидно, что при синтезе структуры вычислителей слияния, разработчики будут, в первую очередь, пытаться применять подходы, положительно зарекомендовавшие себя ранее при разработке других устройств обработки изображений, в частности такие, как распараллеливание и уменьшение объёма вычислений. Задача установления применимости таких подходов и разработки методики синтеза, с их помощью, структуры вычислительных устройств слияния изображений, является особенно актуальной в связи с постоянным расширением спектра применения устройств слияния и ужесточения требований к ним.

Цель диссертационной работы

Целью данной работы является разработка методики синтеза структуры вычислительных устройств слияния изображений, основанной на внесении в используемые алгоритмы слияния изменений, направленных на распараллеливание и уменьшение объёма вычислений при их выполнении. Для достижения поставленной цели необходимо:

- Выбрать способы распараллеливания и уменьшения объёма вычислений, которые будут использоваться в дальнейших исследованиях;

- Определить вид и характеристики влияния выбранных способов на алгоритмы слияния изображений;

- Определить зависимость характеристик алгоритмов и результатов их выполнения от параметров вносимых изменений;

- Разработать методику определения оптимальных параметров вносимых изменений;

- Проверить разработанную методику на примере, и проверить полученные результаты путём макетного моделирования.

Методы исследования

Для решения поставленных задач использовались методы статистической лингвистики, теории обработки и анализа изображений, теории слияния изображений, теории вероятностей и математической статистики, а также теории вычислительных процессов и структур.

Положения, выносимые на защиту

1. Модифицирование исследованных алгоритмов слияния, направленное на повышение информативности результирующих изображений.

2. Практическая полезность способа повышения параллелизма вычислений при проектировании устройств слияния путём разбиения исходных изображений на параллельно обрвбятмйяемме окна.

3. Практическая полезность способа уменьшения объёма вычислений при проектировании устройств слияния изображений за счёт уменьшения числа элементов обработки путём снижения пространственного разрешения исходных изображений.

4. Методика выбора оптимальных параметров применения указанных способов для синтеза структуры вычислительных устройств слияния изображений с учётом функциональных и временных ограничений.

Научная новизна исследования

Научные результаты, полученные автором, заключаются в следующем:

- Установлены оценочные характеристики информативности слитных изображений, синтезированных с помощью наиболее широко используемых алгоритмов слияния изображений;

- Вычислены количественные показатели результатов внесения в алгоритмы слияния модификаций, направленных на улучшение результирующих изображений;

- Определена зависимость между объёмом вычислений, информативностью слитных изображений и изменениями, вносимыми в алгоритмы слияния с целью распараллеливания вычислений, выполняемыми путём разбиения исходных изображений на параллельно обрабатываемые окна;

- Определена зависимость между объёмом вычислений, информативностью слитных изображений и изменениями, вносимыми за счёт уменьшения числа элементов обработки путём снижения пространственного разрешения исходных изображений;

- Разработана методика выбора параметров исследованных изменений при синтезе структуры вычислительного устройства, наиболее полно удовлетворяющего предъявляемым к нему требованиям.

Практическая ценность работы

При выполнении работы достигнуты следующие практические результаты:

- получены аналитические оценки показателей информативности результирующих изображений, полученных путём выполнения алгоритмов слияния изображений различных типов;

- разработана струетура вычислительного устройства слияния изображений, предназначенного для выполнения в реальном масштабе времени алгорит-

ма слияния изображений уровня областей, разработанного д.т.н. Савиным В. Д.,

- разработано и запатентовано устройство для компенсации помех, вызываемых эффектом нарушения синхронизации, возникающим по причине задержки прохождения видеоданных в трактах цифровых обработки;

Результаты диссертационной работы были внедрены при выполнении различных научно-исследовательских и опытно-конструкторских работ, проводимых ЗАО «МНИТИ».

Апробации работы

Результаты работы докладывались и обсуждались на международных научно-технической конференциях «Современные телевизионные технологии. Состояние и направления развития» (2004, 2006 гг.), международной научно-технической конференции «Оптико-электронные приборы и устройства в системах распознавания образов, обработки изображений и символьной информации» (2005 г.), научно-технической конференции МИРЭА (2005,2008 гг.), XXIV военно-научной конференции ФГУП «18 ЦНИИ МО РФ» (2008 г.).

Кроме того, по теме диссертации опубликовано 8 печатных работ, в том "¡ícjís одна монография и один патент Ро^с^с^ч íT>pпрпягшн

Структура и объём работы

Диссертационная работа структурно состоит из введения, четырёх глав с выводами, заключения, списка использованной литературы и трех приложений. Работа изложена на 116 страницах машинописного текста, содержит 33 рисунка и 13 таблиц.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении раскрыта проблематика слияния изображений, сформулированы цели и задачи диссертационного исследования, определена практическая ценность результатов, приведены области, где они могут быть использованы, и дана аннотация по главам.

В первой главе даётся обзор развития слияния изображений от идеи до самостоятельного научного направления, рассмотрены проблемы, и изложен ряд задач, актуальных в данной сфере на сегодняшний день. В ней подробно описываются основные достижения в области слияния, как в нашей стране, так и за рубежом. Помимо рассмотрения слияния изображений с алгоритмической точки зрения, приводится также обзор развития цифровых вычислительных устройств обработки изображений и слияния изображений в частности. На основе сравнительного анализа обоих обзоров ставятся цели и формулируются задачи, решенные в данной диссертационной работе.

Согласно классификации, предложенной Б. Дасарати, алгоритмы слияния изображений делятся на алгоритмы уровня пикселей, уровня областей и уровня решений.

Слияние на уровне пикселей предполагает операции с отдельными пикселями исходных изображений. Объектами для обработки в алгоритмах слияния на уровне областей служат не отдельные пиксели, а области, выделенные на изображении и подвергнутые операциям анализа. Слияние на уровне решений представляет собой операции с информационными структурами, хранящими данные об исходных изображениях, с целью генерации информационного объекта с более полной информацией о наблюдаемой сцене.

Алгоритмы слияния уровня решений в данной работе не рассматриваются, поскольку не предполагают генерации результирующего изображения, и имеют качественно иной математический аппарат, чем алгоритмы, относящиеся к двум первым группам.

В свою очередь, многоканальные системы наблюдения местности, в которых могут быть использованы устройства слияния изображений, делятся на комплексированные, комбинированные и интегрированные. Именно интегрированные системы, в первую очередь, требуют использования в своём составе устройств слияния.

Задача данной работы состоит в разработке методики синтеза структуры подобных устройств, реализованных в виде специализированных цифровых вычислителей. Данная методика основана на внесении в используемые алгоритмы слияния изменений, призванных увеличить степень их параллелизма и уменьшить объём вычислений.

Вторая глава посвящена объектам и методам исследования. В частности, оценивается релевантность использованных методов оценки информативности изображений, а также обосновывается выбор метода оценки времени выполнения вычислительных задач, приведены также тестовые изображения, использованные в процессе исследований, обоснован выбор набора исследованных алгоритмов и описаны их математические модели, выполненные на языке системы математического моделирования Ма1ЬаЬ, кроме того представлена схема макета вычислительного устройства слияния изображений, использованного на этапе макетного моделирования.

Для количественной оценки информативности изображений был исполь-чояян алгоритм, предложенный Савиным В.Л., заключающийся в поиске и суммировании значений локальных максимумов и минимумов (экстремальных точек) на исходном изображении и его копиях, подвергнутых масштабному (ранговому) преобразованию, после обработки их специальным оператором. Суммарный количественный показатель вычисляется по формуле (1):

i »

i

Где: V - количественный показатель информативности.

£|/ЛЭГ, )| . сумма модулей отклика экстремальных точек на изображении 1-го, 2-го,

или 3-го ранга.

I, ], к - число экстремальных точек на изображениях, соответственно, 1-го, 2-го, или 3-го ранга

Релевантность оценок, вычисляемых с помощью данного метода, была подтверждена с помощью метода экспертных оценок.

Кроме того, в процессе выполнения работы был использован метод оценки информативности изображений путем сравнения с эталоном. В качестве количественной меры сходства обрабатываемого изображения с эталонным, было выбрано среднеквадратичное отклонение.

Среднеквадратичное отклонение - мера отличия исследуемого изображения от образцового, вычисляемая по формуле 2:

где:

Х,У - разрешение сравниваемых изображений по горизонтали и вертикали

- яркости пикселей сравниваемых изображений с координатами у.

В связи с тем, что на сегодняшний день разработано большое количество алгоритмов слияния изображений уровня пикселей, исследованию подвергались наиболее широко используемые из них. Для определения совокупности наиболее широко используемых алгоритмов был проведен анализ сети Интернет с помощью поисковых сайтов Yahoo.com и Google.com с использованием названий алгоритмов в качестве ключевых слов. Поиск показал, что наиболее широко используются алгоритмы слияния с использованием пирамиды лапла-

х У

(2)

Л 1= 1 )= 1

сианов, анализа главных компонент (РСА-алгоритм), и вейвлета Хаара (суммарно 98% ссылок), которые и использовались в дальнейшей работе.

В своем упрощенном варианте, суть РСА-метода доя слияния двух исходных изображений А и В заключается в следующем. Предполагается, что изображения представляют собой двумерные массивы случайных чисел. На первом этапе вычисляется матрица ковариации двух исходных массивов А и В, которая имеет вид, соответствующий формуле 3

О, СОУ,2

Соу21

(3)

где:

0| - Дисперсия значений яркостей пикселей исходного изображения 1;

- Дисперсия значений яркостей пикселей исходного изображения 2; СоУ(2 = Соу21 - взаимная ковариация значений яркостей пикселей изображений I и 2.

Затем определяются собственные вектора и собственные значения вычисленной матрицы ковариации. Весовые коэффициенты слияния определяются как коэффициенты нормализованного собственного вектора, соответствующего наибольшему из вычисленных собственных'значений матрицы ковариации.

v - у|(1) -у - ц(2>

v -■ ^0) .у <ргу)

1 — /Ч\ . — ' 2 „ /1\ I ,„ „пи },<}-,

г 1\ч ' v -<-- • -

Где: ерь ф2 - собственные вектора матрицы ковариации.

>.1, Х.2 - собственные значения матрицы ковариации, соответствующие собственным векторам

Алгоритмы пирамиды лапласианов и вейвлета Хаара работают по одинаковой схеме, суть которой заключается в последовательном итеративном выполнении следующих операций (Табл. 1):

Таблица 1

Редукция

Алгоритм пирамиды лапласианов а= 0 ь—0 п где: п - показатель редукции

Вейвлет-алгоритм где. \Vapp - аппроксимирующая функция вейвлета

Расширение Вычитание

Алгоритм пирамиды лапласианов хрлсш (2'' + " ] + ь) = х^ (/, у) где: п - показатель расширения xразн ('> У ) = xпсх ('"> у ) xрасш ('"> У)

Вейвлет-алгоритм x разн1 = (С^ИСХ * ) * ^ОЕГ ) хразн2 =((^ИСХ *^оег)*^арр) хразнз = ((^ИСХ * у^арр ) * ^арр ) где: WDEт - детализирующая функция вейвлета \Vapp - аппроксимирующая функция вейвлета

Комбинирование

Алгоритм пирамиды лапласианов где Фкомб - функция комбинирования

Вейвлет-алгоригм x комб1 = ф к ом б (х\разн, , х2разн, ) xкоме 2 = фкомб (xи,азн2, x2разн 2) xкож 1 = фкомб (хилзнз, х2разнз) где Фкомб - функция комбинирования

Продолжение табл. 1

Слияние

Алгоритм пирамиды лапласианов Хрсз (', j)~ Фfuse (Xred 0> -/)> Xkomb 0> j)) где Фи>мб - функция комбинирования

Вейвлет-алгоритм А = ((^w, * (КстУ ) + {Х«ош;г * Л-)"') * ^оьт ) А = ри« * WoetУ )ЧХщ>*(КгУ )*^лрр) ХрЕЗ = А + ¿2

Операции комбинирования и слияния в данном наборе по сути одинаковы, однако рассматриваются раздельно, поскольку, чаще всего, выполняются различными методами.

Выбор исследуемого алгоритма уровня областей осуществлялся между отечественным алгоритмом Савина и алгоритмом Пиелла, описанным в зарубежной научной печати. Проведенные исследования показали, что первый алгоритм позволяет получить более информативные результирующие изображения, поэтому он был использован в дальнейших исследованиях.

В третьей главе определяются характеристики и параметры изменений, вносимых в алгоритмы слияния изображений с целью улучшения слитных изображений, а также уменьшения объема вычислений и повышения степени параллелизма.

Модифицирование алгоритмов, направленное на повышение информативности результирующих изображений, заключается во введении в алгоритмы дополнительных операций улучшения исходных и результирующих изображений. Показатели повышения информативности при выполнении различных операций улучшения представлены в табл. 2:

Таблица 2

Вид алгоритма слияния Выполнена операция подчеркивания границ Выполнена операция гамма-коррекции Выполнена операция подавления шумов

над исходными изображениями Над результирующими изображениями над исходными изображениями над результирующими изображениями над исходными изображениями Над результирующими изображениями

Алгоритм пирамиды лапласианов 4.05 5.31 1.42 1.58 0.99 0.97

РСА-алгоритм 4.95 5.09 1.09 1.39 0.98 1.64

Вейвлет-алгоритм 4.00 5.22 1.45 1.64 0.98 1.01

Алгоритм Савина 2.16 3 05 1.57 1.71 1.11 1.11

Распараллеливание вычислений предлагается проводить путем разбиения обрабатываемых изображений на отдельные области, каждая из которых обрабатывается независимо и параллельно. Уменьшение объема вычислений предлагается проводить путем уменьшения числа объектов обработки (т.е. пикселей) через замену совокупностей пикселей одним значением, вычисляемым как среднее арифметическое значений яркостей пикселей, входящих в совокупность.

На графиках приведенных на рис. 1 представлено падение информативности результирующего изображения в зависимости от количества окон разбиения по горизонтали и вертикали для алгоритмов уровня областей и уровня пикселей. За единицу принята информативность изображения, полученного при выполнении алгоритмов слияния без дополнительных модификаций. На тех же графиках изображены приведенные к единице графики падения объёма вычислений.

по горизонтали и вертикали Алгоритм уровня областей

по горизонтали н вертикали Алгоритмы уровня пикселей

Рис. 1 Графики падения информативности результирующего изображения в зависимости от числа окон разбиения исходных изображений по горизонтали и вертикали для алгоритмов уровня областей и уровня пикселей

Данные графики показывают, что исследованный подход к распараллеливанию вычислений позволяет в большинстве случаев значительно снизить вычислительный объём максимальной длинной цепочки последовательных вычислений при выполнении алгоритма при незначительном снижении информативности результирующего изображения. Исключением является алгоритм слияния уровня пикселей, основанный на анализе главных компонент (РСА-алгоритм), представленный графиком 2 в семействе графиков для алгоритмов уровня пикселей. К данному алгоритму подобный подход не применим.

Аналогичным образом построены для параметров уменьшения объема вычислений (Рис. 2. Римскими цифрами обозначены, соответственно, области, выбор значений параметров в пределах которых будет приводить к падению дальности обнаружения (I) и идентификации (II) объектов на наблюдаемой сцене.

Данные графики показывают высокую эффективность подобного подхода к алгоритмом уровня пикселей и значительно меньшую - к алгоритмам уровня областей. Ограниченная применимость данного подхода к алгоритмам указанного класса объясняется значительным снижением информативности результирующего изображения при незначительном, начиная с определённого этапа, уменьшении объёма вычислений.

По итогам проведённых исследований разработана методика выбора оптимальных параметров изменений вносимых в алгоритмы при синтезе вычислительных устройств слияния изображений с учётом функциональных и временных требований к ним.

Среднеквадратичное д д отклонение реэультиру- о 8 ищего

изображения 0 7 от эталона и объём 06

вычислений

05 ОД 03 02 01 1

1 10 20 30 40 50 Б0 70

Количеств о усредняемых элементов обработки

Алгоритм уровня областей

Среднеквадратичное д д

отклонение реэультиру- о 8 ющего

изображения 0 7 от эталона и объём 06

вычислений

10 20 30 40 50 ВО 7

Количества усредняемых элементов обработки

Алгоритмы уровня пикселей

Рис. 2 Графики падения информативности результирующего изображения в зависимости от количества усредняемых элементов разбиения для алгоритмов слияния изображений уровня областей и уровня пикселей

По итогам проведённых исследований разработана методика выбора оптимальных параметров изменений вносимых в алгоритмы при синтезе вычислительных устройств слияния изображений с учётом функциональных и временных требований к ним.

Схема последовательности операций в данной методике приведена на рис. 3.

Рис. 3. Схема методики выбора оптимальных параметров изменений, вносимых в алгоритмы слияния изображений при синтезе вычислительных устройств для их реализации

Данная методика требует выполнения следующей последовательности операций:

1. Разработка структуры устройства слияния в соответствии со схемой алгоритма. Оценка ее производительности.

2. Если вычислительное устройство позволяет выполнять заданный алгоритм и удовлетворяет прочим требованиям, то закончить, иначе -перейти к следующему пункту.

Если алгоритм слияния не допускает распараллеливания обработки путём разделения исходных изображений, то перейти к пункту 8, иначе - перейти к следующему пункту.

Определить параметры изменений, вносимых с целью распараллеливания вычислений, и их результаты.

Если полученное оценочное значение потери информативности превышает допустимое, а также, если недопустимы потери в дальности обнаружения, то вернуться к пункту 1, пересмотреть исходные условия и повторить процесс разработки структуры устройства слияния. Построить новую структуру вычислителя, обеспечивающего параллельную обработку фрагментов исходных изображений, число которых было получено на предыдущем этапе. Оценить прочие существенные характеристики полученного вычислительного устройства. Если все существенные характеристики разработанного устройства удовлетворяют требованиям, предъявляемым к разрабатываемому вычислительному устройству, то закончить. Если данные требования не выполняются, то перейти к следующему пункту. Если по условию задания недопустимы потери в дальности обнаружения, то вернуться к пункту 1, пересмотреть исходные условия и повторить процесс разработки структуры устройства слияния. Ина-

"Л " <ч»отлА|||йШ/ ПУШГП/

..^ч...... ----J .....J.

В том случае, если полученная структура вычислителя не удовлетворяет требованиям, предъявляемым к устройству, количество модулей параллельной обработки, при необходимости, можно сократить, уменьшив число элементов обработки на исходных изображениях.

Если данное изменение приводит к недопустимым потерям в дальности идентификации, то вернуться к пункту 1, пересмотреть исход-

ные условия и повторить процесс разработки структуры устройства слияния.

11. Для определения совокупной потери информативности, необходимо перемножить оценочное значение потери информативности, полученное в пункте 6, с оценочным значением, полученным в предыдущем пункте.

12. Если полученное оценочное значение потери информативности превышает допустимое, то вернуться к пункту 1, пересмотреть исходные условия и повторить процесс разработки структуры устройства слияния, иначе закончить

В четвёртой главе приведён пример синтеза вычислительного устройства слияния изображений с применением методики, разработанной в третьей главе. В качестве исходного алгоритма слияния, из состава исследуемых алгоритмов был взят алгоритм слияния уровня областей, как наиболее сложный и ресурсоёмкий. Дополнительное временное ограничение состояло в том, что операция слияния изображений должна выполняться в реальном масштабе времени над монохромными изображениями с кодированием 8 бит на пиксель (256 градаций серого) и разрешением 768x576 точек, следующими с частотой 25 кадров в секунду. Кроме того, в качестве дополнительного функционального ограничения, было взято требование использования элементной базы, воспроизводимой отечественной промышленностью.

Выработка структуры вычислительного устройства слияния изображений начинается с анализа алгоритма, взятого за основу. На основе проведенного анализа была построена структурная схема вычислителя слияния изображений, приведенная на рисунке 4.

Блок согласования и формирования рангов

Сл™р>

Блок согласования и формирования рангов

1 процессор 1 ранга ТВ 1 процессор 2 ранга ТВ 1 процессор 3 ранга ТВ 1 процессор 1 ранга ТПВ 1 процессор 2 ранга ТПВ 1 процессор 3 ранга ТПВ

III III

Блок выбора базового изображения

,-1 1-, ,-1 1-,

2 процессор 1 ранга БИ 2 процессор 2 ранга БИ 2 процессор 3 ранга БИ 2 процессор 1 ранга ДИ 2 процессор 2 ранга ДИ 2 процессор 3 ранга ДИ

X

Блок слияния изображений

БКУ

Рис. 4. Структурная схема устройства слияния изображений разработанная при анализе исходного алгоритма

Моделирование показало, что вычислитель, построенный по такой схеме, не обеспечивает выполнения исследуемого алгоритма слияния уровня областей, имеющего наибольшую вычислительную сложность среди исследуемых алгоритмов, ведется работа по оптимизации вычислительной структуры, полученной после анализа алгоритма, направленная на понижение объема вычислений и их распараллеливание.

В Структуру ИССЛСДуСмОГО алгоритма были 1>11ССС1»Ы

следованные в третьей главе, позволяющие повысить степень параллелизма и уменьшить объем вычислений при их реализации. При этом значения параметров указанных изменений выбирались согласно разработанной методике с учётом упомянутых временных и функциональных ограничений.

На основе полученных результатов была построена преобразованная структура разрабатываемого вычислительного устройства, представленная на рис. 5.

Уменьшение пространственного разрешения

Уменьшение пространственного разрешения

тпв

ТВ

Коммутация БИиДИ

БИ

да

Модули оконной обработки

Построение Поиск Поиск

областей областей темных

пересветки областей

Свёртка Срез Построение

отклика областей

Свёртка

Поиск ЭТ

Определение БИ-ДИ

Определение

порога бинаризации

Поиск информативных областей

Блок заполнения

Блок суммирования

Результирующее

изображение

Гамма коррекция

Рис. 5. Синтезированная структура вычислителя

Вычислительное устройство разработанной структуры было промоделировано на макете, выполняющем в квазиреальном масштабе времени слияние изображений, принимаемых в виде сигналов формата ГОСТ 7845-92. Моделирование выявило эффект рассинхронизации, вызваный различием времени обработки изображений в каждом из каналов, приводящий к появлению помех на результирующем изображении.

Было разработано устройство компенсации данного эффекта, работающее по принципу управления передачей цифровых данных яркости в зависимости от задержки в трактах обработки, причём задержка оценивалась путем подачи выходного сигнала схемы обратно на её вход, после пропускания данного сигнала через линию задержки с характеристиками, эквивалентными задержке в тракте обработки цифровых данных. Данное устройство было зарегистрировано в качестве изобретения (патент РФ №2324300).

В приложении 1 приводятся тексты программной библиотеки алгоритмов слияния изображений уровня пикселей, выполненные на языке программирования системы математического моделирования MatLab. В приложении 2 представлена математическая модель исследованного алгоритма слияния уровня областей, разработанная в процессе работы над диссертацией. В приложении 3 представлен чертеж устройства синхронизации телевизионного изображения, выполненный в системе автоматизированного проектирования ПЛИС Altera MAX II Plus.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Найден способ совершенствования вычислительных устройств слияния путём внесения в их структуру дополнительных узлов, выполняющих операции подчёркивания границ, гамма-коррекции и подавления шумов. Положительный эффект выражается в повышении информативности результирующих изображений.

2. Установлено, что способ разбиения исходных изображений на параллельно обрабатываемые окна, позволяет добиться распараллеливания вычислений, и определена зависимость характеристик указанного эффекта от параметров применения данного способа.

3. Установлено, что способ уменьшения числа элементов обработки путём снижения пространственного разрешения исходных изображений позволяет добиться сокращения объёма вычислений, и определена зависимость характеристик указанного эффекта от параметров применения данного способа.

4. Определены закономерности изменения объёма вычислений и информативности слитных изображений в зависимости от параметров применения исследованных способов. Разработана методика выбора оптимальных значений данных параметров при синтезе структуры вычислительных устройств слияния изображений.

5. Согласно разработанной методике, синтезирована структура вычислительного устройства слияния изображений, выполняющего в реальном масштабе времени алгоритм слияния Савина для монохромных (256 градаций серого) изображений форматом 768x576 пикселей при условии их следования с частотой 25 кадров в секунду с учётом функционального ограничения по выбору элементной базы, производимой отечественной промышленностью.

6. Разработано устройство для синхронизации телевизионного изображения, позволяющее компенсировать помехи, вызываемые нарушением синхронизации выходного сигнала формата ГОСТ 7845-92, возникающей из-за различного времени задержки информации в трактах обработки исходных изображений. Данное устройство зарегистрировано в качестве изобретения (Патент РФ № 2324300).

СПИСОК ПУБЛИКАЦИЙ

1. Савин В.Д., Смагин М.С. Об одном подходе к построению вычислителя слияния изображений И Научно-технический сборник «Техника средств связи». - серия «Техника телевидения» ЗАО «МНИТИ». - М:, 2005. - с. 63-65.

2. Смагин М.С. О практическом применении одного подхода к реализации двумерной свёртки в реальном масштабе времени. / 54 Научно-техническая конференция МИРЭА. Сборник трудов. / Государственное образовательное учреждение высшего профессионального образования "Московский государственный институт радиотехники, электроники и автоматики (технический университет)". - М., 2005. - 156с.

3. Смагин М.С. Обзор и сравнение ряда алгоритмов слияния изображений // Сборник материалов 7 Международной конференции «Распознавание-2005». - Курский Государственный Технический Университет, - Курск:, 2005. - с. 196-197

4. Смагин М.С. Слияние изображений. Современное состояние. - М.: Компания Спутник+, 2006. - 62 с.

5. Смагин М.С., Иванов Е.Л. Слияние изображений в многоканальной системе наблюдения местности // Датчики и системы. - 2006. -№11,- с. 6-12.

6. Смагин М.С. Кондратов А.И. Устройство для управления синхронизацией телевизионного изображения // Патент РФ № 2324300 от 12.12.2006

7. Смагин М.С., Иванов Е.Л. К вопросу о дополнительных элементах цифровых вычислителей слияния изображений // Естественные и технические науки. - 2008. - № 2 (34). -М: Компания Спутник+, 2008. - с. 446-449

8. Смагин М.С. О некоторых практических аспектах обработки телевизионных сигналов. / 57 Научно-техническая конференция МИРЭА. Сборник трудов. / Государственное образовательное учреждение высшего профессионального образования "Московский государственный институт радиотехники, электроники и автоматики (технический университет)". - М., 2008.

Отпечатано в ООО «Компания Спутник+» ПД № 1-00007 от 25.09.2000 г. Подписано в печать 14.11.08. Тираж 100 экз. Усл. пл. 1,5 Печать авторефератов: 730-47-74,778-45-60

ВВЕДЕНИЕ

ГЛАВА 1. АЛГОРИТМЫ И СИСТЕМЫ

СЛИЯНИЯ ИЗОБРАЖЕНИЙ

1.1. Введение

1.2. Алгоритмы слияния изображений

1.3. Методы оценки информативности изображений

1.4. Вычислительные устройства обработки и слияния изображений

1.5. Устройства слияния изображений в системах наблюдения местности

1.6. Выводы

ГЛАВА 2. ИССЛЕДУЕМЫЕ ОБЪЕКТЫ, МОДЕЛИ И МЕТОДИКИ ИССЛЕДОВАНИЯ. ИЗМЕРЯЕМЫЕ ХАРАКТЕРИСТИКИ.

2.1. Введение

2.2. Методы оценки информативности изображений

2.3. Методика оценки времени выполнения вычислительных задач

2.4. Обоснование выбора набора исследуемых алгоритмов

2.5. Математические модели алгоритмов слияния изображений

2.6. Макет двухспектрального устройства слияния изображений

2.7. Выводы

ГЛАВА 3. ИССЛЕДОВАНИЕ МОДЕЛЕЙ АЛГОРИТМОВ И ВЫЧИСЛИТЕЛЬНОГО УСТРОЙСТВА СЛИЯНИЯ ИЗОБРАЖЕНИЙ

3.1. Введение

3.2. Исследование алгоритмов и их модифицирование, направленное на повышение информативности результирующих изображений

3.3. Изменение алгоритмов с целью повышения параллелизма и уменьшения объёма вычислений, и его результаты

3.3.1. Изменения с целью распараллеливания вычислений

3.3.2. Изменения с целью уменьшения объёма вычислений

3.4. Методика выбора параметров изменений, вносимых в алгоритмы при построении структуры вычислительного устройства 76 3.7. Выводы

ГЛАВА 4. ПРАКТИЧЕСКИЕ АСПЕКТЫ РЕАЛИЗАЦИИ ДВУХ СПЕКТРАЛЬНОЙ СИСТЕМЫ СЛИЯНИЯ ИЗОБРАЖЕНИЙ

4.1. Введение

4.2. Анализ схемы алгоритма уровня областей

4.3. Построение базовой архитектуры вычислителя

4.4. Применение исследованных способов распараллеливания и уменьшения объёма вычислений

4.5. Макетное моделирование работы разработанного устройства

4.6. Принцип работы разработанного устройства для синхронизации телевизионных сигналов

4.6. Выводы

Предметом настоящей работы являются алгоритмы слияния изображений и цифровые устройства, предназначенные для выполнения указанных алгоритмов, в особенности, цифровые устройства слияния изображений в системах наблюдения местности, и методики синтеза указанных устройств. В пределах данного класса устройств интерес представляют цифровые устройства слияния изображений, работающие в реальном масштабе времени, и входящие в состав многоспектральных систем наблюдения местности.

Работа структурно разделена на 4 главы с введением, заключением и приложениями. В первой главе настоящей работы раскрыт предмет исследования, - алгоритмы слияния изображений и цифровые устройства, предназначенные для их выполнения, проведен обзор развития и резюмировано современное состояние этой области науки и техники, формулируются и теоретически обосновываются задачи данной работы.

Во второй главе рассматриваются алгоритмы слияния изображений различных классов, использованные в проведённых исследованиях, описываются модели данных алгоритмов, выполненные на языке программирования системы математического моделирования MatLab (тексты программ приведены в приложениях 1 и 2), приводятся методики оценки их характеристик, а также разработана схема макета вычислительного устройства слияния изображений, использовавшаяся для практического подтверждения теоретических выводов, полученных при выполнении работы.

В третьей главе исследуются характеристики и параметры изменений, вносимых в алгоритмы слияния изображений с целью улучшения слитных изображений, получаемых с их помощью, а также повышения степени параллелизма и уменьшения объема вычислений. Для повышения степени параллелизма предлагается разбить исходные изображения на отдельные окна, обрабатываемые параллельно. Для уменьшения объёма вычислений предлагается уменьшить число элементов обработки путём понижения пространственного разрешения обрабатываемых изображений. Разрабатывается методика выбора оптимальных значений параметров указанных изменений при синтезе структуры вычислительных устройств слияния изображений.

В четвертой главе рассмотрен пример применения разработанной методики для синтеза структуры вычислительного устройства, предназначенного для выполнения алгоритма слияния изображений уровня областей реальном масштабе времени, и приводятся результаты натурного моделирования работы вычислительного устройства разработанной структуры. В заключении приведены выводы, полученные в ходе данной работы. В приложениях приведены программы для ЭВМ, выполненные на языке программирования высокого уровня цифровой системы моделирования MatLab, результаты аппаратного проектирования, представленные в виде чертежей для САПР ПЛИС.

4.6. Выводы

В данной главе приведен пример синтеза вычислительного устройства слияния изображений, согласно методике, разработанной в главе 3. Была построена структура вычислительного устройства слияния изображений, предназначенного для выполнения алгоритма слияния областей.

В результате была синтезированная, согласно методике, структурная схема вычислительного устройства слияния изображений предполагает использование 16 параллельно работающих модулей обработки изображений. При этом совокупное значение потери информативности результирующего изображения, по сравнению с результатом слияния, полученным без использования распараллеливания и уменьшения объёма вычислений, составит 28%.

Работа вычислителя подобной структуры была промоделирована на натурной модели с использованием ЭВМ общего назначения. Натурное моделирование позволило выявить эффект искажения результирующего изображения, выдаваемого на экран оператора. Было установлено, что данный эффек был вызван рассинхронизацией следования обрабатываемой видеоинформации и управляющих сигналов, выделяемых из исходных видеосигналов, соответствующих требованиям ГОСТ 7845-92. На основе результатов исследования данного феномена было предложено и запатентовано устройство, позволяющее исключить обнаруженные искажения.

109

ЗАКЛЮЧЕНИЕ

В данной работе было проведено исследование алгоритмов слияния изображений, а также некоторых способов распараллеливания и понижения объема вычислений при выполнении данных алгоритмов. Целью данных исследований являлась разработка методики выбора параметров применения исследованных способов при синтезе структуры вычислительных устройств слияния изображений с учётом временных и функциональных ограничений.

Исследование всей совокупности алгоритмов слияния изображений не представлялось возможным ввиду большой трудоёмкости подобных исследований, и отсутствия в открытых источниках информации о многих алгоритмах данного класса. Поэтому для дальнейшего исследования были выбраны наиболее широко используемые алгоритмы слияния изображений различных видов.

В процессе исследования алгоритмов были разработаны меры по их модифицированию с целью повышения информативности результирующих изображений. Требуемый эффект был достигнут путём введения в исследуемые алгоритмы дополнительных операций улучшения исходных и результирующих изображений.

Модифицированные алгоритмы были исследованы на предмет определения динамики их характеристик при внесении в алгоритмы изменений, направленных на повышение степени параллелизма и уменьшение объёма вычислений при их выполнении.

В качестве способа повышения степени параллелизма было выбрано разбиение исходных изображений на отдельные области, обрабатываемые параллельно. Понижения объёма вычислений предлагалось достигнуть за счёт уменьшения числа элементов обработки путем понижения пространственного разрешения исходных изображений.

Как показали исследования, описанные в третьей главе настоящей работы, указанные способы применимы ко всем исследованным алгоритмам, за исключением РСА-алгоритма, к которому не применим выбранный способ повышения степени параллелизма вычислений.

По результатам исследования была разработана методика выбора оптимальных параметров применения исследованных способов при синтезе структуры устройств слияния изображений с учётом функциональных и временных требований, предъявляемых к ним.

Подтверждением применимости разработанной методики, является, приведённый в главе 4, пример синтеза вычислительного устройства, предназначенного для выполнения в реальном масштабе времени алгоритма слияния уровня областей, разработанного Савиным.

Макетное моделирование вычислителя разработанной структуры позволило на практике подтвердить теоретические результаты и, кроме того, выявило ряд особенностей практической реализации устройств слияния изображений. Одной из таких особенностей является появление помех, вызванных эффектом нарушения синхронизации следования информационных управляющих сигналов цифрового видеопотока, возникающим за счёт задержки цифровых видеоданных в каналах обработки. В главе 4 рассматривается устройство, компенсирующее негативные последствия данного эффекта.

В ходе выполнения работы достигнуты следующие основные результаты:

1. Найден способ совершенствования вычислительных устройств слияния путём внесения в их структуру дополнительных узлов, выполняющих операции подчёркивания границ, гамма-коррекции и подавления шумов. Положительный эффект выражается в повышении информативности результирующих изображений.

2. Установлено, что способ разбиения исходных изображений на параллельно обрабатываемые окна, позволяет добиться распараллеливания вычислений, и определена зависимость характеристик указанного эффекта от параметров применения данного способа.

3. Установлено, что способ уменьшения числа элементов обработки путём снижения пространственного разрешения исходных изображений позволяет добиться сокращения объёма вычислений, и определена зависимость характеристик указанного эффекта от параметров применения данного способа.

4. Определены закономерности изменения объёма вычислений и информативности слитных изображений в зависимости от параметров применения исследованных способов. Разработана методика выбора оптимальных значений данных параметров при синтезе структуры вычислительных устройств слияния изображений.

5. Согласно разработанной методике, синтезирована структура вычислительного устройства слияния изображений, выполняющего в реальном масштабе времени алгоритм слияния Савина для монохромных (256 градаций серого) изображений форматом 768x576 пикселей при условии их следования с частотой 25 кадров в секунду с учётом функционального ограничения по выбору элементной базы, производимой отечественной промышленностью.

6. Разработано устройство для синхронизации телевизионного изображения, позволяющее компенсировать помехи, вызываемые нарушением синхронизации выходного сигнала формата ГОСТ 7845-92, возникающей из-за различного времени задержки информации в трактах обработки исходных изображений. Данное устройство зарегистрировано в качестве изобретения (Патент РФ № 2324300).

1. На русском языке

2. Акаев А.А., Майоров С.А. Когерентные оптические вычислительные машины. JL: Машиностроение, 1977. - 440с.

3. Антонов А.Г. Коваленко С.М. Выбор конфигурации аппаратной платформы для выполнения алгоритмов заданной сложности // КомпьюЛог. -№2(56), 2003.

4. Волков В.Г., Гурвич-Макаров В.Д. Принципы сочетания изображений тепловизионного и телевизионного канала с выводом на единый индикатор // Вопросы оборонной техники. №4, 1993.

5. Гейхман И.Л., Волков В .Г. Основы улучшения видимости в сложных условиях. -М.:Недра-Бизнесцентр, 1999. -286 с.

6. Головкин Б.И. Параллельные вычислительные системы. М.:Наука, 1980.-519с.

7. Дуда Р. Харт П. Распознавание образов и анализ сцен. М.: Мир, 1976 -511с.

8. Дьяконов В.П. MATLAB 6/6.1/6.5 + SIMULINK 4/5®. Основы применения. Полное руководство пользователя. М.: СОЛОН-Пресс, 2004.

9. Зубарев Ю.Б. и др. К вопросу построения технических средств автоматизации обработки информации в спектрозональных системах // Труды МЭИ. Вып. 343. М.: 1977.

10. Зубарев Ю.Б., Сагдуллаев Ю.С. Оптическая селекция объектов спек-трозональными системами // Труды учебных институтов связи. Вып.80. -Л.: ЛЭИС 1976.

11. Коваленко С.М. Скубрий А.Г. Построение математической модели оценки производительности вычислительной системы. // Сборник трудов. М., 2001.

12. Ларионов A.M., Майоров С.А., Новиков Г.И. Вычислительные комплексы, системы и сети. — Л.: Энергоатомиздат, 1987. 178с.

13. Лебедев Д.Г, Лебедев Д.С. Квантование изображений посредством выделения контуров // Известия АН СССР, Техническая кибернетика. -№1, 1965.

14. Моисеев В.А. и др. Принципы построения многоспектральных компле-сированных оптико-электронных систем // Известия ВУЗов: Приборостроение. №9 2004.

15. Мотока, Томита, Танака. Компьютеры на СБИС. М.: Мир 1988. — в 2-х кн.18.0чин Е.Ф. Вычислительные системы обработки изображений. Л.: Энергоатомиздат, 1989.- 133с.

16. Прэтт Э. Цифровая обработка изображений. М. Мир, 1982 - 312 с.

17. Розенфельд А. Распознавание и обработка изображений с помощью ЦВМ. М.: Мир, 1972. - 230с.

18. Савин В.Д., Фадеев И.Н., Е.И., Ильичев И.Ю., Травина Е.И. Интегрированные многоспектральные системы наблюдения местности // Доклады НТК «Современные телевизионные технологии, состояние и развитие». ЗАО «МНИТИ», 2002.

19. Сигнаевский В.А., Коган Я.А. Методы оценки быстродействия вычислительных систем. М.: Наука, 1991. - 256с.

20. Смирнов Ю.М., Воробьев Г.Н. Перспективы развития вычислительной техники. Специализированные ЭВМ. — М.: Высшая школа 1989. 144с.

21. Столлингс В. Структурная организация и архитектура компьютерных систем, М.: Издательский дом "Вильяме", 2002. - 896с.

22. Фу К. СБИС для распознавания образов и обработки изображений. -М.: Мир. 1988. 248 с.

23. Харатишвили Н.Г. и др. Пирамидальное кодирование изображений. -М.: Радио и связь, 1996.

24. Широбоков A.M., Щупак Ю.А., Чуйкин В.М. Обработка тепловизион-ных изображений, получаемых многоспектральным тепловизором «Терма-2» // Известия ВУЗ-ов: Приборостроение, №2 2002.

25. Обработка изображений при помощи ЦВМ / под ред. Г.Эндрюса и Л.Инло. -М.: Мир, 1973.-203с.

26. Эндрюс Г. Применение вычислительных машин для обработки изображений. М.: Энергия, 1977. - 161с.

27. ЗО.Ярославский Л.П. Введение в цифровую обработку изображений. М.: Сов.радио, 1979.-312с.31 .Ярославский Л.П. Цифровая обработка сигналов в оптике и голографии: Введение в цифровую оптику. М.:Радио и связь, 1987. - 295с.

28. Ярославский Л.П., Мерзляков Н.С. Цифровая голография. М.:Наука, 1982.-220с.1. Источники в сети Интернет

29. Рейтинг основных поисковых систем.

30. Адрес в Интернет: http://www.seop.ru/seratings.html1. Технические документы

31. ГОСТ 7845-92 «Система вещательного телевидения. Основные параметры. Методы измерений».

32. Номенклатура высокотехнологических ИЭТ, рекомендуемых к разработке в РФ и применению в РЭА. — М.: Издательство УНИЭТ, 2005.

33. Патент ВОИС WO 01/72033 кл. Н 04 N 5/222. Способ и система для объединения многоспектральных изображений. 2002 .

34. Патент ЕПВ №930778 H04N 5/12. Устройство согласования синхронизирующих сигналов. 1999.

35. Патент Япония №3439020 H04N 5/06. Схема вертикальной синхронизации и контроллер сигналов синхронизации. 1996.

36. Смагин М.С. Кондратов А.И. Устройство для управления синхронизацией телевизионного изображения // Патент РФ № 2324300 от 12.12.20061. На английском языке

37. Abidi М.А., Gonzalez R.C. Data Fusion in Robotics and Machine Intelligence, Academic Press. - 1992.

38. Blum R.S. Image Fusion with some Emphasis on CWD. ECE Dept. Lehigh University, 2002.

39. Blum Rick S., Liu Zheng. Multy-Sensor Image Fusion and it's Applications. CRC-press 2005. - 528p.

40. Burt P., Adelson E.H. The Laplacian pyramid as a compact image code // IEEE Transactions on Communications, Com-31. 1983. - pp.532-540.

41. Burt P.J., Adelson E.H. Merging images through pattern decomposition // Applications of Digital Image Processing VIII Proc. SPIE. 1985.

42. Canny J.F. A Computational approach to edge detection // IEEE Trans. Pattern Anal. Machine Intell, 8(6). 1986. - pp.679-698.

43. Chatzis V., Bor§ A.G., Pitas I. Multimodal Decision Level Fusion for Person Authentication

44. Cremer F., Schutte K., Schavemaker J.G.M., den Breejen E. A comparison of decision-level sensor-fusion methods for anti-personnel landmine detection // Information Fusion, №2 2001. - P. 187-208.

45. Dwyer David и др. Real-time implementation of image alignment and fusion // Proceedings of SPIE. Vol 5612 "Electro-Optical and Infrared systems". -2004.

46. Fechner Т., Godlewski G. Optimal fusion of TV and infrared images using artifical neural networks // Proceedings of SPIE, vol.2492. 1995. -P.919-925.

47. Hall David L., Llinas James. Handbook of Multisensor Data Fusion. — CRC Press LLC, 2001.-537 p.

48. Lallier E., Farooq M. A real time pixel-level based image fusion via adaptive weight averaging. 1SIF. - 2000.

49. PielIa, G. A region-based multiresolution image fusion algorithm // Proceedings of the Fifth International Conference on Information Fusion. Volume 2, Issue, 2002.-pp.1557-1564.

50. Piella G. New quality measures for image fusion. Polytechnical University of Catalonia, Barcelona Spain - 2003.

51. Reago D. и др., Multi-Sensor Feature Level Fusion // 4th Nat'l. Sensor Symp. Vol. I, 230. - August 1991.

52. Sharma Ravi K., Pavel Misha. Adaptive and statistical image fusion // SID Digest. Vol. XXVII. - May 1996. - pp. 969-972.

53. Sharma Ravi K., Pavel Misha. Registration of video sequences from multiple sensors // Proceedings of Image Registration Workshop. Publication CP-1998-206853, NASA-GSFC. - November 1997.

54. Sharma Ravi K., Pavel Misha, Leen Todd K., Multi-stream video fusion using local principal component analysis // Proceedings of the SPIE. — Vol.3434,1998

55. Unger S.N. A computer oriented toward spatial problem. Proc. IRE. -1958.-Vol. 46.-pp 1744-1750.61. von Neumann J. The general logical theory of automata, in Cerebral Mechanisms in Behavior. The Hixon Symposium, Wiley, N.Y. - 1951.

56. Waltz, E. L., Llinas, J. Multisensor data fusion. Artech House, Boston. -1990.

57. Yaroslavsky Leonid P., Fishbain Barak, Shteinman Alex, Gepshtein Shai. Processing and Fusion of Thermal and Video Sequences for Terrestrial Long Range Observation Systems // Proc. 7-th International Conference on Information Fusion. 2004.

58. Zhang Zhong, Blum Rick S. Region-based Image Fusion Scheme for Concealed Weapon Detection // Proceedings of the 31th Annual Conference on Information Sciences and Systems. March 1997. - pp. 168-173.1. Источники в сети Интернет

59. Dasarathy В. Universal Fusion System Architecture. 1999. Адрес в Интернет: belur.tripod.com66.www.metapix.de67."Octegra3 product information" Publication RT292-1 Radstone Technology 2005 Адрес в Интернет: www.radstone.com

60. Московский Институт Радиотехники, Электроники и Автоматики (Технический Университет)1. Смагин Михаил Сергеевич

61. РАЗРАБОТКА МЕТОДИКИ СИНТЕЗА СТРУКТУРЫ ВЫЧИСЛИТЕЛЬНЫХ УСТРОЙСТВ СЛИЯНИЯ ИЗОБРАЖЕНИЙ

62. Диссертация на соискание ученой степени кандидата технических наук