автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Алгоритмическое обеспечение систем комплексирования изображений от многоматричных сканирующих устройств

□03488049

На правах рукописи

СВЕТЕЛКИН Павел Николаевич

АЛГОРИТМИЧЕСКОЕ ОБЕСПЕЧЕНИЕ СИСТЕМКОМПЛЕКСИРОВАНИЯ ИЗОБРАЖЕНИЙ ОТ МНОГОМАТРИЧНЫХ СКАНИРУЮЩИХ УСТРОЙСТВ

Специальность 05.13.01 - Системный анализ, управление и обработка информации (технические системы)

Автореферат

диссертации на соискание ученой степени кандидата технических наук

1 О ДЕК 2009

Рязань 2009

003488049

Работа выполнена в ГОУВПО «Рязанский государственный радиотехнический университет»

Научный руководитель: доктор технических наук, профессор

Кузнецов Алексей Евгеньевич

Официальные оппоненты: доктор технических наук, доцент

Клочко Владимир Константинович

кандидат технических наук Тищенко Юрий Григорьевич

Ведущая организация: ФГУП «Научно-исследовательский институт

точных приборов», г. Москва

Защита состоится 18 декабря 2009 года в 12 ч на заседании диссертационног совета Д 212.211.01 в ГОУВПО «Рязанский государственный радиотехнически университет» по адресу:

390005, г. Рязань, ул. Гагарина, д. 59/1.

С диссертацией можно ознакомиться в библиотеке ГОУВПО «Рязанский госу дарственный радиотехнический университет».

Автореферат разослан <6 ноября 2009 года.

Ученый секретарь

диссертационного совета Д 212.211.01 канд. техн. наук, доцент

Пржегорлинский В.Н.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. В системах дистанционного зондирования Земли (ДЗЗ) в последние годы широкое распространение получают многоматричные сканирующие устройства. В этих устройствах для формирования изображений земной поверхности в фокальной плоскости устанавливаются несколько матриц приемников с зарядовой связью (ПЗС-матрицы) с одномоментной регистрацией входного излучения или работающих в режиме накопления заряда. Каждая из таких матриц обеспечивает формирование изображения в определенном спектральном диапазоне. Традиционный вариант построения многоматричных сканеров основан на принципе спектрального разделения поступающего от земной поверхности потока лучистой энергии по ПЗС-марицам и реализован в сканирующих устройствах МСУ-Э, РДСА, HRV, установленных на космических аппаратах (КА) «Ресурс-01 », «Метеор-ЗМ» №1, «Монитор-Э», SPOT и др.

Достоинством подобного типа сканеров является то, что ими формируются пространственно совмещенные снимки. Однако спектральное разделение лучистой энергии приводит к ослаблению регистрируемого сигнала и снижению радиометрического разрешения видеоинформации. Поэтому в последнее время в системах ДЗЗ стали использовать съемочные устройства, реализующие принцип пространственного разделения потока лучистой энергии по ПЗС-матрицам. По этому принципу спроектированы сканеры, установленные на КА «Ресурс-ДК», «Метеор-М», «Ресурс-П» и др., в которых ПЗС-матрицы в фокальной плоскости установлены поперек направления полета КА последовательно друг за другом. Съемка земной поверхности такими отдельными ПЗС-матрицами выполняется под разными углами и с разницей во времени, поэтому получаемые разновременные изображения имеют взаимные геометрические искажения. Часто съемка земной поверхности осуществляется в режимах съемки, при которых не формируются RGB-компоненты, необходимые для получения цветных снимков.

При разновременном формировании изображений возникает необходимость в решении задач прецизионного геометрического и радиометрического совмещения с целью последующего получения высококачественных цветных изображений.

Для повышения разрешающей способности и качества изображений в современных тепловизионных сканирующих устройствах используются матрицы с субпиксельно смещенными рядами ПЗС-приемников. Здесь также необходимо решить задачу геометрического и радиометрического объединения пространственно смещенных отсчетов яркости.

Таким образом, на сегодняшний день остро стоит задача по разработке алгоритмического и программного обеспечения систем комплексирования видеоданных от многоматричных сканирующих устройств нового поколения. Ее решению посвящена настоящая диссертационная работа.

Степень разработанности темы. Вопросы геометрической и радиометрической обработки разновременных изображений достаточно широко отражены в трудах Алпатова Б.А., Асмуса В.В., Журавлева Ю.И., Лупяна Е.А., Сойфера В.А., Ташлинского А.Г., Урличича Ю.М., Gonzalez R., Kronberg P., Pratt W., Rosenfeld A., Woods R. и других отечественных и зарубежных ученых.

Работы этих авторов составляют научно-методическую основу для решения задач, поставленных в диссертации. Вместе с тем получение высококачественных цветных изображений по данным разновременной съемки требует решения новых задач, связанных с прецизионным высокоскоростным геометрическим совмещением изображений и высококачественным отображением высотных и движущихся объектов.

Задачи геометрического совмещения разновременных снимков рассматривались в работах многих авторов, имеются и программные реализации этой функции в ГИС-системах. Однако вопросы проектирования алгоритмов, адекватных реальным геометрическим искажениям изображений и позволяющих выполнить поставленную задачу в приемлемое время, в должной степени в публикациях не рассмотрены.

Практически не рассмотрены вопросы формирования по данным разновременной панхроматической и спектрозональной съемки таких 1ЮВ-компонент, которые позволяли бы высококачественно отображать на цветном изображении высотные и движущиеся объекты наблюдаемой сцены.

Цель диссертации состоит в разработке алгоритмического и программного обеспечения высокопроизводительных прецизионных систем комплекси-рования разновременных изображений от многоматричных сканирующих устройств для получения высококачественных цветосинтезированных и теплови-зионных изображений наблюдаемых объектов.

Для достижения поставленной цели в работе решаются следующие основные задачи:

- анализ принципов формирования изображений многоматричными сканирующими устройствами и обоснование алгоритмов и технологии комплекси-рования видеоданных;

- разработка моделей и алгоритмов определения параметров геометрического совмещения снимков от датчиков среднего и высокого пространственного разрешения;

- разработка алгоритмов радиометрического комплексирования снимков видимого и ИК-диапазонов;

- проектирование программного обеспечения для систем комплексирования изображений от многоматричных сканирующих устройств.

Научная новизна работы предопределяется тем, что в практику ДЗЗ в последние годы стали внедряться многоматричные сканирующие устройства, реализующие принцип разновременного формирования изображений. Этот процесс сопровождается искажающим действием ряда специфических факторов, что требует адекватного их описания и проектирования эффективных алгоритмов геометрического и радиометрического комплексирования видеоданных с целью формирования высококачественных изображений.

На защиту выносятся следующие новые научные результаты:

- аналитическая модель геометрического соответствия спектрозональ-ных снимков, основанная на численном обращении прямых уравнений геодезической привязки разновременных изображений от ПЗС-матриц с представлени-

ем результата в виде набора кусочно-билинейных функций, что позволяет организовать высокоскоростную обработку протяженных маршрутов съемки от систем ДЗЗ среднего пространственного разрешения;

- алгоритм определения координат одноименных точек на спектрозо-нальных снимках в условиях их значительных геометрических рассогласований, основанный на пирамидальной корреляционно-экстремальной идентификации фрагментов изображений и обеспечивающий высоконадежное решение этой задачи;

- аналитико-регрессионный алгоритм совмещения снимков от КА высокодетального наблюдения, основанный на аналитическом описании взаимных смещений видеоданных по измерениям угловых скоростей движения спутника и на триангуляционной модели координатного соответствия, позволяющий геометрически скомплексировать изображения протяженных маршрутов съемки со сложными рельефными искажениями;

- модуляционный алгоритм радиометрического комплексирования спек-трозональных изображений, позволяющий синтезировать недостающие компоненты цветных снимков и устранить на них яркостные искажения от высотных и движущихся объектов;

- алгоритмы организации высокоскоростного вычислительного процесса в системах комплексирования изображений, основанные на хэш-тейловом представлении матрицы видеоданных, механизмах буферизации и распараллеливании процессов обработки снимков.

Практическая ценность работы состоит в том, что на базе предложенных моделей и алгоритмов разработаны подсистемы комплексирования изображений от КА «Ресурс-ДК», «Метеор-М» для программных комплексов Ог-thoNormScan, GeoScan, MobilCatalog, ScanCatalog, MeteorSatN и др., которые функционируют в ГУ «НИЦ «Планета», НЦ ОМЗ, ЦПОИ «Самара» и на приемном центре в г. Ереване, а также создана подсистема получения высококачественных тепловизионных изображений в комплексе видеонаблюдения «Панорама».

Реализация и внедрение. Диссертационная работа выполнена в Рязанском государственном радиотехническом университете в рамках ОКР №20-03, №14-05, №10-06, №12-06, №30-06, №23-08. Результаты диссертационной работы в виде математического и программного обеспечения внедрены в ФГУП «НИИ точных приборов», ФГУП «Российский НИИ космического приборостроения», ЗАО «Центр наукоемких технологий», что подтверждается актами.

Апробация работы. Основные положения диссертации докладывались и обсуждались на 3 международных и 7 всероссийских научно-технических конференциях: международной конференции «К.Э. Циолковский - 150 лет со дня рождения. Космонавтика. Радиоэлектроника. Геоинформатика» (Рязань, 2007); международной конференции «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций» (Рязань, 2008); международной конференции «Оптико-электронные приборы и устройства в системах распознавания образов, обработки изображений и символьной информации» (Курск, 2008);

всероссийских конференциях «Новые информационные технологии в научных исследованиях и в образовании» (Рязань, 2006, 2007, 2008); всероссийской конференции «Информационные технологии в науке, проектировании, производстве» (Нижний Новгород, 2006); всероссийской конференции «Интеллектуальные и информационные системы» (Тула, 2007); всероссийской конференции «Современные проблемы дистанционного зондирования Земли из космоса» (Москва, 2008); всероссийской конференции «Актуальные проблемы ракетно-космической техники и ее роль в устойчивом социально-экономическом развитии общества» (Самара, 2009).

Публикации. По теме диссертации опубликовано 17 работ: 7 статей (в том числе 3 статьи по списку ВАК), 10 тезисов докладов на международных и всероссийских конференциях.

Структура и объем работы. Диссертация состоит из введения, четырех разделов, заключения, списка литературы и приложения. Основной текст работы содержит 129 страниц, 49 рисунков и 9 таблиц. Список литературы на 11 страницах включает 107 наименований. В приложении на 3 страницах приведены акты внедрения результатов.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

В главе 1 проанализированы принципы съемки земной поверхности многоматричными сканирующими устройствами, выполнена оценка взаимных искажений формируемых снгшков и обоснованы требования к алгоритмам га обработки, предложена технология комтексирования изображений и определены задачи диссертационного исследования.

На рис. 1 показан принцип функционирования сканирующего устройства, реализующего пространственное разделение потока лучистой энергии по ПЗС-матрицам и обеспечивающего съемку земной поверхности в видимом диапазоне спектра с использованием трех ПЗС-матриц (МПЗС), которые установлены в фокальной плоскости на расстоянии 0 друг от друга перпендикулярно к направлению полета КА. Наблюдение одноименных участков земной поверхности с помощью МПЗСУ, где у - обозначение спектрального диапазона, у е {Ь, g, г}, выполняется под разными углами и в разное время.

В результате такой съемки формируются геометрически искаженные друг относительно друга разновременные изображения В^ = {Д(от,«)}, т = 0, Л/( -1, и = 0, Л/у -1, на которых одноименные объекты Г смещены друг относительно друга на величины Ат и Ап.

Показано, что при обработке информации от сканирующих устройств подобного типа возникает новая задача, связанная с комплексированием спектро-зональных изображений II. с целью получения цветных снимков О = («г,«)},

т = 0,М -1, и = 0,ЛГ-1, и основанная на решении двух групп проблемных вопросов:

- геометрическое совмещение между собой разновременных спектрозо-нальных изображений Я ;

- синтезирование спектрозональных 1ЮВ-компонент цветного снимка О в условиях отсутствия отдельных изображений В,.

мпзс; млзс;

НП - направление полета КА.

НВЗ - направление вращения Земли

Рис. 1. Схема съемки одноименных точек земной поверхности соседними ПЗС-матрицами

Рассмотрена топология построения перспективных многоматричных ИК-сканеров. Показано, что получение высококачественных тепловизионных снимков также связано с операцией геометрического и радиометрического комплексирования данных от отдельных ИК-матриц.

Разработаны математические соотношения для оценки уровней взаимных геометрических искажений разновременных снимков, к которым относятся: вращение Земли, перепады высот снимаемой местности, изменение углов ориентации КА во время съемки, различные траектории движения ПЗС-матриц.

Выполнен анализ известных алгоритмов геометрического совмещения разновременных изображений с точки зрения производительности, уровня автоматизации и учета взаимных искажений разновременных спектрозональных изображений. Установлено, что для совмещения снимков среднего пространственного разрешения, для которых рельефными искажениями можно пренебречь, необходимо разработать математическую модель на основе аналитического описания взаимных искажений видеоданных, формируемых в условиях орбитального полета КА.

Отмечено, что для совмещения снимков местности с высотными перепадами можно использовать триангуляционную модель координатного соответствия, оптимизированную по быстродействию и точности и основанную на высоконадежной идентификации одноименных точек изображений. Показано, что задача радиометрического комплексирования, связанная с синтезом недостающих компонент и устранением влияния движущихся объектов, в литературе должным образом не освещена.

Проанализированы две технологии геометрического комплексирования

спектрозональных изображений. Показано, что с точки зрения временных затрат и удовлетворения требований международной практики к видам выходных информационных продуктов геометрически комплексировать следует исходные изображения с последующим их трансформированием в картографическую проекцию.

На основе проведенного в первой главе анализа определены задачи диссертационного исследования.

В главе 2 выполнена разработка геометрических моделей координатного соответствия спектрозональных изображении, применяемых для комплекси-рования видеоданных от КА среднего и высокого пространственного разрешения.

Разработана аналитическая модель геометрического совмещения снимков от ПЗС-матриц, исходными данными для которой являются функции геодезической привязки. Эти функции по данным внешнего и внутреннего ориентирования сканирующего устройства позволяют определить геодезические координаты (ср., Д7) пикселей изображений Я,,

Ф, = ), й.1=^(К,П,1я1,яг), (])

где Л, П - векторы элементов внешнего и внутреннего ориентирования сканирующего устройства.

Тогда взаимное геометрическое соответствие между базовым и совмещаемыми изображениями представляется в виде:

Щ а,т,п)\,

пу = /у[Г-^П, П,т,и), /•:(К, П,т,и)] . (2)

ш = от8, п = пг, 1\=ГЧ, = уе{Ъ,г}, где /у', - искомые функции обратного геодезического преобразования.

Основная сложность построения аналитической модели координатного соответствия заключается в том, что на основе модели орбитальной съемки обратные функции /•"„"', получить не удается. Поэтому для определения зависимости планарных координат^»,, д,) от геодезических (<ру, ку) снимка предлагается следующий итерационный алгоритм. Сначала определяется начальное приближение планарных координат (туЯ, пуП) искомой точки. Затем на основе формулы приращения функции нескольких переменных применительно к прямым зависимостям составляется система уравнений:

лр лр лр о 1-1

ф^ф + ^Е-Ди + ф = срк, Х = (3)

дту 8пг 8ту 5пу

из которой итеративно находятся планарные координаты искомой точки (ту,пу). С учетом такого решения схема вычисления значений координат (ту,пу) выглядит следующим образом:

{т,п) ) (фД) ^ >{ту,пу), уе{Ь,г}. (4)

Поскольку итерационный расчет координат пикселей совмещаемых изо-

брожений в системе координат базового снимка занимает значительное время, предлагается выполнить аппроксимацию аналитических функций (2) функциями , Г'*. Показано, что высокая скорость и точность геометрической обработки достигаются при представлении функций , в кусочно-билинейном виде:

= ^ ('".«)= ко + + ^

и, = К") = к, + с)5т + С1(п + Слтп}, } = 0,./ -1, где У - количество ячеек регулярной бнлинейной решетки, шаг которой вычисляется с учетом соблюдения требуемой точности аппроксимации.

На базе разработанной модели реализован алгоритм формирования цве-тосинтезированных изображений по снимкам среднего пространственного разрешения от сканирующих устройств МСУ-50 и МСУ-100 космического аппарата «Метеор-М» №1.

Исследования показали, что для аппроксимации функций , , полученных для маршрутных снимков высокого пространственного разрешения, достаточно использовать полиномы первой степени. Однако из-за ошибок внешних параметров ориентирования сканирующих устройств эти функции для изображений Ву, у е {Ь,$,г}, определяются со случайными ошибками, величина которых может достигать нескольких сотен пикселей. Эти ошибки не характерны для КА типа «Метеор-М», но являются значительными для КА высокодетального наблюдения типа «Ресурс-ДК», совершающих во время съемки компенсационное угловое движение.

Для геометрического комплексирования высокодетальных снимков предложен аналитико-регрессионный алгоритм, в соответствии с которым на первом этапе устраняются начальные рассогласования по линейной модели координатного соответствия с учетом искажений, вызванных изменением углов ориентации КА, а на втором этапе компенсируются остаточные рассогласования, обусловленные рельефными искажениями.

В рамках первого этапа для определения координат одноименных точек на спектрозональных изображениях, имеющих случайные пространственные рассогласования значительной величины, предложен пирамидальный алгоритм корреляционно-экстремального отождествления (КЭО) фрагментов. В соответствии с этим алгоритмом на базовом снимке определяются высокоинформативные фрагменты, подходящие для дальнейшего КЭО по дисперсионным критериям: превышения СКО яркости фрагмента пороговой величины о„, ст, > а.,, / = 1,/, где а, - СКО базового фрагмента; отбора высокоинформативных фрагментов в соответствии с условием

ау1/ау1>3; / = 27, (6)

где а,,, - упорядоченные по убыванию СКО ст,, / = 1,/, базовых фрагментов.

Если фрагмент отбраковывается по одному из приведенных критериев, то выполняется его повторный поиск. Затем формируется пирамида разномасштаб-

ных фрагментов Вг и .у = 1,5,

в =в -ЛЬ^в ,

ЯфП ХфИ

вТ|=ВТ11^ВТ(1 у6М. (7)

Идея алгоритма состоит в том, что если на нижнем уровне пирамиды наблюдается рассогласование 8у пикселей, то на верхнем уровне пирамиды это

рассогласование равняется пикселей, т.е. можно значительно сокра-

тить время вычисления корреляционной функции за счет сокращения области поиска на следующем уровне пирамиды.

Поскольку одноименные объекты, наблюдаемые в различных спектральных диапазонах, могут иметь инверсию по яркости, то для КЭО каждый фрагмент пирамиды приводится к контурному виду:

С/ = й}, Уе{Ь,Е.г}, (8)

где С - оператор пространственного дифференцирования Собела.

Показано, что надежное КЭО достигается с использованием трех уровней пирамидального представления изображений (£ = 3) при координатном рассогласовании, достигающем 1024 пикселей, с коэффициентами масштабного сжатия = 8 и ц, = 2. Исследованы два варианта построения оператора ц/, - на основе прореживания и усреднения видеоданных. Обоснован выбор в качестве оператора прореживания, а в качестве ц/, - усреднения.

Разработан комплекс проверок результатов КЭО, основанный на известных критериях анализа вида корреляционной функции и предложенном критерии прямого и обратного корреляционного поиска. Последний позволяет отбраковать ложные результаты идентификации фрагментов, центр которых располагается на границах полей, на дороге и т.п. Применение пирамидального алгоритма позволило полностью автоматизировать операцию поиска одноименных точек на совмещаемых изображениях.

По найденным одноименным точкам на нулевом уровне пирамиды на основе МНК строится линейная модель взаимного соответствия спектрозональ-ных изображений

В! = {Ь!(т,п) = Ь<(т1,п1)}, шу=с01+с1гт + с2тп, п? =с,?+с47т + с3гп, уе{Ь,г}, где В - геометрически преобразованные в систему координат (т,п) снимки в.г

Модель (9) обеспечивает совмещение небольших фрагментов изображений равнинной местности. Практика показала, что при совмещении протяженных маршрутов следует учитывать искажения, вызываемые изменением углов ориентации КА за время съемки объекта соседними ПЗС-матрицами. С учетом этого модель (9) представляется в виде:

т7=сг,,+с7,[т + Д„»] +сг2[и + Дч(")]. (|0)

п, = сг,+ су1 [ т + Ату (и) ] + с./5 [ п + Д^ (я) ], у е {Ь, г }, где Дщ(п), А,г,(я) - взаимные смещения совмещаемых снимков бу, вызванные изменением углов ориентации КА, относительно базового в строчном и кадровом направлениях. Предложено определять смещения Дя (и) и А,„(л) по отфильтрованным измерениям угловых скоростей, выполняемых более точно и чаще по отношению к кватернионам ориентации КА, в соответствии с формулами:

А,)]//'-, А>)«[дв('Л)-АМ,)]/А. (")

где Дт(г,ДГ(), ДД/,ДР() - изменение угла крена и тангажа за время Л , /0 - момент времени формирования первой строки изображения базовой ПЗС-матрицы, / - фокусное расстояние сканирующего устройства, г - размер фотоэлемента ПЗС-матрицы.

На основе модели (10) реализована технология формирования цветных

обзорных изображений, применяемая при каталогизации данных ДЗЗ. Пример совмещения маршрута съемки «Париж» по модели (9) показан на рис. 2, а, а по модели (10) - на рис. 2, б. В центре снимка на рис. 2, а видны рассогласования, достигающие сотни пикселей, на снимке рис. 2, б эти рассогласования устранены.

На втором этапе анали-тико-регрессионного алгоритма комплексирования для компенсации рельефных искажений видеоданных используется триангуляционная модель гео-а - без учета изменения углов ориентации КА, метрического совмещения. В б-с учетом изменения углов ориентации соответствии с ней плоскость

совмещаемого снимка разбивается на треугольные фрагменты по алгоритму Делоне. В пределах каждого треугольника с порядковым номером и на изображении Вь геометрические соотношения выглядят следующим образом:

ть=аю+а.т + а.п, пь = а, + а(/и + а,и. (12)

Вершинами триангуляционной решетки являются идентифицированные на изображениях Вь, В В одноименные точки. Изначально точки на базовом снимке формируются в узлах регулярной прямоугольной решетки с шагом, по-

а б

Рис. 2. Пример совмещения двух снимков:

зволяющим аппроксимировать с заданной точностью соотношения (10). Далее триангуляционная модель автоматически загущается до требуемой точности совмещения, которая, как правило, составляет 0,5 пикселя.

На рис. 3 показан маршрут «Тегеран», совмещенный с использованием регулярной триангуляционной сети (рис. 3, а) и сети, загущенной с учетом

рельефа местности

(рис. 3, б). На рис. 3, б видно, что триангуляционная сеть загущается на горных районах маршрута, а на относительно ровных участках остается без изменения.

При совмещении по триангуляционной модели в качестве координат одноименных точек могут высту-Рис. 3. Маршрут «Тегеран», совмещенный пать движущиеся объекты, по триангуляционной модели: что приводит к ошибкам по-

ст - регулярная сеть, б - сеть, загущенная строения функций геомет-

с учетом рельефа местности рического соответствия (12).

Для отбраковки подобных точек предложен следующий алгоритм.

Установлено, что перепады высот снимаемых объектов влияют на рассогласования в кадровом направлении и практически не оказывают влияния на рассогласования в строчном направлении. Соответственно строчные смещения совмещаемого снимка относительно базового в одноименных точках местности распределены по нормальному закону, а одноименные точки, попавшие на движущиеся объекты, можно отбраковать по их строчным смещениям по критерию «За». На рис. 4 приведен пример смещений А/и в строчном направлении. На рис. 4, а видно два пика, которые образованы точками, попавшими на движущиеся объекты, а на рис. 4, б показан график смещений, не содержащих движущиеся объекты.

Разработанный аналитико-регрессионный алгоритм реализован в программных комплексах СеоБсап, ОпНоМопп8сап и используется для совмещения протяженных маршрутов съемки КА высокодетального наблюдения, содержащих сложные рельефные искажения.

Для оценки эффективности предложенных технических решений были выполнены исследования разработанных алгоритмов на информации от КА «Ресурс-ДК». Так, для формирования цветосинтезированного изображения горной территории размером 36000x105000 пикселей, которое занимает 21,1 ГБ дискового пространства, было идентифицировано 889389 точек, из них 112521 точка была использована для построения триангуляционной сети; 450797 - использовано в качестве контрольных для оценки точности геометрического совмещения; 62820 - отбраковано по минимальному значению СКО базового фрагмента КЭО; 260634 - отбраковано по критерию минимального значения

взаимной корреляционной функции (ВКФ); 526 - отбраковано по критерию СКО пика ВКФ в окрестности максимума; 267 - отбраковано по критерию эксцесса ВКФ; 1584 - отбраковано с использованием алгоритма обратного поиска; 240 точек идентифицировано как движущиеся объекты и отбраковано.

Эксперименты выполнялись на ЭВМ IBM х3850 с 4-мя двуядерными процессорами Intel Xeon 7120N 4x3.0 ГГц с оперативной памятью объемом 8 ГБ. На получение ЦСИ затрачено 124,7 минуты, из них 5,7 минуты - начальное совмещение; 14,2 минуты - построение триангуляционной сети; 104,8 минуты - загущение триангуляционной сети.

В главе 3 разработаны алгоритмы радиометрического комтексирова-ния видеоданных от сканирующих устройств видимого и ИК-диапазона, обеспечивающие формирование спектральных компонент цветных снимков и формирование высококачественных тетовизионных изображений.

При радиометрическом комплексировании видеоданных видимого диапазона решаются две задачи.

Первая задача связана с синтезом недостающих RGB-компонент цветного снимка для режимов съемки, когда одна ПЗС-матрица обеспечивает формирование панхроматического изображения, а другая формирует одну из спекгрозо-нальных компонент: R, G или В.

Вторая задача направлена на устранение ложных цветных контуров, вызванных высотными и движущимися объектами.

В рамках решения первой задачи предложен гистограммный алгоритм, позволяющий на основе известного спектрозонального изображения и спектральных чувствительностей ПЗС-матрнц синтезировать недостающие цветные компоненты.

Для решения второй задачи предложен модуляционный алгоритм, который в отличие от известных технических решений не требует идентификации и выделения движущихся объектов, обладает высоким быстродействием, позволяет снизить требования к точности геометрического совмещения спектрозо-нальных изображений и получать цветные изображения с пространственным разрешением панхроматической съемки. В соответствии с этим алгоритмом спектрозональные компоненты для режима съемки, когда имеются одно панхроматическое и два спектрозонапьных изображения, формируются следующим образом:

а б

Рис. 4. Графики строчных смещений одноименных точек: а - смещения до отбраковки движущихся объектов, б - после отбраковки

, з о ,,, , зь; ,

с/ =-^—тг-Ь , й =Ь , А, =-Xй—х-Ь ,

" ьр+ь;+ь; " ' " ь,+ъ;+ь; (п)

В1=ВЬЪЛ„, в; = в,

где ® - операция свертки с маской размытия й размером / х / элементов.

Для режима 1ШВ-съемки модифицированные спектрозональные компоненты изображения О формируются следующим образом:

¥ = мв, в -- [й.. я. в. | у = [у,с4,сг]г,

с; =с4 ®ллу, с; = с,®ау>/, о=му\ у=[г,с;,с;]г,

где М, М~' - матрицы прямого и обратного преобразования цветового пространства. Результат работы модуляционного алгоритма представлен на рис. 5.

а б

Рис. 5. Маскирование движущихся объектов: исходный (а) и результирующий (б) снимки

Комплексирование тепловизионных снимков предложено выполнять в два этапа. На первом этапе выполняется радиометрическая коррекция тепловизионных снимков по результатам съемки опорных излучателей. Если ПЗС-элемент не сбойный, то

*>' К лЬ ТЧ^ГгТЛ [ь> (т'' ■Ъ> ) ]+ Ь;'

J N М~ +Ш

7 N М-+£АГ , ч

1X1 МИу.Яу).

I ./ .V !/*+Аи* , \ \ 1 кг*м' / \

где ДМ" , ДМ* - количество столбцов изображения, принадлежащих холодному и горячему эталонному источнику, Мсб - общее количество сбойных элементов в./ рядах матрицы.

На втором этапе совместно выполняются операции геометрического и взвешенного радиометрического комплексирования:

d(m,n)~ Ц\(я,)/>, (да,,я,)■+ («2)&2(да,,«,)+И](и3 )/л (от., я,)+ W,(я4(да,,и4),

= /„(ш>я), = /„(т,и), ''6'

где Wf[n) - вес пикселя изображения, рассчитываемый на основе показателей качества ПЗС-элементов; fm, fn - функции геометрического соответствия.

Предложенный алгоритм позволяет увеличить вертикальное разрешение результирующего снимка в два раза и соотношение сигнал/шум более чем в 3 раза.

Результаты выполнения этапов комплексирования тепловизионных снимков показаны на рис. 6.

В главе 4 рассмотрены алгоритмы организации вычислительного процесса в системах комплексирования изображений, а также структуры программного обеспечения формирования цветосинтезированных и тепловизионных снимков.

Предложен комплекс алгоритмов по организации высокоскоростного вычислительного процесса, включающий:

алгоритм хэш-тейловой организации видеоданных в памяти компьютера, обеспечивающий высокую скорость доступа к спутниковым изображениям сверхбольшого объема в уменьшенных масштабах при визуализации и обработке;

- механизмы буферизации видеоданных, что позволяет ускорить видеоинформационный обмен между различными уровнями памяти;

- распараллеливание вычислительного процесса по имеющимся ядрам процессоров и использование инструкций SSE и SSE2.

Хэш-тейловое представление основано на разбиении матрицы видеоданных на тейлы, в которых фрагменты строк изображения хэшируются с определенным шагом. Для ис-

Рис. 6. Этапы получения тепловизионных изображений

ключения перезагрузки строк при просмотре и обработке изображения в уменьшенных масштабах реализована так называемая подмена строк. В отличие от известных алгоритмов хэш-тейловое представление не требует дополнительного хранения в памяти и на диске нескольких пирамидальных уровней изображения.

Для реализации технологии высокоскоро-

стного виртуального комплексирования предложена двухуровневая схема ис-

пользования оперативной памяти, позволяющая повысить быстродействие по отношению к безбуферной обработке в 3,9 раза.

Предложены алгоритмы распараллеливания корреляционно-экстремального поиска и формирования строки цветного изображения на многоядерной ПЭВМ. На рис. 7 представлены временные характеристики при распараллеливании загущения триангуляционной сети с использованием многопроцессорной обработки.

Замеры времени проводились на ПЭВМ с четырьмя двуядерными процессорами Intel Xeon ЗГГц и объемом ОП 8 ГБ. Алгоритмы обработки запускались в один, два, четыре и восемь потоков. Видно, что время обработки при вовлечении всех восьми ядер процессоров меньше в 2,7 раза по сравнению с одноядерной обработкой.

Рассмотрены структуры программного обеспечения комплексирования изображений по данным от КА «Ре-сурс-ДК» и «Метеор-М». Это программное обеспечение на уровне подсистем входит в ряд программных комплексов каталогизации и формирования выходной продукции: GeoScan, OrthoNormScan, ScanCatalog, MobilCatalog, Meteor-SatN. Данные комплексы успешно функционируют на центрах приема и обработки спутниковой информации: в Научном центре оперативного мониторинга Земли (НЦ ОМЗ), г. Москва; Центрах приема спутниковой информации г. Самары, Еревана; ГУ «НИЦ «Планета»; НИИ точных приборов, г. Москва; Российском НИИ космического приборостроения (ФГУП «РНИИ КП») и др.

Для комплексирования видеоданных от ИК-матрицы разработан программный комплекс «Панорама», который занимает 1,15 МБ дискового пространства и требует для работы 240 МБ свободной оперативной памяти. Этот программный комплекс совместно с аппаратурой тепловизионного наблюдения получил эффективное внедрение в Российском НИИ космического приборостроения и ЗАО «Центр наукоемких технологий».

Рассмотренные программные комплексы реализованы на языке программирования С++, в среде программирования MS Visual С++ 6.0 в операционной среде MS Windows 2000. Многолетнее практическое использование созданного программного обеспечения подтвердило эффективность предложенных технических решений, что отражено в актах по практическому использованию результатов диссертации.

â 40 =t

S 35

о 30

12 4 8

Количество потоков (задействованных процессоров )

Рис. 7. Зависимость времени загущения триангуляционной сети от количества процессоров

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

На основе проведенных исследований решена важная научно-техническая задача, связанная с созданием алгоритмического и программного обеспечения систем комплексирования изображений от многоматричных сканирующих устройств. К основным научным и практическим результатам диссертационной работы относятся:

1. Анализ уровней взаимных геометрических искажений разновременных снимков и обоснование требований к алгоритмам и технологиям комплексирования разновременных изображений.

2. Аналитическая модель геометрического совмещения разновременных спутниковых снимков, основанная на численном обращении прямых уравнений геодезической привязки и используемая для создания цветных снимков по видеоданным среднего пространственного разрешения от КА «Метеор-М».

3. Алгоритм поиска одноименных точек на спеюрозональных снимках по их пирамидально представленным фрагментам, что позволяет надежно идентифицировать одинаковые сюжеты в условиях случайных пространственных рассогласований значительной величины.

4. Анапитико-регрессионный алгоритм координатного соответствия спек-трозональных снимков, который основан на математических соотношениях, учитывающих изменение углов ориентации КА во время съемки и на триангуляционной модели геометрического соответствия изображений, позволяющей совмещать снимки с рельефными искажениями. Алгоритм применяется для получения цветных изображений по обзорным и детальным снимкам от КА высокодетального наблюдения.

5. Алгоритмы синтеза спектрозональных RGB-компонент, позволяющие формировать недостающие составляющие и получать высококачественные цветные изображения с высоким пространственным разрешением.

6. Алгоритмы комплексирования ИК-изображений, основанные на радиометрической коррекции по результатам съемки опорных излучателей и геометрическом и радиометрическом комплексировании видеоданных. Алгоритм позволяет формировать высококачественные тепловизионные снимки с повышенным вертикальным разрешением и увеличенным отношением сигнал/шум.

7. Комплекс алгоритмов по реализации высокоскоростных систем комплексирования видеоданных, включающий:

- хэш-тейловое представление видеоданных в памяти компьютера, обеспечивающее высокую скорость доступа к спутниковым изображениям сверхбольшого объема;

- механизмы буферизации видеоданных, позволяющие ускорить видеоинформационный обмен между различными уровнями памяти;

- распараллеливание вычислительного процесса по имеющимся ядрам процессоров и использование инструкций SSE и SSE2.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Кузнецов А.Е., Светелкин П.Н. Алгоритм синтеза изображений в панорамной тепловизионной системе наблюдения // Информатика и прикладная математика: межвуз. сб. науч. тр. РГПУ, Рязань, 2006. С. 69-76.

2. Кузнецов А.Е., Светелкин П.Н. Формирование непрерывного изображения на основе видеоданных от многорядной тепловизионной линейки // Тез. докл. XI всероссийской науч.-техн. конф. «Новые информационные технологии в научных исследованиях и в образовании». Рязань, 2006. С. 153-154.

3. Светелкин П.Н. Восстановление изображений, формируемых многорядными линейками приемников с зарядовой связью в системах тепловидения // Тез. докл. XVIII всероссийской науч.-техн. конф. «Информационные технологии в науке, проектировании, производстве». Нижний Новгород, 2006. С. 22.

4. Светелкин П.Н. Технология определения начальных параметров взаимного смещения изображений от КА «Ресурс-ДК» для их последующего ком-плексирования И Тез. докл. XII всероссийской науч.-техн. конф. «Новые информационные технологии в научных исследованиях и в образовании». РГРТУ, Рязань, 2007. С. 313-315.

5. Кузнецов А.Е., Светелкин П.Н. Оперативное совмещение спектрозо-нальных изображений при цветосинтезе // Вестник Рязанского государственного радиотехнического университета. Выпуск 22,2007. С. 3-7.

6. Гомозов O.A., Кузнецов А.Е., Пресняков O.A., Светелкин П.Н. Геометрическое комплексирование спектрозональных изображений при цветосинтезе // Тез. докл. 5-й международной науч.-техн. конф. «К.Э. Циолковский - 150 лет со дня рождения. Космонавтика. Радиоэлектроника. Геоинформатика». Рязань, 2007. С. 254-255.

7. Побаруев В.И., Светелкин П.Н. Применение методов пирамидального представления при обработке и визуализации цветосинтезированных изображений // Тез. докл. всероссийской науч.-техн. конф. «Интеллектуальные и информационные системы (Интеллект 2007)». Тула, 2007. С. 77.

8. Кузнецов А.Е., Пресняков O.A., Побаруев В.И., Светелкин П.Н. Организация видеоинформационного обмена в программной системе обработки изображений // Математическое и программное обеспечение вычислительных систем: межвуз. сб. науч. тр. М.: Горячая линия-Телеком, 2008. С. 41-47.

9. Светелкин П.Н. Организация вычислительного процесса при формировании цветосинтезированных изображений // Тез. докл. 15-й международной науч.-техн. конф. «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций». Рязань, 2008. С. 133-135.

Ю.Пресняков O.A., Светелкин П.Н. Алгоритмы геометрического совмещения спектрозональных изображений от КА «Ресурс-ДК» // Тез. докл. XIII всероссийской науч.-техн. конф. «Новые информационные технологии в научных исследованиях и в образовании». РГРТУ, Рязань, 2008. С. 64-65.

П.Кузнецов А.Е., Светелкин П.Н. Алгоритмы формирования цветосинтезированных изображений по данным панхроматической и спектрозональной съемки // Тез. докл. VIII международной конф. «Оптико-электронные приборы

и устройства в системах распознавания образов, обработки изображений и символьной информации (Распознавание-2008)». Курск, 2008. С. 190-191.

12. Гомозов O.A., Еремеев В.В., Кузнецов А.Е., Пресняков O.A., Светелкин П.Н. Алгоритмы формирования цветосинтезированных изображений по информации от спутника «Ресурс-ДК» // Тез. докл. 6-й всероссийской открытой ежегодной конф. «Современные проблемы дистанционного зондирования Земли из космоса». Москва, ИКИ РАН, 2008.

13. Кузнецов А.Е., Пресняков O.A., Светелкин П.Н. Модели координатного соответствия спектрозональных снимков сверхвысокого разрешения // Вестник Рязанского государственного радиотехнического университета, №2 (выпуск 28). 2009. С. 12-17.

14. Кузнецов А.Е., Светелкин П.Н. Оценка взаимных геометрических искажений цветосинтезированных изображений. РГРТУ, Рязань, 2009. 6 с. Деп. в ВИМИ. Исходящий № Д09045 от 24.02.09.

15. Кузнецов А. Е., Нефедов В.И., Светелкин П.Н. Создание цветосинтезированных изображений по данным аппаратуры КМСС космического аппарата «Ме-теор-М». РГРТУ, Рязань, 2009. 14 с. Деп. в ВИМИ. Исходящий № Д09046 от 25.06.09.

16. Кузнецов А.Е., Максимов C.B., Светелкин П.Н. Формирование цветосинтезированных изображений по данным разновременной космической съемки Земли // Тез. докл. всероссийской науч.-техн. конф. «Актуальные проблемы ракетно-космической техники и ее роль в устойчивом социально-экономическом развитии общества». СамНЦРАН. Самара, 2009. С. 187-188.

17. Кузнецов А.Е., Светелкин П.Н. Формирование цветных снимков по спутниковым изображениям среднего и высокого пространственного разрешения // Цифровая обработка сигналов. 2009. №3. С. 36-40.

Светелкин Павел Николаевич

АЛГОРИТМИЧЕСКОЕ ОБЕСПЕЧЕНИЕ СИСТЕМКОМПЛЕКСИРОВАНИЯ ИЗОБРАЖЕНИЙ ОТ МНОГОМАТРИЧНЫХ СКАНИРУЮЩИХ УСТРОЙСТВ

Автореферат

диссертации на соискание ученой степени кандидата технических наук

Бумага офисная. Печать цифровая.

Тираж 100 экз.

Рязанский государственный радиотехнический университет.

390005, г. Рязань, ул. Гагарина, 59/1.

Введение.

1. Задачи комплексирования информации от многоматричных сканирующих устройств.

1.1. Принципы съемки земной поверхности многоматричными сканерами.

1.2. Оценка взаимных искажений снимков, полученных от многоматричных сканеров.

1.3. Анализ алгоритмов геометрического и радиометрического комплексирования снимков.

1.4. Предложения по технологии комплексирования видеоданных и задачи диссертационного исследования.

Основные результаты.

2. Геометрические модели координатного соответствия спектрозональных изображений.

2.1. Аналитическая модель геометрического совмещения спутниковых изображений.

2.2. Пирамидальный алгоритм определения координат одноименных точек на спектрозональных снимках.

2.3. Аналитико-регрессионный алгоритм совмещения снимков высокого пространственного разрешения.

Основные результаты.

3. Алгоритмы радиометрического комплексирования видеоданных.

3.1. Алгоритмы синтеза спектрозональных компонент цветных снимков.

3.2. Радиометрическое комплексирование тепловизионных изображений.

Основные результаты.

4. Реализация систем комплексирования изображений.

4.1. Организация вычислительного процесса в системе совмещения изображений.

4.2. Структура программного обеспечения формирования цветосинтезированных снимков.

4.3. Программное обеспечение панорамной тепловизионной системы наблюдения.

Основные результаты.

Актуальность работы. В системах дистанционного зондирования Земли (ДЗЗ) наряду с одноэлементными оптико-механическими сканерами широкое распространение получили многоматричные сканирующие устройства (СУ). В этих устройствах для формирования изображений земной поверхности в видимом диапазоне спектра в фокальной плоскости прибора устанавливаются одиночные или составные матрицы (линейки) на базе приемников с зарядовой связью (ПЗС) с одномоментной регистрацией или работающие в режиме накопления заряда. Каждая из таких матриц обеспечивает формирование изображения в своем спектральном диапазоне. Традиционный вариант построения многоматричных сканеров основан на принципе спектрального разделения поступающего от земной поверхности потока лучистой энергии по матрицам ПЗС (МПЗС) и реализован в сканирующих устройствах МСУ-Э, РДСА, HRV, установленных на космических аппаратах «Ресурс-01», «Метеор-ЗМ» №1, «Монитор-Э», SPOT и др. [1-4].

Достоинством подобного типа сканеров является то, что ими формируются пространственно совмещенные снимки. Однако наличие сложной и дорогой спектроделительной системы приводит к ослаблению регистрируемого сигнала и снижению радиометрического разрешения видеоинформации. Поэтому в последнее время в системах ДЗЗ стали использовать съемочные устройства, реализующие принцип пространственного разделения потока лучистой энергии по МПЗС. В соответствии с этим принципом спроектированы сканеры на КА «Ресурс-ДК», «Метеор-М», «Ресурс-П» и др., в которых ПЗС-матрицы в фокальной плоскости установлены последовательно друг за другом и поперек направления полета КА [5]. Съемка земной поверхности такими матрицами выполняется под разными углами и с небольшой разницей во времени, поэтому получаемые разновременные изображения характеризуются взаимными геометрическими искажениями. Кроме того, СУ часто функционируют в режиме одновременной панхроматической и спектрозональной съемки, при котором не формируются необходимые для получения цветного снимка RGB-компоненты.

Другой принцип съемки выдвигает новые задачи по обработке видеоданных, не характерные для сканеров предыдущего поколения и связанные с ком-плексированием разновременных изображений, т.е. их геометрическим совмещением и синтезом спектрозональных компонент, с целью получения высококачественных цветных изображений подстилающей поверхности.

Проектирование перспективных тепловизионных ИК-сканеров основано на использовании матриц с субпиксельно смещенными рядами ПЗС-приемников [6]. Здесь также возникает задача комплексирования видеоданных, связанная с геометрическим и радиометрическим объединением пространственно смещенных отсчетов яркости, с целью получения высококачественного единого изображения с увеличенным геометрическим и радиометрическим разрешением.

Таким образом, на сегодняшний день остро стоит задача по разработке алгоритмического и программного обеспечения систем комплексирования видеоданных от многоматричных сканирующих устройств нового поколения. Ее решению посвящена настоящая диссертационная работа.

Степень разработанности темы. Вопросы геометрической и радиометрической обработки разновременных изображений достаточно широко отражены в в трудах Алпатова Б.А., Асмуса В.В., Журавлева Ю.И., Лупяна Е.А., Сой-фера В.А., Ташлинского А.Г., Урличича Ю.М., Gonzalez R., Kronberg P., Pratt W., Rosenfeld A., Woods R. и других отечественных и зарубежных ученых. Работы этих авторов [7—26] составляют научно-методическую основу для решения задач, поставленных в диссертации.

Вместе с тем получение высококачественных цветных изображений по данным разновременной съемки требует решения новых задач, связанных с прецизионным высокоскоростным геометрическим совмещением изображений и высококачественным отображением высотных и движущихся объектов.

Задачи геометрического совмещения разновременных снимков рассматривались в работах многих авторов, имеются и программные реализации этой функции в ГИС-системах [27-30]. Однако вопросы проектирования алгоритмов, адекватных реальным геометрическим искажениям изображений и позволяющих выполнить поставленную задачу в приемлемое время, в должной степени в публикациях не рассмотрены. Оставлена без внимания проблема высоконадежного автоматического определения параметров геометрических моделей комплексирования спектрозональных изображений в условиях неизвестного их пространственного рассогласования, мешающего действия движущихся объектов и содержательного различия сюжетов.

Практически не рассмотрены вопросы формирования по данным разновременной панхроматической и спектрозональной съемки таких БЮВ-компонент, которые позволяли бы высококачественно отображать на цветном изображении высотные и движущиеся объекты наблюдаемой сцены, а также формирования высококачественных ИК-снимков с улучшенными измерительными характеристиками. Крайне мало публикаций по организации высокоскоростной обработки сверхбольших объемов видеоданных на современной вычислительной технике, что является важным при создании технологий массовой обработки данных ДЗЗ для центров приема и обработки спутниковой информации.

Цель диссертации состоит в разработке алгоритмического и программного обеспечения высокопроизводительных прецизионных систем комплексирования разновременных изображений от многоматричных сканирующих устройств для получения высококачественных цветосинтезированных и теплови-зионных изображений наблюдаемых объектов.

Для достижения поставленной цели в работе решаются следующие основные задачи:

- анализ принципов формирования изображений многоматричными сканирующими устройствами и обоснование алгоритмов и технологии комплексирования видеоданных;

- разработка моделей и алгоритмов определения параметров геометрического совмещения снимков от датчиков среднего и высокого пространственного разрешения;

- разработка алгоритмов радиометрического комплексирования снимков видимого и ИК-диапазонов;

- проектирование программного обеспечения для систем комплексирования изображений от многоматричных сканирующих устройств.

Научная новизна работы предопределяется тем, что в практику ДЗЗ в последние годы стали внедряться многоматричные сканирующие устройства, реализующие принцип разновременного формирования изображений. Этот процесс сопровождается искажающим действием ряда специфических факторов, что требует адекватного их описания и проектирования эффективных алгоритмов геометрического и радиометрического комплексирования видеоданных с целью формирования высококачественных изображений.

Конкретно на защиту выносятся следующие новые научные результаты:

- аналитическая модель геометрического соответствия спектрозональ-ных снимков, основанная на численном обращении прямых уравнений геодезической привязки разновременных изображений от МПЗС с представлением результата в виде набора кусочно-билинейных функций, что позволяет организовать высокоскоростную обработку протяженных маршрутов съемки от систем ДЗЗ среднего пространственного разрешения;

- алгоритм определения координат одноименных точек на спектрозо-нальных снимках в условиях их значительных геометрических рассогласований, основанный на пирамидальной корреляционно-экстремальной идентификации фрагментов изображений и обеспечивающий высоконадежное решение этой задачи;

- аналитико-регрессионный алгоритм совмещения снимков от КА высокодетального наблюдения, основанный на аналитическом описании взаимных смещений видеоданных по измерениям угловых скоростей движения спутника и на триангуляционной модели координатного соответствия, позволяющий геометрически скомплексировать изображения протяженных маршрутов съемки со сложными рельефными искажениями.

- модуляционный алгоритм радиометрического комплексирования спек-трозональных изображений, позволяющий синтезировать недостающие компоненты цветных снимков и устранить на них яркостные искажения от высотных > и движущихся объектов;

- алгоритмы организации высокоскоростного вычислительного процесса в системах комплексирования изображений, основанные на хэш-тейловом представлении матрицы видеоданных, механизмах буферизации и распараллеливании алгоритмов обработки снимков.

Практическая ценность работы состоит в том, что на базе предложенных моделей и алгоритмов разработаны подсистемы комплексирования изображений от КА «Ресурс-ДК», «Метеор-М» для программных комплексов Ог-ШоКогтЗсап, веоВсап, МоЫ1Са1а^, 8сапСа1а1о§, Ме1еог8а1К и др., которые функционируют в ГУ «НИЦ «Планета», НЦ ОМЗ, ЦПОИ «Самара» и на приемном центре в г. Ереване, а также создана подсистема получения высококачественных тепловизионных изображений в комплексе видеонаблюдения «Панорама».

Реализация и внедрение. Диссертационная работа выполнена в Рязанском государственном радиотехническом университете в рамках ОКР №20-03, №14-05, №10-06, №12-06, №30-06, №23-08. Результаты диссертационной работы в виде математического и программного обеспечения внедрены в ФГУП «НИИ точных приборов», ФГУП «Российский НИИ космического приборостроения», ЗАО «Центр наукоемких технологий», что подтверждается актами.

Апробация работы. Основные положения диссертации докладывались и обсуждались на 3 международных и 7 всероссийских научно-технических конференциях:

• международной конференции «К.Э. Циолковский - 150 лет со дня рождения. Космонавтика. Радиоэлектроника. Геоинформатика» (Рязань, 2007);

• международной конференции «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций» (Рязань, 2008);

• международной конференции «Оптико-электронные приборы и устройства в системах распознавания образов, обработки изображений и символьной информации» (Курск, 2008);

• всероссийских конференциях «Новые информационные технологии в научных исследованиях и в образовании» (Рязань, 2006, 2007, 2008);

• всероссийской конференции «Информационные технологии в науке, проектировании, производстве» (Нижний Новгород, 2006);

• всероссийской конференции «Интеллектуальные и информационные системы» (Тула, 2007);

• всероссийской конференции «Современные проблемы дистанционного зондирования Земли из космоса» (Москва, 2008);

• всероссийской конференции «Актуальные проблемы ракетно-космической техники и ее роль в устойчивом социально-экономическом развитии общества» (Самара, 2009).

Публикации. По теме диссертации опубликовано 17 работ: 7 статей (в том числе 3 статьи по списку ВАК), 10 тезисов докладов на международных и всероссийских конференциях.

Личный вклад автора по опубликованным работам состоит в следующем:

• в работе [31] соискателем разработаны аналитическая и регрессионная модели геометрического комплексирования спектрозональных изображений;

• в работах [32, 33] соискателем предложены алгоритм представления в памяти данных сверхбольшого объема и организация видеоинформационного обмена в программной системе обработки изображений;

• в работах [34, 35] соискателем предложены алгоритмы оперативного совмещения спектрозональных изображений при цветосинтезе, а также комплекс проверок по отбраковке ложных результатов идентификации одноименных точек;

• в работах [36, 37, 38] соискателем предложены алгоритмы геометрического совмещения спектрозональных изображений от КА «Ресурс-ДК»; 9

• в работе [39] соискателем предложен алгоритм радиометрического совмещения спектрозональных снимков;

• в работе [40] соискателем предложен алгоритм формирования цвето-синтезированных изображений по данным комплекса многозональной спутниковой съемки (КМСС) КА «Метеор-М», а также предложена схема формирования цветосинтезированных изображений (ЦСИ);

• в работе [41] соискателем предложены алгоритмы координатного соответствия спектрозональных снимков сверхвысокого разрешения, а также дополнены алгоритмы отбраковки ложных результатов идентификации одноименных точек;

• в работе [42] соискателем выполнена оценка взаимных геометрических искажений цветосинтезированных изображений;

• в работе [43] соискателем предложена схема организации вычислительного процесса при формировании ЦСИ;

• в работе [44] предложена схема формирования цветных снимков по спутниковым изображениям среднего и высокого пространственного разрешения;

• в работах [45, 46, 47] соискателем разработаны алгоритмы радиометрического и геометрического комплексирования видеоданных от многорядной линейки ПЗС системы «Панорама»; работы [34, 43, 47] выполнены соискателем без соавторов.

Структура и объем работы. Диссертация состоит из введения, четырех разделов, заключения, списка литературы и приложения. Основной текст работы содержит 129 страниц, 49 рисунков и 9 таблиц. Список литературы на 11 страницах включает 107 наименований. В приложении на 3 страницах приведены акты внедрения результатов.

Основные результаты

1. Разработаны алгоритмы организации высокоскоростного вычислительного процесса в системе комплексирования изображений от многоматричных сканирующих устройств, основанные:

• на хэш-тейловом представлении видеоданных в памяти компьютера, обеспечивающем высокую скорость доступа к спутниковым изображениям сверхбольшого объема;

• механизмах ' буферизации видеоданных, что позволяет ускорить видеоинформационный обмен между различными уровнями памяти;

• распараллеливании вычислений при корреляционном отождествлении и формировании выходного изображения;

• использовании набора команд SSE и SSE2 при выполнении процедуры яркостной интерполяции в ходе геометрического комплексирования снимков.

2. Разработана структура программного обеспечения формирования цве-тосинтезированных изображений, основу которой составляют разработанные в диссертации математические модели, алгоритмы и технологии преобразования видеоданных от сканирующих устройств видимого диапазона спектра. Программное обеспечение на уровне подсистемы входит в несколько программных комплексов: ОгЙюКогтБсап, Оео8сап, МоЫ1Са1а1о£, 8сапСа1а^, Ме1еог8а1К, которые введены в опытную эксплуатацию и используются для обработки изображений от космических систем ДЗЗ «Ресурс-ДК» и «Метеор-М». Эффективность предложенных решений подтверждается многолетней успешной эксплуатацией разработанных программных комплексов.

3. Предложена структура программного обеспечения тепловизионной системы наблюдения. На ее основе реализовано программное обеспечение приема, обработки и визуализации тепловизионных видеоданных «Панорама», которое используется в ЗАО «Центр наукоемких технологий» для видеонаблюдения и контроля инженерных сооружений.

ЗАКЛЮЧЕНИЕ

На основе проведенных исследований решена важная научно-техническая задача, связанная с созданием алгоритмического и программного обеспечения систем комплексирования изображений от многоматричных сканирующих устройств. К основным научным и практическим результатам диссертационной работы относятся:

1. Результаты анализа уровней взаимных геометрических искажений разновременных снимков. Обоснование требований к моделям и технологиям комплексирования разновременных изображений.

2. Аналитическая модель геометрического совмещения разновременных спутниковых снимков, основанная на численном обращении прямых уравнений геодезической привязки и используемая для создания цветных снимков по видеоданным среднего пространственного разрешения от КА «Метеор-М».

3. Алгоритм поиска одноименных точек на спектрозональных снимках по их пирамидально представленным фрагментам, что позволяет надежно идентифицировать одинаковые сюжеты в условиях случайных пространственных рассогласований значительной величины.

4. Аналитико-регрессионный алгоритм соответствия спектрозональных снимков, который основан на математических соотношениях, учитывающих изменение углов ориентации КА во время съемки и на триангуляционной модели геометрического соответствия изображений, позволяющей совмещать снимки с рельефными искажениями. Алгоритм применяется для получения цветных изображений по обзорным и детальным снимкам от КА высокодеталыюго наблюдения.

5. Алгоритмы синтеза спектрозональных компонент, позволяющие формировать недостающие компоненты и получать высококачественные цветные изображения с высоким пространственным разрешением.

6. Алгоритмы комплексирования ИК-изображений, основанные на радиометрической коррекции по результатам съемки опорных излучателей и геометрическом и радиометрическом комплексировании видеоданных. Алгоритм позволяет формировать высококачественные тепловизионные снимки с повышенным вертикальным разрешением и увеличенным отношением сигнал/шум.

7. Комплекс алгоритмов по реализации высокоскоростных систем комплексирования видеоданных, включающий:

- хэш-тейловое представление видеоданных в памяти компьютера, обеспечивающее высокую скорость доступа к спутниковым изображениям сверхбольшого объема;

- механизмы буферизации видеоданных, позволяющие ускорить видеоинформационный обмен между различными уровнями памяти;

- распараллеливание вычислительного процесса по имеющимся ядрам процессоров и использование инструкций SSE и SSE2.

В заключение автор выражает благодарность руководству НИИ «Фотон» за поддержку, коллегам из НИИ «Фотон» РГРТУ за замечания в ходе исследований и совместную отладку программного обеспечения, В.И. Побаруеву, O.A. Преснякову - за ценные советы по алгоритмическому и программному обеспечению в ходе выполнения исследований.

Коллегам из НИИ точных приборов за поддержку работ, связанных с созданием систем получения высококачественных цветных изображений.

Отдельную благодарность выражаю научному руководителю Кузнецову Алексею Евгеньевичу.

1. Космические аппараты. ИСЗ серии «Ресурс-01»/ URL: http://www.rcpod.siberia.net/sputniks/Resurs/resursO 1 .htm

2. Космический аппарат «Океан-О» / под ред. М.Г. Мартиросова. Королев: Центр управления полетами, 1999. 12 с.

3. КА «Монитор-Э». Краткое описание. / URL: http://www.khrunichev.com/download/kamonitoreinfov3 .pdf

4. Обзор космических съемочных систем высокого разрешения / URL: http://vinek.narod.ru/satellites.htm

5. Жуков Б.С., Василейский A.C., Железнов М.М., Жуков С.Б., Бекренев О.В., Пермитина Л.И. Задачи обработки многозональных видеоданных КМСС на КА «Метеор-М» / URL: http://d33.infospace.ru/d33conf/voll/222-228.pdf

6. Прикладная физика. Ушакова М.Б. Зарубежные тепловизионные приборы первого, второго и третьего поколений. Часть I (с. 70-78), 2004, № 4.

7. Кронберг П. Дистанционное изучение Земли: Основы и методы дистанционных исследований в геологии: пер. с нем. М.: Мир, 1988. 343 с.

8. Обработка изображений в геоинформационных системах: Учебное пособие / В.К. Злобин, В.В. Еремеев, А.Е. Кузнецов. Рязан. Гос. Радиотехн. Университет, Рязань, 2006. 264 с.

9. И. Алпатов Б.А., Бабаян П.В. Электронная юстировка изображений при мультиспектральном наблюдении. Цифровая обработка сигналов. 2003. №1.

10. Алпатов Б.А., Бабаян П.В., Балашов O.E., Степашкин А.И. Методы автоматического обнаружения и сопровождения объектов. Обработка изображений и управление. М.: Радиотехника, 2008. 176 с.

11. Прэтт У. Цифровая обработка изображений. В 2-х кн.: пер. с англ. М.: Мир, 1982. Кн.1: 312 е., кн.2: 480 с.

12. Журавлев Ю.И. Распознавание. Математические методы. Программная система. Практические применения. М.: Фазис, 2006.

13. Злобин В.К., Еремеев В.В. Обработка аэрокосмических изображений. М.: Физматлит, 2006. 288 с.

14. Ташлинский А.Г. Оценка смещения изображения, заданного на двумерной сетке // Методы обработки сигналов и полей: межвуз. сб. науч. тр. Ульяновск: Ульяновский политехи, ин-т, 1990. С.81-85.

15. Ташлинский А.Г. Оценка межкадрового сдвига изображений / Методы обработки сигналов и полей: межвуз. сб. науч. тр. Ульяновск: Ульяновский гос. техн. ун-т, 1995. С.34-44.

16. Ташлинский А.Г. Оценивание параметров пространственных деформаций последовательностей изображений / Ульяновский государственный технический университет. Ульяновск: УлГТУ, 2000. 132 с.

17. Обработка изображений в геоинформационных системах: учеб. пособие / В.К. Злобин, В.В. Еремеев, А.Е. Кузнецов. Рязан. гос. радиотехн. ун-т. Рязань, 2006. 264 с.

18. Злобин В.К., Еремеев В.В., Кузнецов А.Е., Нефедов В.И. Модели координатной обработки сканерпых изображений от природно-ресурсных спутниковых систем //Известия вузов. Геодезия и аэрофотосъемка, 2002. №5. С. 141-154.

19. Макриденко JI.А., Злобин В.К., Еремеев В.В. и др. Системы и технологии приема, обработки и распространения данных дистанционного зондирования Земли Росавиакосмоса // Исследование Земли из космоса. 2001. №6. С. 31-40.

20. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2006. 1072 с.

21. Обработка аэрокосмических изображений / В.К. Злобин, В.В. Еремеев. М.: ФИЗМАТ ЛИТ, 2006. 408 с.

22. Асмус В.В. Программно-аппаратный комплекс обработки спутниковых данных и его применение для задач гидрометеорологии и мониторинга природной среды : Дисс. на соиск. уч. степени д-ра физ.-мат. наук. М., 2002.

23. Захаров М.Ю., Лупян Е.А., Мазуров A.A. и др. Географическая привязка данных прибора AVHRR для задач регионального мониторинга // Исследование Земли из космоса. 1993. № 5. С. 27-32.

24. Продукты компании ERDAS. IMAGINE AutoSync. / URL: http://www.dataplus.ru/Soft/ERDAS/AutoSync.html

25. ERDAS Field Guide. Fifth Edition, Revised and Expanded. 1999.

26. ERDAS Field Guide, IMAGINE OthoBASE Tour Guide. 1994. 56 p.

27. ER Mapper 5.0 Helping people manage the Earth: Earth Resource Mapping Press. 1997. 42 p.

28. Кузнецов А.Е., Светелкин П.Н. Оперативное совмещение спектрозо-нальных изображений при цветосинтезе // Вестник Рязанского государственного радиотехнического университета. Выпуск 22, 2007. С. 3-7.

29. Кузнецов А. Е., Нефедов В.И., Светелкин П.Н. Создание цветосинте-зированных изображений по данным аппаратуры КМСС космического аппарата «Метеор-М». РГРТУ, Рязань, 2009. Деп. в В ИМИ. Исходящий № Д09046 от 25.06.09.

30. Кузнецов А.Е., Пресняков O.A., Светелкин П.Н. Модели координатного соответствия спектрозональных снимков сверхвысокого разрешения // Вестник Рязанского государственного радиотехнического университета, №2 (выпуск 28). 2009. С. 12-17.

31. Кузнецов А.Е., Светелкин П.Н. Оценка взаимных геометрических искажений цветосинтезированных изображений. РГРТУ, Рязань, 2009. Деп. в ВИМИ. Исходящий № Д09045 от 24.02.09.

32. Кузнецов А.Е., Светелкин П.Н. Формирование цветных снимков по спутниковым изображениям среднего и высокого пространственного разрешения // Цифровая обработка сигналов. 2009. №3. С. 36-40.

33. Кузнецов А.Е., Светелкин П.Н. Алгоритм синтеза изображений в панорамной тепловизионной системе наблюдения // Информатика и прикладная математика: межвуз. сб. науч. тр. РГПУ, Рязань, 2006. С. 69-76.

34. Бакланов А.И. Системы наблюдения и мониторинга : учеб. пособие / А.И. Бакланов. М.: БИНОМ. Лаборатория знаний, 2009. 234 с.

35. Reconstructing Prokudin-Gorskii's Color Photography in Software / URL: http://lcweb2.loc.gov/pp/prokhtml/prokcompos.html

36. Скрытый источник цветных исторических изображений / URL: http://www.prokudin-gorsky.ru/

37. Увеличение пространственного разрешения мультиспектральных космических снимков / URL: http://www.sovzond.net/articles/articleenlarge.html

38. Дистанционное зондирование Земли. Обзорная информация. Выпуск 1. Санкт-Петербург: Гидрометеоиздат, 2000.53. «Сич-1М» /URL: http://www.mcc.rsa.ru/sich.htm

39. Landsat 7 Image Assessment System (IAS) Geometric Algorithm Theoretical Basis Document.

40. NOAA KLM User's Guide. Advanced Very High Resolution Radiometer/3 (AVHRR/3) / URL: http://www.ncdc.noaa.gov/oa/pod-guide/ncdc/docs/klm/html/c3/sec3-1 .htm

41. Итоги семинара по ИСЗ «Ресурс-ДК» / URL: http://www.racurs.ru/?page=350

42. Геостационарный гидрометеорологический космический комплекс «Электро-Л» / URL: http://planet.iitp.ru/spacecraft/electro2rus.htm

43. Дистанционное зондирование Земли. Справочные материалы. Выпуск 12. Космическая система «Метеор-ЗМ» №1. Санкт-Петербург: Гидрометеоиздат, 2001.

44. Россия строит новый геостационарный метеоспутник / URL: http://www.novosti-kosmonavtiki.ru/content/numbers/262/29.shtml

45. Цифровое преобразование изображений: учеб. пособие для вузов / Р.Е. Быков, Р. Фрайер, К.В. Иванов, А.А. Манцветов; под ред. проф. Р.Е. Быкова. М.: Горячая линия-Телеком, 2003. 228 с.

46. Инженерный справочник по космической технике / под общ. ред. проф., д.т.н. A.B. Солодова. М.: Воениздат, 1969. 696 с.

47. Космический аппарат «Ресурс ДК1» №1 / URL: http://www.samspace.ru/SDZZ/ResurdDKl.htm

48. Космический комплекс «Метеор-ЗМ» с космическим аппаратом «Ме-теор-М» / URL: http://www.vniiem.ru/ru/index.php?option=comcontent&view= article&id=73:meteor&catid=37:spaceprograms&Itemid=62

49. Обработка изображений. Дополнительные уровни обработки / URL: http://www.scanex.ru/ru/data/default.asp?submenu=processing&id=levels

50. ГОСТ Р 52572-2006 Географические информационные системы. Координатная основа / URL: http://stroy.dbases.ru/Datal/48/48601/index.htm

51. Ravichandran G., Casasent D. Advanced in-plane rotation-invariant correlation filters // IEEE Trans. Pattern Anal. Mach. Intell. 1994. 16. №4. P.415-420.

52. Тхабисимов Д.К. Автоматизированный поиск опорных изображений на фотоснимках поверхности Земли при помощи спектрального анализа // Ис-след. Земли из космоса. 1983. №5. С.93-99.

53. Ефимов В.М., Резник А.Л. Алгоритмы идентификации фрагментов двух изображений, инвариантные к повороту // Автометрия. 1984. №5. С.61-64.

54. Губанов A.B., Ефимов В.М., Киричук B.C. и др. Методы оценивания взаимного смещения фрагментов цифровых изображений // Автометрия. 1988. №3. С.70-73.

55. Василейский А.С. Исследование методов совмещения видеоданных дистанционного зондирования : Дисс. канд. физ.-мат. наук: Москва, 2003. 160 с.

56. Fonseca L.M.G., Manjunath B.S., Registration Techniques for Multisensor Remotely Sensed Imagery // Journal of Photogrammetry Engineering and Remote Sensing, 62, 1049-1056, 1996. 51.

57. Аксенов О.Ю. Этапы совмещения изображений / URL: http://www.module.ru/files/papers32005FusionStages.pdf

58. Пресс Ф.П. Фоточувствительные приборы с зарядовой связью. М.: Радио и связь, 1991. 260 с.

59. Лебедев Д.Г., Лыонг К.Т. Моделирование адаптивного выравнивания параметров линейки фотоприемников с использованием микросканирования. Информационные процессы. 2007. Том 7. № 2. С. 124.

60. Лебедев Д.Г., Лыонг К.Т. Фильтрация остаточного геометрического и аппаратурного шумов сканирующей матрицы ИК-диапазона с микросканированием. Информационные процессы, 2007. Том 7. № 3. С. 369.

61. Preprocessing levels and location accuracy / URL: http://www.spotimage.fr/automnemodulesfiles/standard/public/p2340916b 39e58c710b3bb5788fdcc025f80niveauanglais2008.pdf

62. Дрейпер H., Смит Г. Прикладной регрессионный анализ. Кн. 1, Кн. 2: пер. с англ. 2-е изд., перераб. и доп. - М.: Финансы и статистика, 1986. -366 с.

63. Бронштейн И.Н., Семендяев К.А. Справочник по математике. М.: Наука, 1964. 608 с.

64. Burt, P. J., and Adelson, Е. Н. 1983. The Laplacian Pyramid as a Compact Image Code // IEEE Trans. Commun., vol. COM-31, no. 4, pp. 532-540.

65. Голд Б., Рэйдер Ч. Цифровая обработка сигналов / пер. с англ. под ред. А. М. Трахтмана. М.: Сов. радио, 1973. 368 с.

66. Ласло М. Вычислительная геометрия и компьютерная графика на С++ / пер. с англ. М.: Издательство БИНОМ, 1997. 307 с.

67. Скворцов А.В. Триангуляция Делоне и ее применение. Томск: Изд-во Том. ун-та, 2002. 128 с.

68. Марчуков B.C., Кочнова И.В. Автоматизированное выделение объектов заданного размера на аэрокосмических изображениях с использованием параллельной обработки // Известия вузов. Геодезия и аэрофотосъемка, 2004. №3.

69. JieBing Yu, David J. DeWitt. Processing Satellite Images on Tertiary Storage: A Study of the Impact of Tile Size on Performance. Proceedings of the 1996 NASA Conference on Mass Storage Systems, College Park, Maryland, September 1996.

70. Практическое применение SSE расширения. URL: http://www.gamedev.ru/articles/?id=70113

71. Бочко B.A. Методы обработки и классификации цветных изображений / М.: «Радио и связь». Зарубежная радиоэлектроника №6, 1992.

72. Теория вероятностей и математическая статистика. Пугачев B.C. М.: Наука. Главная редакция физико-математической литературы, 1979.

73. Grodecki J., Dial G. Ikonos Geometric accuracy validation / Proceedings of Joint Workshop of ISPRS Working Groups 1/2, 1/5 and IV/7 on High Resolution Mapping from Space 2001, University of Hannover, Germany, Sept 19-21, 2001.

74. Разработка приложений на Microsoft Visual С++ 6.0: Учебный курс / пер. с англ. 2-е изд. М.: Издательско-торговый дом «Русская редакция», 2001. -704 с.

75. Круглински Д., Уингоу С., Шеферд Дж. Программирование на Microsoft Visual С++ 6.0 для профессионалов. М.: Издательско-торговый дом «Русская Редакция», 2002. 864 с.

76. Макконел С. Совершенный код. Мастер-класс : Пер. с англ. М.: Изда-тельско-торговый дом «Русская редакция». СПб.: Питер, 2005. 896 с.

77. Морозов В.П. Курс сфероидической геодезии. М.: Недра, 1969. 304 с.

78. Коршунов Ю.М. Математические основы кибернетики. М.: Энерго-атомиздат, 1987. 496 с.

79. Арманд H.A., Саворский В.П., Смирнов М.Т., Тищенко Ю.Г. Центр обработки и хранения космической информации ИРЭ РАН // Тез. докл. 2-й ме-ждунар. науч.-техн. конф. «Космонавтика. Радиоэлектроника. Геоинформатика». Рязань, 1998. С. 30-32.

80. Арманд H.A., Воронков В.Н., Никитский В.П. и др. Перспективы исследований в области дистанционного зондирования Земли и экологического мониторинга // Радиотехника и электроника. 1998. Т. 43, № 9. С. 1061-1069.

81. Хижниченко В.И. Критерии оценки геометрических искажений ска-нерных снимков //Геодезия и картография. 1981. №2. С. 25-27.

82. Mandanayalce A., Newton A., Tidsley А., Muller J. Automatic mosaicing of satellite images using global re-navigation // Photogramm, and Remote Sens. 1992. №29. P.489-496.

83. Ярославский Л.П. Цифровая обработка сигналов в оптике и голографии: Введение в цифровую оптику. М.: Радио и связь, 1987. 296 с.

84. Горячев Г.А., Метлицкий Е.А. Корреляционные меры сходства в задачах опознавания объектов на полутоновых изображениях / Корреляционно-экстремальные системы / под ред. В.П. Тарасенко. Томск: Томск, ун-т, 1982. С. 23-26.

85. Гиммельфарб Г.Л. Автоматизированная межотраслевая обработка снимков земной поверхности, получаемых с ИСЗ серии Landsat // Зарубежная радиоэлектроника. 1983. № 8. С. 56-84.

86. Программа дистанционного зондирования Земли/ Spot Seliction DERSI. 1998. № 8. С. 4.

87. Зайцев В.В., Шкарин В.Е. Наземная обработка данных в перспективной системе ДЗЗ ГКНПЦ им. М.В.Хруничева //Тез. докл. 3-й междунар. науч.техн. конф. «Космонавтика. Радиоэлектроника. Геоинформатика». Рязань, 2000. С. 265-267.

88. Cheng P., Toutin Т. Geometric correction and data fusion of IRS-1С data // Earth Observ. Mag. 1998. 7. № 3. P. 24-26.

89. Корн. Г., Корн Т. Справочник по математике для научных работников и инженеров. М.: Наука, 1968. 720 с.