автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Оптимизация систем дистанционного зондирования Земли методами математического моделирования

ООоии I

На правах рукописи

№

Перл Иван Андреевич

ОПТИМИЗАЦИЯ СИСТЕМ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ ЗЕМЛИ МЕТОДАМИ МАТЕМАТИЧЕСКОГО МОДЕЛИРОВАНИЯ

Специальность 05.13.18 - «Математическое моделирование, численные методы и комплексы программ»

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

1 2 ЯНВ Ж

Санкт-Петербург 2011

005007253

Работа выполнена в Санкт-Петербургском национальном исследовательском университете информационных технологий, механики и оптики на кафедре информатики и прикладной математики

Научный руководитель: доктор технических наук, профессор

Дёмин А. В.

Официальные оппоненты: доктор технических наук, профессор

Гатчин Ю. А.

кандидат технических наук, доцент Логунов А. Н.

Ведущая организация: ОАО «ЛОМО»

Защита состоится 26 января 2012 г. В 15 часов 30 минут на заседании диссертационного совета Д 212.227.06 при Санкт-Петербургском национальном исследовательском университете информационных технологий, механики и оптики по адресу: 197101, г. Санкт-Петербург, Кронверкский пр., д.49.

С диссертацией можно ознакомиться в библиотеке Санкт-Петербургского национального исследовательского университета информационных технологий, механики и оптики.

Автореферат разослан 23 декабря 2011 года

Учёный секретарь диссертационного совета

доктор технических наук, профессор Лисицына Л.С.

Общая характеристика работы Актуальность

Дистанционное зондирование Земли из Космоса (ДЗЗ) с борта космического аппарата (КА) — это процесс зондирования поверхности Земли из космоса с использованием свойств электромагнитных волн, излучаемых, отражаемых или рассеиваемых поверхностью и атмосферой Земли. Сбор и анализ данных о процессах, происходящих на поверхности Земли в оптическом диапазоне спектра излучения, реализуется с помощью оптико-электронных комплексов. Методы ДЗЗ основаны на регистрации в аналоговой или цифровой форме оптической информации в фотоприёмном устройстве (ФПУ). Космическое зондирование, интенсивно развивающиеся в последние десятилетия, предоставило наукам о Земле новые возможности для исследования земной поверхности. За этот период существенно возросли объем, разнообразие и качество материалов ДЗЗ. К настоящему времени накоплен огромный фонд (более 100 миллионов) аэрокосмических снимков, полностью покрывающих всю поверхность Земли, а для значительной части районов — с многократным перекрытием.

Часть результатов ДЗЗ сразу поступает в цифровом виде, что позволяет применять современные компьютерные технологии для их обработки и использования. Цифровое изображение формируется с помощью ФПУ, состоящего из множества чувствительных элементов, что представимо в форме растра как числовая матрица. Каждый элемент этой матрицы, называемый пикселем, соответствует какой-либо характеристике (отражательной способности, температуре и т.д.) участка местности в определенной зоне электромагнитного спектра. Размер этого участка зависит от разрешения снимка. Данные многоспектральной съемки в цифровом виде можно рассматривать как многомерную матрицу, в этом случае каждому участку поверхности соответствует целый набор значений, называемый вектором характеристик. Основные методы тематической обработки данных ДЗЗ, специфичные для многозональной съемки, основаны на операциях с многомерными матрицами.

В современных системах ДЗЗ применяются сенсоры двух типов: построенные на ФПЗС матричного и линейного типа. ФПЗС-системы матричного типа используют для съёмки очень большое количество элементов в ФПУ, что позволяет получать больше информации о снимаемом участке, но эти системы обладают высокой массой и энергопотреблением, что не позволяет их использовать на микроспутниках. Кроме того, в этом случае требуется введение методов съёмки, которые могли бы повысить степень стабилизации КА по углу рысканья, чтобы итоговые снимки с матрицы можно было накладывать друг на друга с целью повышения точности отснятых изображений и при этом они не сильно различались по углу поворота.

Сенсоры, основанные на ФПЗС линейного типа, представляют собой одну строку матрицы. Они обладают существенно меньшим энергопотреблением и массой, однако для их использования необходимо использовать специальные методики съёмки, позволяющие повысить информативность получаемых снимков. Наиболее серьёзной проблемой в процессе ДЗЗ является высокая скорость бега изображения в фотозоне системы, что наиболее негативно влияет на системы, основанные на ФПЗС линейного типа. Для уменьшения этой скорости применяется метод тангажного замедления, который позволяет сократить скорость бега изображения с 17 мм/с до 3 мм/с, что в свою очередь приводит к повышению качества снимков, но в качестве платы - вносит обширные «слепые» участки между отснятыми сегментами.

Цель работы - оптимизация систем дистанционного зондирования земли методами математического моделирования.

Задачи исследования

Для достижения поставленной цели решены следующие задачи:

1. Разработана модель линейки ФПЗС, выполнен анализ результатов моделирования с целью определения областей, оптимизация которых позволит повысить производительность этого типа устройств.

2. Разработана комплексная модель, позволяющая исследовать процесс построения результирующего изображения в системах ДЗЗ и его зависимость от свойств используемого сенсора и характеристик полёта космического аппарата.

3. Разработан вариант усовершенствования имеющихся решений на основе линейки ФПЗС, который позволяет повысить эффективность современных систем дистанционного зондирования Земли.

4. Выполнена модернизация разработанных моделей, исследована эффективность предлагаемого решения.

Методы исследования

Методы исследования включают в себя методы численного и имитационного моделирования, анализа алгоритмов и программ и обработки изображений.

Научная новизна

1. Предложена программная модель для исследования механизмов работы ФПЗС сенсора линейного типа.

2. Предложена модель, позволяющая исследовать процесс построения изображения в системе ДЗЗ основанной на линейке ФПЗС, учитывая различные параметры используемого сенсора и условий полёта космического аппарата.

3. Использование метода прямого моделирования позволило выявить процесс выдачи накопленного заряда из линейки ФПЗС как наиболее важный, с точки зрения оптимизации работы устройства.

4. Разработан метод ведения непрерывной съёмки с использованием ФПЗС сенсор линейного типа.

Практическая ценность

Практическую ценность работы составляют:

1. «Волновой» метод, позволяющий осуществлять непрерывное получение данных с линейки ФПЗС.

2. Концепция устройства, позволяющего реализовать предложенный в работе метод.

3. Программный комплекс, реализующий модели, с помощью которого выполнено исследование работы линеек ФПЗС и процесса построения изображения в системах дистанционного зондирования Земли

Положения, выносимые на защиту

1. Программный комплекс, состоящий из моделей, разработанных для исследования механизмов работы линейки ФПЗС и процесса построения изображения в системах ДЗЗ основанных на этом типе сенсоров.

2. «Волновой» метод снятия данных с линейки ФПУ, который позволяет более эффективно выводить результаты зондирования из сенсора.

3. Концепция аппаратной реорганизации классической структуры сенсора ФПЗС линейного типа с целью реализации «волнового» снятия данных с ФПУ

4. Структура выходных данных «волнового» алгоритма, позволяющая перейти от кадровой съёмки к непрерывному получению данных с линейки ФПЗС

Достоверность результатов

Достоверность полученных результатов определяется корректностью использования математического аппарата и подтверждается результатами компьютерного моделирования.

Внедрение результатов работы

Результаты работы были использованы компанией ООО «АвтоВизус» в рамках разработки экспериментальной системы съёмки повышенной эффективности на ФПЗС-линейке. Кроме того, результаты работы нашли своё применение в учебном процессе на кафедре информатики и прикладной математики и кафедре оптико-цифровых систем и комплексов факультета компьютерных технологий и управления Санкт-Петербургского национального исследовательского университета информационных технологий, механики и оптики в рамках обучения студентов дисциплинам «Верификация моделей», «Распределенные системы моделирования» и «Математическое моделирование, численные методы и комплексы программ». Материалы работы использовались в качестве примера классического использования методов и средств моделирования с целью анализа имеющихся решений, поиска областей, оптимизация которых даст наибольший эффект, а так же доказательства эффективности предлагаемых путей проведения оптимизации.

Апробация работы

Результаты работы докладывались на VII всероссийской межвузовской конференции молодых ученых, XXXIX научной и учебно-методической конференции СПбГУ ИТМО (2010), VIII всероссийской межвузовской конференции молодых ученых (2011), XL научной и учебно-методической конференции СПбГУ ИТМО (2011), Международной научно-практической конференции «Современные направления теоретических и прикладных исследований '2011» (Одесса 2011).

Публикации

Основные научные результаты диссертационного исследования с необходимой полнотой изложены в 7 печатных работах, в том числе в трёх статьях в журналах, рекомендованных ВАК РФ для представления основных результатов диссертаций на соискание учёной степени кандидата наук.

Структура и объём работы

Диссертация состоит из введения, трёх глав, заключения и списка литературы, изложена на 100 страницах, включает 37 рисунков.

Содержание работы

Во введении обосновывается актуальность темы, формулируется цель исследования, описывается структура диссертации, перечисляются основные положения, выносимые на защиту. Описываются базовые принципы и технологии разработки ПЗС-структур линейного и матричного типа. Обосновывается выбор сенсоров линейного типа как основы для проведения исследований.

В первой главе диссертации рассмотрена обобщённая структура оптико-электронного комплекса, используемого в системах дистанционного зондирования Земли из космоса. В настоящее время большинство решений, направленных на совершенствование подобных систем находится в плоскости технологической оптимизации: совершенствуются материалы и технологии производства отдельных компонентов системы. Обоснован поиск алгоритмического решения задачи оптимизации работы систем ДЗЗ. Приводится обоснование выбора сенсоров линейного типа как наиболее перспективных для использования на микроспутниках.

Вторая глава посвящена детальному изучению работы ФПЗС-линеек. Основными направлениями исследований стали процессы, происходящие в самой линейке ФПЗС, а также процесс построения изображения во время ведения съёмки с использованием этого сенсора из космоса. Наиболее важным ограничением для систем ДЗЗ является время экспозиции, т.е. минимальное время, которое снимаемый участок должен находиться в фокусе оптической системы для получения его достоверного отпечатка на активной фотозоне сенсора. Так как космический аппарат движется по орбите с достаточно большой скоростью, то и проекция поверхности Земли в фокусе оптической системы движется тоже очень быстро, причём, за время, равное длительности одного рабочего цикла линейки, проекция сдвигается на расстояние, существенно большее, чем размер пикселя фотозоны. Для увеличения времени экспозиции снимаемого участка применяется методика, названная методом тангажного замедления. Ее суть состоит в том, что во время съёмки определённого участка оптическая система фокусируется на нём на большее время за счёт изменения угла тангажа космического аппарата. Рисунок 1 иллюстрирует работу описанного метода.

Направление полета

Рисунок 1 - Принципиальная схема метода тангажного замедления

Основным недостатком применения тангажного замедления является появление обширных слепых полос, вызванное перенаправлением спутника с одного снимаемого участка на другой.

Так как основное требование минимального времени экспонирования снимаемой области было продиктовано используемым сенсором, то для исследования его работы была создана программная модель, которая позволила исследовать ключевые процессы, происходящие внутри линейки ФПЗС. В рамках анализа разработанной модели были выделены три относительно независимых процесса, которые занимают 99% времени рабочего цикла линейки (под рабочим циклом в данной работе понимается накопление заряда и выдача его из сенсора).

Первым процессом является непосредственно накопление энергии, излучаемой или отражаемой поверхностью земли, на активной поверхности сенсора. После определённого времени экспонирования, которое мы считаем достаточным для получения достоверных данных о снимаемом участке, производится передача накопленного заряда из активных элементов сенсора в транспортный сдвиговый регистр, выполненный по принципу ПЗС-структуры. Когда весь заряд параллельно перетечёт из всех элементов сенсора в соответствующие элементы сдвигового регистра, переход закрывается, и на этом процесс передачи завершается. Затем, сдвиговый регистр начинает выдавать находящийся в нём заряд за пределы сенсора. Параллельно с выдачей заряда начинается новый цикл накопления заряда на активных элементах сенсора.

В приборах, разрабатываемых для аэрокосмической отрасли, в большинстве случаев используются низкочастотные системы, обеспечивающие более высокую надёжность в экстремальных условиях эксплуатации. Так как количество ячеек сдвигового регистра эквивалентно количеству активных элементов сенсора, оно может содержать несколько тысяч элементов, и полный сдвиг такой ПЗС-структуры, тактирующейся общим генератором, может занимать существенное время.

Положим, что время, необходимое для сдвига ПЗС регистра на один элемент, равно Тэлемента, а количество элементов в ПЗС^структуре !_, тогда время, необходимое для полного сдвига регистра ТПзс равно:

т

Т -Т * / пзс V

1 ПЗС ~ 1 элемента ^ ИЛИ ПЗС

где Упзс - частота работы ПЗС регистра. Учитывая архитектуру современных линеек, очевидно, что цикл накопления заряда на активных элементах сенсора не может быть короче времени выдачи заряда (Тпзс), накопленного на предыдущем шаге накопления. Таким образом, способ выдачи данных из линейки ФПЗС был выявлен как первый элемент, требующий оптимизации.

На Рисунок 2 приведено состояние модели, когда было задано время накопления существенно меньшее, чем время выдачи накопленного заряда. Как видно из рисунка, процесс накопления в активных элементах уже завершён, в то время как сдвиговый регистр, содержащий результаты предыдущего накопления, вернул только половину данных. Такая ситуация вызывает простой в работе сенсора.

Сдвиговый регистр, реализованный как ПЗС. Используется для транспортировки накопленного заряда для его дальнейшего анализа

Блок Анализа Заряда используется для превращения накопленного заряда в микротоки, что позволит провести его дальнейшую обработку и хранение

Продолжить

................. м 111 к

Линейка Фотодиодов, накапливающая полцчаемую энергию

Свет, отражённый или излучаемый поверхностью Земли

Рисунок 2 - Снимок модели, использованной для исследования внутреннего устройства линейки ФПЗС

Для комплексного исследования процесса съёмки поверхности земли с борта космического аппарата при помощи ФПЗС-линейки разработана вторая модель, которая, учитывая характеристики сенсора и параметры полёта, позволяет построить изображение, которое бы получилось во время съёмки с указанными параметрами. Таким образом моделируется процесс построения результирующего изображения.

Эта модель содержит три независимых потока, которые отвечают за три процесса, происходящие во время съёмки из космоса. Схема модели представлена рисунке 3.

управление углом тангажна космического аппарата

эмуляция процесса

съёмки

/

Управление движением

поверхности планеты

Рисунок 3 - Схема модели для комплексного исследования процесса построения изображения в системе ДЗЗ

Можно выделить три независимых процесса, составляющих эту модель. Первый процесс отвечает за движение поверхности планеты и загрузку картографических данных, используемых в качестве изображения снимаемого участка. Для этой модели были взяты снимки земной поверхности с сервиса Google Earth. Для управления камерой в этой системе используются высота и скорость полёта, задаваемые как параметры моделирования. Второй процесс рассчитывает и эмулирует поведение космического аппарата над поверхностью планеты: управление углами крена и тангажа. Этот процесс не отвечает за перемещение спутника относительно поверхности планеты, так как эта составляющая относительного движения учитывается первым процессом. Третий процесс моделирует работу оптико-электронного комплекса, т.е. имитирует процесс съёмки в условиях, обеспечиваемых первыми двумя процессами. Схема на рисунке 3 описывает концепцию работы рассматриваемой модели.

Входными параметрами для данной модели являются высота полёта космического аппарата Н и скорость его полёта VKA, угол отклонения оси визирования а, используемый при тангажном замедлении, размер пикселя активной фотозоны d, длительность цикла работы сенсора t (т.е. время, необходимое на совершение одного цикла накопления и выдачи накопленного заряда), t' -минимальное время экспонирования снимаемого участка, которое должно быть обеспечено, At — собой отсчёт времени модели, f -фокусное расстояние оптической системы. Ещё одни входным параметром будет тип используемой линейки ФПЗС.

Рисунок 4 - Принципиальный алгоритм комплексной модели процесса ДЗЗ

С помощью этой модели исследовано влияние на результирующее изображение отдельных характеристик и параметров как самой линейки, так и движения космического аппарата в целом.

Для лучшего понимания роли тангажного замедления было проведено моделирование съёмки с использованием линейки ФПЗС со стандартными характеристиками с применением тангажного замедления и без него. Как видно из представленных результатов (Рисунок 5), применение тангажного замедления (рис. 56) даёт очень высокое качество получаемого изображения, однако между отснятыми участками образуются действительно обширные «слепые» участки, которые можно покрыть только за несколько заходов или запуская группу спутников, которые перекрывали бы «слепые» области друг друга. Если отказаться от использования тангажирования, то высокая скорость бега изображения в фотозоне не позволит получить достаточное качество изображения (рис. 5в) по сравнению с оригиналом (рис. 5а).

Рисунок 5 - Результаты моделирования процесса съёмки при помощи ФПЗС-линейки с использованием тангажирования и без него.

Далее выполнено моделирование изображения в случае уменьшения длительности рабочего цикла линейки ФПЗС. На Рисунок 6 представлены результаты моделирования для времени экспозиции в четыре, три и два раза меньших, чем используемые в реальных системах.

Как видно из представленных результатов, при прочих равных условиях, простое сокращение рабочего цикла линейного сенсора не приводит к существенному улучшению качества результирующего изображения. Это связано с тем, что с одной стороны, время накопления не достаточно для получения достоверных сведений о снимаемом участке, а с другой, построчный метод построения изображения, как это происходит при использовании линейки ФПЗС, не является оптимальным для съёмки движущегося объекта. При таком подходе происходит постоянная дискретизация изображения на отдельные строчки, которые либо частично перекрываются, либо нет, и никакой другой связи между строками с номерами п и п+1 нет. Чтобы вести непрерывную съёмку, необходимо разработать механизм построения изображения, обеспечивающий более потоковый способ сохранения результатов съёмки.

а)

Рисунок 6 - Результаты моделирования процесса съёмки линейным сенсором с различной длительностью рабочего цикла

В третьей главе предлагается алгоритм, названный «волновым», и организация устройства, его реализующго, которое позволяет устранить недостатки, выявленные в результате моделирования во второй главе. Основная идея предлагаемого подхода заключается в том, что накопленный заряд снимается не со всех активных элементов сенсора, а выборочно группами, с постоянным периодом. При таком подходе происходит кардиальное изменение структуры выходного изображения. Так как пиксели начинают накопление заряда в разное время, и снимается заряд с них также в разное время, это приводит к размытию границ отдельных строк изображение, что в свою очередь приводит к появлению «сотовой» структуры итогового изображения вместо набора строк, как при использовании классической линейки. Из рисунка 7 видно, что между строчками изображения нет никаких пропусков, вызванных постоянным движением снимаемого объекта. Увеличение периода, с которым выбираются группы пикселей, с которых считывается заряд, приводит к тому, что строчки изображения становятся более интегрированными в единое цельное изображение.

алгоритма, справа результат использования "волнового" алгоритма

Ещё одним важным достоинством такой структуры результирующего изображения является возможность более качественной компенсации движения при работе с результатом дистанционного зондирования. Современные алгоритмы обработки изображений позволяют достаточно эффективно компенсировать смазывание изображения, получившееся в процессе съёмки. Так как в «волновой» структуре данных соседние пиксели обладают различными временными параметрами, то у результирующего изображения можно более точно определить степень и направление смаза, что является ключевыми параметрами при его компенсации.

Для реализации выборочного чтения пикселей и повышения скорости выдачи результатов накопления из сенсора предложено использовать многоканальный короткий выходной сдвиговый регистр. Такой подход позволяет решить проблему производительности подсистемы без увеличения тактовой частоты системы в целом. Несмотря на то что, что благодаря выборочному считыванию зарядов из пикселей регистр можно сделать более коротким (в нем хранится меньше элементов), для работы «волнового» метода нужна более высокая производительность, поэтому для минимизации времени выдачи регистр должен быть ещё короче, но при этом выводить нужно такое же количество данных, как и раньше, что привело к появлению небольшого количества дополнительных каналов, которое варьируется для разных количеств активных пикселей, от двух до четырёх.

Эффективность предлагаемого подхода подтверждается результатами моделирования. Для этого модели, использованные для исследования имеющихся реализаций линеек ФПЗС, были дополнены поддержкой «волнового» метода. Это позволило не только изучить поведение и эффективность предложенного подхода, но и сравнить поведение класической реализации линейки ФПЗС с «волновой»

На Рисунок 8 представлена иллюстрация модели, использованной для изучения свойств разработанной «волновой» линейки ФПЗС. Здесь заданы три выходных параллельных регистра, и период выбора пикселей, с которых одновременно выбирается заряд, равен трём. Как видно из рисунка, соседние пиксели, которые принадлежат к разным группам, находятся на разных стадиях накопления заряда. Для произведения выборки пикселей, с которых в данный момент будет снят заряд, запирающий затвор, который в классической линейке разрешал перетекание заряда из всех пикселей

в ячейки сдвигового регистра, преобразован в вентильную маску, которая позволяет разрешать перетекание заряда в ячейки выходного регистра для конкретных пикселей.

Сдвиговый регистр, реализованный как ПЗС. Используется для транспортировки накопленного заряда для его дальнейшего анализа

Блок Анализа Заряда используется для превращения накопленного заряда в микротоки, что позволит провести его дальнейшую обработку и хранение

Продолжить

■ ■ ■ 1 _

■ ■ ■

■ 1 ■ ■

ОвССО#ОООЮХЖХ^ .

Регистр содержащий маску для выделения нужных элементов линейки_

Свет, отражённый или излучаемый поверхностью Земли

Линейка фотодиодов, накапливающая получаемую энергию

Рисунок 8 - Модель линейного сенсора реализующего "волновой" метод чтения данных с ФПУ и использующего многоканальный выходной ПЗС регистр

Так как вентильная маска обеспечивает гибкий и произвольный доступ к пикселям, накапливающим заряд, это позволяет использовать разные алгоритмы считывания данных. Моделирование показало, что считывание данных из пикселей с постоянным периодом, равным количеству выходных регистров, обеспечивает наилучшие результаты работы сенсора и наиболее чёткое выходное изображение. Ещё одним эффективным алгоритмом снятия данных с сенсора в «волновом» режиме оказалось «удвоение» пикселя: линейка разбивается на пары, которые превращаются в одну точку изображения. Это приводит к сокращению ширины изображения (понижение разрешения), однако позволяет эффективнее получать информацию в случаях монотонного ландшафта (пустыня, снега, водная гладь). На монотонных ландшафтах в случае поиска какого-то объекта можно пожертвовать разрешением, пока он не будет найден. А когда объект найден, можно вернуться к съёмке с использованием полного разрешения, и получить о нём максимум информации.

Вторая модель, которая была разработана для исследования процесса построения изображения в системе дистанционного зондирования Земли, была также доработана для обеспечения поддержки «волнового» подхода.

Как видно из Рисунок 9, изображение, полученное при помощи «волновой» линейки ФПЗС, все еще обладает существенным мазом, вызванным укороченным временем экспозиции и большой скорость бега изображения, однако качество этого изображения намного выше, чем на рисунке 5в, хотя моделирование производилось при тех же условиях (т.е. время экспозиции в 2 раза меньше текущих используемых значений и без тангажного замедления) с той лишь разницей, что классическая линейка была заменена на «волновую».

Рисунок 9 - Результат моделирования съёмки с использованием "волновой" линейки

Предложенный в работе метод не позволяет полностью отказаться от использования тангажного замедления, однако его применение снижает требования к минимальной скорости бега изображения на фотозоне. Это позволяет уменьшить углы, необходимые для тангажного замедления, что приведёт к существенному уменьшению размера «слепых» участков. Так как съёмка из космоса ведётся в условиях недостаточной освещённости, то снижение времени экспозиции до значений, позволяющих полностью отказаться от тангажного замедления, невозможно без использования специальных устройств, называемых усилителями яркости, которые пока не получили широкого применения в системах ДЗЗ.

Так как предметной областью, в контексте которой разработан новый подход, является ДЗЗ, то в работе были связаны воедино такие параметры, как характеристики полёта космического аппарата (высота орбиты и скорость полёта), параметры методов ведения съёмки (параметры тангажного замедления), свойства сенсора (количество элементов и желаемое время экспозиции) с «волновыми» параметрами разработанной линейкой: «волновым» периодом и количеством параллельных каналов выходного регистра. Результатом стала следующая зависимость, которая позволяет получить «волновые» параметры линейки, необходимые для заданных условий съёмки,а также решить обратную задачу, т.е. определить, какие условия съёмки нужны для использования сенсора с известными характеристиками.

5 ■ ТУ „ Г(й, + Я)ика, -т/й? -(Л, +Н)- хэш2 а, \

- 4 ы = упст х + агетп —--- д-- * П Р*

-^--сот(,ав)х/

+ Я) сое ав - т/Дз + Н)1 х бш2 я,

где 3- размер пиксела фотозоны ОЭП, Упст~ линейная скорость подспутниковой точки радиус Земли

Н - высота полёта космического аппарата ^канала - количество ячеек в одном канале сдвигового регистра пк - колличество каналов в сдвиговом регистре сенсора Ррегистра - тактовая частота работы выходного регистра N - количество активных элементов сенсора

Заключение

1. Разработана совокупность моделей, позволивших детально изучить процесс работы ФПЗС-линейки и механизм построения изображения во время ведения съёмки с борта КА.

2. Выполнено моделирование классической линейки ФПЗС, в результате чего выявлены ключевые недостатки имеющейся реализации, устранение которых может повысить качество результирующих снимков и эффективность систем ДЗЗ.

3. Предложен и реализован «волновой» алгоритм чтения данных с ФПУ в сенсорах, основанных на ФПЗС линейного типа, в сочетании с применением многоканального выходного ПЗС-регистра, позволяющий оптимизировать процесс ДЗЗ, повысить коэффициент линейного разрешения на местности и отказаться от использования метода тангажного замедления.

4. Показано, что отказ от использования тангажного замедления позволяет перейти от съёмки отдельных небольших участков к съёмке длинных трасс, при этом ведение съёмки на одних участках не влияет на возможность или невозможность съёмки на других.

5. Показано, что структура выходных данных «волнового» алгоритма устроена так, что результирующее изображение представляется не набором полос, как это получается при использовании классического сенсора линейного типа, а плотной сеткой, что исключает возможность потери на снимке вертикальных элементов, которые могут попасть между отснятыми полосами и их восстановление на конечном изображении будет невозможно.

6. Разработанные модели были дополнены поддержкой «волнового» алгоритма съёмки. Результаты моделирования подтвердили эффективность предложенного алгоритма.

7. На метод и устройство, реализующие идеологию «волнового» алгоритма, подана заявка на оформление двух патентов (Входящий № 028485, регистрационный № 2011119285, дата поступления 05.05.2011).

Публикации по теме диссертационной работы

1. «Волновой» алгоритм для работы с линейкой ФПЗС [текст] / Демин A.B., Перл И.А. // Вестник ИТМО. - №03(67) - 2010 - с. 19-24. [входит в перечень ВАК]

2. Направления оптимизации ФПЗС сенсоров линейного типа [текст] I Перл И.А. II Вестник ИТМО. - №04(74) - 2011 - с. 1-6. [входит в перечень ВАК]

3. Оптико-электронный комплекс повышенной производительности [текст] / Демин A.B., Денисов A.B., Перл И.А., Третьякова A.A. II Вестник ИТМО. - №03(73) - 2011 - с. 1-4. [входит в перечень ВАК]

4. Разработка и исследование алгоритмов приема и обработки информации в системе дистанционного зондирования Земли [текст] / Перл И.А. II Тезисы докладов VII всероссийской межвузовской конференции молодых ученых. - Санкт-Петербург, 20-23 апреля 2010г. - СПбГУ ИТМО - Выпуск 3. -с. 100

5. Дистанционное зондирование Земли: «волновой» алгоритм для работы с линейкой ФПЗС [текст] / Перл И.А. II Тезисы докладов XXXIX научной и учебно-методической конференции СПбГУ ИТМО - Санкт-Петербург, 02 - 05 Февраля 2010. - СПбГУ ИТМО.

6. Повышение производительности систем ДЗЗ построенных на ФПЗС линейного типа [текст] / Перл И.А. // Тезисы докладов XL научной и учебно-методической конференции СПбГУ ИТМО ИТМО - Санкт-Петербург, 01 - 04 Февраля 2011. - СПбГУ ИТМО.

7. Повышение эффективности систем ДЗЗ основанных на линейке ФПЗС [текст] / Перл И.А. // Тезисы докладов международной научно-практической конференции «Современные направления теоретических и прикладных исследований '2011» - Одесса -21-30 июня 2011 г.

Подписано в печать 22.12.11 Формат 60x84'/i6 Цифровая Печ. л. 1.25 Уч.-изд.л. 1.25 Тираж 100 Заказ 08/12 печать

Отпечатано в типографии «Фалкон Принт» (197101, г. Санкт-Петербург, ул. Большая Пушкарская, д. 54, офис 2)

61 12-5/1245

САНКТ-ПЕТЕРБУРГСКИЙ НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ

На правах рукописи

ПЕРЛ Иван Андреевич

ОПТИМИЗАЦИЯ СИСТЕМ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ ЗЕМЛИ МЕТОДАМИ МАТЕМАТИЧЕСКОГО МОДЕЛИРОВАНИЯ

05.13.18

Математическое моделирование, численные методы и комплексы программ

ДИССЕРТАЦИЯ на соискание ученой степени кандидата технических наук

Научный руководитель: доктор технических наук, профессор ДЁМИН Анатолий Владимирович

Санкт-Петербург 2011

СОДЕРЖАНИЕ

СПИСОК ИЛЛЮСТРАЦИИ...........................................................................................4

СПИСОК ТАБЛИЦ.............................................................................................................7

СПИСОК СОКРАЩЕНИЙ.........................................................................8

ВВЕДЕНИЕ............................................................................................................................9

Глава 1. МЕТОДЫ И СРЕДСТВА ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ И СЪЕМКИ ПОВЕРХНОСТИ ЗЕМЛИ ИЗ КОСМОСА..........................................15

1.1. Структура оптико-электронного комплекса для систем ДЗЗ...............15

1.1.1. КМОП-сенсоры...............................................................................................23

1.1.2. Физические принципы работы ПЗС.............................................................25

1.1.3. Типы ФПЗС-сенсоров....................................................................................30

1.2. Имитационное моделирование системы ДЗЗ.............................................31

Выводы по главе 1........................................................................................................33

Глава 2. АНАЛИЗ ПРОЦЕССА СЪЕМКИ В СИСТЕМАХ ДЗЗ, ОСНОВАННЫХ НА ФГОС-ЛИНЕЙКЕ, МЕТОДАМИ МАТЕМАТИЧЕСКОГО МОДЕЛИРОВАНИЯ.............................................................................................................35

2.1. Внутренняя организация линейки ФПЗС....................................................35

2.2. Анализ методов и средств приема оптической информации в системах ДЗЗ.............................................................................................................................................36

2.2.1. Ведение съемки с использованием ФПЗС-матрицы...................40

2.2.2. Ведение съемки с использованием ФПЗС-линейки...............................46

2.3. Моделирование работы классической линейки ФПЗС...........................50

2.4. Перспективные варианты построения системы на линейке ФПЗС....66 Выводы по главе 2........................................................................................................68

Глава 3. «ВОЛНОВОЙ» МЕТОД ДЛЯ РАБОТЫ С ЛИНЕЙКОЙ ФПЗС.....70

3.1. Описание метода...................................................................................................73

3.2. Моделирование работы метода.......................................................................77

3.3. Определение параметров «волновой» линейки в зависимости от параметров полета КА..........................................................................................................83

3.4. Моделирование работы линейки, реализующей «волновой» метод..86

3.5. Повышение эффективности работы «волнового» метода.....................90

3.6. Пример расчета работы ФПЗС-линейки, реализующей «волновой»

алгоритм и многоканальный вывод.................................................................................97

Выводы по главе 3........................................................................................................99

ЗАКЛЮЧЕНИЕ................................................................................................................101

СПИСОК ЛИТЕРАТУРЫ.............................................................................................104

ПРИЛОЖЕНИЕ А. Исходный код приложения (ключевые классы), моделирующего работу линейки К1Л-4104 и ее усовершенствованного аналога, разработанного в работе....................................................................................................110

СПИСОК ИЛЛЮСТРАЦИЙ

Рисунок 1. Общая схема системы ДЗЗ............................................................10

Рисунок 2. Принципиальная схема ОЭК, применяемого в системах ДЗЗ ..16 Рисунок 3. Считывание сигнала в КМОП фотоприёмнике с координатной

адресацией..............................................................................................................23

Рисунок 4. Структура элемента ПЗС...............................................................25

Рисунок 5. Перенос зарядов в приборе с зарядовой связью.........................27

Рисунок 6. Блок-схема работы строки ПЗС-элементов................................28

Рисунок 7. Блок-схема алгоритма работы матрицы ПЗС.............................29

Рисунок 8. Типы линейных ФПЗС..................................................................35

Рисунок 9. Функциональная схема ФПЗС МИС............................................41

Рисунок 10. Блок-схема алгоритма для работы с матрицей ФПЗС.............44

Рисунок 11. Схема размещения линеек ОЭП в фокальной плоскости

объектива................................................................................................................47

Рисунок 12. Изолинии равной скорости сдвига изображения в мм/с.........48

Рисунок 13. Интегральные кривые движения в плоскости углов тангажа (а) и

крена (Р) точек наблюдения, расположенных на поверхности Земли.............49

Рисунок 14. График зависимости функции минимального времени накопления от тактовой частоты и количества элементов ПЗС-регистра в

соответствии с формулой (2.1)............................................................................51

Рисунок 15. Общая схема метода тангажного замедления...........................52

Рисунок 16. Зависимость линейного разрешения на местности от угла

наклона оси визирования и размера пикселя активной зоны...........................55

Рисунок 17. Состояние модели линейки ФПЗС после уменьшения времени

накопления без сокращения длины регистра.....................................................57

Рисунок 18. Структура модели, использованной для исследования процесса съёмки с применением линейки ФПЗС...............................................................58

Рисунок 19. Блок-схема модели процесса съемки поверхности Земли с

использованием ФПЗС-сенсора линейного типа...............................................60

Рисунок 20. Результаты моделирования процесса съемки с использованием

тангажного замедления.........................................................................................61

Рисунок 21. Результат моделирования процесса съемки с использованием

ФПЗС-линейки без применения метода тангажного замедления....................64

Рисунок 22. Результат восстановления изображения, полученного в

результате маршрутной съемки с использованием линейки ФПЗС................65

Рисунок 23. Классическая организация линейки ФПЗС...............................70

Рисунок 24. Схема организации ФПЗС-линейки, модернизированной при

помощи вентильной маски...................................................................................71

Рисунок 25. Схема организации ФПЗС-линейки, модернизированной при

помощи вентильной маски и укороченного сдвигового регистра...................72

Рисунок 26. Общая структура «волнового» алгоритма................................74

Рисунок 27. Блок-схема общего «волнового» алгоритма.............................76

Рисунок 28. График зависимости времени работы сенсора от длины

используемого регистра в «волновом» методе..................................................78

Рисунок 29. Результаты моделирования структуры выходных данных

«волнового» метода..............................................................................................80

Рисунок 30. Схема структуры изображения при использовании классической

и «волновой» линеек при большой скорости смещения изображения...........81

Рисунок 31. Снимок модели, использованной для анализа работы

«волнового» метода чтения данных...................................................................87

Рисунок 32. Результат моделирования маршрутной съемки........................89

Рисунок 33. Наслоение при съемке движущегося объекта...........................91

Рисунок 34. Схема модели «волновой» линейки ФПЗС с параллельный

выходным регистром............................................................................................93

Рисунок 35. Схема трехканального сдвигового ПЗС-регистра....................94

Рисунок 36. Схема сохранения изображения при использовании «волнового»

метода и многоканального выходного регистра................................................95

Рисунок 37. Результат моделирования процесса съемки с использованием «волнового» метода..............................................................................................96

СПИСОК ТАБЛИЦ

Таблица 1. Результаты расчета ЧШН для ЛРМ 2,5 м.............................54

Таблица 2. Характеристики вариантов СППИ в системах, основанных на линейках ФПЗС.....................................................................................................67

СПИСОК СОКРАЩЕНИЙ

АЦП аналого-цифровые преобразования ДЗЗ дистанционное зондирование Земли КА космический аппарат

КМОП комплементарная логика на транзисторах металл-оксид-полупроводник

ЛРМ линейное разрешение на местности

МОП металл-окисел-полупроводник

МПФ модуляционная передаточная функция

ОПФ оптическая передаточная функция

ОЭК оптико-электронный комплекс

ОЭП оптико-электронный прибор

ОЭТК оптико-электронный телескопический комплекс

ПЗС прибор с зарядовой связью

СДЗП скорость движения зарядовых пакетов

СППИ система приёма и переобразования изображения

ФПЗС фотоприемник на основе ПЗС

ФПМ функция передачи модуляции

ФПУ фотоприемное устройство

ФПФ фазовая передаточная функция

ФРТ функция размытия точки

ЧКХ частотно-контрастная характеристика

ЧФХ частотно-фазовая характеристика

ЧШН число шагов накопления

ВВЕДЕНИЕ

Дистанционное зондирование Земли (ДЗЗ) с борта космического аппарата (КА) - это процесс зондирования земной поверхности из космоса с использованием свойств электромагнитных волн, излучаемых, отражаемых или рассеиваемых зондируемыми объектами, с целью лучшего распоряжения природными ресурсами, совершенствования землепользования и охраны окружающей среды. Сбор и анализ данных о процессах, происходящих на поверхности Земли в оптическом диапазоне спектра излучения, реализуется с помощью оптико-электронных комплексов. Методы ДЗЗ основаны на регистрации фотоприемным устройством (ФПУ) оптической информации в аналоговой или цифровой форме. Космическое зондирование, интенсивно развивающиеся в последние десятилетия, предоставило наукам о Земле новые возможности для исследования земной поверхности. За этот период существенно возросли объем, разнообразие и качество результатов ДЗЗ. К настоящему времени накоплен огромный фонд (более 100 млн шт.) аэрокосмических снимков, полностью покрывающих всю поверхность Земли, а для значительной части территорий с многократным перекрытием.

Часть результатов ДЗЗ сразу поступает в цифровом виде, что позволяет применять современные компьютерные технологии для их обработки и использования. Цифровое изображение формируется с помощью ФПУ, состоящего из множества чувствительных элементов (пикселей), что представимо в форме растра как числовая матрица. Каждый элемент этой матрицы, называемый пикселем, отвечает какой-либо характеристике (отражательной способности, температуре и т.д.) участка местности в определенной зоне электромагнитного спектра. Следует отметить, что размер этого участка зависит от разрешения снимка. Данные многозональной съемки в цифровом виде можно рассматривать как многомерную матрицу: в этом случае

каждому участку поверхности будет соответствовать целый набор значений, называемый вектором характеристик. Основные методы тематической обработки данных ДЗЗ, специфичные для многозональной съемки, основаны на операциях с многомерными матрицами.

Современную систему ДЗЗ можно представить в виде следующей схемы:

Рисунок 1. Общая схема системы ДЗЗ

Одним из наиболее важных аспектов улучшения системы ДЗЗ является совершенствование подсистемы сбора данных - непосредственного источника информации о состоянии снимаемой поверхности. Самым важным отличием между этими системами является технология построения регистрирующего сенсора. На сегодня наибольшее распространение получили две реализации: основанные на структурах с зарядовой связью (ПЗС-системы) и системы, построенные на КМОП-элементах (комплементарная логика на транзисторах металл-оксид-полупроводник). Оба устройства представляют собой полупроводниковую память. Приборы с зарядовой связью (ПЗС) являются

специализированными чипами и используются только для получения изображения. Производят эти чипы всего несколько фирм. В отличие от ПЗС, область применения КМОП-устройств намного шире. Они используются как в процессорах персональных компьютеров, так и в подавляющем большинстве потребительской электроники. Так как в основном КМОП-устройства изготавливаются большими партиями и по стандартному технологическому процессу, их производство обходится значительно дешевле. Кроме дешевизны производства, КМОП-устройства обладают некоторыми преимуществами. Так как архитектура КМОП позволяет производить обработку изображений и аналого-цифровые преобразования (АЦП - ADC) непосредственно на чипе, то цифровые камеры и другие устройства, использующие технологию КМОП вместо ПЗС, в итоге оказываются значительно дешевле.

Тем не менее, в системах, где самым важным считается качество, все же используются сенсоры-фотоприемники на основе ПЗС (ФПЗС), так как они чувствительнее к свету, имеют большую степень градаций и минимум шумов, поэтому данная диссертация сфокусирована на исследовании принципов и механизмов работы сенсоров именного этого типа. Рассматриваемые сенсоры можно разделить на две основные группы: ФПЗС-матрицы и ФПЗС-линейки (одна строка матрицы). Оба типа активно используются в современных системах зондирования и обладают своими уникальными достоинствами и недостатками. Например, достоинство ФПЗС-матриц - высокое качество снимков, недостаток - высокое энергопотребление, масса и габариты, что не позволяет использовать такие сенсоры на микроспутниках. ФПЗС-линейки, напротив, обладают маленькой массой и энергопотреблением, но их использование заставляет применять сложные методы съемки (например, метод тангажного замедления), что усложняет систему управления КА и не позволяет производить маршрутную съемку.

Цель диссертационной работы (в соответствии с п. 6 паспорта специальности) - оптимизация систем дистанционного зондирования Земли

методами математического моделирования.. Результатом исследования должно стать решение, которое обеспечило бы лучшие характеристики результирующих снимков, чем существующие ФПЗС-линейки, и одновременно могло бы использоваться на микроспутниках как на космических аппаратах более перспективного класса. Для достижения этой цели должны быть решены следующие задачи:

• Исследовать используемые в ДЗЗ сенсоры, исследовать их достоинства и ограничения в применимости.

• Построить программные модели, позволяющие изучить принципы и механизмы работы современных ФПЗС-сенсоров.

• Разработать новый подход к работе ФПЗС-линеек, позволяющий повысить эффективность процесса съемки с использованием сенсоров этого типа.

• Разработать модели, подтверждающие эффективность разработанного подхода и показывающие ограничения его применимости.

Научные положения, выносимые на защиту:

1. «Волновой» метод снятия данных с линейки ФПУ, который позволяет более эффективно выводить результаты зондирования из сенсора.

2. Концепция аппаратной реорганизации классической структуры сенсора ФПЗС линейного типа с целью реализации «волнового» снятия данных с ФПУ.

3. Структура выходных данных «волнового» алгоритма, ориентированная на ведение маршрутной съемки с использование линейки ФПЗС.

Практическая значимость. Современные системы ДЗЗ, построенные на ФПЗС-сенсорах линейного типа, позволяют получать высокое качество результирующих снимков, но в тоже время эти решения ориентированы на

съемку отдельных, удаленных друг от друга кадров. Результаты данной работы позволяют минимизировать необходимость применения специализированных методик съемки, таких как тангажное замедление, и перевести сенсоры ФПЗС линейного типа из разряда средств кадровой съёмки в разряд устройств ведения маршрутной съемки, т.е. существенно повысить эффективность процесса съемки.

Расчеты, проведенные по методике априорного определения линейного разрешения на местности (ЛРМ) для ФПЗС с размером пикселя 5 мкм, показывают, что для получения ЛРМ на уровне 2,5 м необходимо иметь число шагов накопления (ЧШН) равное 6, что эквивалентно времени накопления 1;н «1,5 мс и должно быть обеспечено за счет уменьшения скорости движения изображения путем тангажирования до величины ЖСди-оэп-

№ст-оэп = — = . ' = 3,33мм / с • тпр 1,5*10

Следует отметить, что реализация режима тангажирования не вызывает больших трудностей, т.к. угловая скорость тангажирования остается постоянной соТ = 0,01 с-1, а сама величина юТ>За, поскольку стабилизация КА по ТЗ не хуже 0,001 гр/с.

Исходными материалами для проведения исследований послужила специальная литература, а также спецификации ФПЗС-сенсоров, используемых в различных областях, в том числе для ведения аэрофотосъемки. Исследования проводились как среди отечественных разработок, так и зарубежных. Области поиска включали не только печатную литературу, но также патентные базы и специализированные интернет-сайты и форумы.

В ходе выполнения работы был разработан ряд программных моделей, позволяющих исследовать как процессы, протекающие непосредственно внутри ФПЗС-линейки, так и механизм формирования изображения. Эти модели позволили выявить наиболее проблемные области, оптимизация которых позволила бы существенно повысить производительность сенсора. В

качестве наиболее важной, с точки зрения оптимизации, была выделена операция возврата данных, полученных в результате работы сенсора. Д