автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Разработка алгоритмических и программных средств регистрации и визуализации локальных гиперспектральных данных

На правах рукописи

ОВЧИННИКОВ Андрей Михайлович

РАЗРАБОТКА АЛГОРИТМИЧЕСКИХ И ПРОГРАММНЫХ СРЕДСТВ РЕГИСТРАЦИИ И ВИЗУАЛИЗАЦИИ ЛОКАЛЬНЫХ ГИПЕРСПЕКТРАЛЬНЫХ ДАННЫХ

Специальность: 05.13.11 - Математическое и программное обеспечение вычислительных машин, комплексов, систем и сетей

Автореферат диссертации на соискание ученой степени кандидата физико-математических наук

Москва 2009

003489513

Работа выполнена в Учреждении Российской академии наук Институте прикладной математики им. М.В.Келдыша РАН.

Научный руководитель

доктор физико-математических наук, профессор

Платонов Александр Константинович

Официальные оппоненты

доктор физико-математических наук, профессор

Лемак Степан Степанович

кандидат технических наук Белов Артур Андреевич

Ведущая организация:

Московский авиационный институт (государственный технический университет)

Защита состоится «19» января 2010 г. в 11 часов на заседании диссертационного совета Д 002.024.01 при Институте прикладной математики им.М.В.Келдыша РАН по адресу: 125047, Москва, Миусская пл., д.4.

С диссертацией можно ознакомиться в библиотеке Института прикладной математики имени М.В.Келдыша РАН

Автореферат разослан « &» декабря 2009 г.

Ученый секретарь диссертационного совета

доктор физико-математических наук ^ Т.А.Полилова

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ Актуальность работы

Во многих задачах мехатроники и робототехники в дополнение к обрабатываемым телевизионным и дальномерным сигналам крайне желательно использовать данные о спектре наблюдаемых предметов, что позволяет получить информацию об их физико-химических свойствах. Это даёт надежду на повышение эффективности решения задач по идентификации среды и управлению в условиях помех и при наличии препятствий. Однако способы получения и методы обработки спектральных данных в условиях естественного освещения и, главное, их достоверность при изменении погодных условий и времени года требуют своего изучения. Поэтому существует необходимость в исследовании характеристик спектральных сигналов, получаемых в полевых условиях при внешнем освещении разного типа, а так же в условиях использования искусственной подсветки. В связи с этим разработка исследовательских инструментальных алгоритмических и программных средств для регистрации, обработки и визуализации спектральных сигналов, отражаемых объектами, находящимися вблизи спектрометра при различном освещении, становится актуальной и практически значимой.

Одним из перспективных средств получения видимого спектра наблюдаемого объекта является гиперспектрометр. Его достоинство заключается в возможности регистрировать сигнал, отражённый от поверхности наблюдаемого объекта, который содержит спектральную информацию (то есть интенсивность отраженного сигнала в зависимости его длины волны), с одновременной пространственной привязкой участков объекта, видимых в поле зрения прибора. К сожалению, гиперспектрометры, широко применяющиеся в авиационных и космических системах дистанционного мониторинга Земли, оказываются малопригодными для решения задач спектральных исследований близлежащих объектов. Это связано, прежде всего, с отсутствием в их программном обеспечении возможности коррекции искажений измеряемого спектра при наблюдении близко расположенных объектов, в том числе, и оптическими системами с малой глубиной резкости. Именно для задач дистанционного мониторинга применяются в настоящее время гиперспектрометры. Поэтому расширение области их применения наряду с упрощением аппаратного состава приборов представляется перспективным для широкого класса задач идентификации в робототехнике, промышленной и бытовой мехатронике.

Требования к разрабатываемому программному обеспечению локального гиперспектрометра в сильной степени зависят от целевой задачи системы наблюдения и способа спектрального преобразования отраженного сигнала. Важной является проблема альтернативного выбора дифракционной решётки или призмы в качестве средства спектрального разложения. Из соображений снижения стоимости спектральных приемников и видеосенсоров желательно ограничиться единственным фотоприёмником. Достоверная математическая и программная модели локального гиперспекд

трометра позволяют выбрать его характеристики и установить необходимые зависимости между параметрами оптического канала и требованиями к программному обеспечению.

В диссертации разрабатываются алгоритмы и программные средства для гиперспектрометра с одной видеокамерой, обеспечивающие регистрацию и визуализацию спектральных сигналов, получаемых от объектов, расположенных в непосредственной близости от него. Прибор, с помощью которого будут производиться локальные спектральные измерения, то есть измерения спектра близлежащих объектов, будем называть лабораторным локальным гиперспектрометром или просто - локальным гиперспектрометром. Цель работы

Создание и исследование алгоритмов и программных средств для анализа в полевых и лабораторных условиях возможности использования локальных гиперспектральных измерений при решении задач идентификации в мехатронике и робототехнике. Основные задачи, решаемые в диссертации

• разработка математической модели измерений, выполняемых лабораторным локальным гиперспектрометром;

• анализ и классификация задач, решаемых локальным гиперспектрометром;

• создание модели алгоритмов для обработки локальных гиперспектральных данных и синтез состава программных средств их реализации;

• разработка программных средств для регистрации и визуализации локальных гиперспектральных данных и их лабораторная проверка.

Научная новизна

• построена математическая модель погрешностей, вносимых оптической подсистемой в гиперспектральные данные;

• разработан и программно реализован метод исправления оптических искажений, отличающийся от известных методов повышенной точностью;

• разработана модель программного комплекса регистрации, обработки и визуализации локальных гиперспектральных данных.

Практическая значимость

• разработанная математическая модель позволяет оценить погрешность измерений локального гиперспектрометра в зависимости от его параметров и расстояния до исследуемой поверхности;

• созданный программный комплекс позволяет провести экспериментальные работы в полевых условиях и сформировать базу сигнатур эталонных образцов для задач робототехники и мехатроники;

• программное обеспечение для обработки гиперспектрального сигнала обеспечивает возможность использования одной видеокамеры для построения контуров спектральных границ исследуемой поверхности;

• сконструированный в ходе диссертационного исследования экспериментальный локальный гиперспектрометр используется в ИПМ им.М.В.Келдыша РАН при проведении лабораторных экспериментов и в учебном процессе;

• разработанная модель программного обеспечения полезна при создании прикладных локальных гиперспектральных комплексов.

Апробация работы

Основные положения диссертационной работы докладывались и обсуждались на:

• Russian-Italian Workshop «Small Satellites for Education and Science», 1st of July, 2004, Moscow, И AM RAS,

• Международной конференции, посвященной развитию сотрудничества Московской области и региона Лацио (Италия), Москва, 4 октября 2004 года,

• XX Научно-практической конференции МФТИ «Современные проблемы фундаментальных и прикладных наук», Долгопрудный, 26-27 ноября 2004 года,

• XXIX академических Чтениях по космонавтике, посвященных памяти пионеров освоения космического пространства, Москва, 25-28 января 2005 года,

• First International Conference for the Anniversary for the Launch of «Unisat», University «La Sapienza», Roma, Italy, 23 July 2006,

• 57th International Astronautical Congress, Valencia, Spain, 2-6 October 2006,

• 6th International Symposium of IAA "Small Satellites for Earth Observation", 23-26 April 2007, Berlin, Germany,

• Объединенном семинаре по робототехническим системам ИПМ им.М.В. Келдыша РАН, МГУ им.М.В.Ломоносова, МГТУ им.Н.Э. Баумана, ИНОТиИ РГГУ, Москва, Россия, 12 марта 2009,

• 7-й Научно-практической конференции «Микротехнологии в авиации и космонавтике», Москва, 16-17 сентября 2009 года,

• Объединенном семинаре по робототехническим системам ИПМ им.М.В. Келдыша РАН, МГУ им.М.В.Ломоносова, МГТУ им.Н.Э. Баумана, ИНОТиИ РГГУ, Москва, Россия, 15 октября 2009.

Исследования по теме диссертации проводились в рамках работ по гранту РФФИ (грант № 06-01-00389), Программе поддержки ведущих научных школ России (гранты №№ НШ 2448.2006.1 и НШ-1123.2008.1), государственным контрактам с Федеральным Агентством по науке и инновациям (№№ 02.514.11.4011 и 02.434.11.7061) и Аналитической ведомственной целевой программе «Развитие научного потенциала высшей школы» (грант № 6827).

Публикации

Основные результаты диссертации представлены в одном журнале из списка ВАК РФ и в материалах пяти зарубежных и отечественных конференций.

Структура и содержание диссертации

Диссертация состоит из введения, трех глав, выводов и списка литературы. Она изложена на 116 страницах и содержит 4 таблицы, 58 рисунков и список литературы из 60 наименований.

КРАТКОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во Введении обоснована актуальность выбранной темы, практическая значимость, сформулированы цели и задачи исследования, а также даны определения, использованные при изложении диссертационной работы. Характеристиками, подлежащими измерению при гиперспектральном анализе, являются: спектральная интенсивность и пространственные координаты видимых точек исследуемой поверхности. Поэтому центральным объектом структуры данным при гиперспектральном анализе является, так называемый, «.гиперкуб» - четырёхмерный массив данных, образуемых двумя пространственными координатами пикселей изображения точек видимой поверхности и значениями интенсивности для одномерной шкалы длин волн их спектра (рис.1).

Рис.1. Пример гиперкуба.

В диссертации рассмотрены следующие функции программного

обеспечения локального гиперспектрального прибора, обеспечивающие:

• формирование структуры данных гиперкуба из последовательности двумерных кадров спектральных яркостей, получаемых в процессе движения гиперспектрометра;

• регистрацию сигнала, образующего подмножество точек гиперкуба; выполнении требуемых (по сигналам пользователя) преобразований этого сигнального подмножества;

• сохранение всего объема регистрируемой информации;

• отображение результатов на экране монитора пользователя.

Для их реализации потребовалось рассмотреть методы локальных гиперспектральных исследований, возможные области их применения и провести эксперименты на разработанном макете.

Первая глава диссертации посвящена обзору основных областей применения локальных гиперспектральных технологий. Исследуется возможность использования существующих программных комплексов для решения поставленных задач. Представлен краткий обзор известных рыночных программных продуктов. Показано, что применительно к особенностям локальных гиперспектральных исследований подобные программные комплексы оказываются неприменимыми.

Рассмотрены основные методы обработки гиперспектральных данных, применяемые для выделения объектов с заранее известными спектральными характеристиками. Для программной реализации выбран метод «спектрального угла» между векторными представлениями спектральной составляющей сигнала и спектром эталона. На основе анализа сценариев локальных гиперспектральных исследований сформулированы требования к разработке программного комплекса локального гиперспектрометра.

Вторая глава содержит описание моделей и реализации алгоритмических и программных средств для локальных спектральных исследований.

В разделе 1 дано обоснование выбора диспергирующего элемента для локального гиперспектрометра. Схема гиперспектрометра содержит две линзы, в фокусах которых между ними стоит щелевая диафрагма. За второй линзой расположены диспергирующий элемент и третья линза. В фокусе третьей линзы находится фотоприемная матрица. Рассмотрены преимущества и недостатки альтернативных вариантов диспергирующего элемента в виде дифракционной решетки или стеклянной призмы. Показаны преимущества использования сигнала, получаемого с помощью стеклянной призмы. Разработана математическая модель оптической подсистемы локального гиперспектрометра для построения алгоритмов с учётом влияния следующих факторов:

• расположение объекта наблюдения на конечном расстоянии от входной апертуры;

• отклонение направлений на объект от главной оптической оси системы, (конечность размеров объекта);

• связь размера ширины оптической щели и параметров других компонент оптической подсистемы гиперспектрометра с качеством и информативностью оптического потока на приемной матрице видеокамеры,

В рамках геометрической оптики построено изображение источника света, моделирующего участок исследуемой поверхности. Бесконечно малый участок поверхности представлен точкой Ао с длиной волны излучения X, смещённой от главной оптической оси системы на расстояние Ь и удаленной от первой линзы Л) на расстояние Ь. Считаем, что отклонение

точки Ао от главной оптической оси невелико. Толщиной линз пренебрегаем. Все линзы - собирающие, их фокусные расстояния соответственно f|, f2, f3. Ширина щелевой диафрагмы между первой и второй линзами равна 2S. Крайние значения длин волн оптического диапазона, уверенно регистрируемых фотоприемной матрицей обычной видеокамеры, равны 400 нм и 1000 нм. В этих предположениях вычисляется размер пятна dn (рис.2) изображения точечного источника на матрице регистрирующего устройства. Его смещение на матрице в зависимости от изменения длины волны АЛ составляет

_2 /3 cos от, , ... since,

<Ч=—с

дп,

- (sin Гл/л|

^(cosy+ . "'" ' siny))——АЛ y]nl~sin2 a, fi дЯ

а, -совета,) С использованием этой модели изучено:

- влияние ширины щели на размер пятна при фиксированных параметрах системы, использованные при разработке прибора для экспериментальной настройки программного обеспечения (рис.3);

- изменение требуемого размера ширины щели при увеличении фокусного расстояния второй линзы (коллиматорного объектива) в десять раз (рис.4);

- влияние фокусного расстояния второй линзы на размер пятна с1п, при изменении ширины щели (рис.5).

Рисунки построены для двух граничных значений длины волны.

фотоприемная матрица

Рис.2. Прохождение расходящегося пучка через линзу Л3 и образование пятна на матрице.

О 10 20 30 ад 50 Ширина щели, мш -\=400пт -А=1000пт

Рис.3. Зависимость ширины размытия пятна с1п от ширины щели.

Рис А. Зависимость ширины размытия пятна <1п от ширины щели при увеличении фокусного расстояния коллиматорного объектива в 10 раз.

о" о о о о о" о о о

Фокусное расстояние, м -Шщчша щетш 3 мкм —Шцишп щеш[ 30 мкм

Рис.5. Зависимость ширины размытия пятна (1п от фокусного расстояния коллиматорного объектива при двух значениях ширины щели.

10 20 30 40 Шщшнл щели, мкм

-Л=400 пш -\=1000пт

Построенная математическая модель позволяет пользователю-оператору гиперспектрометра оценить спектральное разрешение прибора, определить размеры пятна размытия для любой длины волны, оценить наложение этих пятен друг на друга и задать в программном обеспечении размер биннинга*' для коррекции шумовой погрешности сигнала, вызванной собственными шумами матрицы и наложением соседних каналов спектра.

Одной из причин непараллельности лучей, падающих на призму, является неточность установки щели в фокусе коллиматорного объектива. При хроматической аберрации объектива точная установка щели невозможна, так как его фокусное расстояние зависит от длины волны. Кроме того, оптическая щель имеет конечный размер, и лучи света проходят сквозь призму под различными углами. Для наклонных лучей угол преломления призмы оказывается больше, и они преломляются сильнее. Вследствие этого спектральные линии смещаются в сторону длинных волн. Возникает дисторсия - аберрация оптической системы, в результате которой линейное увеличение различается в разных точках изображения. Дисторсия в гиперспектрометре приводит к нарушению соответствия длины волны и наблюдаемой интенсивности сигнала. Это приводит к искажению получаемой спектральной функции наблюдаемой сцены.

Эксперименты с макетом гиперспектрометра позволили сделать вывод о необходимости разработки программного решения, позволяющего исправить изображение. В результате работы требуемого алгоритма необходимо перевести все точки полученного кадра в пиксели, которые были бы получены при использовании идеальной оптической системы.

Биннинг- режим считывания соседних пикселей, при котором интенсивность сигнала на них интегрируется и присваивается каждому из этих пикселей так, что все они считаются «одним пикселем» изображения.

Для исправления изображения будем искать формулу преобразования координат в виде нелинейной функции F от наблюдаемых координат

= ГХ

где

х

[х-у) - координаты точки исправленного изображения, {х,у) - начального. Поскольку единый закон для всего кадра может не существовать, будем искать его отдельно для всех клеточных областей изображения, разбитого на клетки координатными линиями, с предположением линейности закона внутри каждой клетки. Для увеличения точности преобразования необходимо уменьшить размеры областей с одновременным увеличением числа клеток. В этих предположениях закон преобразования координат имеет вид

х = х, (1 - а)(1 - Ъ)+х2а(1 - Ь) + х 3 аЬ + х4 (1 - а)Ъ

)

У = У\(1 -«)(1 -Ь) + у2а(1 -Ь) + угаЬ + у4(1 -а)Ъ,

Х-Х\ у-ух

где (х,и) - координаты вершин клетки, а = -—— и о - -——. Зная (х,у)

Х2-Х1 Уз~У\

и решая систему нелинейных уравнений методом Ньютона, определяем координаты (х, У). Поскольку результат получаем в формате числа с плавающей точкой, необходимо округление координат для отображения на целочисленной координатной сетке изображения. При этом, однако, появляются точки, для которых прообраз не был найден. Это означает «потерю» значения сигнала для некоторых длин волн. В этом случае пользователь будет проводить сравнение сигнала в эталонных значениях спектра («сигнатурах») с несуществующим сигналом для полученных скорректированных данных.

Таким образом, в результате простого округления не удается получить необходимый закон преобразования —>С2Х, переводящий точки дис-

кретной области = [О, х] х [о, У] х [о, 1]в точки этой же области. Однако можно построить отображение вила : Ох —> П^, где

П{ = [О, ХГ X [0, Ур X [0,1Г" (индекс сом обозначает непрерывное множество). Последний отрезок в этом произведении - яркость пикселя. Необходимо найти отображение —> ^, переводящие точки с непрерывными координатами в точки с дискретными координатами, и такое, что результирующее отображение = будет взаимно однозначным. Для это-

(*>}') найдем точку (х,у ) ,

го на плоскости I л, у i найдем точку I х,у\ , лежащую к ней максималь-

но близко в смысле евклидовой метрики р = \\х-х I + \^у-у ) | . В

результате для каждой точки находим точку , а значит, и

преобразование К, которое позволяет задать матрицу преобразования координат для каждой точки (х>у) исправленного изображения, зная точку

(х,у) искаженного изображения (рис. 14).

В разделе 2 главы 2 рассматривается функциональная модель программного обеспечения локального гиперспектрометра. На основе сценариев использования переносного гиперспектрометра выделены четыре основных режима работы: (1) настройка и калибровка прибора, (2) определение характеристик гиперспектрометра, (3) работа на местности, (4) работа в лабораторных условиях.

Приведем порядок работы с локальным гиперспектрометром на фазе регистрации спектральных свойств исследуемых объектов.

1) Перед проведением первой съемки, а также после изменений положения призмы, смены объективов или изменения ширины щели требуется проведение калибровки прибора и оценки его параметров по сравнению с расчетными значениями в математической модели.

2) После проведения калибровочных работ начинается настройка гиперспектрометра для условий съемки. Регулированием соответствующих параметров и визуальной оценкой информации, поступающей на монитор, нужно добиться такого соотношения времени экспозиции, чтобы интенсивность оптического сигнала гиперспектрометра была максимально возможной, но не превышала значения, при котором наступает засветка матрицы.

3) После определения всех параметров назначается имя файла и место сохранения информации, поступающей с матрицы.

4) Пользователем-оператором задается длина волны для создания слоя гиперкуба и визуальной привязки к сканируемой поверхности.

5) Производится съемка и сохраняется полученный результат.

При исследовании получаемого спектра корректируются оптические искажения, выбираются форматы сохранения данных и готовится библиотеки сигнатур. Затем выделяются зоны интереса на интегрированном изображении и производится сравнение выбранных участков с эталонными сигнатурами. Наконец, определяется слой гиперкуба в изображении сканируемой поверхности.

На совокупности этих действий определен набор операций, которые в совокупности выполняются пользователем и программным обеспечением: регистрация гиперспектральных данных, исправление оптических искажений, калибровка оптики прибора, оценка его спектральных характеристик, привязка спектральных характеристик к участкам исследуемой поверхно-

сти, подготовка и исследование спектральных эталонов, тематическии анализ гиперспектральных данных, визуальная оценка спектральных и координатных результатов. Структура и связи этих операций показаны на рис.6.

По целевому назначению показанные связи функций можно условно разделить на несколько частей: управления регистрирующим элементом и фиксации поступающей информации, коррекции и предварительной обработки гиперспектральных данных и тематической обработки полученной информации по заданным критериям.

Выбраны три формата сохранения преобразованных гиперспектральных данных, покрывающие все режимы использования прибора.

Преобразование кадрированных изображений в видеофайл

Получение кадрированных изображений с камеры

От рисовка слоя «свертки»

Интерфейс взаимодействия с оператором

Сохранение полученных данных в формате .Ьтр или .ач\

Преобразование последовательности .Ьтр или •avi в формат .Ixt заданного вида

Калибровка гиперспектрометра

Управление и настройка камеры

Тематическая обработка данных I-

Интерфейс взаимодействия с оператором

Исправление дисторсии

Интерфейс взаимодействия с оператором

Сохранение тематически обработанных данных

Мульттоональная тематическая обработка данных

Создание и управление библиотекой эталонов

Сохранение эталонных

гистограмм в графическом формате

Оценка шумового фона

Рис.6. Структура функций пользователя и программ.

Анализ возможных действий пользователя и программных операций определил модель отношений требуемых интерфейсных и программных средств для их реализации. Эта модель представлена в виде графа (рис.7) с вершинами: (1) инициализация камеры гиперспектрометра, (2) установка экспозиции камеры и зоны считывания матрицы; (3) получение одного кадра; (4) установка номера пикселя для создания слоя гиперкуба; (5) сохранение в формате Ьтр; (6) сохранение в формат ау1; (7) получение видеоданных с камеры без сохранения в файл; (8) сохранение слоя гиперкуба; (9) загрузка предварительно сохраненного файла Ьтр; (10) просмотр спектра; (11) подготовка данных для коррекции дисторсии и получение матрицы исправления искажений; (12) преобразование гиперспектральных данных (ПГД) из набора Ьтр методом 1; (13) ПГД из набора Ьтр методом 2; (14) ПГД из набора Ьтр методом 3; (15) ПГД из ау1 файла методом 1; (16) ПГД из файла методом 2; (17) ПГД из ау1 файла методом 3; (18) подготовка эталонов; (19) калибровка данных и оценка размера размытия

пятна; (20) обработка гиперспектральных данных; (21) выделение зоны тематической обработки; (22) визуализация результата тематической обработки; (23) загрузка единичного эталона; (24) загрузка библиотеки эталонов; (25) отображение эталонов в графическом представлении.

Разработанная функциональная модель определила структуру программных средств для реализации совокупности необходимых функций, предоставляемых пользователю.

В разделе 3 главы 2 описаны разработанные программные средства локального гиперспектрометра. Совокупность функций модели (рис.7) реализованы в двух частях программного комплекса - программных модулях: «Camera view» для управления настройками гиперспектрометра и регистрации гиперспектральной информации (функции (1)-(11), (19) и «Analyzer» (функции (12)-(25) для подготовки и обработки полученных данных с целью тематической визуализации результатов. Блок-схема программного модуля Camera view, реализующего описанный выше сценарий регистрации спектральных свойств, представлена на рис.8. Блок-схема работы программы «Analyzer» представлена на рис.9.

Результатом работы этих программ является передний слой гиперкуба на рис.1 с интегрированным изображением сцены, полностью или частично окрашенной в условные цвета, которые заданы пользователем-оператором. Таким образом, происходит совмещение результата распознавания гиперспектральной информации и интегральной картинки, позволяющей привязать гиперспектральные данные к отснятой поверхности.

Требуемый программный комплекс состоит из вычислительных операторов и операторов развитого графического интерфейса пользователя. Для обеспечения более высокой производительности кода вычислительные операторы программировались на языке С. Программы пользовательского интерфейса с целью сокращения времени разработки реализованы на языке С# в виде dll-библиотек. Более точно, полученная программная реализация комплекса состоит из трех классов, написанных на языке С#, одной динамически подключаемой библиотеки, написанной на языке С, и двух динамически подключаемых библиотек из состава платформы Micro-soft.Net. Структурная схема классов представлена на рис.10.

Рис.7. Функциональная модель средств программного комплекса локального гиперспектрометра.

Рис.8. Алгоритм работы программы «Camera view».

Рис.9. Алгоритм работы программы «Analyzer».

Рис.10. Структурная схема классов программного обеспечения.

коррекции. Во второй вкладке програ слоя гиперскуба (рис.12), с длиной

В разделе 4 главы 2 приведено описание комплекса человеко-машинных интерфейсов. В обеих программах меню с наиболее часто используемыми функциями вынесено в правую часть экрана. В главном окне программы «Camera view» (рис.11) выполняется отображение информации, поступающей от гиперспектрометра. Это позволяет пользователю оценивать качество сигнала и при необходимости предпринять действия для его 1мы отображается ход построения волны, заданной пользователем-

оператором, для привязки к части поверхности, сканирование которой производится в текущий момент времени.

Рис.11. Интерфейс программы «Camera view» с примером изображения получаемого от гиперспектрометра.

Рис.12. Интерфейс программы «Camera view» с примером слоя гиперкуба.

На рис.13 представлен интерфейс программы обработки гиперспектральной информации. В главном окне происходит отображение информации, необходимой пользователю-оператору.

Важно отметить, что при разработке программных средств проводились эксперименты с целью уточнения алгоритмических параметров, накопления базы локальных эталонных спектральных примеров (эталонов) и получения опыта использования раз-

Рис. 13. Интерфейс программы обработки работанного про-

гиперспектральной информации. граммного обеспе-

чения.

В третьей главе диссертации представлены методика испытаний программного комплекса, описание прибора, разработанного для получения

данных, использованных для тестовых сцен, результаты локальной гиперспектральной съемки и материалы содержательных обработок с помощью программного комплекса.

Целью проведения экспериментов является испытание разработанного программного обеспечения и тестирование заложенных функций. Эксперименты позволили оценить удобство интерфейса для пользователя, выявить необходимость в доработке программного обеспечения, провести окончательную настройку прибора. В результате экспериментов были оценены дисторсионные искажения и получены результаты визуального сравнения спектральных и эталонных данных. Оценка искажений в пикселях по центру матрицы и по ее краям представлена на рис.14. Из представленных кривых видно, что погрешность регистрируемых данных весьма значительна и составляет до 43 пикселей в максимуме отклонения. Поэтому без использования модуля исправления дисторсии получаемые данные имеют большую ошибку при тематической обработке и не могут быть использованы для решения поставленной задачи.

Для исправления искажений был применён описанный в главе 2 алгоритм коррекции дисторсионных аберраций и созданная на его основе программа исправления искажений. Результат работы программы представлен на рис.15-17. На рис.15 приведен пример кадра с видеокамеры с нанесенной сеткой реперных линий. На рис.16 хорошо видны пиксели, не имеющие прообраза, и поэтому нуждающиеся в дополнительной коррекции.

На рис.18 представлена фотография экспериментальной сцены. На рис.19 приведен результат тематической обработки этой сцены с помощью подготовленных эталонов и алгоритма, заложенного в программу управления прибором обработки гиперспектральных данных. Видно, что различный спектр имеют не только различные вещества (асфальт, камни и трава), но и одинаковые вещества (трава), даже находящиеся в различных состояниях (старая и свежая трава). Программа тематической обработки успешно выделила разными условными цветами - желтым и зеленым - траву в различных спектральных состояниях.

Номер пикселя —•—Край » Цент]) 2 —Центр!

Рис.14. Результаты оценки дисторсионных искажений.

50

СГ!Г-.и->гОг-(ОГ^1ЛГ01—I СП Г* ннмг^го^^^ьлаш

Рис.15. Пример искаженного изображения после выделения реперных линий.

Рис.16. Результат округления координатах, у}

Рис.18. Экспериментальная сцена в полевых условиях.

Рис.17. Результат работы алгоритма коррекции искажений.

На рис.20 представлена экспериментальная сцена для проверки программного комплекса в лабораторных условиях. Так же она имитирует возможное применение программного комплекса в рамках задачи распознавания типа сельскохозяйственной продукции в поле зрения средств видеонаблюдения. Для исследования возможности использования программного комплекса в условиях искусственного освещения экспериментальная сцена была подсвечена лампой дневного света. Пример тематической обработки сцены представлен на рис. 21.

Рис.19. Результат использования четырех эталонов.

Рис.20. Лабораторная сцена. Рис.21. Результат использования четырех эталонов.

Результаты эксперимента показали, что необходимо применять специализированные лампы с широким спектральным диапазоном в задачах

распознавания объектов типа товарной продукции.

В заключении сформулированы основные результаты диссертационной работы:

• разработана модель локальных гиперспектральных измерений и выполнена теоретическая и экспериментальная оценка их погрешностей;

• разработана модель программного комплекса для регистрации, обработки и визуализации локальных гиперспектральных данных;

• созданы программные средства для регистрации и визуализации гиперспектральных данных однокамерного локального гиперспектрометра;

• проведены экспериментальные исследования сигналов локального гиперспектрометра на примере сцен натуральных и техногенных объектов.

Публикации по теме диссертации

1. А.М.Овчинников, Д.С.Ролдугин, М.Ю.Овчинников. Аппаратно-программный комплекс для обработки спектральной информации. "Датчики и системы", 2009, № 6, с.41-46.

2. А.М.Овчинников, Д.С.Ролдугин. Особенности программного комплекса для обработки локальных спектральных измерений. Сборник аннотаций докладов на VII Научно-практической конференции "Микротехнологии в авиации и космонавтике", Москва, 16-17 сентября, 2009, с.63-64.

3. A.Ovchinnikov, M.L.Battagliere, A.Serednitskiy, F.Piergentili, "HypSat: a microsatellite for hyperspectral measure", Digest of 6th International Symposium of IAA "Small Satellites for Earth Observation", 23-26th April 2007, Berlin, Germany, Walter De Gruyter Publ., Paper IAA-B6-0909P, pp.339342.

4. Д.С.Ролдугин, А.М.Овчинников, М.Ю. Овчинников. Программный комплекс для обработки оптической информации. Труды 50-й научной конференции МФТИ «Современные проблемы фундаментальных наук». Часть III. Аэрофизика и космические исследования. М.: МФТИ, 2007, с.126-128.

5. F.Graziani, M.Yu.Ovchinnikov, F.Santoni, F.Piergentili, A.Ovchinnikov, F.Bulgarelli, M.L.Battagliere, M.Sgubini, M.Ronzitti, "HYPSAT Program", Proceedings of 57th International Astronautical Congress, 2-6 October 2006, Valencia, Spain, Paper IAC-06-B5.4.06, Юр.

6. А.М.Овчинников. Возможные варианты полезной нагрузки на макет микроспутника для лабораторного стенда. Труды 49-й научной конференции МФТИ «Современные проблемы фундаментальных и прикладных наук». ЧастьVII. Управление и прикладная математика. М.: МФТИ, 2006 с.226-227.

Подписано в печать 18.11.2009. Формат 60x90/16. Усл. печ. л. 1,0. Тираж 60 экз. Заказ 75. ИПМ им.М.В.Келдыша РАН. 125047, Москва, Миусская пл., 4

Введение.

Глава 1. Задача локальных гиперспектральных исследований.

1.1 Средства регистрации гиперспектральных измерений.

1.2 Описание существующих методов дистанционного гиперспектрального зондирования Земли.

1.2.1 Тематическая обработка гиперспектральных данных.

1.3 Обзор программных средств обработки гиперспектральных данных

1.4 Требования к программному комплексу.

Глава 2. Разработка алгоритмического аппарата и программных средств регистрации и визуализации спектральной информации.

2.1 Алгоритмическое обеспечение локальных гиперспектральных измерений.

2.1.1 Проблема выбора диспергирующего элемента.

2.1.2 Математическая модель гиперспектрометра.

2.1.3 Результаты моделирования локальных спектральных измерений

2.1.4 Исследование алгоритма программной коррекция дисторсии гиперспектрометра.

2.1.5 Выбор формата сохранения и использования регистрируемых данных.

2.2 Модель программного обеспечения.

2.3 Диаграмма классов.

2.4 Реализация интерфейса программного комплекса.

2.4.1 Исследование подготовки, управления и использования готовых библиотек эталонных сигнатур.

• Глава 3. Экспериментальные исследования разработанных программных средств локального гиперспектрометра на тестовых примерах.

3.1 Описание гиперспектрометра для проведения экспериментов.

3.2 Методика экспериментальной проверки программного обеспечения

3.2.1 Сценарий использования программных средств.

3.2.2 Сценарий использования гиперспектрометра.

3.2.3 Схема экспериментальной сцены.

3.3 Результаты тестирования и настройки программного комплекса.

3.3.1 Результаты работы модуля коррекции дисторсии.

3.3.2 Результаты тематической обработки.

Одним из современных методов исследования поверхности объектов, их физических и химических свойств, является дистанционная неразрушающая идентификация объектов с использованием оптических приборов. Этот метод подразумевает использования программного обеспечения для регистрации большого объема спектральной информации и порождает необходимость создания алгоритмических и программных решений для обработки этих данных. Актуальной задачей является применение дистанционной съемки в робототехнике и мехатронике. Конструирование и использование мобильных комплексов дистанционного зондирования осложнено ограничениями на состав и мощность вычислительных средств, энергоресурсов и средств передачи информации. Внедрение программного комплекса, позволяющего проводить автономную обработку информации, сокращает временные затраты на передачу информации, повышает надежность системы за счет отсутствия необходимости передачи данных во внешние ресурсы для обработки, увеличивает оперативность принятия решения, зачастую позволяет полностью автоматизировать систему, в которую входит система дистанционной идентификации.

Хорошо известно и широко используется для исследования поверхностей и составляющих их материалов дистанционное зондирование — удаленное наблюдение авиационными и космическими средствами, оснащёнными различными видами регистрирующей аппаратуры [19, 20].

Появление фото и видеоаппаратуры высокого спектрального разрешения, работающих в видимом и близлежащих к нему спектрах электромагнитного излучения, позволило использовать спектральную информацию для исследования физико-химических свойств поверхностей в интересах средств мониторинга Земли [23]. Спектральные исследования или спектральный анализ основываются на способности материалов поглощать и отражать свет [37]. Основой спектрального анализа является предположение об однозначном соответствии отраженного сигнала и состава отражающей поверхности. Для достаточно большого числа спектральных каналов (одновременно регистрируемых спектральных диапазонов для одной и той же точки поверхности, которые возможно разграничить), на которых производится измерение интенсивности отраженного сигнала, для различных отражающих материалов наблюдаются различные спектры отраженного сигнала.

Увеличение числа каналов в одном и том же диапазоне приводит к увеличению точности спектрального разрешения измерений и значительному увеличению объема обрабатываемых данных [10]. Наличие двадцати и более каналов в приборе, регистрирующем одновременно интенсивность излучения сигнала для всех длин волн и пространственной координаты исследуемой поверхности, позволяет говорить об использовании в спектральных исследованиях гиперспектрометра. Соответственно гиперспектральным анализом называется спектральный анализ, проводимый для числа спектральных каналов (числа длин волн, для которых измеряется интенсивность) от нескольких десятков до тысяч. Интенсивность отраженного сигнала зависит, разумеется, и от интенсивности сигнала подсветки [46], в качестве которой может быть использованы как естественные источники света - Солнце [7], Луна, так и искусственное освещение, и от способности к самостоятельному излучению сигнала.

Основными величинами, подлежащими измерению при спектральном анализе, являются длина волны, интенсивность отраженного сигнала и пространственная координата исследуемой поверхности. Поэтому центральным объектом гиперспектрального анализа является гиперкуб -массив данных, образуемых двумя пространственными координатами и значениями интенсивности отраженного сигнала для каждой длины волны от поверхности, разбитой на пиксели. Программное обеспечение формирует гиперкуб путем интегрирования всего объема регистрируемой информации в единый массив данных (рис.В.1).

Основное функциональное отличие гиперспектрального анализа от мультиспектрального заключается в возможности использования для тематической обработки (то есть обработки полученных данных с целью выявления объектов на общем фоне, удовлетворяющих заранее известным критериям) изображения его спектральных характеристик. Отсутствие фактического усреднения интенсивности излучения по 3-5 диапазонам длин волны позволяет сохранить уникальность данных передаваемых отраженным излучением. Это позволяет применять информацию, теряемую при использовании мультиспектрального анализа, для определения химического состава поверхностей.

В задачах дистанционного зондирования объекты, наблюдаемые на поверхности Земли, расположены на значительном удалении от исследовательского прибора, обладают намного меньшими геометрическими размерами, чем ширина полосы обзора (полоса поверхности, попадающая в поле видимости гиперспектрометра) [14]. В рассматриваемых в диссертации задачах локальных гиперспектральных исследований размеры объектов сопоставимы, а зачастую и превышают полосу обзора прибора, а расстояние от исследовательского прибора до

Рис.В.1 Пример гиперкуба. зондируемой поверхности составляет от десятков сантиметров до десятков метров.

Использование этого нового класса гиперспектральных приборов потребовало создания специального программного обеспечения для регистрации, сохранения, предварительной подготовки и дальнейшей обработки гиперспектральной информации. Требования к разрабатываемому программному обеспечению локального гиперспектрометра в сильной степени зависят от целевой задачи системы наблюдения и способа спектрального преобразования отраженного сигнала. Важной является проблема альтернативного выбора дифракционной решётки или призмы в качестве средства спектрального разложения. Из соображений снижения стоимости спектральных приемников и видеосенсоров желательно ограничиться единственным фотоприёмником. Достоверная математическая и программная модели локального гиперспектрометра позволяют выбрать его характеристики и установить необходимые зависимости между параметрами оптического канала и требованиями к программному обеспечению.

В диссертации разрабатываются алгоритмы и программные средства для гиперспектрального комплекса с единственной видеокамерой, обеспечивающие регистрацию и визуализацию спектральных сигналов, получаемых от объектов, расположенных вблизи гиперспектрометра.

Цель работы

Создание и исследование алгоритмов и программных средств для анализа в полевых и лабораторных условиях возможности использования локальных гиперспектральных измерений при решении задач идентификации в мехатронике и робототехнике.

Основные задачи

• разработка математической модели измерений, выполняемых лабораторным локальным гиперспектрометром; 7

• анализ и классификация задач, решаемых локальным гиперспектрометром;

• создание модели алгоритмов для обработки локальных гиперспектральных данных и синтез состава программных средств их реализации;

• разработка программных средств для регистрации и визуализации локальных гиперспектральных данных и их лабораторная проверка.

Научная новизна:

• построена математическая модель для оценки погрешностей, вносимых в результаты работы программного обеспечения различными составляющими оптической подсистемы локального гиперспектрометра;

• разработан метод исправления оптических искажений гиперспектральных данных, отличающийся от известных методов повышенной точностью;

• разработана модель программного комплекса регистрации, обработки и визуализации локальных гиперспектральных данных.

Практическая значимость

• разработанная математическая модель позволяет оценить погрешность измерений локального гиперспектрометра в зависимости от его параметров и расстояния до исследуемой поверхности;

• созданный программный комплекс позволяет провести экспериментальные работы в полевых условиях и сформировать базу сигнатур эталонных образцов для задач робототехники и мехатроники;

• программное обеспечение для обработки гиперспектрального сигнала обеспечивает возможность использования одной видеокамеры для построения контуров спектральных границ исследуемой поверхности;

• сконструированный в ходе диссертационного исследования экспериментальный локальный гиперспектрометр используется в ИПМ им.М.В.Келдыша РАН при проведении лабораторных экспериментов и в учебном процессе;

• разработанная модель программного обеспечения полезна при создании прикладных локальных гиперспектральных комплексов.

Публикации

Основные результаты диссертации представлены в одном журнале из списка ВАК РФ, рекомендованного Экспертным советом по специальности "Математическое и программное обеспечение вычислительных машин, комплексов, систем и сетей" и в материалах пяти зарубежных и отечественных конференций.

Структура и состав диссертации

Диссертация состоит из введения, трех глав, выводов, списка литературы. Она изложена на 116 страницах и содержит 4 таблицы, 58 рисунков и список литературы из 60 наименований.

Основные результаты диссертационного исследования:

1. Разработана модель локальных гиперспектральных измерений и выполнена теоретическая и экспериментальная оценка их погрешностей.

2. Разработана модель программного комплекса для регистрации, обработки и визуализации локальных гиперспектральных данных.

3. Созданы программные средства для регистрации и визуализации гиперспектральных данных однокамерного локального гиперспектрометра.

4. Проведены экспериментальные исследования сигналов локального гиперспектрометра на примере сцен натуральных и техногенных объектов.

Заключение

1. Афанасьев В.А., Оптические измерения, М.: Высшая школа, 1981

2. Книжников Ю.Ф., Кравцова В.И., Тутубалина О.Т., Аэрокосмические методы географических исследований: учебн для студ. высш. учебн. заведений. М.: Издательский центр "Академия", 2004

3. Баранов Ю.Б., Королев Ю.К., Миллер С.А., Программное обеспечение для обработки данных дистанционного зондирования. Информационный бюллетень ГИС-ассоциации, 1997, №2(9), с. 42-45

4. Баранов Ю.Б., Королев Ю.К., Миллер С.А., Программное обеспечение для обработки данных дистанционного зондирования (окончание). Информационный бюллетень ГИС-ассоциации, 1997, №4(11). с. 40-47

5. Ведешин Л.А., Урденко В.А., Циммерман Г., Дистанционное зондирование моря с учетом атмосферы. М.-Берлин-Севастополь, 1985, т. 1,2

6. Воронцов Д.В., Калинин А.П., Орлов А.Г., Родионов А.И., Шилов И.Б., Родионов И.Д., Любимов В.Н., Осипов А.Ф., Использование гиперспектральных измерений для дистанционного зондирования Земли, Препринт ИПМех РАН, №702, 2002

7. Воронцов Д.В., Орлов А.Г., Родионов А.И., Шилов И.Б., Родионов И.Д., Любимов В.Н., Осипов А.Ф., Дубровицкий Д.Ю., Зубков Б.В., Яковлев Б. А., Оценка спектрального и пространственного разрешения гиперспектрометра АГСМТ-1, Препринт ИПМех РАН, №704, 2002

8. Ю.Гарбук C.B., Гершензон В.Е., Космические системы дистанционного зондирования Земли. М.: Издательство А и Б, 1999

9. П.Герасимов Ю.Ю., Кильпеляйнен С. А., Соколов А.П., Геоинформационные системы: Обработка и анализ растровых изображений. М., ООО "Дата+", 2002

10. Ильин P.C., Федотов Г.И., Федин Л.А., Лабораторные оптические приборы, М., Машиностроение, 1966

11. Калинин А.П., Орлов А.Г., Родионов И.Д., Авиационный гиперспектрометр, Вестник МГТУ им. Н.Э.Баумана. Серия «Приборостроение», 2006, №3, с 11-24

12. Кашкин В.Б., Сухинин А.И., Дистанционное зондирование Земли из космоса. Цифровая обработка изображений: Учебное пособие. М.: Логос, 2001

13. Киенко Ю.П., Введение в космическое природоведение и картографирование: Учебн. для вузов. М.: Картгеоцентр Геоиздат, 1994

14. Китов А.Д., Дистанционные данные проблемы и будущее ГИС. Информационный бюллетень ГИС-ассоциации, 1997, №3(10), с. 12

15. Дешифрирование многозональных аэрокосмических снимков: Методика и результаты. Берлин: Академи-ферлаг, М.: Наука, 1988

16. Королев Ю.К., Методы обработки данных дистанционного зондирования. Информационный бюллетень ГИС-ассоциации, 1996, №2(4), с. 51- 55

17. Кравцова В.И., Космические методы картографирования. Под редакцией Книжникова Ю.Ф. М.: Изд-во МГУ, 1995

18. Кронберг П., Дистанционное изучение Земли: Основы и методы дистанционных исследований в геологии: Пер. с нем. М.: Мир, 1988

19. Михельсон A.B., Овчинников В.А., Степаненко A.B., Изучение дифракционных решеток. Екатеринбург. УГТУ-УПИ, 2006

20. Орлов А.Г., Разработка и исследование авиационного гиперспектрометра видимого и ближнего ИК диапазонов. Автореф. дис. канд. тех. наук. М., 2008. 28стр

21. Пратт Т., Зелковиц М., Языки программирования: разработка и реализация. Под общей ред. А. Матросова. — СПб.: Питер, 2002

22. Слюсарев Г. Г., Методы расчёта оптических систем, М. — Л., 1937

23. Создание географических информационных систем с помощью персональных компьютеров. Перевод и издание Дата+, М., 1995

24. Тарнопольский В.И., Некоторые вопросы проектирования спутниковых многоспектральных систем оптического сканирования. В кн. «Многозональные аэрокосмические съемки Земли». М.: Наука, 1981

25. Топорец A.C., Монохроматоры, М., Гостехиздат, 1955

26. Троелсен. Э., С# и платформа .NET. Библиотека программиста. СПб.: Питер, 2004

27. Шилдг Г., Полный справочник по С#. Пер. с англ. М.: Издательский дом "Вильяме", 2004

28. Шилин Б.В., Груздев В.Н., Марков А.В., Использование видеоспектральной аэросъемки для экологического мониторинга, "Оптический журнал" том 68, 2001, № 12, с 41-48,

29. Якушенков Ю. Г., Теория и расчет оптико-электронных приборов, М.: Логос, 2004

30. Янутш Д.А., Дешифрирование аэрокосмических снимков. М.: Недра, 1992

31. Campbell J. В., Introduction to Remote Sensing, Guilford Press, 1987

32. Fundamentals of Remote Sensing. Canada Centre for Remote Sensing. Canada, 2003

33. Khrenov N., Salikhov R., Ponomarev A., Ovchinnikov M., Rodionov I., Belov A., Orlov A., Vorontsov D., Ilyin A., The Russian Small Satellite for Hyperspectral Monitoring of Gas Pipelines, Препринт ИПМ им.М.В.Келдыша №12, 2003

34. Khrenov N., Salikhov R., Ponomarev A., Ovchinnikov M., Rodionov I., Kalinin A., Rodionov A., Fedunin E., Belov A., Orlov A., Vorontsov D., The Russian Small Satellite for Hyperspectral Monitoring of the Earth, Препринт ИПМ им.М.В .Келдыша №17, 2003

35. Nieke J., Schwarzer H., Neumann A., Zimmermann G., Imaging Spaeeborne and Airborne Sensor Systems in the Beginning of the Next Centuiy, SPIE, Vol: 3221, p. 581-592, 1997

36. Proakis, J. and D. Manolakis, Digital Signal Processing: Principles, Algorithms, and Applications, Third edition, Prentice-Hall, 1996, pp. 868873

37. Shaw G.A., Burke H. K., Spectral Imaging for Remote Sensing, Lincoln Laboratory Journal Vol. 14, № 1, p. 3-28, 2003

38. Slater P.N., Remote sensing, optics and optical systems, Addison-Wesley Publishing Company, 1980

39. Vane G. et al, Airborne Visible/infrared Imaging Spectrometer (AVIRIS), JPL Publication 87-38,1987

40. Zissis G.J. et al, The Infrared & Electro-Optical Systems Handbook, Vol. 1 Sources of Radiation, SPIE Optical Engineering Press, 1993

41. В.Растоскуев, Е.Шалина. Геоинформационные технологии при решении задач экологической безопасности. 2009. URL http://ecobez.geo.pu.ru/edu/gis06/index.htm (дата обращения 21.08.09)

42. Отчет о создании спектральных библиотек. Preliminary Technology and Science Validation Report http://eo 1. gsfc.nasa. gov/new/validationReport/ (дата обращения 21.08.09)

43. Сервер специалистов по ГИС и ДЗЗ-системам. http://gis-lab.info/qa.html (дата обращения 15.11.07)

44. Сервер спектральных библиотек, http://library.usgs. gov (дата обращения 21.08.09)

45. Сайт производителя спектрального оборудования. http://lzos.ru/index.php (дата обращения 15.03.06)

46. Сервер Патентного бюро США. http ://patft.uspto. go у/ (дата обращения 15.03.06)

47. Сайт авторизованного дистрибутора оборудования, http://www.amd-photo.ru/dep l.html (дата обращения 15.03.06)

48. Сайт производителя оборудования. http://www.camware.com.my/products.asp (дата обращения 15.03.06)

49. Информационный сервер по ГИС системам. http://www.giscenter.ru/getdata/conteiit get.htm (дата обращения 15.11.07)56.http://www.vasiliidurnov.narod.ru/Page7.htm (дата обращения 13.03.08)

50. Сайт производителя спектрального оборудования. Информационный ресурс: свойства голографических дифракционных решеток. http://www.nanospectrum.ru/diffr/item/l/3/ (дата обращения 15.03.06)

51. Сайт производителя программного обеспечения, http://www.scanex.ru (дата обращения 17.06.07)

52. Сайт производителя оборудования. http://www.sptt.ru (дата обращения 15.03.06)

53. Сайт производителя программного обеспечения. http.7/www.sovzond.ru/software/90 (дата обращения 20.12.07)