автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Разработка архитектуры, алгоритмов и программного обеспечения для создания картографических интерфейсов, обеспечивающих распределенную обработку и анализ спутниковых данных

005535729

На правах рукописи

Балашов Иван Васильевич

Разработка архитектуры, алгоритмов и программного обеспечения для создания картографических интерфейсов, обеспечивающих распределенную обработку и анализ спутниковых данных

Специальность 05.13.11 — Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

Автореферат

диссертации на соискание ученой степени кандидата технических наук

2 4 ОКГ Ш

Москва 2013

005535729

Работа выполнена в федеральном государственном бюджетном учреждении науки Институте космических исследований Российской академии наук (ИКИ РАН)

Научный руководитель: Евгений Аркадьевич Лупян

Защита состоится 27 ноября 2013 года в 12 ч на заседании диссертационного совета Д 212.211.01 в ФГБОУ ВПО «Рязанский государственный радиотехнический университет» по адресу:

390005, г. Рязань, ул. Гагарина, д. 59/1.

С диссертацией можно ознакомиться в библиотеке ФГБОУ ВПО «Рязанский государственный радиотехнический университет».

Автореферат разослан 17 октября 2013 года.

доктор технических наук, заместитель директора ИКИ РАН, заведующий отделом.

Официальные оппоненты: Копылов Василий Николаевич

доктор технических наук, директор ВНИИГМИ-МЦЦ

Побаруев Вячеслав Иванович

кандидат технических наук,

в.н.с. НИИ обработки аэрокосмических

изображений РГРТУ (НИИ "Фотон")

Ведущая организация: Научный центр

оперативного Корпорации

мониторинга Земли Корпорации «Российские космические системы» (НЦ ОМЗ), г. Москва

Ученый секретарь диссертационного совета Д 212.211.01 кандидат технических наук, доцент

В.Н. Пржегорлинский

Общая характеристика работы

Актуальность диссертации и степень разработанности темы.

Применение спутниковых данных дистанционного зондирования Земли (ДЗЗ) и продуктов на их основе охватывает все большее количество направлений деятельности человека в настоящее время. Для того, чтобы данные и технологии ДЗЗ можно было бы эффективно использовать для решения как научных, так и прикладных задач, необходимо обеспечивать возможность оперативного доступа пользователей к спутниковой информации и результатам обработки материалов съемки. При этом, в последние годы все острее встает задача необходимости предоставления пользователям не только наборов данных, но и эффективных инструментов для их анализа. Работы в этой области активно выполняются в ведущих организациях отрасли, в частности, под руководством В.В. Асмуса, А.Е. Кузнецова, А.И. Алексанина, В.Н. Копылова, П.А.Лошкарева, H.H. Добрецова и др.

Существующие в настоящее время программные системы доступа к спутниковым данным, как правило, либо являются узкоспециализированными для решения конкретных задач, либо, не позволяют эффективно организовывать совместную работу с существующими большими архивами спутниковых данных и различной информацией. В такой ситуации создание специализированных информационных систем доступа к спутниковым данным является долгим и дорогостоящим процессом. Представленная работа посвящена разработке программных инструментов для создания нового вида систем картографических интерфейсов, обеспечивающих удаленный доступ к распределенным архивам спутниковых данных, позволяющих проводить их оперативный и интерактивный анализ в целях различных научных и прикладных задач.

Цель диссертации заключается в разработке базовой программной инфраструктуры и алгоритмов для создания нового вида систем картографических интерфейсов, обеспечивающих удаленную работу с распределенными архивами спутниковых данных и продуктами их обработки. Такие алгоритмы и программная инфраструктура позволяют создавать и вести распределенные архивы спутниковых данных, а также

быстро создавать картографические интерфейсы к ним для решения конкретных научных и прикладных задач.

Для достижения поставленной цели решаются следующие основные задачи:

— оценка текущих тенденций и возможностей в области разработки новых архитектур, алгоритмов и базовой программной инфраструктуры для создания распределенных сверхбольших архивов спутниковых данных дистанционного зондирования и инструментов работы с ними;

— определение требований к распределенным сверхбольшим архивам данных дистанционного зондирования и инструментам работы с ними;

— создание новой схемы построения распределенных архивов результатов обработки материалов спутниковой съемки, позволяющих проводить распределенную автоматическую, интерактивную обработку и анализ хранящейся в них информации, в том числе, и «он-лайн» формирование и визуализацию информационных продуктов;

— разработка на основе предложенной схемы базовой программной инфраструктуры, позволяющей создавать и вести распределенные, в том числе и сверхбольшие архивы результатов обработки спутниковых данных;

-разработка архитектуры построения картографических интерфейсов, обеспечивающих распределенную обработку, анализ спутниковых данных и результатов их обработки;

— создание базовой программной инфраструктуры, позволяющей создавать блоки, обеспечивающие динамическое предоставление и визуализацию результатов обработки спутниковых данных в различных системах дистанционного мониторинга;

— создание на основе базовой программной инфраструктуры методик разработки картографических интерфейсов, обеспечивающих распределенную обработку и анализ спутниковых данных и результатов их обработки.

Научная новизна работы заключается в том, что в работе впервые предложен комплексный подход к организации распределенных архивов спутниковых данных и результатов их обработки, совместно с системами удаленного доступа и анализа информации. На основе предложенного подхода создана базовая программная инфраструктура, позволяющая

реализовывать принципиально новые, эффективные системы работы с данными дистанционного наблюдения Земли.

Основные положения, выносимые на защиту:

- архитектура построения распределенных архивов результатов обработки. спутниковых данных, обеспечивающая возможность эффективного динамического "он-лайн" формирования и визуализации различных информационных продуктов по запросам пользователей;

- алгоритмы и методики ведения распределенных сверхбольших архивов результатов обработки спутниковых данных на основе предложенной архитектуры;

- базовая программная инфраструктура для построения интерфейсов, обеспечивающих визуализацию и анализ пространственных данных в распределенных системах дистанционного мониторинга;

- методики создания на основе разработанной базовой программной инфраструктуры картографических интерфейсов для распределенной работы с данными в специализированных распределенных системах дистанционного мониторинга.

Практическая ценность работы заключается в том, что на основе разработанных в диссертационной работе алгоритмов, методик и базовой программной инфраструктуры, обеспечивающих возможность работы со сверхбольшими распределенными архивами спутниковых данных, была сформирована технология 0Е08М18, ориентированная на создание интерфейсов для распределенной работы со спутниковыми данными и результатами их обработки в системах дистанционного мониторинга. Данная технология позволила создать и ввести в эксплуатацию серию крупных специализированных информационных систем дистанционного мониторинга, в том числе:

- информационную систему дистанционного мониторинга Федерального агентства лесного хозяйства (ИСДМ "Рослесхоз");

- объединенную систему работы с данными центров приема Научно-исследовательский центр космической гидрометеорологии Федеральной службы по гидрометеорологии и охраны окружающей среды (ФГБУ "НИЦ "Планета");

- интерфейсы для распределенной работы с данными отраслевой системы мониторинга Федерального агентства по Рыболовству (ОСМ Росрыболовства);

- информационную систему "ВЕГА" (Российская академия наук), ориентированную на решение научных и прикладных задач, связанных с мониторингом состояния растительных биоресурсов на территории Северной Евразии.

Опыт успешной эксплуатации данных систем подтверждает практическую ценность предложенных в настоящей диссертации решений.

Апробация работы. Основные положения диссертации докладывались и обсуждались на международных и всероссийских конференциях: б-й Международной конференции "Космонавтика. Радиоэлектроника. Геоинформатика" (Рязань, 2013 г.); V-X Конференции молодых ученых «Фундаментальные и прикладные космические исследования (Москва, 20082013); 6-й-Ю-й всероссийской открытой ежегодной конференции "Современные проблемы дистанционного зондирования Земли из космоса" (Москва, 2008-2012); "Суперкомпьютерные системы и их применения" (SSA1 2010) (Белорусь, Минск, 2010); 30th Asian Conference on Remote Sensing. (Beijing. China, 2009); Международная конференция «Фундаментальные космические исследования: новейшие разработки в области геоэкологического мониторинга Причерноморского региона и перспективы их реализации». (Болгария, Солнечный берег, 2008). Всего было сделано 32 доклада.

Публикации. По результатам диссертационных исследований опубликовано 45 работ: 16 статей (12 статей в изданиях по списку ВАК, 4 - в сборниках трудов международных конференций и других изданиях) и 29 тезисов докладов на всероссийских конференциях.

Внедрение результатов работы. Диссертационная работа выполнена в ИКИ РАН в рамках: проектов РАН - тема "Мониторинг" (госрегистрация № 01.20.0.2.00164), проектов Миннауки (№07.514.11.4037, №14.515.11.0007, №14.515.11.0030, №14.515.11.0011), проектов РФФИ (гранты 13-07-12017, 13-07-12180, 13-05-41420-рго-а, 11-07-12025-офи-м-2011, 11-07-12028-офи-м-2011, 13-07-00513, 11-07-12025-офи-м, 13-07-12017- офи_м, 13-07-12116 офи_м). Результаты использовались при построении спутникового сервиса

"ВЕГА" (РАН), информационной системы дистанционного мониторинга Федерального агентства лесного хозяйства, отраслевой системы дистанционного мониторинга Федерального агентства по рыболовству, единой территориально-распределенной системы работы с данными ДЗЗ (Федеральное космическое агентство), объединенной системы работы с архивами данных ФГБУ НИЦ "Планета" (Федеральная служба по гидрометеорологии и мониторингу окружающей среды).

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы и трёх приложений. Основной текст содержит 141 страницу, 25 рисунков и 3 таблицы. Список литературы содержит 17 страниц и включает 107 наименований. В приложениях приведены копии свидетельств о государственной регистрации разработанных программ, копии актов о внедрениях и список публикаций основных результатов работы.

Основное содержание работы

В первой главе проведен обзор текущей ситуации в сфере работы с данными ДЗЗ.

В первом параграфе осуществлен обзор основных областей применения спутниковых систем ДЗЗ.

Второй параграф посвящен современным тенденциям в работе с данными дистанционного зондирования.

В третьем параграфе проанализированы современные системы, предоставляющие доступ к спутниковым данным, приводится их классификация, описание особенностей и областей применения. Рассмотрены типовые схемы работы со спутниковыми данными и продуктами, полученными на их основе с использованием таких систем. Проведен обзор решений, применяемых в настоящее время для создания систем доступа к данным.

Четвертый параграф посвящен анализу типового жизненного цикла спутниковых измерений и обзору требований по организации работы с данными в современных системах. В нем проведен обзор этапов получения исходных данных, первичной, базовой и тематической обработок, архивации, формирования информационных продуктов и предоставления информации.

В пятом параграфе сформулированы особенности и структура современных интерфейсов доступа к данным.

Шестой параграф посвящен обзору основных стандартов, применяемых в системах и интерфейсах для удаленной работы с геопространственными данными, выделяются особенности и ограничения их применения.

В заключении, на основании проведенных обзоров, сделан вывод о актуальности задачи разработки новых подходов к построению систем, обеспечивающих работу с данными дистанционного зондирования и намечаются основные возможные пути создания таких подходов.

Во второй главе рассмотрены вопросы построения распределенных архивов тематических и базовых продуктов обработки спутниковых данных, позволяющих проводить оперативный автоматический и интерактивный аначиз хранящейся в них информации и формирование производных информационных «он-лайн» продуктов для обеспечения работы картографических интерфейсов специализированных систем доступа к данным.

В первом параграфе сформулированы особенности спутниковых изображений, определены требования по организации архивов спутниковых данных и доступа к ним.

Во втором параграфе проведен анализ и выбор вариантов построения и форматов представления архивных материалов для обеспечения визуализации, автоматического и интерактивного анализа хранящейся информации.

В третьем параграфе разрабатываются архитектура и базовые программные решения для построения архивов результатов обработки спутниковых данных. Предложена схема применения разработанных программных и архитектурных решений для ведения локального архива, отображенная на рисунке 1. Для предложенной архитектуры и выбранных форматов оценены накладные расходы на хранение данных по сравнению с их исходным видом. Для этого, предложено использовать коэффициент

накладных расходов на хранение единицы данных:

где 5,/Г(.а - объем, необходимый для хранения единицы данных в новой схеме хранения, обеспечивающей оперативный доступ и интерактивный анализ данных, а5ЛШ(/.<ч, - объем, занимаемый единицей исходных данных.

Общая схема ведения архива

Подготовка данных из разных источников

Занесение файлов фрагментов в архив

Хранение данных

Предоставление доступа

Блок проверки данных и занесения информации в

Блок программного интерфейса доступа к данным

► Метаданные

базового разрешения

► Метаданные

/ Файлы 7

* фрагментов / данных /

Файловый архив

Файлы обзорного разрешения

V"

Рисунок 1. Обобщенная схема ведения архива выражается следующим образом:

где Ктт;е - степень сжатия исходных данных; N - количество групп с идентичным разрешением спектральных каналов, Ы'л - количество каналов в группе; £>,„,„„. - глубина значений пикселя, байт; и Н'шпе - размерность данных по ширине и высоте в пикселях, соответственно; 5,31/ - накладные расходы на хранение информации в файлах исходных данных. Здесь и далее, накладными расходами можно пренебречь, поскольку, даже при наименее эффективном варианте организации данных в СеоТШР они не превышают 23%. Необходимый объем для хранения единицы данных в предлагаемой схеме архива выражается следующим образом:

s,„„=t to ■ к„ ■ D,„tl„.e • • H'„„r„+)+ /=0

где К'"тЬ и K'/^f - степень сжатия данных базового и обзорного масштаба, соответственно, в архиве; lV'l¡mt и H'llmt - полученные после прореживания исходных изображений и преобразования проекции ширина и высота файлов группы разрешений N, соответственно; - накладные расходы при

хранении данных в формате GeoTIFF tiled архива.

Для оценки коэффициента потерь предлагаемой схемы хранения проведем расчет для хранения данных прибора OLI космического аппарата Landsat 8 от 2013-05-01 06:27:14. Исходные данные имеют две группы каналов: 10 мультиспектральных каналов разрешением 30 метров, и один панхроматический канал разрешением 15 метров. Размеры изображений для базовых и обзорных масштабов мультиспектральных каналов составляют 7901x7691 и 4966x2662, соответственно, аналогично, для панхроматического - 15801x15381 и 9933x5323 пикселей. По проведенным оценкам К„,„„., = 2, K"„Zi,= 2.2 и Kf'f = 2.7, что говорит о применении более эффективного алгоритма сжатия данных внутри файлов GeoTIFF, применяемое в новой схеме хранения. По приведенным выше формулам получим оценочный коэффициент:

К„ = 1.

Таким образом, предлагаемый вариант организации данных, обеспечивающий возможность оперативной обработки и интерактивного анализа, позволяет хранить данные без дополнительных расходов дискового пространства по сравнению с их исходным видом.

В четвертом параграфе сформулированы особенности построения распределенных архивов спутниковых данных и приведена разработанная базовая программная инфраструктура для его ведения и поддержки.

Пятый параграф посвящен разработке алгоритмов и методик применения созданного программного обеспечения для ведения распределенных архивов и осуществления доступа к его данным. Предложена схема взаимодействия программных блоков при ведении

распределенного архива. Общая схема взаимодействия приведена на рисунке 2. Также в пятом параграфе предлагается подход к оптимизации производительности архивов данных.

В заключении сделан обзор основных полученных в главе результатов.

сгоп, Система мониторинга процессов РМ5

Узел распределенного архива

~.....Г.......

Поступление спутниковых данных

Каталог метаданных локального архива

Модули доступа

Импорт метаданных каталога

Экспорт метаданных каталога

Обмен данными

с другими узлами система

Подготовка продуктов

Пополнение архива

Рисунок 2. Общая схема взаимодействия блоков программного обеспечения

архива узла

В третьей главе рассмотрены алгоритмы, архитектура и программная инфраструктура для построения сложных специализированных интерфейсов, обеспечивающих распределенную работу с пространственными данными в различных системах дистанционного мониторинга (технология СЕОБАНЯ). Данная технология позволяет быстро разрабатывать интерфейсы, обеспечивающие возможность распределенной обработки различных информационных продуктов, получаемых на основе спутниковых данных, а также различной сопутствующей информацией, использующейся в различных системах дистанционного мониторинга.

В первом параграфе сформулированы основные задачи, которые должна решать технология, ориентированная на создание интерфейсов работы с данными системах дистанционного мониторинга.

Во втором параграфе предложена архитектура, алгоритмы и рассмотрены основные функциональные блоки разработанной технологии. Описаны базовые уровни взаимодействия и стандарты протоколов обмена данными между ними. Схема внутренней архитектуры интерфейса и его взаимодействия с активным сервисом приведена на рисунке 3.

В третьем параграфе приведены особенности реализации базового программного обеспечения, которые составляют основу технологии СЕОБМИ.

В четвертом параграфе разрабатывается организационная структура интерфейса пользователя, созданного с использованием базового программного обеспечения для построения систем доступа к спутниковым данным.

\Л/еЬ-интерфейс

Временные шкалы Управление слоями Работа с проекциями

Работа с геоданными Формирование отчетов Контроль авторизации

Рисунок 3. Схема внутренней архитектуры интерфейса в 0Е08М15.

В пятом параграфе рассмотрены вопросы применения технологии СЕ08М18. В нем, в частности, описываются методики использования технологии при разработке различных специализированных интерфейсов.

Шестой параграф посвящен вопросам разработки методики и программного обеспечения оптимизации картографических интерфейсов, архивов и активных сервисов. Задача оптимизации производительности, в общем случае, является многокритериальной и многомерной. Например, оптимизация может проводиться по минимизации времени выполнения операций, ресурсоемкости алгоритмов, по их сложности, стоимости

необходимого оборудования и т.д. В частном случае востребованной является задача оптимизации по времени с рациональной фиксацией значений остальных критериев. Оптимизация по времени формирования карты, в свою очередь, может проводиться по различным параметрам, таким как:

- разрешение карты;

- размеры карты;

- количество одновременных запросов (нагрузка);

и т.д.

Таким образом, для каждого информационного продукта I] определяется функция оптимальности отражающая вклад функций оптимальности для каждого измерения с весовыми коэффициентами:

/=•,=*,» ■,»)+*,. •/;,(*,■)+••■+*,.» -/Ж, )=!>,, -/Д*Л

где /Д.г,у) - функция оптимальности отдельного параметра хч. В частном случае, данная функция определяется дискретным набором значений измерений времени выполнения операции построения карты информационного продукта. На основе приведенной методики проведена оценка частных функций оптимальности с использованием разработанного программного обеспечения и, по возможности, их минимизация за счет операций, наиболее затратных по времени выполнения и занимаемым ресурсам операционной системы:

- чтение данных;

- формирование изображения и операции с ним;

- операции взаимодействия ядра и плагина для передачи данных;

- операции с изображениями на уровне ядра;

- операции по запуску программного кода.

Результаты оценок /Д.г,,) для различных вариантов операции изменения проекции для данных архива высокого разрешения в формате ОеоТ1РР с произвольной фрагментацией приведены на рисунке 4.

На приведенном графике по оси X - диапазоны масштабов обзорных изображений исходных данных (метры на пиксель) для формирования карт. По оси У - время формирования соответствующей карты, сек. Приведены 4

ряда значений для четырех вариантов исходных данных: в проекции иТМ и широтодолготной, с дополнительной пирамидой разрешений и без нее. Значения получены для операции формирования карты в широтодолготной проекции. Выраженные изменения значений измеренного времени на графике указали на необходимость введения некратных обзорных масштабов в дополнение к базовой пирамиде разрешений для более эффективного формирования карт в проекциях, отличных от проекции хранения данных.

Преобразование в *proj*latlong «горит», byte, без пирамиды -я— +proj=utm, byte, с пирамидой

—w- +proj=iat!ong, byte, без пирамиды ■ +proj-iallong, byle, с пирамидой

Рисунок 4. Результаты замеров времени формирования карт

В заключении третьей главы сделан обзор основных полученных результатов.

В главе 4 проведен обзор опыта применения разработанных в рамках диссертации архитектур, алгоритмов, программной инфраструктуры на примере построения интерфейсов работы с данным в ряде научных проектов и при создании интерфейсов работы с данными в различных спег/иализированных системах дистанционного мониторинга.

В первом параграфе обсужден опыт применения разработанных технологий при построении картографического -\уеЬ-интерфейса работы с ИСДМ "Рослесхоз". Этот интерфейс обеспечивает работу с различными типами пространственных данных, использующихся в системе (спутниковыми изображениями различного пространственного разрешения, данными о детектированных активных пожарах, информацией, поступающей

из региональных служб, метеоданными, данными грозопеленгации, информацией о состоянии и повреждении лесного покрова, различной картографической, в том числе и специализированной информацией, данными о местоположение техники, использующейся при тушении пожаров и т.д.).

Во втором параграфе приведен пример использования разработанных методов и базового программного обеспечения при создании спутникового сервиса "See The Sea" - информационной системы, ориентированной на работу с данными спутниковых наблюдений для решения междисциплинарных задач исследования Мирового океана.

В третьем параграфе проведен обзор опыта применения разработанных методов и базового программного обеспечения при создании информационного сервиса мониторинга вулканов VolSatView. Основной задачей данного сервиса является обеспечение специалистов-вулканологов оперативными спутниковыми данными и различными информационньми продуктами, получаемыми на основе их обработки для мониторинга вулканической активности Камчатки и Курил.

В параграфе 4 описан опыт создания макета системы доступа к результатам обработки спутниковых данных с использованием суперкомпьютеров в рамках проекта СКИФ-ГРИД. Данный макет предназначен для оценки возможностей параллельной и распределенной динамической обработки данных с применением возможностей суперкомпьютеров для динамического формирования различных информационных продуктов.

В пятом параграфе, приведен перечень основных информационных систем и сервисов, разработанных с применением созданного в кандидатской диссертации базового программного обеспечения, методик и технологии GEOSMIS. Отмечено, что опыт использования разработанных в работе базового программного обеспечения и технологии GEOSMIS показал их надежность, легкость масштабирования, удобство в поддержке и то, что они позволяют создавать достаточно прозрачные и удобные в работе системы.

В заключении, подведен итог полученным в четвертой главе результатам.

Основные результаты работы

1. Предложена архитектура построения распределенных архивов результатов обработки спутниковых данных, обеспечивающая возможность эффективного динамического "он-лайн" формирования и визуализации различных информационных продуктов по запросам пользователей.

2. Разработаны алгоритмы и методики ведения распределенных сверхбольших архивов результатов обработки спутниковых данных на основе предложенной архитектуры.

3. Разработана базовая программная инфраструктура для построения интерфейсов, обеспечивающих визуализацию и анализ пространственных данных в распределенных системах дистанционного мониторинга.

4. Предложены методики создания картографических интерфейсов для распределенной работы с данными в специализированных распределенных системах дистанционного мониторинга на основе разработанной базовой программной инфраструктуры.

Публикации по теме диссертации

По результатам диссертационных исследований опубликовано 45 работ (в том числе 12 статей по списку изданий ВАК). Основное содержание диссертации опубликовано в следующих работах.

Статьи в изданиях по списку ВАК

1. Балашов И.В., Бурцев М.А., Ефремов В.Ю. и др. Построение архивов результатов обработки спутниковых данных для систем динамического формирования производных информационных продуктов // Современные проблемы дистанционного зондирования Земли из космоса, 2008. Выпуск 5. Т. I. С.26-32.

2. Балашов И.В., Ефремов В.Ю.. Мазуров-мл. A.A. и др. Особенности организации контроля и управления распределенных систем дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса, 2011. Т.8. № 3. С.161-166.

3. Балашов КВ., Халикова O.A., Бурцев М.А. и др. Организация автоматического получения наборов информационных продуктов из центров архивации и распространения спутниковых и метеоданных // Современные проблемы дистанционного зондирования Земли из космоса, 2013. Т.10. № 3. С.9-20.

4. Балашов И.В., Ефремов В.Ю., Лупян Е.А. и др. Построение систем, обеспечивающих динамическое формирование комплексных информационных продуктов на основе данных дистанционного зондирования // Современные проблемы дистанционного зондирования Земли из космоса, 2009. Выпуск 6. Т. II. С.513-520.

5. Балашов И.В., Ефремов В.Ю., Мазуров-мл. A.A. и др. Организация контроля за функционированием распределенных систем сбора, обработки и распространения спутниковых данных // Современные проблемы дистанционного зондирования Земли из космоса, 2010. Т.7. № 4. С.34-41.

6. Уваров И.А., Халикова O.A., Балашов И.В. и др. Организация работы с метеорологической информацией в информационных системах дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса, 2013. Т.10. № 2. С.30-45.

7. Хвостиков С.А., Балашов И.В., Барталев С.А. и др. Региональная оптимизация параметров прогнозной модели природных пожаров и оперативное моделирование динамики их развития с использованием данных спутниковых наблюдений // Современные проблемы дистанционного зондирования Земли из космоса, 2012. Т. 9. № 3. С.91-100.

8. Лупян Е.А., Балашов И.В., Бурцев М.А. и др. Возможности работы с долговременным архивом данных спутников LANDSAT по территории России и приграничных стран // Современные проблемы дистанционного зондирования Земли из космоса, 2012. Т. 9. № 3. С.307-315.

9. Бурцев М.А., Ефремов В.Ю., Балашов И.В. и др. Система доступа к данным Европейского, Западно-Сибирского и Дальневосточного центров приема Росгидромета // Современные проблемы дистанционного зондирования Земли из космоса, 2011. Т.8. № 3. С.113-119.

10. Флитман Е.В., Балашов И.В., Бурцев М.А. и др. Построение системы работы с данными прибора MODIS для решения задач мониторинга лесных пожаров и их последствий // Современные проблемы дистанционного зондирования Земли из космоса, 2011. Т.8. № 1. С. 127-138.

11. Толпин В.А., Балашов И.В., Ефремов В.Ю. и др. Создание интерфейсов для работы с данными современных систем дистанционного мониторинга (система GEOSMIS) // Современные проблемы дистанционного зондирования Земли из космоса, 2011. Т.8. № 3. С.93-108.

12. Ефремов В.Ю., Балашов И.В., Котельников Р.В. и др. Объединенный картографический интерфейс для работы с данными ИСДМ-Рослесхоз //

Современные проблемы дистанционного зондирования Земли из космоса, 2011. Т.8. № 3. С.129-139.

Статьи в других изданиях

1. Балашов И.В., Бурцев М.А., Галеев А.А. и др. Разработка эффективных высокопроизводительных решений для создания систем динамической обработки спутниковых данных и результатов их анализа II Третья международная научная конференция "Суперкомпьютерные системы и их применения" (SSA' 2010). 25-27 мая 2010. Минск. Сборник докладов, ОИПИ НАН Белоруси, 2010. Т. 1. С.30-34.

2. Balashov I.V., EfremovV. Ум., Loupian Е.А. et al. Development of Remote Sensing Information Data and Derived Products Access Systems // Proceedings of 30th Asian Conference on Remote Sensing. Beijing. China. 18th-23rd October., 2009.

3. Балашов И.В., Ефремов В.Ю., Лупян Е.А. и др. Построение систем, обеспечивающих динамическое формирование комплексных информационных продуктов на основе данных дистанционного зондирования // Международная конференция «Фундаментальные космические исследования: новейшие разработки в области геоэкологического мониторинга Причерноморского региона и перспективы их реализации». 21-28 сентября 2008 г. Солнечный берег. Болгария. Сб. статей., 2008. С.43-46.

4. Savorsky V.P., Loupian Е.А., Balashov I. V. et al. Distributed Infrastructure Enabling Effective Integration of Earth Observation Information Resources for Collective Solution of Archiving, Searching, Processing and EO Data Analyzing Tasks IIISPRS Archives, 2012. V.XXXIX-B4. P.237-242.

Свидетельства о регистрации программ

1. Лупян Е.А., Флитман Е.В, Балашов И.В. и др. "Информационная система дистанционного мониторинга Федерального агентства лесного хозяйства (ИСДМ-Рослесхоз) // Свидетельство о государственной регистрации программы для ЭВМ №2013617359 от 09.08.2013 в реестре программ для ЭВМ;

2. Балашов И.В., Толпин В.А., Ефремов В.Ю., Прошин А.А. "GeoSmis" // Свидетельство о государственной регистрации №2012614570 от 23.05.2012 в Реестре программ для ЭВМ;

3. Балашов И.В., Матвеев A.M., Прошин А.А., Толпин В.А. "СКИФ-АРХИВ" // Свидетельство о государственной регистрации №2011615694 от 23.05.2011 в Реестре программ для ЭВМ.

Балашов Иван Васильевич

Разработка архитектуры, алгоритмов и программного обеспечения для создания картографических интерфейсов, обеспечивающих распределенную обработку и анализ спутниковых данных

Автореферат

диссертации на соискание ученой степени кандидата технических наук

Подписано в печать: 16.10.2013 Объем: 1,0 п.л. Тираж: 100 экз. Заказ № 162 Отпечатано в типографии «Реглет» 119526, г. Москва, пр-т Вернадского, д. 39 (495) 363-78-90; www.reglet.ru

Федеральное государственное бюджетное учреждение науки Институт космических исследований Российской академии наук

Разработка архитектуры, алгоритмов и программного обеспечения для создания картографических интерфейсов, обеспечивающих распределенную обработку и анализ спутниковых данных

Специальность 05.13.11 - Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

На правах рукописи

Балашов Иван Васильевич

Диссертация на соискание ученой степени кандидата технических наук

Научный руководитель д.т.н. Е.А. Лупян

Москва 2013

.»ц

Оглавление

Введение...................................................................................................................4

1. Современные возможности и тенденции в развитии методов построения архивов спутниковых данных и инструментов для работы с ними................................................................................................................12

1.1. Основные области применения спутниковых систем ДЗЗ.........................13

1.2. Тенденции работы с данными ДЗЗ...............................................................15

1.3. Современные системы доступа к спутниковым данным...........................20

1.4. Требования к организации работы с данными в современных системах.25

1.5. Структура и особенности интерфейсов для работы с данными ДЗЗ........31

1.6. Стандарты работы с геопространственными данными..............................33

1.7. Заключение......................................................................................................41

2. Построение архивов результатов обработки спутниковых данных, обеспечивающих оперативный автоматический и интерактивный анализ информации.............................................................................................43

2.1. Основные требования к архивам данных.....................................................44

2.2. Анализ вариантов построения архивов, обеспечивающих возможность быстрого выбора данных......................................................................................47

2.3. Разработка базовой архитектуры программных решений для построения архивов результатов обработки спутниковых данных......................................55

2.4. Особенности построения распределенных архивов спутниковых данных.....................................................................................................................61

2.5. Методы работы с распределенными архивами...........................................66

2.6. Заключение......................................................................................................73

3. Создание интерфейсов для работы с данными современных систем дистанционного мониторинга (технология вЕОвМ^)...............................75

3.1. Основные задачи технологии СЕ08М18.....................................................76

3.2. Принципы построения технологии 0Е08М18............................................81

3.3. Базовое программное обеспечение технологии 0Е08М18........................87

3.4. Организационная структура интерфейса пользователя.............................96

3.5. Методы создания систем доступа к данным по технологии GEOSMIS.lOO

3.6. Оптимизация работы картографических интерфейсов............................106

3.7. Заключение....................................................................................................112

4. Использование разработанных методов и базового программного обеспечения для построения интерфейсов в специализированных информационных системах и научных проектах.......................................113

4.1. Построение картографических интерфейсов для удаленной работы с данными в Информационной системе дистанционного мониторинга лесных пожаров Федерального агентства лесного хозяйства (ИСДМ "Рослесхоз").114

4.2. Использование разработанных методов и базового программного обеспечения при создании система Sea the Sea................................................121

4.3. Создание системы дистанционного мониторинга вулканов с использованием средств и методов ведения архивов и технологии GEOSMIS..............................................................................................................125

4.4. Разработка макета системы доступа к результатам обработки спутниковых данных с использованием суперкомпьютеров на основе технологии GEOSMIS, базового ПО и методов построения архивов............129

4.5. Краткий обзор систем, созданных на основе разработанных базового ПО, методов и технологии GEOSMIS...............................................................133

4.6. Заключение....................................................................................................139

Заключение.........................................................................................................141

Список литературы...........................................................................................142

Приложение 1. Свидетельства о госрегистрацин программ....................158

Приложение 2. Акты об использовании результатов диссертации........161

Приложение 3. Список публикаций основных результатов работы......166

Введение

Применение спутниковых данных дистанционного зондирования Земли (ДЗЗ) и продуктов на их основе охватывает все большее количество направлений деятельности человека в настоящее время. Для того, чтобы данные и технологии ДЗЗ можно было бы эффективно использовать для решения как научных, так и прикладных задач, необходимо обеспечивать возможность оперативного доступа пользователей к спутниковой информации и результатам обработки материалов съемки. При этом, в последние годы все острее встает задача необходимости предоставления пользователям не только наборов данных, но и эффективных инструментов для их анализа. Работы в этой области активно выполняются в ведущих организациях отрасли, в частности, под руководством В.В. Асмуса, А.Е. Кузнецова, А.И. Алексанина, В.Н. Копылова, П.А.Лошкарева, H.H. Добрецова и др.

Существующие в настоящее время программные системы доступа к спутниковым данным, как правило, либо являются узкоспециализированными для решения конкретных задач, либо, не позволяют эффективно организовывать совместную работу с существующими большими архивами спутниковых данных и различной информацией. В такой ситуации создание специализированных информационных систем доступа к спутниковым данным является долгим и дорогостоящим процессом. Представленная работа посвящена разработке программных инструментов для создания нового вида систем картографических интерфейсов, обеспечивающих удаленный доступ к распределенным архивам спутниковых данных, позволяющих проводить их оперативный и интерактивный анализ в целях различных научных и прикладных задач.

Цель диссертации заключается в разработке базовой программной инфраструктуры и алгоритмов для создания нового вида систем

картографических интерфейсов, обеспечивающих удаленную работу с распределенными архивами спутниковых данных и продуктами их обработки. Такие алгоритмы и программная инфраструктура позволяют создавать и вести распределенные архивы спутниковых данных, а также быстро создавать картографические интерфейсы к ним для решения конкретных научных и прикладных задач.

Для достижения поставленной цели решаются следующие основные задачи:

- оценка текущих тенденций и возможностей в области разработки новых архитектур, алгоритмов и базовой программной инфраструктуры для создания распределенных сверхбольших архивов спутниковых данных дистанционного зондирования и инструментов работы с ними;

- определение требований к распределенным сверхбольшим архивам данных дистанционного зондирования и инструментам работы с ними;

- создание новой схемы построения распределенных архивов результатов обработки материалов спутниковой съемки, позволяющих проводить распределенную автоматическую, интерактивную обработку и анализ хранящейся в них информации, в том числе, и «он-лайн» формирование и визуализацию информационных продуктов;

- разработка на основе предложенной схемы базовой программной инфраструктуры, позволяющей создавать и вести распределенные, в том числе и сверхбольшие архивы результатов обработки спутниковых данных;

- разработка архитектуры построения картографических интерфейсов, обеспечивающих распределенную обработку, анализ спутниковых данных и результатов их обработки;

- создание базовой программной инфраструктуры, позволяющей создавать блоки, обеспечивающие динамическое предоставление и визуализацию результатов обработки спутниковых данных в различных системах дистанционного мониторинга;

- создание на основе базовой программной инфраструктуры методик разработки картографических интерфейсов, обеспечивающих распределенную обработку и анализ спутниковых данных и результатов их обработки.

Научная новизна работы заключается в том, что в работе впервые предложен комплексный подход к организации распределенных архивов спутниковых данных и результатов их обработки, совместно с системами удаленного доступа и анализа информации. На основе предложенного подхода создана базовая программная инфраструктура, позволяющая реализовывать принципиально новые, эффективные системы работы с данными дистанционного наблюдения Земли.

Основные положения, выносимые на защиту:

- архитектура построения распределенных архивов результатов обработки спутниковых данных, обеспечивающая возможность эффективного динамического "он-лайн" формирования и визуализации различных информационных продуктов по запросам пользователей;

- алгоритмы и методики ведения распределенных сверхбольших архивов результатов обработки спутниковых данных на основе предложенной архитектуры;

- базовая программная инфраструктура для построения интерфейсов, обеспечивающих визуализацию и анализ пространственных данных в распределенных системах дистанционного мониторинга;

- методики создания на основе разработанной базовой программной инфраструктуры картографических интерфейсов для распределенной работы с данными в специализированных распределенных системах дистанционного мониторинга.

Все основные результаты получены автором лично.

Практическая ценность работы заключается в том, что на основе разработанных в диссертационной работе алгоритмов, методик и базовой

программной инфраструктуры, обеспечивающих возможность работы со сверхбольшими распределенными архивами спутниковых данных, была сформирована технология ОЕОБМК, ориентированная на создание интерфейсов для распределенной работы со спутниковыми данными и результатами их обработки в системах дистанционного мониторинга. Данная технология позволила создать и ввести в эксплуатацию серию крупных специализированных информационных систем дистанционного мониторинга, в том числе:

- информационную систему дистанционного мониторинга Федерального агентства лесного хозяйства (ИСДМ "Рослесхоз");

- объединенную систему работы с данными центров приема Научно-исследовательский центр космической гидрометеорологии Федеральной службы по гидрометеорологии и охраны окружающей среды (ФГБУ "НИЦ "Планета");

- интерфейсы для распределенной работы с данными отраслевой системы мониторинга Федерального агентства по Рыболовству (ОСМ Росрыболовства);

- информационную систему "ВЕГА" (Российская академия наук), ориентированную на решение научных и прикладных задач, связанных с мониторингом состояния растительных биоресурсов на территории Северной Евразии.

Опыт успешной эксплуатации данных систем подтверждает практическую ценность предложенных в настоящей диссертации решений.

Апробация работы. Основные положения диссертации докладывались и обсуждались на международных и всероссийских конференциях: 6-й Международной конференции "Космонавтика. Радиоэлектроника. Геоинформатика" (Рязань, 2013 г.); У-Х Конференции молодых ученых «Фундаментальные и прикладные космические исследования (Москва, 20082013); 6-й-Ю-й всероссийской открытой ежегодной конференции

"Современные проблемы дистанционного зондирования Земли из космоса" (Москва, 2008-2012); "Суперкомпыотерные системы и их применения" (SSA1 2010) (Белорусь, Минск, 2010); 30th Asian Conference on Remote Sensing. (Beijing. China, 2009); Международная конференция «Фундаментальные космические исследования: новейшие разработки в области геоэкологического мониторинга Причерноморского региона и перспективы их реализации». (Болгария, Солнечный берег, 2008). Всего было сделано 32 доклада.

Публикации. По результатам диссертационных исследований опубликовано 45 работ: 16 статей (12 статей в изданиях по списку ВАК, 4 - в сборниках трудов международных конференций и других изданиях) и 29 тезисов докладов на всероссийских конференциях.

Внедрение результатов работы. Диссертационная работа выполнена в ИКИ РАН в рамках: проектов РАН - тема "Мониторинг" (госрегистрация № 01.20.0.2.00164), проектов Миннауки (№07.514.11.4037, №14.515.11.0007, №14.515.11.0030, №14.515.11.0011), проектов РФФИ (гранты 13-07-12017, 13-07-12180, 13-05-41420-рго-а, 11-07-12025-офи-м-2011, 11-07-12028-офи-м-2011, 13-07-00513, 11-07-12025-офи-м, 13-07-12017- офи_м, 13-07-12116 офи_м). Результаты использовались при построении спутникового сервиса "ВЕГА" (РАН), информационной системы дистанционного мониторинга Федерального агентства лесного хозяйства, отраслевой системы дистанционного мониторинга Федерального агентства по рыболовству, единой территориально-распределенной системы работы с данными ДЗЗ (Федеральное космическое агентство), объединенной системы работы с архивами данных ФГБУ НИЦ "Планета" (Федеральная служба по гидрометеорологии и мониторингу окружающей среды).

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложений. Основной текст содержит 141 страницу, 25 рисунков и 3 таблицы. Список литературы

содержит 17 страниц и включает 107 наименований. В приложениях приведены копии свидетельств о государственной регистрации разработанных программ, копии актов о внедрениях и список основных публикаций по результатам работы.

В первой главе определяется задача разработки базовой архитектур программной инфраструктуры и алгоритмов для создания картографических интерфейсов, обеспечивающих работу с распределенными архивами спутниковых данных и результатов их обработки. Для этого проводится обзор предметной области задачи: делается обзор основных источников, областей применения спутниковых данных ДЗЗ и тенденций в работе с ними; проводится классификация действующих систем доступа к спутниковым данным; проводится обзор основных вопросов, возникающих при организации работы с данными ДЗЗ в современных системах. В заключение, на основе полученных данных, формулируются основные требования системам ведения архивов результатов обработки спутниковых данных и к инструментарию необходимому для работы с данными.

Вторая глава посвящена вопросам построения распределенных активных архивов результатов обработки спутниковых данных, позволяющих оперативный автоматический и интерактивный анализ хранящейся в них информации и формирование производных информационных продуктов «на лету». Для этого определяются требования к таким архивам, производится анализ вариантов построения архивов, структуры и форматов хранения данных. Поднимаются вопросы исследования и оптимизации производительности архивов при работе с активными сервисами. В заключение, описываются методы ведения и базовое программное обеспечение распределенных архивов спутниковых данных.

Вопросам создания картографических интерфейсов и сервисов для работы с данными распределенных архивов (технологии 0Е08М18) посвящена третья глава. В ней формулируются задачи, стоящие перед

технологией, определяются требования к интерфейсам. Описывается предлагаемая архитектура технологии GEOSMIS и систем, строящихся на ее основе. Проводится обзор стандартов доступа к данным и построения картографических интерфейсов. Приводится обоснование выбора технологических решений. Далее, проводится описание созданного базового программного обеспечения подсистем. После этого, описывается методика построения картографических интерфейсов информационных систем спутникового мониторинга с использованием разработанного программного обеспечения. Также, поднимаются вопросы оптимизации производительности созданных решений. В заключение главы подводятся основные итоги работ по созданию базового программного обеспечения картографических интерфейсов.

Глава 4 содержит перечень и краткое описание основных систем и проектов, реализованных с применением разработанных методов и программного обеспечения для построения интерфейсов и инструментов работы с данными в специализированных информационных системах и научных проектах. Более подробно рассмотрены системы, наиболее интересные с точки зрения разнообразия реализованных инструментов работы с данными:

- информационная система дистанционного мониторинга лесных пожаров Федерального агентства лесного хозяйства Российской федерации (ИСДМ «Рослесхоз»);

- спутниковый сервис «See the Sea» ориентированный на решения задач мониторинга и исследования процессов на морской поверхности;

- спутниковый сервис "VolSatView" ориентированный на решение задач дистанционного мониторинга вулканической активности Камчатки и Курил.

В главе также обсуждаются вопросы использования суперкомпыотерных технологий при организации систем работы со спутниковыми данным