автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Система анализа и обработки территориально распределенной гидрометеорологической информации, получаемой на основе космического мониторинга Земли

На правах рукописи

У

БУРЦЕВ Михаил Александрович

СИСТЕМА АНАЛИЗА И ОБРАБОТКИ ТЕРРИТОРИАЛЬНО РАСПРЕДЕЛЕННОЙ ГИДРОМЕТЕОРОЛОГИЧЕСКОЙ ИНФОРМАЦИИ, ПОЛУЧАЕМОЙ НА ОСНОВЕ КОСМИЧЕСКОГО МОНИТОРИНГА ЗЕМЛИ

Специальность 05.13.01 - Системный анализ, управление и обработка информации (технические системы)

31 ОКТ 2013

Автореферат

диссертации на соискание ученой степени кандидата технических наук

Рязань 2013

005536008

005536008

Работа выполнена в Институте космических исследований Российской академии наук (ИКИ РАН)

Научный руководитель: Лупян Евгений Аркадьевич

доктор технических наук, заместитель директора ИКИ РАН

Официальные оппоненты: Черный Игорь Владимирович

доктор технических наук, заместитель директора Научно-технологического центра «Космонит» ОАО «Российские космические системы», г. Москва

Смирнов Михаил Тимофеевич

кандидат физико-математических наук, ведущий научный сотрудник Фрязинского филиала Института радиотехники и электроники им. В.А. Котельникова Российской академии наук

Ведущая организация: Всероссийский НИИ гидрометеорологической

информации - Мировой центр данных, г. Обнинск

Защита состоится 4 декабря 2013 года в 14 ч на заседании диссертационного совета Д 212.211.01 в Рязанском государственном радиотехническом университете по адресу: 390005, г. Рязань, ул. Гагарина, д. 59/1.

С диссертацией можно ознакомиться в библиотеке Рязанского государственного радиотехнического университета.

Автореферат разослан 24 октября 2013 года.

Ученый секретарь диссертационного совета Д 212.211.01

канд. техн. наук, доцент Пржегорлинский В.Н.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность диссертации и степень разработанности темы

Одним из основных инструментов для решения задач гидрометеорологического мониторинга и мониторинга опасных явлений являются данные дистанционного зондирования Земли, получаемые с космических аппаратов, и информационные продукты тематической обработки. В Росгидромете для получения такой информации функционирует распределённая сеть центров приёма и обработки данных, находящаяся в ведении Научно-исследовательского центра космической гидрометеорологии (ФГБУ «НИЦ «Планета»). Они обеспечивают покрытие спутниковыми данными всей территории России. На сегодняшний день объёмы принимаемых данных и производимой информационной продукции в этих центрах очень велики и постоянно растут. Вопросам, связанным с созданием систем получения и предоставления пользователям такой информационной продукции, посвящено достаточно большое число работ (Е.А. Лупян, В.В. Асмус, O.E. Милехин, В.В. Еремеев, Саворский В.П., Лошкарёв П.А., Копылов В.Н., Алексанин А.И., Куссуль H.H. и др.)

Для эффективного использования гидрометеорологической информации необходим унифицированный подход ко всем этапам обработки спутниковых данных, начиная от их приёма до предоставления конечному потребителю выходных тематических продуктов. Необходимо также обеспечить возможность «прозрачной» и лёгкой работы с данными всех центров, вплоть до возможности проведения их экспресс-анализа. К сожалению, до недавнего времени в каждом центре использовались свои специфичные механизмы построения архивов и предоставления к ним доступа, что серьёзно затрудняло работу. Решению задачи предоставления пользователям единого механизма работы с гидрометеорологическими данными всех центров посвящена настоящая работа.

Цель диссертации - это проектирование единой системы работы с данными распределённых архивов центров приёма и обработки спутниковой гидрометеорологической информации. Эта система обеспечивает единообразие работы с данными во всех центрах и получение единообразных результатов их обработки, что особенно важно для задач федерального и глобального мониторинга Земли. Разработанные и использованные при создании системы решения позволяют пользователю получать произвольные наборы гидрометеорологических данных по требуемой территории, в заданном масштабе и за требуемое время, независимо от их физического местонахождения. Более того, пользователю предоставляются механизмы анализа и преобразования целевой информации, что позволяет ему не только работать с имеющимися данными, но и создавать необходимые информационные продукты. .-.,..

Научная новизна работы заключается в создании и внедрении единого механизма работы с данными территориально распределенных центров приема и анализа и обработки гидрометеорологической информации. Это обеспечивает пользователя возможностью получения стандартизированной информационной продукции по любым доступным качественным, пространственным и временным критериям, анализа и преобразования полученных данных без использования дополнительных решений.

Основные положения, выносимые на защиту:

• концепция построения системы удаленной работы с распределенными архивами данных центров приема анализа и обработки спутниковой гидрометеорологической информации, которая обеспечивает прозрачный поиск, получение данных, проведение их анализа и обработки;

• подсистема унифицированных процедур обработки данных в центрах приема для получения различных гидрометеорологических информационных продуктов;

• специализированное программное обеспечение построения и автоматизированного ведения локальных и распределенных архивов данных, прошедших различные уровни обработки в центрах приема гидрометеорологической информации;

• единый картографический интерфейс для удаленной работы с распределенными архивами гидрометеорологической информации от различных систем мониторинга Земли.

Практическая ценность работы состоит в том, что создана система анализа и обработки территориально распределенной спутниковой гидрометеорологической информации. Эта система внедрена и используется в ряде территориально распределенных центров ФГБУ «НИЦ «Планета», для решения различных задач гидрометеорологического мониторинга и мониторинга опасных явлений.

Апробация работы. Основные положения диссертации докладывались и обсуждались на международных и всероссийских научно-технических конференциях, посвященных дистанционному зондированию Земли. Всего сделано 15 докладов. На международных конференциях: ЯСЗСБО (Москва, 2007), БЗА' 2010 (Минск, 2010), 18РЯ5 (Мельбурн, 2012). На всероссийских конференциях: «Современные проблемы дистанционного зондирования Земли из космоса» (Москва, 2006-2012), «Фундаментальные и прикладные космические исследования», (Москва, 2006-2012).

Публикации. По результатам диссертационных исследований опубликовано 17 статей, из них 14 в изданиях по списку ВАК, 32 тезиса докладов на международных и всероссийских конференциях, получено 3 свидетельства о государственной регистрации программ для ЭВМ.

Внедрение результатов работы. Диссертационная работа выполнена в ИКИ РАН в рамках: проектов РАН - тема "Мониторинг" (госрегистрация № 01.20.0.2.00164); проектов Минобрнауки 07.514.11.4037, 14.515.11.0030; проектов РФФИ 11-07-12025-офи-м-2011, 11-07-12026-офи-м-2011, 11-07-12028-офи-м-2011, 13-07-00513, 13-07-12017; НИОКР, выполненных в рамках договоров с ФГБУ «НИЦ «Планета» №№ 1376, 1418, 1419, 1446, 1447, 1454.

Результаты работы в виде единой системы анализа и обработки гидрометеорологической информации внедрены в Европейском, Сибирском и Дальневосточном центрах ФГБУ «НИЦ «Планета» Федеральной службы по гидрометеорологии и мониторингу окружающей среды. Результаты также использовалась при построении единой территориально распределённой системы работы с данными дистанционного зондирования Земли - ЕТРИС ДЗЗ, создаваемой в рамках программ Федерального космического агентства.

Структура и объём работы. Диссертация состоит из введения, четырёх глав, заключения, списка литературы и трёх приложений. Основной текст содержит 128 страниц, 30 рисунков и 6 таблиц. Список литературы содержит 8 страниц. Приложения содержат свидетельства о регистрации программ, акты об использовании результатов диссертационной работы и список основных публикаций по теме диссертации.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

В главе 1 выполнен анализ современных систем, обеспечивающих работу со спутниковьши данными для решения задач гидрометеорологического мониторинга.

Рассмотрены основные задачи гидрометеорологии и мониторинга окружающей среды, для решения которых используются данные дистанционного зондирования Земли (ДЗЗ). Изучены и систематизированы основные задачи, решаемые центрами приема и обработки спутниковой гидрометеорологической информации, рассмотрены технологии получения основных стандартных продуктов. Выполнен анализ характеристик распределённой сети центров приёма и обработки гидрометеорологических данных в системе Росгидромета, рассмотрены характерные особенности функционирования спутниковых систем и получаемой от них информации, ее объёмы и основные сферы применения.

Выполнен анализ современных подходов к организации работы со спутниковыми данными для решения задач мониторинга окружающей среды, рассмотрены существующие схемы организации работы с гидрометеорологическими данными, выделены их ключевые достоинства и недостатки. На основании результатов проведённого анализа и современных тенденций развития технологий обработки спутниковой информации сформулирована концепция создания и развития системы работы с данными территориально распределенных архивов центров Росгидромета. Эта концепция

предусматривает оперативный доступ к данным, анализ и преобразование гидрометеорологической информации.

В рамках этой концепции сформулированы основные задачи и требования к системе анализа и обработки территориально распределенной гидрометеорологической информации, получаемой на основе космического мониторинга Земли. В составе системы выделены основные компоненты:

• унифицированные, масштабируемые подсистемы обработки данных;

• единая распределённая подсистема архивации, объединяющая в одно логическое целое локальные архивы центров;

• распределённая подсистема предоставления данных, обеспечивающая возможность их прозрачного получения, анализа и преобразования посредством встроенного инструментария.

Все эти компоненты и их взаимодействие представлены на рис. 1, а принципы их построения и функционирования рассмотрены в главах 2-4.

Рис. 1. Основные компоненты системы и их взаимодействие

Сформированы требования к аппаратной части системы для обеспечения заданного времени реакции системы. Среднее время реакции системы на запрос пользователя тг определяется следующим образом:

„ ( Viae , V Vremt , V. \ -

r " ¿¡ш! n(SdSl,Scomi) + + ts™'e + min(Sds,Scom)| м"

де Vloc, Vrem. - объёмы фрагментов из локальных и удалённых архивов; Sds, Scom - скорости работы дисковых систем и каналов связи; tcomp, tSCaie - компоненты времени построения динамического продукта; V„ - объём результирующего продукта; us - среднее число запросов в секунду.

Глава 2 посвящена разработке подсистемы автоматизации процедур бработки данных в центрах приема для получения различных идрометеорологических информационных продуктов.

Ежесуточно в центрах приёма Росгидромета создаётся несколько сотен азличных информационных продуктов. Для обеспечения максимальной перативности и однородности этих продуктов необходимым является наличие нифицированной системы обработки данных, обеспечивающей максимально ысокий уровень автоматизации. В работе показано, что такая система должна твечать следующим требованиям:

• полная автоматизация процедур подготовки и обработки данных;

• полная автоматизация процедур передачи исходных данных и результатов работы системы;

• максимальная стандартизация и унификация процедур обработки;

• возможность построения многоступенчатых технологических линий обработки данных, в том числе с использованием стороннего программного обеспечения;

• возможность масштабирования и гибкой настройки всей системы обработки;

• максимальная автоматизация процессов контроля всех этапов обработки и архивирования данных;

• возможность удалённого контроля и управления всей системой.

Для выполнения этих требований предложена общая архитектура подсистемы бработки информации, обеспечивающая прохождение полного жизненного цикла анных от их получения до предоставления пользователю стандартных продуктов, азовая функциональная схема такой подсистемы представлена на рис.2. Она

обеспечивает выполнение всех перечисленных требований, а также делает распределённую подсистему обработки более отказоустойчивой.

Выполнена формализация процесса формирования наборов данных для обработки, в котором выделены следующие стандартные подпроцессы:

• считывание конфигурационных файлов настройки процедур обработки;

• контроль выполнения процессов обработки;

• взаимодействие с базами данных (БД) архивов;

• извлечение данных из файловых хранилищ;

• копирование данных.

Для выполнения этих этапов разработано специализированное базовое программное обеспечение, позволяющее минимизировать затраты на процесс построения цепочек обработки.

Оператор системы

Пользователь

Рис. 2. Базовая функциональная схема подсистемы обработки

Обоснована целесообразность создания подсистемы удалённого контроля и управления процессами обработки, рассмотрены требования к такой подсистеме и принципы ее построения.

Предложенные архитектурные решения положены в основу построения базового программного обеспечения для всех центров Росгидромета, которое ¡обеспечивает получение информационных продуктов по следующим данным:

• от прибора AVHRR космических аппаратов (КА) серии NOAA (США);

• от прибора MODIS КА TERRA и AQUA (США);

• от приборов МСУ-МР и КМСС КА «Метеор-М» (Россия); I • от прибора VIIRS КА «Suomi NPP» (США);

• от приборов МСС и ПСС КА «Канопус-В» (Россия, Белоруссия);

• от геостационарных КА серий «Электро-JI» (Россия), Meteosat (Евросоюз), GOES (США), MTSAT (Япония).

Схема подсистемы обработки представлена на рис. 3.

Исходные данные

Распакованные приборные потоки данных .

4

Аннотированные данные уровня обработки L1В

Аннотированные данные уровня обработки L1В

4

I Универсальные станции Результаты предварительной и

тематической обработки тематической обработки

Сервер архивации и диспетчеризации данных (содержит архивы исходных данных КА NOAA, TERRA, AQUA, Метеор-М и архивы результатов их тематической обработки

п о

Исходные данные прибора Первично обработанные данные

MODIS для распаковки, прибора MODIS уровня обработки L1 В,

распакованные данные результаты тематической обработки

прибора MODIS уровня данных прибора MODIS уровня 2А и

обработки L1В у выше.

Выделенные станции обработки данных КА TERRA и AQUA

Рис. 3. Подсистема обработки гидрометеорологической информации

Глава 3 посвящена разработке архитектуры и базовых программных решений подсистемы организации и управления распределенными архивами гидрометеорологических данных.

Выполнена формализация понятия ведения архива данных и сформулированы требования к подсистеме работы с архивами распределенной сети центров Росгидромета:

• максимальная автоматизация всех процедур ведения архива;

• унификация процедур ведения различных архивов центров приёма спутниковой информации Росгидромета в рамках единых технических решений;

• возможность «прозрачного» оперативного доступа к любым данным, помещённым в архив любого центра приёма;

• возможность ведения единого распределённого архива Росгидромета с реализацией удалённого контроля и управления.

На основе этих требований и специфики решаемых задач разработаны общие принципы построения архивов в рамках единой системы работы с гидрометеорологической информацией.

Предложена архитектура построения локальных архивов исходных данных и результатов их обработки, а также базовое программное обеспечение.

Одним из основных преимуществ предложенных решений стала возможность объединения локальных архивов в единый распределённый архив. Рассмотрены две схемы реализации такого объединения: на уровне интерфейсов доступа и на уровне метаданных. На основе анализа этих схем принято решение использовать первую схему для относительно несложных архивов исходных данных, а вторую - для архивов результатов обработки.

Предложены решения для обеспечения доступа к данным архивов автоматизированных систем обработки и конечных пользователей, на базе которых созданы единые распределённые архивы исходных гидрометеорологических данных и результатов их обработки, внедренные в центры Росгидромета. Функциональные схемы таких архивов представлены на рис. 4 и рис. 5.

Сформированы требования к аппаратной части подсистемы архивации для обеспечения усвоения поступающей продукции на протяжении заданного времени.

Объёмы тематической продукции ^ра, поступающей в архивы данных в единицу времени, определяются следующим образом:

пй 5(г) пр

у ара = Л ■ (1 + р)у)к ,

к=1 7=1г=1

чде - количество типов исходных данных, ф - разрядность продукта, Р; - число пикселей на строку, 5;- ЧИСЛО строк, С; - число каналов в продукте,

а (л ) - функция возможности построения продукта, Р8) - вектор параметров сеанса, р - коэффициент объёма пирамиды разрешений, Б (г) - среднее число сеансов, пр - число типов продуктов.

Реализованная подсистема ведения архивов обеспечивает усвоение более чем (00 ГБ данных в сутки, суммарные накопленные объёмы данных превышают 100 ТБ.

- Запрос о содержимом каталога

архива

- Возвращаемые метаданные

Возвращаемые файлы данных

Пользователь

Рис. 4. Распределённый архив исходных данных

Легенда

Запрос о содержимом

каталога архива

—- Метаданные

_^ Возвращаемые

файлы данных

Пользователь

Рис. 5. Распределённый архив результатов обработки

Глава 4 посвящена проектированию объединенного картографического интерфейса для работы с распределёнными архивами результатов обработки спутниковой гидрометеорологической информации.

Картографический интерфейс предназначен для быстрого и «прозрачного» предоставления пользователям доступа ко всем данным, хранящимся в архивах территориально распределенных центров.

В отличие от ранее используемых систем доступа к данным Росгидромета, разработанный в диссертации интерфейс предоставляет пользователю возможность получения любых имеющихся данных по произвольной территории, в заданном масштабе и за требуемый временной интервал. Несмотря на то, что архивы являются территориально распределёнными и данные физически хранятся в разных центрах, для пользователя все процедуры работы с гидрометеорологической информацией являются прозрачными. Благодаря этому, пользователь может одновременно работать с данными различных типов, например, с данными низкого разрешения для получения глобальной картины и с данными среднего и высокого разрешений для получения более детальной информации от различных центров.

Интерфейс предоставляет не только возможности выбора данных и их просмотра, но и инструменты анализа и преобразования, что дает пользователям зозможность самостоятельно осуществлять обработку информации без использования специализированных программных комплексов и получать н еобходимые им тематические продукты. Более того, модульная архитектура интерфейса обеспечивает стандартные механизмы наращивания его функциональных возможностей, как в области поддерживаемых типов данных, так и [в области инструментов работы с ними, что обуславливает перспективы развития интерфейса вплоть до создания на его базе полноценного рабочего места синоптика.

Архитектура интерфейса представлена на рис. 6.

Модуль N

Модуль 1

Легенда

Запрос метаданных —|Возвращаемые метаданные Запрос данных Возвращаемые данные

Сервис метаданных

Сервис отображения данных

Вкладка 1

Вкладка 2

^ Вкладка N

Область вкладок

Область карты

Л,-..-.

т

ш

99

Система авторизации

Рис. 6. Архитектура картографического интерфейса

Основными компонентами интерфейса являются: область вкладок и сервис метаданных, обеспечивающие управление интерфейсом; область карты и сервис отображения данных, обеспечивающие непосредственно выдачу данных пользователю; модули работы с различными типами данных. Кроме этого в состав интерфейса входит система авторизации, обеспечивающая разграничение доступа пользователей к определённым типам данных. Технологически интерфейс реализован на основе разработанной в ИКИ РАН технологии ОЕОЗМК.

Разработанный интерфейс установлен во всех центрах Росгидромета и обеспечивает работу со следующими данными:

• данными высокого разрешения;

• данными низкого и среднего разрешения, полученными с полярно-орбитальных КА;

• данными, полученными с геостационарных КА;

• данными о пожарах;

• сопутствующими данными (метеопараметры, картографические слои и

др.).

Помимо этого, в интерфейсе реализованы инструменты выборки, сравнения и анализа данных (наложение изображений, в том числе с прозрачностью, «шторки» и т.д.), построения композитных изображений, а также преобразования данных (цветосинтез, цветокоррекция и перепроецирование). Общий вид интерфейса представлен на рис. 7.

Рис. 7. Общий вид интерфейса. Динамический суточный композит по данным КА TERRA, AQUA, NOAA, полученным в Европейском, Сибирском и Дальневосточном центрах ФГБУ «НИЦ «Планета»

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Проведён анализ существующих систем работы с идрометеорологическими данными ДЗЗ, использующимися в системе осгидромета. Выявлены их характерные особенности и недостатки, показана еобходимость разработки единой системы работы с данными всех центров осгидромета.

2. Разработана архитектура единой распределённой системы работы с анными центров Росгидромета и определён состав её основных компонент.

3. Разработана архитектура унифицированной автоматизированной одсистемы обработки данных в центрах Росгидромета, определён её состав и боснованы основные компоненты.

4. Формализован процесс автоматической обработки данных, вычленены го основные этапы, в том числе стандартные для любых процедур обработки, азработано базовое программное обеспечение, позволяющее реализовывать втоматизированные процедуры обработки данных стандартизированным образом с инимальными затратами ресурсов на разработку.

5. Разработана архитектура локальных архивов исходных данных и езультатов их обработки в центрах Росгидромета, предложены технологии остроения единого распределённого архива.

6. Обоснованы решения по созданию локальных архивов исходных данных результатов их обработки в центрах Росгидромета. Предложена структура единого аспределённого архива гидрометеорологических данных.

7. Разработана архитектура единого картографического веб-интерфейса я работы с данными и определён состав его основных компонент.

8. Разработаны механизмы взаимодействия интерфейсов доступа к данным внешними информационными системами.

9. Создана и внедрена в эксплуатацию в Европейском, Сибирском и альневосточном центрах ФГБУ «НИЦ «Планета» единая система анализа и бработки территориально распределенной гидрометеорологической информации, олучаемой на основе космического мониторинга Земли.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

По результатам диссертационных исследований опубликовано 52 работы (в том числе 14 статей по списку изданий ВАК). Основное содержание диссертации опубликовано в следующих работах.

Статьи в изданиях по списку ВАК

1. Бурцев М.А., Ефремов В.Ю., Мазуров A.A. и др. Распределенная система приема и обработки данных полярно-орбитальных спутников в центрах Росгидромета // Современные проблемы дистанционного зондирования Земли из космоса, 2008. Выпуск 5. Т. II. С.443-446.

2. Бурцев М.А., Воронин A.A., Еремеев В.В., и др. Комплекс оперативной обработки гидрометеорологической спутниковой информации // Исследование Земли из космоса, 2009. № 1. С. 16-23.

3. Антонов A.B., Бурцев М.А., Ефремов В.Ю.и др. Построение объединенного каталога распределенных архивов спутниковых данных различных центров // Современные проблемы дистанционного зондирования Земли из космоса, 2010. Т.7. № 2. С.84-89.

4. Бурцев М.А., Емельянов К.С., Ефремов В.Ю.и др. О возможностях организации эффективного взаимодействия центров приема и обработки спутниковых данных и систем дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса, 2011. Т.8. № 4. С.48-53.

5. Бурцев М.А., Ефремов В.Ю., Балашов И.В. и др. Система доступа к данным Европейского, Западно-Сибирского и Дальневосточного центров приема Росгидромета // Современные проблемы дистанционного зондирования Земли из космоса, 2011. Т.8. № 3. С.113-119.

6. Бурцев М.А., Мамаев A.C., Прошин A.A., Флитман Е.В. Управление доступом к WEB-ресурсам в распределенных системах дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса, 2011. Т.8. № 3. С.155-160.

7. Бурцев М.А., Антонов В.Н., Лупян Е.А. и др. Система работы с распределенными архивами результатов обработки спутниковых данных центров приема НИЦ "Планета" // Современные проблемы дистанционного зондирования Земли из космоса, 2012. Т.9. № 5. С.55-76.

8. Бурцев М.А., Емельянов К.С., Ефремов В.Ю., Мазуров A.A., Пахомов Л.А., Прошин A.A., Саворский В.П. Построение информационной системы удаленной работы с каталогами данных НЦ ОМЗ // Современные проблемы дистанционного зондирования Земли из космоса, 2010. Т.7. № 4. С.64-71.

9. Егоров В.А., Барталев С.А., Бурцев М.А. и др. Потоковая технология корреляционной географической привязки спутниковых изображений высокого пространственного разрешения // Современные проблемы дистанционного зондирования Земли из космоса, 2010. Т.7. № 4. С.97-103.

Ю.Смагин С.И., Лупян Е.А., Бурцев М.А., и др. Информационная система работы с данными спутниковых наблюдений региона Дальнего Востока России для проведения научных исследований в различных областях знаний // Современные проблемы дистанционного зондирования Земли из космоса, 2013. Т.10. № 1. С.277-291.

11 .Анисшюв Д.И., Бурцев М.А., Ефремов В.Ю и др. Автоматизированная система архивации спутниковых данных ФГУП Госцентр "Природа" // Современные проблемы дистанционного зондирования земли из космоса, 2005. Выпуск 2. Т. I. С.122-126.

И.Барталев С.А.. Бурцев М.А., Егоров В.А. и др. Организация работы со спутниковыми данными высокого пространственного разрешения в информационной системе дистанционного мониторинга лесных пожаров Федерального агентства лесного хозяйства РФ (ИСДМ Рослесхоз) // «Пожаровзрывобезопасность» . ООО "Издательство "Пожнаука", 2009. № 8. С.50-56.

ХЪ.Барталев С.А., Бурцев М.А., Егоров В.А. и др. Использование данных высокого пространственного разрешения в информационной системе дистанционного мониторинга лесных пожаров Федерального агентства лесного хозяйства РФ (ИСДМ Рослесхоз) // Современные проблемы дистанционного зондирования Земли из космоса, 2009. Выпуск 6. Т. I. С.88-95.

14.Миклашевич С.Э., Балашов И.В., Бурцев М.А. и др. Программно-аппаратный комплекс для сбора, обработки, архивации и распространения спутниковых данных и продуктов их тематической обработки // Современные проблемы дистанционного зондирования Земли из космоса, 2012. Т.9. № 4. С.47-56.

Статьи в других изданиях

15.Bourtsev М.А., Loupian Е.А., Mazurov А.А. et al. Technology of Automated Satellite Data Archiving and Representing Systems Development // Proceedings of the 7th International Symposium on Reducing Costs of Spacecraft Ground Systems and Operations (RCSGSO). 11-15 June 2007. Moscow. Russian Federation (ESA SP-648, July 2007), 2007. P.3b2-1 - 3b2-4.

16. Flit man E.V., Bourtsev M.A., Loupian E.A. et at. A System for Remote Control and Operation Management for Network of Satellite Data Centers // Proceedings of the 7th International Symposium on Reducing Costs of Spacecraft Ground Systems and Operations (RCSGSO). 11-15 June 2007. Moscow. Russian Federation (ESA SP-648, July 2007), 2007. P.76.

11. Savors ky V.P., Loupian E.A., Bourtsev M.A. et al. Distributed Infrastructure Enabling Effective Integration of Earth Observation Information Resources for Collective Solution of Archiving, Searching, Processing and EO Data Analyzing Tasks // ISPRS Archives, 2012. V.XXXIX-B4. P.237-242.

Бурцев Михаил Александрович

СИСТЕМА АНАЛИЗА И ОБРАБОТКИ ТЕРРИТОРИАЛЬНО РАСПРЕДЕЛЕННОЙ ГИДРОМЕТЕОРОЛОГИЧЕСКОЙ ИНФОРМАЦИИ, ПОЛУЧАЕМОЙ НА ОСНОВЕ КОСМИЧЕСКОГО МОНИТОРИНГА ЗЕМЛИ

Автореферат диссертации на соискание ученой степени кандидата технических наук

Бумага офисная. Печать цифровая.

Подписано в печать: 21.10.2013 Тираж: 100 экз. Заказ № 997 Отпечатано в типографии «Реглет» г. Москва, Ленинградский проспект д.74 (495)790-47-77 www.reglet.ru

Р шиси

Бурцев Михаил Александрович

СИСТЕМА АНАЛИЗА И ОБРАБОТКИ ТЕРРИТОРИАЛЬНО РАСПРЕДЕЛЕННОЙ ГИДРОМЕТЕОРОЛОГИЧЕСКОЙ ИНФОРМАЦИИ, ПОЛУЧАЕМОЙ НА ОСНОВЕ КОСМИЧЕСКОГО

МОНИТОРИНГА ЗЕМЛИ

Специальность 05.13.01

Системный анализ, управление и обработка информации (технические

системы)

00

Диссертация на соискание ученой степени

кандидата технических наук

д.т.н. Лупян Евгений Аркадьевич

Научный руководитель:

Рязань 2013

Оглавление

Введение........................................................................................................5

Глава 1. Особенности современных систем, обеспечивающих работу со спутниковыми данными для решения задач гидрометеорологического мониторинга...........................................................9

1.1. Основные задачи гидрометеорологии и мониторинга окружающей среды, для решения которых используются данные дистанционного зондирования Земли.............................................................11

1.2. Анализ основных задач, решаемых центрами приёма и обработки спутниковой гидрометеорологической информации....................................13

1.3. Структура и технические возможности распределённой сети центров приёма и обработки гидрометеорологической информации.........19

1.4. Анализ спутниковых гидрометеорологических систем мониторинга Земли............................................................................................24

1.5. Современные подходы к организации работы со спутниковыми данными для решения задач мониторинга окружающей среды...................27

1.6. Требования к создаваемой системе анализа и обработки данных от территориально распределённых архивов гидрометеорологической информации........................................................................................................33

Основные результаты..............................................................................38

Глава 2. Разработка подсистемы автоматизации процедур обработки данных в центрах приема для получения различных гидрометеорологических информационных продуктов..............................40

2.1. Требования к системам автоматизированной обработки данных, реализуемых в центрах Росгидромета.............................................................41

2.2. Обоснование архитектуры подсистемы обработки гидрометеорологической информации...........................................................46

2.3. Организация диспетчеризации потоков данных в системе их обработки............................................................................................................53

2.4. Организация подсистемы управления и контроля потоков данных и распределенных комплексов обработки в центрах приема спутниковой гидрометеорологической информации....................................63

2.5. Реализация автоматизированных процедур обработки в центрах приёма спутниковой гидрометеорологической информации.......................69

Основные результаты..............................................................................74

Глава 3. Разработка архитектуры и базовых программных решений по организации и управлению распределенными архивами данных....................................................................................................................75

3.1. Особенности и общие принципы построения подсистемы ведения архивов спутниковых данных............................................................76

3.2. Построение подсистемы ведения архивов исходных спутниковых данных.................................................................................................................82

3.3. Построение подсистемы ведения распределенных архивов результатов обработки спутниковых данных.................................................89

3.4. Организация ведения распределённых архивов спутниковых данных и их взаимодействия............................................................................93

3.5. Принципы построения и функционирования подсистемы ведения распределённых архивов данных от различных гидрометеорологических спутниковых систем..........................................................................................99

Основные результаты............................................................................103

Глава 4. Проектирование объединенного картографического интерфейса для работы с распределенными архивами результатов обработки спутниковой гидрометеорологической информации.............104

4.1. Основные задачи объединённого картографического интерфейса и требования к нему........................................................................................106

4.2. Принципы построения и архитектура объединенного картографического интерфейса для работы с распределенными архивами центров приема спутниковой гидрометеорологической информации......109

4.3. Технические особенности реализации объединённого картографического интерфейса......................................................................113

4.4. Основные возможности объединённого картографического интерфейса для работы с распределёнными архивами центров приёма и обработки спутниковой гидрометеорологической информации................115

4.5. Особенности использования интерфейса при решении различных задач гидрометеорологического и экологического мониторинга..............121

4.6. Оперативное представление данных в различные информационные системы..............................................................................125

Основные результаты............................................................................128

Заключение...............................................................................................130

Приложение 1. Свидетельства о государственной регистрации программ для ЭВМ............................................................................................132

Приложение 2. Акты об использовании результатов диссертации ...............................................................................................................................135

Приложение 3. Основные публикации по теме диссертации Список литературы........................................................................

139 142

ВВЕДЕНИЕ

Актуальность диссертации и степень разработанности темы

Одним из основных инструментов для решения задач гидрометеорологического мониторинга и мониторинга опасных явлений являются данные дистанционного зондирования Земли, получаемые с космических аппаратов, и информационные продукты тематической обработки. В Росгидромете для получения такой информации функционирует распределённая сеть центров приёма и обработки данных, находящаяся в ведении Научно-исследовательского центра космической гидрометеорологии (ФГБУ «НИЦ «Планета»). Они обеспечивают покрытие спутниковыми данными всей территории России. На сегодняшний день объёмы принимаемых данных и производимой информационной продукции в этих центрах очень велики и постоянно растут. Вопросам, связанным с созданием систем получения и предоставления пользователям такой информационной продукции, посвящено достаточно большое число работ (Е.А. Лупян, В.В. Асмус, O.E. Милехин, В.В. Еремеев, Саворский В.П., Лошкарёв П.А., Копылов В.Н., Алексанин А.И., Куссуль H.H. и др.)

Для эффективного использования гидрометеорологической информации необходим унифицированный подход ко всем этапам обработки спутниковых данных, начиная от их приёма до предоставления конечному потребителю выходных тематических продуктов. Необходимо также обеспечить возможность «прозрачной» и лёгкой работы с данными всех центров, вплоть до возможности проведения их экспресс-анализа. К сожалению, до недавнего времени в каждом центре использовались свои специфичные механизмы построения архивов и предоставления к ним доступа, что серьёзно затрудняло работу. Решению задачи предоставления пользователям единого механизма работы с гидрометеорологическими данными всех центров посвящена настоящая работа.

Цель диссертации - это проектирование единой системы работы с данными распределённых архивов центров приёма и обработки спутниковой гидрометеорологической информации. Эта система обеспечивает единообразие работы с данными во всех центрах и получение единообразных результатов их обработки, что особенно важно для задач федерального и глобального мониторинга Земли. Разработанные и использованные при создании системы решения позволяют пользователю получать произвольные наборы гидрометеорологических данных по требуемой территории, в заданном масштабе и за требуемое время, независимо от их физического местонахождения. Более того, пользователю предоставляются механизмы анализа и преобразования целевой информации, что позволяет ему не только работать с имеющимися данными, но и создавать необходимые информационные продукты.

Научная новизна работы заключается в создании и внедрении единого механизма работы с данными территориально распределенных центров приема и анализа и обработки гидрометеорологической информации. Это обеспечивает пользователя возможностью получения стандартизированной информационной продукции по любым доступным качественным, пространственным и временным критериям, анализа и преобразования полученных данных без использования дополнительных решений.

Основные положения, выносимые на защиту:

• концепция построения системы удаленной работы с распределенными архивами данных центров приема анализа и обработки спутниковой гидрометеорологической информации, которая обеспечивает прозрачный поиск, получение данных, проведение их анализа и обработки;

• подсистема унифицированных процедур обработки данных в центрах приема для получения различных гидрометеорологических информационных продуктов;

• специализированное программное обеспечение построения и автоматизированного ведения локальных и распределенных архивов данных, прошедших различные уровни обработки в центрах приема гидрометеорологической информации;

• единый картографический интерфейс для удаленной работы с распределенными архивами гидрометеорологической информации от различных систем мониторинга Земли.

Практическая ценность работы состоит в том, что создана система анализа и обработки территориально распределенной спутниковой гидрометеорологической информации. Эта система внедрена и используется в ряде территориально распределенных центров ФГБУ «НИЦ «Планета», для решения различных задач гидрометеорологического мониторинга и мониторинга опасных явлений.

Апробация работы. Основные положения диссертации докладывались и обсуждались на международных и всероссийских научно-технических конференциях, посвящённых дистанционному зондированию Земли. Всего сделано 15 докладов. На международных конференциях: 11С8С80 (Москва, 2007), 88А' 2010 (Минск, 2010), 18РЯ8 (Мельбурн, 2012). На всероссийских конференциях: «Современные проблемы дистанционного зондирования Земли из космоса» (Москва, 2006-2012), «Фундаментальные и прикладные космические исследования», (Москва, 2006-2012).

Публикации. По результатам диссертационных исследований опубликовано 17 статей, из них 14 в изданиях по списку ВАК, 32 тезиса докладов на международных и всероссийских конференциях, получено 3 свидетельства о государственной регистрации программ для ЭВМ.

Внедрение результатов работы. Диссертационная работа выполнена в ИКИ РАН в рамках: проектов РАН - тема "Мониторинг" (госрегистрация № 01.20.0.2.00164); проектов Минобрнауки 07.514.11.4037, 14.515.11.0030; проектов РФФИ 11-07-12025-офи-м-2011, 11-07-12026-офи-м-2011, 11-07-12028-офи-м-2011, 13-07-00513, 13-07-12017; НИОКР, выполненных в рамках договоров с ФГБУ «НИЦ «Планета» №№ 1376, 1418, 1419, 1446, 1447, 1454.

Результаты работы в виде единой системы анализа и обработки гидрометеорологической информации внедрены в Европейском, Сибирском и Дальневосточном центрах ФГБУ «НИЦ «Планета» Федеральной службы по гидрометеорологии и мониторингу окружающей среды. Результаты также использовалась при построении единой территориально распределённой системы работы с данными дистанционного зондирования Земли - ЕТРИС ДЗЗ, создаваемой в рамках программ Федерального космического агентства.

Структура и объём работы. Диссертация состоит из введения, четырёх глав, заключения, списка литературы и трёх приложений. Основной текст содержит 128 страниц, 30 рисунков и 6 таблиц. Список литературы содержит 8 страниц. Приложения содержат свидетельства о регистрации программ, акты об использовании результатов диссертационной работы и список основных публикаций по теме диссертации.

ГЛАВА 1. ОСОБЕННОСТИ СОВРЕМЕННЫХ СИСТЕМ, ОБЕСПЕЧИВАЮЩИХ РАБОТУ СО СПУТНИКОВЫМИ ДАННЫМИ ДЛЯ РЕШЕНИЯ ЗАДАЧ ГИДРОМЕТЕОРОЛОГИЧЕСКОГО

МОНИТОРИНГА

Данная глава посвящена обзору современных областей применения спутниковых данных для задач гидрометеорологии и мониторинга опасных явлений и рассмотрению существующей инфраструктуры и механизмов для их решения. На текущий момент в территориально распределённой сети центров приёма и обработки данных ФГБУ «НИЦ «Планета» осуществляется оперативный приём и получение информационных продуктов более чем с 15 различных КА, и в каждом центре функционирует собственная система получения и предоставления доступа к данным. Основной проблемой этих систем является их неоднородность и, зачастую, несовместимость между собой, что приводит к невозможности эффективного совместного использования полученной в них информации. Для решения этой проблемы в настоящей главе данной работы предлагается архитектура единой распределенной системы работы с данными, обеспечивающей возможность получения пользователем произвольных наборов данных по требуемым пространственным и временным критериям.

В параграфе «Основные задачи гидрометеорологии и мониторинга окружающей среды, для решения которых используются данные дистанционного зондирования Земли» приводится обзор и краткая классификация основных задач, решаемых с использованием данных ДЗЗ. Для каждого класса задач формулируются требования к необходимых для их решения данным и выделяются общие требования ко всем классам.

Параграф «Анализ основных задач, решаемых центрами приема и обработки спутниковой гидрометеорологической информации» посвящен

описанию базовых задач, решающихся в каждом центре приёма и обработки данных ФГБУ «НИЦ «Планета», и характерным особенностям реализованных там механизмов их решения, а также создаваемым в центрах информационным продуктам.

В параграфе «Структура и технические возможности распределённой сети центров приема и обработки гидрометеорологической информации» даётся описание сети центров ФГБУ НИЦ «Планета», приводится карта их зон радиовидимости и особенности технического оснащения, позволяющего получать данные с отечественных и зарубежных КА.

Параграф «Анализ спутниковых гидрометеорологических систем мониторинга Земли» посвящён обзору действующих оперативных метеорологических и природноресурсных КА, работа с которыми осуществляется в центрах ФГБУ «НИЦ «Планета». Рассматриваются основные классы космических систем ДЗЗ и выделяются основные задачи, для решения которых эти системы оптимальны. Приводятся сводные характеристики данных этих систем.

В параграфе «Современные подходы к организации работы со спутниковыми данными для решения задач мониторинга окружающей среды» рассматривается эволюция технологий работы с данными ДЗЗ с начала космической эры до текущего момента и проводится анализ актуальных подходов к организации работы с данными, использующихся в ФГБУ «НИЦ «Планета». На основе результатов проведённого анализа предлагается новый подход к построению единой распределённой системы работы с данными центров.

В параграфе «Требования к создаваемой системе анализа и обработки данных от территориально распределенных архивов гидрометеорологической информации» формулируется основная задача, которую должна решать создаваемая система. На основе этой формулировки и задач, которые должны

решать центры ФГБУ «НИЦ «Планета», формулируется набор требований к создаваемой системе и выделяются её основные компоненты, а также механизмы их взаимодействия между собой.

1.1. Основные задачи гидрометеорологии и мониторинга окружающей среды, для решения которых используются данные дистанционного зондирования Земли

Данные дистанционного зондирования Земли (далее ДЗЗ) на сегодняшний день широко используются во многих сферах научной деятельности и народного хозяйства. Спектр областей их применения за пятьдесят лет космической эры стал включать не только задачи метеорологии (Кондратьев, 1961), (Герман, 1975), (Кондратьев, 1978) и разведки. Так, сегодня данные космических наблюдений применяются для задач картографирования и геодезии (Книжников, 1980), (Баранов, 1986), мониторинга экологической обстановки (1984), (Прокачёва, 1988), (Кондратьев, 1992), мониторинга лесных экосистем в целом (Рачкулик, 1981), (Кондратьев, 1982) и лесных пожаров в частности (Жеребцов, 1995), (Барталев, 1997), (Лупян, 2003), мониторинга сельскохозяйственной деятельности (Кондратьев, 1986), океанографии (Крекнелл, 1984), (Соловьев, 1998), (Лаврова, 2011), мониторинга антропогенных объектов, в т.ч. подвижных, задач геологии и вулканологии и многих других. Эти задачи можно грубо разбить на четыре основных класса (Асмус, 2005): оперативное гидрометеообеспечение, контроль чрезвычайных ситуаций природного и техногенного характера, мониторинг глобальных изменений Земли и её климата, а также рациональное природопользование и экология. Рассмотрим эти классы задач подробнее.

Задачи оперативного гидрометеообеспечения включают в се�