автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Создание автоматизированной системы распространения и предоставления данных отраслевого мониторинга рыболовства

На правах рукописи

Андреев Михаил Владимирович

Создание автоматизированной системы распространения и предоставления данных отраслевого мониторинга рыболовства

Специальность 05.13.11 -«Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей»

Авторефера1 диссертации на соискание ученой степени кандидата технических наук

Москва 2004

Работа выполнена в Институте космических исследований РАН

Научный руководитель:

Официальные оппоненты:

доктор технических наук Лупян Евгений Аркадьевич ИКИ РАН

доктор технических наук Долгих Николай Александрович ФГУП «Центр космических наблюдений Росавиакосмос»

кандидат технических наук, доцент Белов Александр Владимирович МГИЭМ

Ведущая организация: Камчатский государственный

технический университет

Защита диссертации состоится «_»_2004 г. в_

часов на заседании диссертационного совета Д 212.133.01 в Московском государственном институте электроники и математики по адресу: 109028, Москва, Б. Трехсвятительский пер., д. 3/12, ауд.

С диссертацией можно ознакомиться в библиотеке МГИЭМ

Автореферат разослан «_»_2004 г.

Ученый секретарь диссертационного совета

к.т.н., доцент Бузников СЕ.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ Актуальность темы

Рыбный промысел является важной статьей дохода для многих регионов страны. Задачи, связанные с управлением деятельностью рыболовного флота и контролем над использованием рыбных ресурсов, являются весьма актуальными и востребованными. Появление и активное развитие новых информационных технологий, спутниковых систем связи, навигации и позиционирования позволило в последние годы ставить и решать задачи управления и контроля над деятельностью судов на новом уровне.

Для более эффективного решения задач мониторинга рыболовного флота Российской Федерации была создана отраслевая система мониторинга (ОСМ). Основной целью ОСМ является обеспечение эффективного государственного управления водными биоресурсами в интересах экономической безопасности Российской Федерации, рационального использования, изучения и сохранения рыбных запасов. Первая очередь ОСМ была введена в эксплуатацию в 2000 году. Создание и развитие отраслевой системы мониторинга рыболовства является достаточно сложной задачей, требующей решения многих вопросов из разных областей знания. Среди этих вопросов заметное место занимают проблемы, связанные с созданием программных систем для решения задач информационного наполнения системы, распространения данных и решения прикладных задач конечных пользователей.

Данная работа посвящена созданию автоматизированной распределенной системы распространения и предоставления данных ОСМ потребителям, а также созданию человеко-машинных интерфейсов конечных такой

системы - организация оперативного обмена информацией между различными субъектами ОСМ.

Цель работы и задачи исследования

Основной целью работы является разработка автоматизированной системы распространения и предоставления данных отраслевого мониторинга рыболовства для обеспечения оперативного доступа к этим данным различных территориально распределенных групп пользователей.

В соответствии с этим в диссертационной работе поставлены и решены следующие основные задачи:

1. Разработка принципиальной логической схемы информационного обмена между субъектами отраслевой системы мониторинга.

2. Разработка технологической схемы сбора и предоставления данных ОСМ

3. Разработка требований к взаимодействию программных модулей системы и протокола обмена информацией.

4. Создание базовых программных компонент системы.

5. Практическая реализация системы сбора и распространения данных в отраслевой системе мониторинга.

6. Решение задачи предоставления данных пользователям с ограниченными каналами связи, работающим удаленно от центральных и региональных информационных узлов ОСМ.

Методика исследования

При выработке общей архитектуры построения автоматизированной системы распространения и предоставления данных отраслевого мониторинга рыболовства был проведен

анализ характера информационного наполнения ОСМ и потребностей пользователей. Сформулированы особенности системы. Проведен анализ существующих технологий предоставления данных в распределенных системах.

При реализации базовых программных компонент системы хранения были использованы теория построения реляционных баз данных, теория объектно-ориентированного программирования и принцип модульного построения программного кода.

Научная новизна

В работе предложена архитектура построения автоматизированной системы распространения и предоставления данных отраслевого мониторинга рыболовства, позволяющая с минимальными трудозатратами создавать системы хранения для решения конкретных практических задач.

Система основана на разработанной автором технологической схеме информационного обмена. Автором разработаны также система взаимодействия отдельных программных модулей и протокол обмена информацией.

Практическая ценность работы

Элементы, реализованные в ходе работы, могут применяться для решения широкого круга прикладных задач ОСМ.

Разработанная система позволила осуществить оперативный доступ к информации отраслевого мониторинга заинтересованных государственных организаций.

Благодаря автоматизации основных процедур работы с данными и реализации удаленного контроля за функционированием

процедур достигается существенная экономия людских ресурсов, что приводит к уменьшению стоимости эксплуатация системы.

Реализация и внедрение результатов работы

Ввод отдельных элементов системы в промышленную эксплуатацию начат в 2000 году. Сегодня результаты работы используются на практике для решения актуальных задач отраслевой системы мониторинга. На основе представленных разработок создана и в настоящее время поддерживается система сбора и распространения данных. В частности, в организациях, осуществляющих контроль и управление промысловой деятельностью, были установлены информационные узлы и рабочие места, обеспечивающие оперативную работу с данными ОСМ:

• Управление охраны и воспроизводства рыбных запасов и регулирования рыболовства Госкомрыболовства России (Главрыбвод), г. Москва

• Национальный центр мониторинга и связи Госкомрыболовства России ( НЦМС), г. Москва

• ФГУП «Камчатский центр связи и мониторинга», г. Петропавловск-Камчатский

• ГУП «Мурманский региональный центр мониторинга», г. Мурманск

• ГУ «Севвострыбвод», г. Петропавловск-Камчатский

• ГУ «Охотскрыбвод», г. Магадан

• ГУ «Амуррыбвод», г. Хабаровск

• ГУ «Приморрыбвод», г. Владивосток

• ГУ «Сахрыбвод», г. Южно-Сахалинск

• ГУ «Севморрыбвод», г. Мурманск

• ГУ «Азчеррыбвод», г. Краснодар

• Государственная администрация Петропавловского морского рыбного порта, г. Петропавловск-Камчатский

• Государственная администрация Владморрыбпорта, г. Владивосток

• Государственная администрация Невельского морского рыбного порта, г. Южно-Сахалинск

• ФГУП «КамчатНИРО», г. Петропавловск-Камчатский

• ФГУП «ТИНРО-центр», г. Владивосток

• ФГУП «СахНИРО», г. Южно-Сахалинск

• ФГУП ПИНРО, г. Мурманск

• ФГУП «Гипрорыбфлот», г. Санкт-Петербург

Апробация работы

Результаты работы докладывались на следующих всероссийских и международных конференциях: Исследования космического пространства в интересах фундаментальных наук. Конференция молодых ученых, посвященная Дню космонавтики ( г. Москва, Институт космических исследований РАН. 2004 г. ); всероссийская конференция «Современные проблемы дистанционного зондирования Земли из космоса» ( г. Москва, Институт космических исследований РАН, 10-12 ноября, 2003 г. ); всероссийская конференция "Дистанционное зондирование поверхности Земли и атмосферы" (г. Иркутск, 2-6 июня 2003 г. ); международная конференция «Информационные ресурсы об океане - актуальные проблемы формирования, распространения и использования в научных исследованиях и в морской деятельности» (г. Обнинск, 2002 г. ); международная конференция «Математические и физические методы в экологии и мониторинге природной среды» ( г. Москва 23-25 октября 2001 г. ); на ученых советах организаций-разработчиков ОСМ.

Публикации

По теме диссертации опубликовано 11 работ. Структура и объем работы

Диссертационная работа состоит из введения, четырех глав, заключения и списка литературы. Работа изложена на 128 страницах, содержит 21 рисунок и список литературы из 80 наименований.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность исследуемой проблемы, сформулированы цель и задачи диссертационной работы, перечислены полученные в диссертации новые результаты и их практическая ценность, кратко изложено содержание диссертации.

В первой главе проведен анализ задачи организации автоматизированной системы распространения и предоставления данных отраслевого мониторинга рыболовства.

Приводится обзор основных характеристик и возможностей отраслевой системы рыболовства. Описываются основные типы её информационного наполнения и методы сбора данных. Для каждого типа информации описывается, каким образом данные попадают в системы и как часто они обновляются.

Описываются основные группы пользователей ОСМ, их потребности в различного рода данных мониторинга рыболовного флота и окружающей среды, оперативность доступа к данным, возможности каналов связи. Суммируются основные особенности, важные для проектирования системы предоставления данных.

В главе дан анализ возможных подходов к решению задач сбора, хранения и предоставления данных в ОСМ. Обсуждаются

возможные подходы к репликации данных и формулируются требования к системе репликации БД ОСМ. Дан обзор некоторых технологий программирования, которые могут быть использованы для разработок. Для решения задачи предоставления данных пользователям ОСМ предложено использовать механизм асинхронной репликации данных и пользовательский интерфейс на основе web-технологий.

Сформулированы требования к созданию автоматизированной системы распространения и предоставления данных отраслевого мониторинга рыболовства.

Вторая глава посвящена описанию предлагаемой архитектуры построения системы.

Приводится анализ логической схемы информационных потоков отраслевой системы мониторинга (рис. 1). Выделены следующие уровни: уровень «Источники данных», уровень «Сборка данных», уровень «Хранение и распространение данных», уровень «Получатели данных». Представлена схема взаимодействия этих уровней. Описаны функциональные требования к этим уровням.

Выделены следующие основные функциональные блоки (рис.2):

• Центральный узел (ЦУ), аккумулирующий в своей БД все данные ОСМ и осуществляющий рассылку необходимой информации всем потребителям данных.

• Информационные узлы (ИУ), являющиеся только получателями данных и не поставляющие информацию в центральный узел.

• Активные информационные узлы (АИУ), являющиеся как потребителями, так и получателями данных.

Рис. 1. Информационные уровни ОСМ

Рис 2. Схема информационного обмена системы сбора и рассылки данных в ОСМ

• Узлы рассылки (УР), не обрабатывающие данные, но использующиеся для оптимизации сетевого трафика и уменьшения времени реакции системы в качестве дополнительного этапа пересылки данных.

Кроме того, информационный узел может реализовывать функции узла рассылки. В этом случае может быть проведена оптимизация потоков данных. Наиболее сложным случаем является активный узел, с несколькими получателями, часть из которых также является активными информационными узлами.

Для каждого функционального блока проведен анализ технических требований, которым они должны удовлетворять. Предложена технологическая схема, реализующая обмен информацией в системе в соответствии с описанной выше логикой информационных уровней.

Описывается протокол обмена данными в системе. Предлагаемый формат представляет собой основанный на XML язык разметки текста. Формат ориентирован на построчную интерпретацию, по сути, он представляет собой специальным образом записанную последовательность SQL-команд.

В третьей главе описываются базовые элементы системы.

Определяются основные программные модули системы, которые необходимы для реализации описанных выше схем обмена данными. Основные модули системы должны реализовывать следующие функции:

• Передача данных между узлами системы.

• Диспетчеризация информационных потоков.

• Ввод полученных данных в БД ОСМ в каждом из узлов системы.

• Удаленный контроль работы модулей системы в разных узлах.

• Интерфейс пользователя, обеспечивающий базовые возможности для просмотра и анализа данных в БД ОСМ.

Сформулированы требования к организации взаимодействия модулей в системе и описаны принципы реализации такого взаимодействия в разработанном программном обеспечении.

Определены выбранные для разработок операционная система и средства разработки.

В главе также описываются реализованные программные компоненты:

1. Система передачиданныхи контроль заработой системы

Реализованная система передача данных предназначена для передачи в автоматическом режиме обменных файлов между узлами ОСМ в условиях ненадежных каналов связи. Общий контроль за работой системы осуществляется на основе унифицированных кодов возврата утилит. Система контроля собирает и анализирует данные о работе различных компонент. При возникновении сбоев система автоматически информирует оператора по электронной почте.

2. Модуль ввода информации в базуданных

Модуль используется для разбора файлов в обменном формате ОСМ и ввода информации в локальную копию базы данных. В соответствии со структурой формата разбор файлов происходит построчно. Каждая строка файла преобразуется в соответствующую SQL-команду, и эта команда передается серверу базы данных. Приводится схема логики модуля. Описывается система сбора статистики работы модуля.

3. Модуль фильтрации

Модуль используется для организации фильтрации данных в потоке, то есть выборки из потока данных по некоторому условию. На вход модуль получает набор файлов обменного . формата. Конфигурация модуля заключается в определении получателей данных или пользователей и соответствующих им информационных фильтров. В результате обработки входных файлов модуль создает для каждого пользователя свой набор файлов, в которых содержится только та информация, которая удовлетворяет условиям, определенным для соответствующего пользователя.

4. Интерфейс пользователя

Описан базовый интерфейс пользователя, основанный на использовании web-технологий. Такой интерфейс может быть использован как для предоставления данных удаленным пользователям, так и для предоставления базовой функциональности по работе с локальной копией базы данных. В главе приводится анализ требований к интерфейсу и определяется базовая функциональность, которую он должен реализовывать. Рассматриваются особенности организации работы интерфейса: передача параметров между HTTP-запросами, распределение нагрузки между сервером и клиентом, использование броузерозависимых

технологий.Описывается выбранная архитектура реализации базового картографического web-интерфейса к данным мониторинга рыболовного флота и окружающей среды на основе технологии DHTML и JavaScript.

Четвертая глава посвящена описанию применений предложенной технологической схемы и разработанных

программных модулей для сбора и распространения данных в отраслевой системе мониторинга.

Описана организация сбора и рассылки данных в ОСМ. Рассмотрен технологический процесс сбора данных о позиционировании и промысловой деятельности судов дальневосточного бассейна и информации о деятельности рыболовного флота в европейской части России. Эти данные собираются в объединенную базу данных ОСМ в головном узле системы в Национальном центре мониторинга и связи Госкомрыболовства (НЦМС). НЦМС также занимается поддержкой справочных таблиц базы данных. Приведена схема информационных потоков ОСМ.

Дано описание предоставления данных крупным пользователям при помощи организации информационных узлов (ИУ). ИУ ОСМ создаются в регионах в государственных предприятиях, обеспечивающих реализацию управления водными биологическими ресурсами. Цель создания ИУ ОСМ - обеспечение государственных предприятий, отрасли необходимой программно-технической средой получения и доставки данных в единый информационный ресурс ОСМ и эффективное информационное обеспечение работы органов рыбоохраны, служб наблюдения за флотом, научных подразделений, занимающихся оценкой и состоянием рыбных запасов и др.

В ИУ ОСМ реализованы следующие возможности:

• поддержка системы автоматического оперативного пополнения базы данных ОСМ данными, поступающими из центрального узла или узла рассылки;

• обеспечение локального хранения данных;

• поддержка базовых интерфейсов для работы с данными;

• автоматический контроль работоспособности отдельных элементов ИУ ОСМ;

• обеспечение безопасности обмена данными на основе создания наложенной закрытой корпоративной сети;

• организация специализированных рабочих мест для работы с информацией ОСМ.

Синхронизация БД ИУ с БД центрального узла реализована на основе описанных выше программных компонент, разработанных автором. В главе приводится принципиальная схема локальной сети ИУ ОСМ. Представлен список организаций, в которых установлены ИУ ОСМ. В главе также описывается картографический web-интерфейс к данным мониторинга флота и окружающей среды. Интерфейс может быть использован как для предоставления данных удаленным пользователям, не имеющим БД ОСМ в локальной сети, так и для предоставления пользователям ИУ базовой функциональности по работе с локальной базой данных узла. Описываются базовые пользовательские функции интерфейса.

Далее дан анализ задачи обеспечения оперативной информацией, поступающей в ОСМ, и системой ее анализа отраслевых пользователей, работающих удаленно от центральных и региональных информационных узлов ОСМ (например, инспекторов, находящихся на судах). В рамках данной работы было разработано решение этой задачи - локальное рабочее место пользователя (ЛРМП).

Предложенное программно-аппаратное решение работает под управлением ОС Windows, что позволяет использовать в качестве аппаратной базы рабочую станцию либо портативный компьютер, с сохранением всех базовых функций современного персонального

компьютера (пакеты офисных программ, работа с Интернет и т.п.). Базовое программное обеспечение ЛРМП представляет собой:

• БД ОСМ под управлением СУБД MySQL;

• ПО для автоматического получения данных из ИУ ОСМ;

• автоматическую систему пополнения БД ОСМ;

• пользовательский интерфейс для работы с БД ОСМ.

Описаны требования к системе поступления данных на ЛРМП

и основные программные элементы необходимые для обеспечения работы ЛРМП.

Рассказано об опыте практического использования ЛРМП при решении реальных задач отраслевой системы мониторинга.

В заключении приводятся основные результаты, выносимые на защиту:

1. Разработана принципиальная логическая схема информационного обмена между субъектами отраслевой системы мониторинга, позволившая организовать обмен информацией, обеспечивающий целостность и локальную полноту данных.

2. Предложена модульная схема построения системы сбора и предоставления данных ОСМ. На основе предложенной схемы были выделены базовые программные компоненты и разработаны правила их взаимодействия, которые позволили оптимизировать работы по созданию функциональных узлов системы за счет применения однотипных технологических решений.

3. Разработана архитектура построения базовых информационных узлов ОСМ, рассчитанных на обеспечение работы крупных отраслевых организаций.

4. Разработана архитектура построения локального рабочего места пользователя ОСМ, рассчитанного на работу отдельных удаленных пользователей, не имеющих выделенных каналов связи.

5. Разработаны базовые программные компоненты автоматизированной системы распространения и предоставления данных отраслевого мониторинга рыболовства:

• блок, обеспечивающий поддержку обмена данными между узлами ОСМ;

• универсальный модуль ввода информации в базу данных ОСМ;

• блок формирования и фильтрации потока данных ОСМ;

• интерфейс удаленного пользователя на основе web-технологий

6. На основе предложенной архитектуры и созданных базовых элементов реализована находящаяся в настоящий момент в промышленной эксплуатации система сбора и распространения данных ОСМ.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Андреев М.В., Ефремов В.Ю. Работа с географически привязанной информацией в распределенных системах // Исследования космического пространства в интересах фундаментальных наук. Конференция молодых ученых,

посвященная Дню космонавтики. Тезисы докладов. Институт космических исследований РАН, Москва, 9 апреля 2004 г. С. 3

2. Нестеренко А.А., Романов А.А., Андреев М.В., Лупян Е.А., -Общесистемное обеспечение отраслевой системы мониторинга Госкомрыболовства. // Современные проблемы дистанционного-зондирования Земли из космоса. Физические основы, методы и технологии мониторинга окружающей среды, потенциально опасных явлений и объектов. Материалы Всероссийской конференции, Москва, 10-12 ноября 2003 г. ИКИ РАН. Сборник научных статей. М.: Полиграф-сервис, 2004 г. С. 204-213.

3. Андреев М.В., Ефремов В.Ю., Лупян Е.А., Мазуров А.А., Наглин Ю.Ф., Прошин А.А., Флитман Е.В. - Построение интерфейсов для организации работы с архивами спутниковых данных удаленных пользователей // Современные проблемы дистанционного зондирования Земли из космоса. Физические основы, методы и технологии мониторинга окружающей среды, потенциально опасных явлений и объектов. Материалы Всероссийской конференции, Москва, 10-12 ноября 2003 г. ИКИ РАН. Сборник научных статей. М.: Полиграф-сервис, 2004 г. С. 514-520.

4. Андреев М.В., Бажутин О.Е., Ильин В.О., Ермаков В.В., Мазуров А.А., Проценко И.Г., Прошин А.А., Резников В.Ю., Фомичев М.В. -Автоматизированный комплекс приема и обработки спутниковых данных Камчатского данных Камчатского центра связи и мониторинга // Современные проблемы дистанционного зондирования Земли из космоса (Физические основы, методы и технологии мониторинга окружающей среды, потенциально опасных явлений и объектов): Тезисы докладов всероссийской конференции. Москва, Институт космических исследований РАН, 10-12 ноября, 2003 г. М.: Полиграф-сервис 2003г. с. 23-24.

5. Андреев М.В., Буйнов А.А., Лупян Е.А., Нестеренко А.А., Романов А.А. Принципы построения ОСМ с интеграцией данных из различных источников и оптимизированным трафиком // Экономика, информация и управление рыбным хозяйством: Сборник аналитической и реферативной информации/ВНИЭРХ.-М., 200З.-Вып.2.-С.149-158.

6. Андреев М.В., Галеев А.А., Ефремов В.Ю., Ильин В.О., Крашенинникова Ю.С., Лупян Е.А., Мазуров А.А., Назиров P.P., Прошин А.А., Флитман Е.В. - Построение автоматизированных систем сбора, хранения, обработки и представления спутниковых данных для решения задач мониторинга окружающей среды. // Сборник Солнечно - земная физика Выпуск № 5 (2004) Сборник

трудов конференции "Дистанционное зондирование поверхности Земли и атмосферы". Иркутск, 2-6 июня 2003 г. ИСЗФ СО РАН, Иркутск, 2004 г. С. 8-11.

7. Андреев М.В., Дегай А.Ю., Лупян Е.А., Мазуров А.А., Прошин А.А., Флитман Е.В. Картографический web-интерфейс на основе технологий DHTML и JavaScript // Препринт ИКИ РАН. Пр-2051. М. 2002. 23с.

8. Андреев М.В., Ефремов В.Ю., Гостев М.В., Дмитриев Г.А., Крашенинникова Ю.С., Лупян Е.А., Мазуров А.А., Назиров P.P., Прошин А.А., Флитман Е.В. Система оперативного удаленного доступа к архивам данных российских природоресурсных спутниковых систем // Препринт ИКИ РАН. Пр-2055. М. 2002.42 с.

9. Андреев М.В., Егоров В.А., Ильин В.О., Лупян Е.А., Мазуров А.А., Прошин А.А., Флитман Е.В. Исследование технологий построения автоматизированных систем приема, обработки, архивации и распространения данных для мониторинга состояния морей // Тезисы докладов Конференции «Информационные ресурсы об океане - актуальные проблемы формирования, распространения и использования в морской деятельности» // ОИР 2002 Обнинск, ВНИИГМИ-МЦД с. 146

10.Андреев М.В., Дегай А.Ю., Крашенинникова Ю.С., Лупян Е.А., Мазуров А.А., Назиров P.P., Прошин А.А., Флитман Е.В., Гребек Э.Э., Проценко И.Г. Возможности организации отраслевого спутникового мониторинга // Рыбное хозяйство. Специальный выпуск. 2001. С. 35-41.

11. Андреев М.В., Ильин В.О., Крашенинникова Ю.С., Лупян Е.А., Мазуров А.А., Назиров P.P., Прошин А.А., Флитман Е.В. Разработка информационных систем для обеспечения оперативного спутникового мониторинга окружающей среды // Труды международной конференции Математические и физические методы в экологии и мониторинге природной среды. 23-25 октября 2001. с.319.

055(02)2 Размножено на ротапринте ИКИ РАН

_Москва, 11797, ул. Профсоюзная, 84/32

_Подписано к печати 11.11.2004

Заказ "¡970 Формат 70x188/32 Тираж 100 0,9 уч.-изд.л.

Р235 7 4

ВВЕДЕНИЕ.

ГЛАВА 1. ЗАДАЧА ПРЕДОСТАВЛЕНИЯ ДАННЫХ ПОЛЬЗОВАТЕЛЯМ ОТРАСЛЕВОЙ СИСТЕМЫ МОНИТОРИНГА РЫБОЛОВСТВА.

4 1.1 Отраслевая система мониторинга.

1.2 Основные типы информации ОСМ и методов их сбора.

1.3 Пользователи ОСМ.

1.4 Возможные подходы к решению задач сбора, хранения и предоставления данных в ОСМ.

1.5 Обзор технологий web-программиробания.

1.6 Выводы.

ГЛАВА 2. АРХИТЕКТУРА ПОСТРОЕНИЯ СИСТЕМЫ.

2.1 Логическая схема работы системы распространения данных.

2.2 Архитектура реализации сбора и распространения данных.

2.3 Основные информационные блоки системы и требования к ним42 г 2.4 Протокол обмена данными.

2.5 Выводы.

ГЛАВА 3. БАЗОВЫЕ ПРОГРАММНЫЕ ЭЛЕМЕНТЫ СИСТЕМЫ.

3.1 Основные программные модули системы.

3.2 Требования к системе взаимодействия модулей.

3.3 Система передачи данных и контроль за работой системы.

3.4 Модуль ввода информации в базу данных. р.5 Модуль фильтрации.

3.6 Интерфейс пользователя.

3.7 Выводы. f

ГЛАВА 4. РЕАЛИЗАЦИЯ СИСТЕМЫ РАСПРОСТРАНЕНИЯ И

ПРЕДОСТАВЛЕНИЯ ДАННЫХ ОТРАСЛЕВОГО МОНИТОРИНГА * РЫБОЛОВСТВА.

4.1 Организация сбора и рассылки данных в ОСМ.

4.2 Информационные узелы.

4.3 Картографический web-интерфейс к данным мониторинга флота и окружающей среды.

4.4 Локальное рабочие место пользователя.

4.5 Выводы.

Рыбный промысел традиционно имеет большое значение для стран, имеющих выход к морю. В некоторых регионах России сегодня рыболовной промысел является основной статьей дохода. Следовательно, оперативное получение информации о деятельности рыболовного флота и предоставление её заинтересованным государственным организациям является весьма актуальной задачей.

Такая информация необходима для работы различным отраслевым организациям, а так же организациям других ведомств, решающих задачи связанные с контролем экономической деятельности рыболовного флота или с мониторингом окружающей среды. С другой стороны развитее технических средств связи и спутникового позиционирования позволяют ставить качественно новые задачи по оперативности и точности получаемой информации.

Для более эффективного решения задач мониторинга рыболовного флота Российской Федерации была создана отраслевая система мониторинга (ОСМ). Основной целью ОСМ является обеспечение эффективного государственного управления водными биоресурсами в интересах экономической безопасности Российской Федерации, рационального использования, изучения и сохранения рыбных запасов. Первая очередь ОСМ была введена в эксплуатацию в 2000 году. Создание и развитие отраслевой системы мониторинга рыболовства является достаточно сложной задачей, требующей решения многих вопросов из разных областей знания. Среди этих вопросов заметное место занимаю проблемы связанные с созданием программных систем для решения задач информационного наполнения системы, распространения данных и решения прикладных задач конечных пользователей.

Данная работа посвящена созданию автоматизированной распределенной системы распространения и предоставления данных ОСМ.

Главная задача такой системы - организация оперативного обмена информацией между различными субъектами ОСМ.

В первой главе проведен анализ задачи организации автоматизированной системы распространения и предоставления данных отраслевого мониторинга рыболовства.

Приводится обзор основных характеристик и возможностей отраслевой системы рыболовства. Описывается основные типа её информационного наполнения и методов сбора данных. Для каждого типа информации описывается, каким образом данные попадают в системы и как часто они обновляются.

Описываются основные группы пользователей ОСМ, их потребности в различного рода данных мониторинга рыболовного флота и окружающей среды, оперативности доступа к данным, возможности каналов связи. Суммируются основные особенности, важные для проектирования системы предоставления данных.

В главе дан анализ возможных подходов к решению задач сбора, хранения и предоставления данных в ОСМ. Обсуждается возможные подходы к репликации данных, и формулируются требования к системе репликации БД ОСМ. Дан обзор некоторых технологий программирования, которые могут быть использованы для разработок. Предложено использовать для решения поставленной задачи предоставления данных пользователям ОСМ механизм асинхронной репликации данных и пользовательский интерфейс на основе web-технологий.

Сформулированы требования к созданию автоматизированной системы распространения и предоставления данных отраслевого мониторинга рыболовства.

Вторая глава посвящена описанию предлагаемой архитектуры построения системы.

Приводится анализ логической схемы информационных потоков отраслевой системы мониторинга. Выделены следующие уровни: уровень «Источники», уровень «Сборка», уровень «Хранения и распространения данных», уровень «Получатели данных». Представлена схема взаимодействия этих уровней. Описаны функциональные требования к этим уровням.

Выделены следующие функциональные блоки. Для каждого из них переведен анализ технических требований, которым они должны удовлетворять. Предложена технологическая схема, реализующая обмен информацией в системе, в соответствии с описанной выше логикой информационных уровней.

Описывается протокол обмена данными в системе. Предлагаемый формат представляет собой основанный на XML язык разметки текста. Формат ориентирован на построчную интерпретацию, по сути, он представляет собой специальным образом записанную последовательность SQL команд.

В третьей главе описываются базовые элементы системы.

Определяются основные программные модули системы, которые необходимы для реализации описанных выше схем обмена данными. Основные модули системы должны реализовывать следующие функции:

• Передача данных между узлами системы.

• Диспетчеризация информационных потоков.

• Ввод полученных данных в БД ОСМ в каждом из узлов системы.

• Удаленный контроль работы модулей системы в разных узлах.

• Интерфейс пользователя, обеспечивающий базовые возможности для просмотра и анализа данных в БД ОСМ.

Сформулированы требования к организации взаимодействия модулей в системе и описаны принципы, реализации такого взаимодействия в программном обеспечении, разработанным автором.

Определены выбранные для разработок операционная система и средства разработки. В главе также подробно описываются реализованные программные компоненты.

Четвертая глава посвящена описанию применений предложенной технологической схемы и разработанных программных модулей для сбора и распространения данных в отраслевой системе мониторинга.

Описана организация сбора и рассылки данных в ОСМ. Рассмотрен технологический процесс сбора данных о позиционировании и промысловой деятельности судов дальневосточного бассейна и информации о деятельности рыболовного флота в европейской части w

России. Эти данные собираются в объединенную базу данных ОСМ в

V головном узле системы в Национальном Центре Мониторинга и Связи

Госкомрыболовства (НЦМС). НЦМС так же занимается поддержкой st, справочных таблиц базы данных. Приведена Схема информационных потоков ОСМ.

Дано описание предоставления данных организациям при помощи организации информационных узлов (ИУ). ИУ ОСМ создаются в регионах на государственных предприятиях, обеспечивающих реализацию управления водными биологическими ресурсами. Цель создания ИУ ОСМ - это обеспечение государственных предприятий отрасли необходимой программно-технической средой получения и доставки данных в единый информационный ресурс ОСМ и эффективное информационное обеспечение работы органов рыбоохраны, служб наблюдения за флотом, научных подразделений, занимающихся оценкой и состоянием рыбных запасов и др.

Далее дан анализ задачи обеспечения оперативной информацией, поступающей в ОСМ, и системой ее анализа отраслевых пользователей, работающих удаленно от центральных и региональных информационных узлов ОСМ (например, инспекторов, находящиеся на судах). В рамках данной работы было разработано решение для этой задачи - локальное рабочее место пользователя (ЛРМП)

Предложенное программно-аппаратное решение работает под управлением ОС Windows. Что поваляет использовать в качестве арпаратной базы рабочую станцию, либо портативный компьютер, с сохранением всех базовых функций современного персонального компьютера (пакеты офисных программ, работа с Интернет и т.п.).

Описаны требования по системе поступления данных на ЛРМП и основные программные элементы необходимые для обеспечения работы ЛРМП. Рассказано о опыте практического использования ЛРМП при решении реальных задач отраслевой системы мониторинга.

В заключении приводятся основные результаты, выносимые на защиту.

4.5 Выводы

В этой главе были описаны применения на практике результатов полученных в работе.

На основе предложенной в главе 2 архитектуры и созданных базовых программных элементов, описанных в главе 3, реализована находящаяся в настоящий момент в промышленной эксплуатации система сбора и распространения данных ОСМ. В настоящее время эта система обеспечивает получение в автоматическом режиме данных о деятельности рыболовного флота в экономической зоне Российской Федерации в более чем 20 организациях.

В соответствии с предложенной в главе 2 логикой рассылки данных, автором разработана архитектура построения базовых информационных узлов ОСМ, рассчитанных на обеспечение работы крупных отраслевых организаций.

Для предоставления базовых возможностей по работе с данными БД ОСМ автором разработан картографический web-интерфейс. Интерфейс предоставляет возможность визуального отображения географически привязанной информации из БД ОСМ и архивов спутниковых данных, а так же получения текстовых выходных форм.

Автором была так же разработана архитектура построения локального рабочего места пользователя ОСМ, рассчитанного на работу отдельных удаленных пользователей, не имеющих выделенных каналов связи.

Заключение

Научно-технические разработки выполненные в рамках настоящей работы позволили создать автоматизированную систему распространения и предоставления данных отраслевого мониторинга рыболовства. Внедрение системы проходило начиная с 2000 года в рамках работ по созданию и развитию ОСМ. В настоящее время созданная система используется для организации информационного обмена и работы с данными в более чем 20 организациях, обеспечивающих контроль промысловой деятельности в экономической зоне Российской Федерации.

В рамках настоящей работы получены следующие основные результаты, которые выносятся на защиту:

1. Разработана принципиальная логическая схема информационного обмена между субъектами отраслевой системы мониторинга, позволившая организовать обмен информации, обеспечивающий целостность и локальную полноту данных.

2. Предложена модульная схема построения системы сбора и предоставления данных ОСМ. На основе предложенной схемы были выделены базовые программные компоненты и разработаны правила их взаимодействия, которые позволили оптимизировать работы по созданию функциональных узлов системы за счет применения однотипных технологических решений.

3. Разработана архитектура построения базовых информационных узлов ОСМ, рассчитанных на обеспечение работы крупных отраслевых организаций.

4. Разработана архитектура построения локального рабочего места пользователя ОСМ, рассчитанного на работу отдельных удаленных пользователей, не имеющих выделенных каналов связи.

5. Разработаны базовые программные компоненты автоматизированной системы распространения и предоставления данных отраслевого мониторинга рыболовства:

• Блок, обеспечивающий поддержку обмена данными между узлами ОСМ;

• Универсальный модуль ввода информации в базу данных ОСМ;

• Блок формирования и фильтрации потока данных ОСМ;

• Интерфейс удаленного пользователя на основе web технологий

6. На основе предложенной архитектуры и созданных базовых элементов реализована находящаяся в настоящий момент в промышленной эксплуатации система сбора и распространения данных отраслевой системы мониторинга рыболовства.

Благодарности

Автор выражает благодарность Лупяну Е.А. за возможность работы над темой и неоценимую помощь в оформлении работы.

Автор также глубоко признателен своим коллегам, сотрудникам Института космических исследований РАН, Прошину А.А., Дегаю А.Ю, Наглину Ю.Ф., Ильину В.О., Егорову В.А.

Эта работа не могла бы быть выполнена без сотрудничества с организациями, разрабатывавшими и развивавшими систему мониторинга рыболовства. Автор особенно благодарен Нестеренко А.А., Пыркову В.Н., Ермакову В.В., Бажутину О.Е., Фомичеву М.В., Солодилову А.В., Сизовой Е.Р.

1.В. Деменьтев. Поручение правительства России выполнено// Рыбное хозяйство. Специальный выпуск. 2001. с.2

2. Автоматизированные системы мониторинга судоходства / А.Н.Маринич, И.Г.Проценко, В.Ю.Резников и др. Под общ. ред. докт. техн. наук, проф. Ю.М.Устинова. СПб.: Судостроение, 2003, - 230 е., ил.

3. Г.П. Ванюшин, Б.Н. Котенев, М.Ю. Кружалов, А.А. Трошков, Т.В. Булатов. Мониторинг рыболовства — составная часть программы эффективного освоения биоресурсов // Рыбное хозяйство. Специальный выпуск. 2001. С. 43-47

4. В.Н. Долженков, В.Н. Кобликов. Современное состояние запасов и перспективы промысла камчатского краба на шельфе западной камчатки // Рыбное хозяйство 2003 № 4 с. 32-35.

5. В.А. Шашуловский, С.С. Мосияш. Опыт оценки неучтенного промыслового вылова рыбы (на примере волгоградского водохранилища) // Рыбное хозяйство 2003 № 4 с. 44-46

6. Резников В.Ю. Глобальная морская система связи при бедствии (ГМССБ) // Рыбное хозяйство. Спец. вып. 2001. - С. 3-18.

7. К.С. Пустовойт. Спутниковые станции системы ИНМАРСАТ // Рыбное хозяйство. Специальный выпуск. 2001. С. 26-28.

8. К.С. Пустовойт, С.А. Тонких. Защищенность технических средств мониторинга рыбопромысловых судов // Рыбное хозяйство 2003 № 4 / С. 64-65.

9. А.Н. Семкин, В.И. Черемушкин. Возможности использования российского космического сегмента для мониторинга рыболовства // Рыбное хозяйство. Специальный выпуск. 2001. С. 29-32.

10. Основы обработки и анализа данных космического дистанционного зондирования океана. Учебное пособие. М.: МФТИ, 2003. 272с.

11. М.Ю. Захаров, Е.А. Лупян, А.А. Мазуров и др. Система автоматического приема и архивирования спутниковых данных. // Препринт ИКИ РАН. Пр.-1998. М.-.1998 19с.

12. Е.А. Лупян, А.А. Мазуров, P.P. Назиров и др. Универсальная технология построения систем хранения спутниковых данных. // Препринт ИКИ РАН. Пр.-2024. М.:2000. 22с.

13. А.А. Романов, С.В. Матвеев, Е.А. Лупян, А.А. Мазуров, А.А. Прошин, Е.В. Флитман. Перспективы создания и развития распределенного архива данных спутникового мониторинга океанографической обстановки Госкомрыболовства. Тезисы докладов

14. Конференции «Информационные ресурсы об океане актуальные проблемы формирования, распространения и использования в научных исследованиях и в морской деятельности» ОИР 2002 Обнинск, ВНИИГМИ-МЦД с.107

15. Романов А.А. Геоинформационные технологии и интерактивная компьютерная обработка изображений в задачах дистанционного зондирования океана // М.: МФТИ. 1999. 230 с.

16. Н.М. ДеМерс. Географические информационные системы. Основы // М.: Дата+. 1999. 490 с.

17. Капралов Е.Г., Кошкарев А.В., Тикунов B.C. и др. Основы геоинформатики: Учебное пособие. Под ред. В.С.Тикунова. М.: Академия, 2004, кн.1 - 352 е.; кн. 2 - 480 с.

18. George Korte. The GIS Book; 5 edition // On Word Press, 2000. 400 p.

19. Долгов A.H., Десятерик M.H. Электронно-картографическая основа для системы мониторинга «Рыболовство» // Рыбное хозяйство. Специальный выпуск. 2001. С. 33.

20. К. Дж. Дейт. Введение в системы баз данных. К.: Диалектика, 1998, 784с.

21. Гарсиа-Молина Г., Ульман Д., Уидом Д. Системы баз данных. Полный курс // М.:2003, 1088 с.

22. Т. Коннолли. Базы данных. Проектирование, реализация и сопровождение. М.: Вильяме, 2003. 1439 с.

23. Fleming С., Von Halle В. Handbook of Relational Database Design. Reading, MA: Addison-Wesley. 1989.

24. M. Грабер. SQL // M.: Лори, 2001. 353 с.

25. Database Language SQL (ISO 9075:1987(E)). International Organization for Standardization. 1987.

26. Database Language SQL (ISO 9075:1989(E)). International Organization for Standardization. 1989.

27. Database Language SQL (ISO 9075:1992(E)). International Organization for Standardization. 1992.

28. Database Language SQL Part 2: Foundation. (ISO/IEC 9075-2). International Organization for Standardization. 1999.

29. Database Language SQL Part 2: Persistent Stored Modules. (ISO/IEC 9075-4). International Organization for Standardization. 1999.

30. С. Спейнаур, P. Экштейн. Справочник вебмастера. СПб.: Символ-Плюс. 2001. 608 с.

31. А. Павлов. CGI-программирование: учебный курс — СПб: Питер, 2000.-416 с.: ил.

32. Д. Кирсанов. Веб-дизайн: книга Дмитрия Кирсанова СПб.: Символ-Плюс, 1999 - 376 е.: цв. ил.

33. Скотт Гулич, Шишир Гундаварам, Гюнтер Бирзнекс. CGI программирование на Perl. Символ-Плюс, 2001.

34. Келли J1. Мэрдок. JavaScript. Наглядный курс создания динамических Web-страниц, 2001.

35. Пол Мак-Федрис. Использование JavaScript. Специальное издание. Вильяме, 2002.

36. Шелли Пауэре. Динамический HTML. Издательство «ЛОРИ», г. Москва, 1999, 362с

37. Dynamic HTML: справочник. СПб: Издательство «Питер», 2000,512с.

38. Матросов А. В, Сергеев А. О., Чаунин М. П. HTML 4.0. Новый уровень создания HTML-документов. «БХВ-Санкт-Петербург», 2001,672с.

39. X. Вильямсон. Универсальный Dynamic HTML. Библиотека программиста. СПб.: Питер, 2001. - 304 е.: ил.

40. Ян Ф. Дарвин. Java. Сборник рецептов для профессионалов. СПб.: Питер, 2002. - 768 е.: ил.

41. М. Морган. Java 2 / Руководство разработчика. М.: Издательский дом «Вильяме». 2000. 720 с.

42. Э. Гарольд, С. Мине. XML. Справочник. Пер. с англ. - Спб.: Символ-Плюс, 2002. - 576с.

43. Робачевский А. М. Операционная система UNIX // СПб.: БХВ. 2000, 528с.

44. Кейт Хэвиленд, Дайна Грэй, Бен Салама. Системное программирование в UNIX. Руководство программиста по разработке ПО = Unix System Programming. A progremmer's guide to software development: Пер. с. англ. M., ДМК Пресс, 2000. - 368 с.

45. У. Стивене. UNIX: взаимодействие процессов СПб.: Питер, 2003 -576 с.:ил.

46. Р. Д. Метьюз и др. Web-сервер под UNIX СПб.: Символ-плюс, 2000 - 560 с.

47. FreeBSD Handbook. http://www.freebsd.org/doc/enUS.IS08859-1 /books/handbook/index.html

48. Уолл Д., Кристиансен Т., Орвант Д. Программирование на Perl. 3-е издание. // СПб: Символ-Плюс, 2002. 1152 с.

49. Кристеансен Т., Торкингтон Н. Perl: библиотека программиста // СПб.: Издательство «Питер», 2000. 736 с.

50. Дюба П. MySQL // М.: Издательский дом «Вильяме». 2000. 816 с.

51. MySQL Reference Manual, http://dev.mysql.com/doc/mysql/en/

52. Андреев М.В., Дегай А.Ю., Лупян Е.А., Мазуров А.А., Прошин А.А.,Флитман Е.В. Картографический WEB-интерфейс на основе DHTML и JavaScript // ГИС-Ассоциация. Материалы всероссийская учебно-практическая конференция "ГИС и Интернет" 2001.

53. Андреев М.В., Дегай А.Ю., Лупян Е.А., Мазуров А.А., Прошин А.А., Флитман Е.В. Картографический web-интерфейс на основе технологий DHTML и JavaScript // Препринт ИКИ РАН. Пр-2051. М. 2002. 23с.

54. HTTP Server Version 1.3 Documentation — http://httpd.apache.org/docs/