автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Разработка методов и средств интеграции распределенных и разнородных информационных ресурсов в области изучения, освоения и использования мирового океана

Российская академия наук Институт системного анализа (ИСА РАН)

УДК 004 7 На правах рукописи

Белов Сергей Викторович

РАЗРАБОТКА МЕТОДОВ И СРЕДСТВ ИНТЕГРАЦИИ РАСПРЕДЕЛЕННЫХ И РАЗНОРОДНЫХ ИНФОРМАЦИОННЫХ РЕСУРСОВ В ОБЛАСТИ ИЗУЧЕНИЯ, ОСВОЕНИЯ И ИСПОЛЬЗОВАНИЯ МИРОВОГО ОКЕАНА

Специальность 05 13 01 Системный анализ, управление и обработка

информации

Автореферат диссертации на соискание ученой степени кандидата технических наук

Москва-2008

2 7 МДР 2008

003165913

Работа выполнена в Центре Океанографических Данных, ГУ «Всероссийский научно-исследовательский институт гидрометеорологической информации -

Мировой центр данных» (ГУ «ВНИИГМИ-МЦЦ»)

Научный руководитель доктор технических наук, профессор,

завлаб ВНИИГМИ-МЦЦ Евгений Дмитриевич Вязилов

Официальные оппоненты ведущий научный сотрудник Института

космических исследований РАН, докт техн наук, профессор МГУ Ефим Борисович Кудашев

докт техн наук, профессор, зав кафедрой Комплексных систем, сетей и технологий Обнинского Государственного Технического Университета Атомной Энергетики (КССТ ОГТУ АЭ) Сергей Олегович Старков

Ведущая организация Санкт-Петербургский институт

информатики и автоматизации РАН

Защита состоится 14 апреля 2008 г в// -ОСна заседании диссертационного совета Д-002 086 02 при Институте Системного Анализа Российской Академии Наук по адресу 117312, г Москва, пр-т 60-летия Октября, 9

С диссертацией можно ознакомиться в библиотеке Института системного анализа РАН

Автореферат разослан/^и^/г

Ученый секретарь диссертационного совета, доктор технических наук, профессор_

Пропой А И

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы. В современных условиях ключевым фактором повышения эффективности морской деятельности становится обеспечение управления значительными и постоянно возрастающими информационными ресурсами (ИР) в области изучения, освоения и использования Мирового океана Это базы (массивы) гидрометеорологических и гидрофизических данных, сведений о биоресурсных и углеводородных запасах и их добыче, портовой инфраструктуре, морских транспортных операциях и другим дисциплинам, программы обработки данных и моделирования морских процессов, экспертные системы, нормативная методическая и правовая информация и т д

В России ИР рассматриваемой тематики сосредоточены в более чем 30 информационных системах федеральных органов исполнительной власти Российской Федерации и Российской академии наук Возможности удаленного доступа к ресурсам с применением современных web-ориентированных сетевых технологий выводят обслуживание морской деятельности на другой, более высокий уровень Однако эффективность применения сложившейся инфраструктуры сегодня остается невысокой Информационные системы функционируют, как правило, без необходимого взаимодействия и их ресурсы не интегрированы как логически (по моделям и структурам описания и представления, системам кодирования), так и физически (по форматам данных, средствам описания ресурсов, платформам хранения данных и др ) В связи с этим, получение пользователем в короткое время полной и систематизированной информации о морской среде и морской деятельности затруднено, приходится выполнять трудоемкие и длительные работы по преобразованию и комплексированию информации о Мировом океане, создаваемой различными системами

Проблемы интеграции ИР теоретически изучены достаточно полно, разработаны разнообразные подходы к их решению системы неоднородных баз данных, семантика распределенных ИР, слабоструктурированные данные Однако, практическая реализация теоретических выводов не получила широкого развития

Разработка методов и средств интеграции распределенных и разнородных ИР является на сегодняшний день актуальной задачей не только в области изучения, освоения и использования Мирового океана Об этом свидетельствуют действующие программы федерального, регионального и отраслевого масштабов Единая государственная система информации об обстановке в Мировом океане - ЕСИМО, ФЦП «Мировой океан", http //esimo oceaninfo ru/. «Совершенствование взаимодействия органов государственной власти и органов местного самоуправления с хозяйствующими субъектами и внедрение ИКТ в реальный сектор экономики» - ФЦП «Электронная Россия», http //www e-rus ru/site shtml9id=20. Программа фундаментальных исследований Президиума РАН «Разработка фундаментальных основ создания научной распределенной информационно вычислительной среды на основе технологий GRID» (Направление

«Электронная Земля научные информационные ресурсы, и информационно-коммуникационные технологии»), http //eearth viniti ru/, исследс вания по интеграции информационно-аналитических ресурсов в ИСА РАН, http //www isa ru/ecomform/

Мировые тенденции также показывают движение от ра: розненных информационных ресурсов к интегрированным системам, взаимоде] ютвующих на основе совместимых стандартов метаданных и други с средств информационного взаимодействия В области информации о Мировом океане реализуется ряд крупных инициатив в Европе проекты Ев эопейского сообщества (SeaDataNet, http //www seadatanet org/"). США (JS-DMAC, http //dmac ocean us/), международных организаций - Информациот ая система Всемирной метеорологической организации (WMO Information S>stem, WIS, http //www wmo mt/pages/themes/wis/mdex en html'), портал океанографических данных Межправительственной океанографической комиссии ЮНЕСКО (OceanPortal, http //www oceanportal org/), система систем i лобальных наблюдений за Землей (GEOSS, http //www earthobservations org/) Активно ведутся разработки приложений стандартов метаданных Международной организации стандартизации (ИСО серии 191хх) и Web-серви зов (OGC, http //www opengeospatial org/) для обмена разнородными данными с б океане

Главной задачей в рамках этой проблемы является разработка единой среды метаданных и программного обеспечения управления распределенными и неоднородными ИР, поиска данных и доступа к ним, которая оцен -тается как «прорывная» информационная технология

Объект исследований. Распределенные географически, семантически и структурно разнородные ИР, формируемые разнс образными информационными системами в области изучения, освоения и использования Мирового океана

Цель работы. Основной целью работы является разработка методической основы и инфраструктуры интеграции ИР в области изучения, освоения и использования Мирового океана

Задачи работы

• уточнить проблемы обмена и совместного использования данных по тематике Мирового океана различного логического и 4 изического представления и дать систематизированное описание свойств распре деленных и разнородных ИР,

• развить методы стандартизации метаданных для упра1ления ИР, поиска данных и удаленного доступа к ИР,

• усовершенствовать методы семантической унификации дос гупа к ИР и представления разнородных данных в едином информационном инт< рфейсе,

• разработать решения и программные средства управления л доступа к распределенным и разнородным ИР в области изучения, с своения и использования Мирового океана

Используемые методы: Теоретическую и методологичесь ую основу диссертационного исследования составили труды отечественных и арубежных ученых и практиков в области системного анализа, web-ориен "ированных

сетевых информационных технологий, формирования и использования единого информационного пространства в различных предметных областях Существенным источником познания практики и механизмом оценки результатов исследований стало личное участие автора в более чем 10 международных совещаниях по стандартизации обмена разнородными данными о морской природной среде и построению интегрированных информационных систем в 2005-2007 г г В материалах диссертации использован опыт автора по реализации пилотных проектов Межправительственной океанографической комиссии (МОК) ЮНЕСКО и Всемирной метеорологической организации (ВМО)

Научная новизна: Научная новизна результатов представленной работы состоит в реализации качественно нового комплексного подхода к вопросу интеграции ИР в области изучения, освоения и использования Мирового океана и формулируется в следующих положениях

1 Предложена комплексная модель интеграции ИР по тематике Мирового океана, учитывающая логическую и физическую разнородность данных, аспекты управления распределенными источниками данных и доступа к данным Модель основана на современных подходах по стандартизации процессов обмена и распространения данных с использованием web-ориентированных информационных технологий,

2 Впервые разработаны единая динамическая среда и средства описания объектов интеграции ИР, источники данных, системы кодирования, пользователи и другие, обеспечивающие стандартизацию и многоуровневую поддержку метаданных для отображения содержания и представления, организации информационного взаимодействия множества объектов, а также совместимость с международным стандартом метаданных ISO 19115 и представляющие его расширение,

3 Новыми являются методика и средства унификации разнообразных структур, кодов и классификаторов данных, обеспечивающие представление разнородных ИР в едином интерактивно формируемом обменном формате данных с возможностью настройки на тематическое содержание, специфику представления и другие свойства локальных данных,

4 Впервые разработана технология интеграции данных по различным дисциплинам, с различными системами хранения, форматами представления и другими логическими и физическими свойствами, обеспечивающая формирование единого информационного поля в рамках подпрограммы ЕСИМО

На защиту выносится комплекс методических положений (модель описания информационных объектов, протокол обмена данными, универсальное применение классификаторов метаданных и данных) интеграции ИР в области изучения, освоения и использования Мирового океана, обеспечивающих

• стандартизацию описания объектов интеграции (ИР, систем кодирования, пользователей и др ),

• унификацию полидисциплинарных данных, представляемых в разных форматах, структурах и системах хранения,

• управление ресурсами распределенных источников данны> на основе метаданных, профилизацию информационного пространства (создание федераций источников данных) для различных классов конечных пользователей и внешних программных приложений,

• построение и навигацию запросов пользователей в пространстве распределенных источников данных, безопасность использования ИР с учетом прав владельцев

Практическая значимость: Результаты исследований исполь юваны при выполнении проектов подпрограммы 10 ЕСИМО "ФЦП Мировой ок;ан" (19992007) и составили основу технологии интеграции информационных ресурсов ЕСИМО, которая принята к приемочным испытаниям по вводу в гостоянную эксплуатацию в составе технологического комплекса первой очер< ди единой системы Технология внедрена в 18-ти организациях-центрах ЕСИМО, представляющих морские информационные системы 12-ти ф(деральных органов исполнительной власти и Российской академии наук Кэмпоненты технологии использованы в нескольких пилотных проектах в рамка с программ Межправительственной океанографической комиссии (МОК) ЮНЕСКО и Всемирной метеорологической организации

Апробация работы: Основные положения и результаты диссертационной работы докладывались и обсуждались на всероссийских и международных совещаниях и конференциях «Применение кибер ^етических методов в решении проблем XXI века» (Обнинск, 2003), "Научный сервис в сети Интернет" (Новороссийск,2003), ICES-IOC Study Group on the E evelopment of Manne Data Exchange Systems using XML (Гетеборг, 2003, Остенде, Бельгия,

2004), 19th International COD ATA Conference, The Information Society New Horizons for Science (Берлин, 2004), 18th Session of the IOC Co nmittee on International Oceanographic Data and Information Exchange (Остендз, Бельгия,

2005), WMO Information System Technical Conference (Сеул, Корея, 2006), a также на совещаниях технической группы проекта Европейского соо бщества по созданию инфраструктуры морских данных (SeaDataNet) (2004 - 20( 7), сессиях ученого совета ВНИИГМИ-МЦЦ (Обнинск, 2002 - 2006) На основе натериалов диссертационной работы автором проведены обучающие к урсы для представителей центров океанографических данных МОК ЮНЕС1 О по сети распределенных морских данных (Бельгия, Остенде, 2007)

Личный вклад соискателя заключается в разработке методо i и средств формирования и ведения метаданных, обеспечивающих интеграцию распределенных ИР, создание единого пространства имен, структур i форматов метаданных в рассматриваемой предметной области, программного обеспечения технологии интеграции Из работ, выполненных в соавторстве, в диссертацию включены результаты, отвечающие личному участию а 5тора

Структура и объем диссертации. Диссертация состоит из введения, 3 глав, заключения, библиографического списка из 94 наименования, \ содержит 150 страниц, 13 таблиц и 30 рисунков

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ Во введении обоснована актуальность темы исследования, описаны решаемые проблемы, представлена практическая значимость работы

В Главе 1 представлен обзор методов и средств интеграции ИР Рассмотрена проблема обмена и использования данных в области изучения, освоения и использования Мирового океана Проводится анализ состояния и тенденций развития информационных технологий обмена и интеграции данных Рассматриваются прикладные технологии реализации программных средств технологии интеграции - язык разметки XML, язык Java, концепции технологии Grid и web-сервисы На основе проведенного анализа сформулированы основные проблемы интеграции ИР

За прошедшие десятилетия накоплен огромный объем разнородной информации для обеспечения деятельности связанной с Мировым океаном - от данных о среде до социально - экономической информации, многократно возросли количество и мощности используемых ЭВМ, расширилось число функций и возможностей программных средств Процесс интеграции данных ставит множество проблем, вызванных, в частности, автономностью и разнородностью источников, количественными и качественными требованиями к обработке запросов В рамках деятельности органов государственной власти, государственных и негосударственных предприятий, научных, учебных и общественных организаций ведется сбор, накопление, обработка и распространение информации об обстановке в Мировом океане, т е постоянно осуществляются процессы создания и потребления информационных ресурсов по предметной области морской деятельности

Причем, определенная часть данных, хранящаяся в различных центрах, пересекается по содержанию Каждое отдельно взятое приложение имеет относительно строгую структуру в виде заранее предписанной схемы базы данных или формата данных, но при этом наблюдается широкое разнообразие типов и форм представления этих структур (схем баз данных, форматов, кодов параметров) на всем информационном пространстве По этой причине, можно утверждать, что данные в области морской деятельности имеют "размытую" структуру Причем, в большинстве случаев взаимодействовать с данными мореведческих организаций возможно только через интерфейс, предоставляемый соответствующим центром или специально разработанный интерфейс для доступа к данным этого центра Поскольку информационные технологии и спецификации данных в большинстве своем несовместимы, для обеспечения взаимодействия, например, между несколькими приложениями обычными средствами, необходимо реапизовывать соответствующие переходники для каждой из пар взаимодействующих прикладных приложений Очевидно, что ростом количества приложений, трудозатраты на интеграцию растут по экспоненте По этой причине взаимный обмен данными на регулярной основе практически не производится, следовательно, использование информации, как правило, ограничивается решением узкоспециализированных задач, поскольку пользователь не может оперировать всей доступной ему информацией как единым целым Такое положение дел приводит к

дублированию работ, существенному удорожанию разработок и эксплуатации информационных систем, что, в свою очередь, приводит к малоэфф активному информационному обеспечению распределенными и разнородными ЬР

Можно выделить три класса информационных систем, функции которых так или иначе связаны с осуществлением сбора, накопления, хранения и распространения информации по морской природной среде и иску хтвенным объектам в Мировом океане информационные системы, непосредственно связанные с получением, подготовкой и использованием информации о состоянии морской среды, информационно-телекоммуникационные системы, обладающие высоким уровнем автоматизации, системы технологического назначения (связь, вычислительные сети)

Принципиальным моментом в создании системы распределенных и разнородных данных в области морской среды является интеграция рассмотренных информационных систем мореведческой направл знности в единое информационное пространство Основная технологическая проблема, возникающая при создании подобной системы, состоит в гложности интеграции разнородных потоков оперативной информации, существующих и вновь создаваемых массивов и баз данных, разнообразных пр ограммно-технологических и аппаратных средств Другая проблема состоит в } правлении функционированием системы, как единым информационно-технот огическим образованием

Такие информационные системы должны обладать высоки] \ уровнем автоматизации и способны обеспечить информационную поддержку принятия решений в режиме реального времени

Основными проблемами интеграции информационных рес ^рсов при создании единого информационного пространства являются у-шфикация структурного и стилевого представления информации разли шых ИР, актуализация информации о ИР и их мониторинга, обеспечение - ребований информационной безопасности по разграничению прав доступе к ИР и сервисам

К основным недостаткам существующих методов и средств ин геграции и обмена данными относятся

• передача информации в структуре хранения или близкой к ней без перекодирования в международные и национальные системы клас( ификации, требуется предварительное приведение к ним с помощью специальных конверторов,

• при описании метаданных не учитывается тип информации (исходные данные, анализ, прогноз, обобщение), представление данных (точкг, профиль, сетка, объектный файл), возможность хранения локальных источш ков в базе данных или файловой системе

Все рассмотренные в обзоре системы распределенных ИР I спользуют практически один и тот же концептуальный подход по технологии интеграции ИР (при различиях в терминах и определениях), который заю ючается в следующем

• информационные ресурсы размещаются в узлах системы,

представляющих собой источники ресурсов, которые организованы на основе web-технологий и поддерживаются центрами системы (организациями-участниками проектов),

• для включения источника в систему и обеспечения доступа к нему используется тот или иной механизм и средства (web-сервисы в соответствии с W3C (http //www w3c org/)), включающие соглашения по идентификации, описанию и представлению ресурсов в системе и технические средства для реализации технологии (промежуточное программное обеспечение, middleware)

В Главе 2 описаны методические основы интеграции разнородных и пространственно - распределенных данных Представлена классификация ИР, выделены основные моменты модели интеграции ИР и аспекты ее реализации Предложен метод унификации данных с использованием словарей атрибутов метаданных (пространства имен), параметров, кодов и классификаторов Рассмотрено применение классификаторов, позволяющее использовать любую нотацию кодирования без какого-либо влияния на информационное взаимодействие Представлен архитектурный подход построения технологии интеграции, предложена схема описания ИР Изложены математические выкладки оценки минимизации затрат при интеграции ИР и математическая модель источника ресурсов для расчетов основных нагрузочных характеристик

Процессы (явления) реального мира проявляются через данные и информацию, композиция которых представляет собой информационное пространство об обстановке в Мировом океане Информационное пространство распределяется на информационные ресурсы на основе модели ИР, которая строится посредствам классификации ресурсов на основе их свойств

Информационное пространство и составляющие его ИР обладают такими категориями свойств как идентификация, содержание, производство, происхождение, связность, ограничение доступа, жизненный цикл ИР, рис 1

Интеграция разнородных данных локальных систем происходит за счет использования определенной техники представления метаданных и данных Соглашения и правила унифицированного представления объединены в виде модели, которая здесь названа схемой распределенных ИР

Поименованная совокупность данных, генерируемых источником информации от локальной системы, названа здесь как ИР Этот термин используется для того, чтобы абстрагироваться от разнородных данных, хранящихся в локальных системах данных и с этой точки зрения, ИР - это данные локальной системы после применения к ним операций, реализуемых поставщиком данных В связи с тем, что продуцирование ИР осуществляется только в ответ на запрос к источнику данных, распределенные ИР системы можно рассматривать как динамическое "виртуальное" информационное пространство И в этом случае термин "информационный ресурс" в большей степени отражает аспект отражения локальной системы данных в системы распределенных (интегрированных) ИР

V ■■ V-■НЧ'П1!

- Информационное пространство

Идентификащ я

Содержание

Производств«

Происхождеш е

Связность

Ограничения

Жизненный ци л

- информаци энный ресурс

Рисунок 1 - Категории свойств информационных ресурсоЕ

Для определения единицы ресурсов, по отношению I которой осуществляются процессы описания и нормализации, как к единому целому, введем понятие набор ИР Это совокупность информации, представляющая некую самоценную и достаточную единицу информационного пространства, имеющую уникальность по таким свойствам как идентификатс р ресурса (физический и логический), тематика ресурса (сфера, процесс, парал етры), тип ресурса (данные наблюдений, климатическая, диагностическая и другая информация), пространственно-временное разрешение, форма пре ютавления (буквенно-цифровая структурированная, текстово - графическая и пространственная информация) и метод доступа к ИР Следует оти етить, что тип ресурса является специфическим атрибутом описания ИР

Наименования свойств даны в соответствии с классификационной схемой ИР Каждый элемент ИР может быть отображен в виде метаданных (данные о данных в семантическом и физическом смысле) и, собственнс, данных Метаданные классифицируются на категории по функци энальному назначению

• метаданные унификации - словарь атрибутов метаданные словарь параметров и общие таблицы кодов, используемые для унификации метаданных и данных,

• сервисные метаданные описания ИР различного уровня, используемые для навигации, поиска, интеграции данных из различных источников, описание пользователей, их прав и персонификации з системе, ведения сведений о системе ,

• тематические метаданные описания организаций, пр з грамм и платформ наблюдений, методов получения и другие, использ? емые для понимания природы, происхождения, точности, качества и другсх свойств данных

Рассматривается архитектурный подход реализации системы распределенных ИР, построенный на подходе с использованием «ме ^иаторов» Архитектура такой системы представлена на рисунке 2

3

в

j адаптер j J

и

в

3

Рисунок 2 - Схема медиаторной интегрирующей системы Медиатор (mediator) это программный компонент, который, с одной стороны, взаимодействует с пользователем интегрирующей системы, и, с другой стороны, с информационными источниками Медиатор предоставляет единую "точку входа" (программный интерфейс) для запросов пользователей Он выполняет основные стадии обработки запроса декомпозицию на запросы к источникам (на основе их описаний), оптимизацию плана выполнения, рассылку адаптерам и комбинирование результатов

Адаптер (wrapper) это посредник между медиатором и информационным источником Задача адаптера — перевести запрос из интегрированной схемы в схему источника, и, затем, результаты запроса перевести обратно в интегрированную схему Адаптер предназначен для скрытия деталей реализации источника от медиатора

Далее рассматривается схема описания распределенных ИР Ключевым звеном систематизации ИР являются сервисные метаданные, которые обеспечивают интегрированность данных через поддержание связей (элементов) ИР тематическими метаданными (описаниями организаций, проектов, приборов, программ наблюдений, массивов и баз данных) и данными Взаимодействие между источниками данных и системными метаданными основывается на специальном механизме идентификации ИР различного уровня, порождаемых источником данных

Унификация данных состоит в использовании единого словаря атрибутов метаданных, словаря параметров, таблиц общих кодов и кодификаторов, наряду с использованием набора метаданных Словарь атрибутов метаданных представляет собой логическое пространство имен атрибутов сервисных, тематических и ассоциируемых с данными метаданных Словарь параметров обеспечивает унификацию разнообразных интерфейсов на уровне значений параметров - собственно данных, аналогично словарю атрибутов метаданных Общие коды и кодификаторы обеспечивают раскодирование системных метаданных и данных для организации управления и внешнего представления данных и унификацию информационных, программных интерфейсов и интерфейса пользователя (через имена и определения)

Как уже упоминалось выше, информационное пространство распределяется на информационные ресурсы на основе модели ИР, которая строится посредствам систематизации (классификации) ресурсов на основе их

свойств С учетом семантических и физических свойств, для всех системных и тематических метаданных, использующихся в рамках юстроения распределенной системы, может быть выделен ряд соглашений, кот эрые будут использоваться в качестве логического правила формализации и ош сания этих объектов Разработанный подход состоит в выделении базовых структур и соглашений по их использованию

Описание ресурса строится из блоков (элементов) и разделов (классов) и представляется в виде набора блоков (записи)

Элемент является неделимой частью описания в состазе раздела описания, который может быть использован в различных разделах Элемент может быть представлен как ключевым элементом (идентификато эом), так и характеристикой Обладает уникальным именем и типом npt дставления (строковое, числовое и т п)

Класс, или раздел, представляет собой составную часть описания ИР, включающую те или иные характеристики, описывающие набор однородных свойств ИР в терминах категорий классификации ресурсов Классы представляют собой фиксированный набор элементов, скомпонованный по определенным правилам, задающим последовательность элеме-ггов и их повторяемость в пределах этой последовательности

Запись представляет собой композицию классов, ото эражающих структуру объектов технологии Другими словами, за шсь есть формализованное описание объекта технологии в рамках инфо шационной модели Аналогично классам, записи строятся по четко определенным правилам встречаемости классов (необязательные, обязательные, больше двух вхождений и т п), обозначающие, что конкретное свойс гво может отсутствовать, быть обязательным или иметь несколько описаний для различных характеристик (например, жизненный цикл объекта)

Формализация данного подхода может быть произведена с помощью таких языков как XML, XML Schema, UML

Вторая часть главы посвящена рассмотрению оценки миними ¡ации затрат при интеграции ИР и рассмотрению математической модели источника ресурсов для расчета основных нагрузочных характеристик (время отклика, производительность и готовность)

Сложность информационного процесса можно определить как сумму различий исходных представлений информации умноженной на затраты по приведению представлений информации к совместимому виду и /множенной на коэффициент искажения данных при преобразовании для какдого этапа работ, входящего в информационный процесс

С = J^i d, 9„ (1)

где, С - (complexity) коэффициент сложности информационного процесса, d, - (difference) различие исходных представлений инфс рмации, е, -(expense) затраты по приведению представлений информации к совместимому

виду, g, - (garbling) коэффициент искажения данных при преобразовании, N -количество этапов преобразования, входящих в информационный процесс

Глава 3 содержит описание реализации технологии интеграции в области морской среды Обоснована структура метаданных для описания ИР Представлен протокол обмена данных Описано применение разработанных решений на практике - при создании технологии интеграции распределенных ИР в подпрограмме ЕСИМО Рассмотрены разработанные требования к сервисам программных компонент технологии Рассмотрены основные этапы процесса управления ИР

Согласно приведенной в главе 2 классификации выделены основные категории свойств ИР Эти свойства описываются с помощью классов и элементов Описание ресурса представлено на двух уровнях локальном и глобальном Разработан и предложен формат описания ресурсов и других объектов технологии интеграции распределенных ИР на языке разметки XML

На глобальном уровне описание ресурса включает следующие общие разделы общая информация и идентификация, спецификации доступа к ресурсу, содержательные характеристики представления и описание жизненного цикла Выделен следующий список классов, отражающий свойства описываемого объекта идентификация объекта, дополнительная информация, дата, контактная информация, структурирование данных, сведения о системе кодирования, описание кода, описание элемента, географические характеристики, временное обобщение, вертикальное обобщение, информация о качестве данных, связь с источником данных/метаданных, сведения о распространении данных, сведения о транспортном файле данных, ограничения на использование, сведения о проекте, сведения об инструментах, сведения о наблюдательной платформе

Далее в работе детально описывается структура классов и их представление в XML формате для описания ИР, а также других объектов технологии интеграции Затем следует детальное описание записей, на базе производится формализация объектов технологии в рамках информационной модели

В технологии используется фиксированный набор структур, формализующих тематические и системные метаданные

Для формализации сведений о содержании и статусе (готовность для обращения) и спецификациях доступа к ИР, размещаемых в локальных системах данных, используются записи метаданных описание ИР и экземпляров ресурса (запись E2ESearchMD) и описание источника данных/метаданных (запись E2ELinkMD)

Запись E2ESearchMD представляет описание ИР и экземпляров, описывает такие объекты модели как ИР и экземпляры ресурсов Состоит из следующей последовательности классов (рис 3) E2EObjectID - идентификация информационного ресурса/экземпляра в пространстве распределенных источников, E2ELmkage - обеспечивает связь информационного ресурса/экземпляра с источником данных/метаданных, описываемым классом E2ELinkMD, E2EObjectReference - дополнительная информация о

ресурсе/экземпляре (ссылки, ключевые слова), E2EObjectHurarchy -организации экземпляров данных внутри ресурса на каждом т уровней гранулирования, E2EObjectContact - контактная информация (центра данных, автор ресурса и т п), E2EObjectDate - временные xapai теристики ресурса/экземпляра дата создания, модификации и публикации списания в системе распределенных ресурсов, E2ETemporalExtent - временное обобщение данных (начальные - конечные даты наблюдений), E2EVerticilExtent -вертикальное обобщение данных, E2EGeographicBoundingBox - область географического покрытия ресурса/экземпляра, E2EGeographicJ:'olygon -описание полигонального объекта, E2EProcessingLevel — сведения об уровне обработки данных в ресурсе/экземпляре, E2EDataQuality — сведения о качестве данных в ресурсе/экземпляре, E2EDistnbutionInfo — св< дения о распространении данных, E2ETransportSpecification - сведения о трг нспортном файле данных, E2EProject - сведения о проекте, E2EPlatform - '-ведения о платформе, E2EInstrument - сведения об инструменте измерений/нг блюдений, E2ERestrictions - ограничения на ресурс/экземпляр

Далее в работе представлена структура записей для описания источника данных, общих кодов и кодификаторов, метаданных интерфейса приложений Рассмотрены механизмы взаимодействия с конечным пользователем системы

Обмен данными в технологии интеграции строится на понятие «протокол обмена» Протокол обмена данными позволяет инициировать проце:с выборки информации из распределенного источника данных, используя сообщение-запрос В ответ на сообщение-запрос удаленная система данных продуцирует сообщение-ответ, позволяющий инициированной стороне получить требуемые данные в виде объекта под названием «транспортный файг данных» Сообщения-запроса и ответа имеют логическую структуру, согласно которой производится поиск данных в распределенном источнике Транспо] >тный файл данных также структурирован и формализован Таким образом, протокол обмена определяет форматы и механизмы обмена данны ли между компонентами технологии Состоит из сообщения - запроса, сообще шя - ответа (XML формат) и обменного файла данных (формат NetCDF, двончш ш файл)

Детально рассматривается гранулирование потока ;анных с использованием двух механизмов структурирования и сегме] ггирования Структурирование - компоновка потока данных (ИР) на запис* данных в соответствии с заданным типом записи данных Сегментирование - разбиение записей данных на сегменты (экземпляры ИР) Один сегмент явл? ется одним экземпляром ИР

Сообщение-запрос представляет собой XML-документ < одержащий единичную операцию («Поиск» или «Статус») и отображающий дгйствие над локальным источником данных, критерии запроса и параметр j, которые должны содержаться в результате В ответ на запрос источг ик данных возвращает сообщение-ответ

Ниже представлена XML структура запроса для одного источника данных

<request>

<header>

<version>0 95</version>

<sendTime>2005-08-03T14 47 52+03 00</sendTime>

<source>127 0 0 l</source>

<destination

resource="RU_RIHMI_01 ">http //data meteo ru 80/digir/DiGIR php</destination> <type>search</type> </header> <search> <filter> <and>

<lessThanOrEquals>

<e2edm Latitude>78 54</e2edm Latitude> <71essThanOrEquals> <greaterThanOrEquals>

<e2edm Latitude>60 0</e2edm Latitude> </greaterThanOrEquals> </and> </filter>

<records hmit="100" start="0"> <structure>

<xsd element name=-"record" xmlns xsd="http //www w3 org/2001/XMLSchema"> <xsd complexType> <xsd sequence>

•ixsd element re£="e2edm Latitude'7> <xsd element ref="e2edm Longitude"/> <xsd element ief="e2edm platformName"/> <xsd element ref="e2edm DEPH"/> <xsd element ref="e2edm TEMP'7> </xsd sequence> </xsd complexType> </xsd element> </structure> </records>

<count>false</count> </search> </request>

Сообщение-ответ генерируется источником данных в ответ на сообщение-запрос В случае успешного выполнения источник данных возвращает XML-документ содержащий ссылку на транспортный файл данных, соответствующий запрошенному ресурсу XML структура сообщения-ответа <responseWrapper>

«response xmlns-'http //digir net/schema/protocol/2003/1 0"> <header>

<sendTime>2005-09-29Tl 5 35 17+04 00</sendTime> <source resource="RU_RIHMI_03 "/> <type>search</type> </header> <content> <record>

<E2ETransportSpecification>

<objectRecordName>E2EProfileDD</objectRecordName> <transportFileURL=»http //data meteo ru 8090/dpms/ncResuIts/l 127993716743-result nc</transportFileURL>

</E2ETransportSpecification>

<count>7</count> </record> </content> </response> </responseWrapper>

Предложенная комплексная модель интеграции ИР по тематике Мирового океана использована при выполнении проектов подпро)раммы 10 ЕСИМО "ФЦП Мировой океан" (1999-2007), составила основу технологии интеграции ИР Технология готова к приемочным испытаниям пэ вводу в постоянную эксплуатацию в составе технологического комплекса первой очереди системы

Технология интеграции (кодовое имя - End-to-end Data Management, E2EDM) предназначена для формирования единого инфор\ ационного пространства по предметной области Центральным объекток* системы распределенных источников данных являются информационны« ресурсы, хранящиеся в локальных системах данных на серверах организаций - центров и организаций-поставщиков данных в виде баз данных, структуриро! анных (по определенному формату) файлов данных и объектных файлов даннь х (простой текст, документы, изображения и др )

Технология обеспечивает выполнение следующих задач

• регистрацию и описание пространственно-распределенных локальных систем данных центров ЕСИМО (организаций-поставщиков),

• унификацию кодирования и представления данных об обстановке в Мировом океане через Единый словарь параметров и общие кодификаторы ЕСИМО,

• поиск, доступ к локальным системам данных и обмен данн лми между программными компонентами технологии и внешними про раммными приложениями,

• информационное обеспечение автоматизированных рабочих мест ЕСИМО (внешних программных приложений для доступа к системе распределенных баз данных ЕСИМО посредством навигации запросов среди источников данных, выполнения запросов и представления их эезультатов внешнему приложению

Обобщенная архитектура технологии отображена на рис 4

Программный комплекс «Поставщик данных» предназначен для информационного взаимодействия с локальными системам i данных, размещаемые на серверах центров ЕСИМО и организаций-п эставщиков информации

Программный комплекс «Сервер интеграции» предназначен для управления программным средством "Поставщик данных», поддер кку средств унификации обмена данными, собственно обмен данными с «Поставщиками данных» и внешними приложениями

Рисунок 4 - Обобщенная схема архитектуры технологии Далее в работе даны основные сервисы программных компонент технологии, их функции и назначение, а также коротко рассмотрены прикладные аспекты их использования - поддержка источников данных, сегментирование локальных данных на ИР, регистрация и поддержка описаний ИР, перекодирование, преобразование локальных данных и построение федераций источников информации

Сводная информация состояния ИР ЕСИМО, полученная по результатам работы модуля мониторинга разработанной технологии, представлена в таблице 1 Как видно из таблицы, модуль позволяет отслеживать число неработающих ресурсов путем контрольных (тестовых) запросов к источникам данных На основании полученных количественных характеристик можно сделать вывод, что на момент проверки (тестовая эксплуатация системы) в источниках было доступно примерно 46% от общего числа ресурсов Также можно вывести процент ресурсов в СУБД (56,87%), структурированных файлах (10,18%), объектных файлах данных (24,17%) и автономных приложений (8,78%)

Таблица 1 - Результат мониторинга распределенных информационных

ресурсов (доступные Поставщики Данных)

Поставщик -" ' , Данных Ресурсов (план/факт) 'Доступность;данных в - ресурсах , V (успешно/пустой : ответ/сбой) , Система хранения : (кол-во ресурсов) • 'г "* <

ААНИИ 180/124 11/55/58 Автономное приложение(5 2), Объектные файлы данных(67), Структурированные файлы данных(б)

ВНИИГМИ- мцд 185/187 123/37/28 Структурированные файлы данных(14),

СУБД(173), Объектные файлы данных(1)

ГМЦ России 75/10 10/0/0 Структур и; ованные файлы данных(Ю)

ДВНИГМИ 25/14 13/1/0 СУБД 14)

Морсвязьспутник 10/19 13/0/6 СУБД 19)

НИЦИ МИД -12 1/0/1 Структуру ованные файлы да] шых(2)

НКОЦ РАН 10/16 16/0/0 Объектны; файлы данны (11) СУБД5)

НЦОМЗ 10/15 13/2/0 СУБД ^15)

НЦУКС 10/18 0/17/1 СУБД®, О оъектные файлы да} ных(16)

ЦНИИМФ 20/17 9/8/0 СУБД(Ю), Объектные файлы да шых(7)

НПО "Тайфун" /2 0/2/0 СУБД(2)

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1 Проведено исследование методов интеграции данных о мор зкой среде и морской деятельности Сформулированы основные требования ь системам подобного класса Предложена принципиально новая схема интеграции данных по морской среде Разработана архитектура технологии интегращ-и данных, модель описания ИР в области исследований морской среды, на основе которых разработаны программные комплексы технологии интеграции ЕСИМО Предложена методика универсального использования классификаторов метаданных при описании ИР и обмене данными

2 Развита структура и состав описаний ИР в области исследования морской среды Усовершенствованы методы и средства класси* шкации и кодирования информации о морской среде

3 Разработано пространство имен информационных элементо: в области морской среде и морской деятельности Проведена формализа1 ия задачи интеграции ИР Разработаны решения и программные средств! системы распределенных ИР с учетом специфики и структур хранения инфор] 1ации

Таким образом, в диссертационном исследовании представлены научно обоснованные технологические разработки по интеграции рашородных, распределенных данных, обеспечивающие решение важной приклад] ной задачи по выполнению подпрограммы ЕСИМО ФЦП "Мировой океан" Проведена опытная эксплуатация созданной технологии интеграции в рамках двух федераций - национальной (ЕСИМО), международной (МОК/В МО), доказавшая практическую осуществимость предложенного метода и разработанных программных средств Кроме того, интеграция данных по морской среде и морской деятельности, включая научно- те шическую, нормативно- правовую, нормативно - методическую и социально-экономическую информацию, показывает универсальность предложенного подхода по интеграции данных

Список публикаций автора по теме диссертации:

1 Белов С В , Сухоносов С В Представление и анализ метаданных в области океанографии посредством XML // Сборник статей и тезисов конференций "Информационные ресурсы об океане актуальные проблемы формирования, распространения и использования в научных исследованиях и в морской деятельности" (ОИР-2002) Обнинск, 8-10 октября 2002 г с 77-78

2 Belov S V, Vjazilov Б D, Sukhonosov S V "The experience m using XML for a wide ranges of metadata objects'V/International conference Brussels, Belgium 25-27 November 2002, с 18

3 Belov S , Mikhalov N, Vyazilov E A model of the distributed marine information resources - approaches and decisions // ICES-IOC Study Group on the Development of Marine Data Exchange Systems using XML, Gothenburg, Sweden 26-27 May 2003 с 79-100 http //www ices dk/reports/OCC/2003/SGXML03 pdf

4 Белов С В , Вязилов Е Д , Сухоносов С В , Карпенко Г А , Казельский И И Технология и опыт построения единой системы информации об обстановке в Мировом океане для комплексного информационного обеспечения пользователей//Научный сервис в сети Интернет технологии распределенных вычислений Труды Всероссийский научной конференции (1924 сентября 2005 г, г Новороссийск) с 224 - 225

5 Belov S , Rostov I, Mikhailov N , Chepurnov V , Sukhonosov S , Rostov V "Integration of information resources in the Unified System of Information on the World ocean state (ESIMO) of Russia"// North Pacific Manne Science Organization Twelfth Annual Meeting Program abstracts October 10-18 2003 Seoul, Republic of Korea, с 110

6 Belov S , Mikhailov N, Vyazilov E, Sukhonosov S JCOMM ETDMP JCOMM Pilot Project "The Technology Prototype for the "End to End" Manne Data Management Basic solutions, development status"// 4-th EuroGOOS Conference European Operational Oceanography Present and Future 6-9 June 2005, Brest,France, с 204-205

7 Belov S, Vyazilov E, Mikhailov N, Sukhonosov S , Chepurnov V "Information service of sea activity on the basis of use web — technologies"// 4-th EuroGOOS Conference European Operational Oceanography Present and Future 69 June 2005, Brest France IFREMER с 225

8 Белов С В Методы интеграции структурированных и слабоструктурированных информационных ресурсов Технология интеграции информационных ресурсов ЕСИМО (E2EDM) //Труды ВНИИГМИ-МЦД 2007 Вып 172 С 69-78

9 Белов С В, Бритков В Б Интеграция информационных ресурсов в задачах исследования морской среды//Информационные технологии и вычислительные системы 2008 Вып 1 с 73-82

ВВЕДЕНИЕ.

ГЛАВА 1 ОБЗОР МЕТОДОВ И СРЕДСТВ ИНТЕГРАЦИИ ИНФОРМАЦИОННЫХ РЕСУРСОВ.

1.1 Проблема обмена и использования данных.

1.2 Состояние и тенденции развития информационных технологий обмена и интеграции данных.

1.2.1 , Существующие информационные системы.

1.2.2 Характеристика сбора, накопления и использования данных об обстановке в Мировом океане.

1.3 Прикладные технологии реализации.

1.3.1 Язык XML.

1.3.2 Язык реализации Java 2.

1.3.3 Технология Grid.

1.3.4 Web-сервисы.

1.4 Выводы и обобщенные потребности в интеграции данных.

ГЛАВА 2 МЕТОДИЧЕСКИЕ ОСНОВЫ ИНТЕГРАЦИИ РАЗНОРОДНЫХ И ПРОСТРАНСТВЕННО-РАСПРЕДЕЛЕННЫХ ДАННЫХ.

2.1 Концептуальный подход.

2.1.1 Классификация информационных ресурсов.

2.1.2 Основные аспекты модели интеграции.

2.1.3 Основные аспекты реализации модели интеграции.

2.2 Метод унификации данных.

2.2.1 Словарь атрибутов метаданных.

2.2.2 Словарь параметров.

2.2.3 Общие коды и кодификаторы.

2.2.4 Сервисные метаданные.

2.2.5 Тематические метаданные.

2.3 Схема интеграции данных.

2.3.1 Архитектурный подход.

2.3.2 Схема описания распределенных информационных ресурсов.

2.4 Оценка минимизации затрат при интеграции информационных ресурсов.

2.4.1 Информационные процессы.

2.5 Математическая модель источника ресурсов для расчета основных нагрузочных характеристик.

ГЛАВА 3 ТЕХНОЛОГИЯ ИНТЕГРАЦИИ ИНФОРМАЦИОННЫХ РЕСУРСОВ ЕСИМО.

3.1 Структура метаданных для описания информационных объектов.

3.1.2. Записи метаданных.

3.2 Протокол обмена данными.

3.2.1 Транспортный файл данных.

3.2.2 Сообщение-запрос.

3.2.3 Сообщение-ответ.

3.3 Программная реализация технологии интеграции информационных ресурсов ЕСИМО.

3.3.1 Архитектура технологии.

3.3.2 Программные компоненты технологии.

3.4.3 Описание процесса интеграции.

ВЫВОД.

Актуальность проблемы. В современных условиях ключевым фактором повышения эффективности морской деятельности становится обеспечение управления значительными и постоянно возрастающими информационными ресурсами в области изучения, освоения и использования Мирового океана. Это базы (массивы) гидрометеорологических и гидрофизических данных, сведений о биоресурсных и углеводородных запасах и их добыче, портовой инфраструктуре, морским транспортным операциям и другим дисциплинам, программы обработки данных и моделирования морских процессов, экспертные системы, нормативная методическая и правовая информация и т.д.

В Российской Федерации информационные ресурсы рассматриваемой тематики сосредоточены в более чем 30 информационных системах федеральных органов исполнительной власти Российской Федерации и Российской академии наук. Возможности удаленного доступа к ресурсам с применением современных web-ориентированных сетевых технологий выводят обслуживание морской деятельности на другой, более высокий уровень. Однако эффективность применения сложившейся инфраструктуры сегодня остается невысокой. Информационные системы функционируют, как правило, без необходимого взаимодействия и их ресурсы не интегрированы как логически (по моделям и структурам описания и представления, системам кодирования), так и физически (по форматам данных, средствам описания ресурсов, платформам хранения данных и др.). В связи с этим, получение пользователем в короткое время полной и систематизированной информации о морской среде и морской деятельности затруднено, приходится выполнять трудоемкие и длительные работы по преобразованию и комплексированию информации о Мировом океане, создаваемой различными системами.

Проблемы интеграции информационных ресурсов теоретически изучены достаточно полно, разработаны разнообразные подходы к их решению: системы неоднородных баз данных, семантика распределенных гинформационных ресурсов, слабоструктурированные данные. Однако, практическая реализация теоретических выводов не получила широкого развития.

Поэтому разработка методов и средств интеграции распределенных и разнородных информационных ресурсов является на сегодняшний день актуальной задачей не только в области изучения, освоения и использования Мирового океана. Об этом свидетельствуют программы федерального, регионального и отраслевого масштаба, такие как Единая государственная система информации об обстановке в Мировом океане (Программа ФЦП «Мировой океан", Постановление Правительства № 919 от 10 августа 1998 г., http://www.oceaninfo.ru/), единая стандартизированная среда электронного взаимодействия (ФЦП «Электронная Россия», указ Правительства Российской Федерации от 12 февраля 2001 г., № 207-р, http://www.e-rus.ru/), Единая информационная система Российской академии наук (ЕИС РАН), (программа «Информатизация научных учреждений и Президиума РАН»), «Электронная Земля» (http://webgeo.ru/), проект IARnet (ИСА РАН, http://www.isa.ru/) и др.

Мировые тенденции также состоят в движении от разрозненных информационных ресурсов к интегрированным системам, взаимодействующих на основе совместимых стандартов метаданных и других средств информационного взаимодействия. В области информации о Мировом океане реализуется ряд крупных инициатив в Европе (программа Европейского сообщества SeaDataNet, http://www.seadatanet.org/) и США (US-DMAC, http://dmac.ocean.us/), международных организациях - информационная система Всемирной метеорологической организации (WMO Information System, WIS, http://www.wmo.int/pages/themes/wis/indexen.html), портал океанографических данных Межправительственной океанографической комиссии ЮНЕСКО (OceanPortal, http://www.oceanportal.org/), система систем глобальных наблюдений за Землей (GEOSS, http://www.eaithobservations.org/). Активно ведутся разработки приложений стандартов метаданных

Международной организации стандартизации (ИСО серии 191хх) и Web-сервисов (OGC, http://www.opengeospatial.org/) для обмена разнородными данными об океане.

Конкретной задачей в рамках этой проблемы является разработка единой среды метаданных и программного обеспечения управления распределенными и неоднородными информационными ресурсами, поиска данных и доступа к ресурсам, которая относится к приоритетным направлениям прикладных научных исследований как «прорывная» информационная технология.

Объект исследований. Распределенные географически, семантически и структурно разнородные информационные ресурсы, формируемые разнообразными информационными системами в области изучения, освоения и использования Мирового океана.

Цель работы. Основной целью работы является разработка методической основы и инфраструктуры интеграции информационных ресурсов в области изучения, освоения и использования Мирового океана.

Задачи работы:

• уточнить проблемы обмена и совместного использования данных- по тематике Мирового океана различного логического и физического представления и дать систематизированное описание свойств распределенных и разнородных информационных ресурсов;

• развить методы стандартизации метаданных для управления информационными ресурсами, поиска данных и удаленного доступа к информационным ресурсам;

• усовершенствовать методы семантической унификации доступа к информационным ресурсам и представления разнородных данных в едином информационном интерфейсе;

• разработать решения и программные средства управления и доступа к распределенным и разнородным информационным ресурсам в области изучения, освоения и использования Мирового океана.

Научная новизна: Научная новизна работы состоит в реализации качественно нового- комплексного подхода к вопросу интеграции информационных ресурсов в области изучения, освоения и использования Мирового океана и формулируется в следующих положениях:

1.Предложена комплексная модель интеграции информационных ресурсов по тематике Мирового океана, учитывающая логическую и физическую разнородность данных, аспекты управления распределенными источниками данных и доступа к ним. Модель основана на современных подходах по стандартизации процессов обмена и распространения данных с использованием web-ориентированных информационных технологий.

2. Впервые разработаны единая динамическая среда и средства описания объектов интеграции: информационные ресурсы, источники данных, системы кодирования, пользователи и другие, обеспечивающие стандартизацию и многоуровневую поддержку метаданных для отображения содержания и представления, организации информационного взаимодействия множества объектов, а также совместимость с международным стандартом метаданных ISO 19115 и представляющие его существенное расширение.

3. Новыми являются методика и средства унификации разнообразных структур, кодов и классификаторов данных, обеспечивающие представление разнородных информационных ресурсов в едином интерактивно формируемом обменном формате данных с возможностью настройки на тематическое содержание, специфику представления и другие свойства локальных данных.

4. Впервые разработана технология интеграции данных по различным дисциплинам, с различными системами хранения, форматами представления и другими логическими и физическими свойствами, обеспечивающая формирование единого информационного поля в рамках Единой государственной системы информации об обстановке в Мировом океане.

На защиту выносится комплекс методических положений и средств интеграции распределенных и разнородных информационных ресурсов в области изучения, освоения и использования Мирового океана, обеспечивающих:

• стандартизацию описания объектов интеграции (информационных ресурсов, систем кодирования, пользователей и др.);

• унификацию полидисциплинарных данных, представляемых в разных форматах, структурах и системах хранения;

• управление ресурсами распределенных источников данных на основе метаданных, профилизацию информационного пространства (создание федераций источников данных) для различных классов конечных пользователей и внешних программных приложений;

• построение и навигацию запросов пользователей в пространстве распределенных источников данных, безопасность использования информационных ресурсов с учетом прав владельцев.

Практическая значимость: Результаты исследований использованы при выполнении проектов подпрограммы 10 "Создание Единой системы информации об обстановке в Мировом океане" (далее, ЕСИМО) "ФЦП Мировой океан" (1999-2007) и составили основу технологии интеграции информационных ресурсов ЕСИМО, которая принята к приемочным испытаниям по вводу в постоянную эксплуатацию в составе технологического комплекса первой очереди единой системы. Технология внедрена в 18-ти организациях-центрах ЕСИМО, представляющих морские информационные системы 12-ти федеральных органов исполнительной власти и Российской академии наук. Компоненты технологии использованы в нескольких пилотных проектах в рамках программ Межправительственной океанографической комиссии (МОК) ЮНЕСКО и Всемирной метеорологической организации.

Диссертация состоит из введения, 3 глав, заключения, библиографического списка из 94 наименования, и содержит 151 страниц, 13 таблиц и 30 рисунков.

вывод

Обоснована структура метаданных для описания информационных ресурсов. Представлен протокол обмена данных. Описано применение разработанных решений на практике — при создании технологии интеграции распределенных информационных ресурсов в проекте ЕСИМО. Рассмотрены разработанные требования к сервисам программных компонент технологии. Рассмотрены основные этапы процесса управления информационными ресурсами.

Разработанные подходы по классификации информационных ресурсов применительно к данным о морской среде и морской деятельность позволяют четко описать практически любой информационный ресурс.

Предложенная модель данных является универсальной и позволяет описать не только такой объект как ресурс, но и другие объекты, являющиеся компонентами технологии интеграции. Выделенные семантические структуры содержат все свойства, необходимые для описания объектов применительно к данной предметной области.

Разработанные технологические решения и сформулированные требования к создаваемым программным средствам в рамках предложенной модели данных будут применены в автоматизированных рабочих местах портала ЕСИМО, благодаря чему улучшится качество предоставляемой информации и степень интеграции портала с источниками данных, которые распределены пространственно.

ЗАКЛЮЧЕНИЕ

В заключении приведены основные результаты диссертационной работы.

1. Проведено исследование методов интеграции данных о морской среде и морской деятельности. Сформулированы основные требования к системам подобного класса. Предложена принципиально новая схема интеграции данных по морской среде. Разработана архитектура технологии интеграции данных, модель описания ИР в области исследований морской среды, на основе которых разработаны программные комплексы технологии интеграции ЕСИМО. Предложена методика универсального использования классификаторов метаданных при описании ИР и обмене данными.

2. Развита структура и состав описаний ИР в области исследования морской среды. Усовершенствованы методы и средства классификации и кодирования информации о морской среде.

3. Разработано пространство имен информационных элементов в области морской среде и морской деятельности. Проведена формализация' задачи интеграции ИР. Разработаны решения и программные средства системы распределенных ИР с учетом специфики и структур хранения информации.

Таким образом, в диссертационном исследовании представлены научно обоснованные технологические разработки по интеграции разнородных, распределенных данных, обеспечивающие решение важной прикладной задачи по выполнению подпрограммы ЕСИМО ФЦП "Мировой океан". Проведена опытная эксплуатация созданной технологии интеграции в рамках двух федераций - национальной (ЕСИМО), международной (МОК/ВМО), доказавшая практическую осуществимость предложенного метода и разработанных программных средств. Кроме того, интеграция данных поморской среде и морской деятельности, включая научно- техническую, нормативно- правовую, нормативно — методическую и социально экономическую информацию, показывает универсальность предложенного подхода по интеграции данных.

1. Вязилов Е.Д. Информационные ресурсы по окружающей среде. Москва. УРРС. -2001.-312с.

2. Вязилов Е.Д., Михайлов Н.Н. Интеграция гетерогенных информационных ресурсов в области морской деятельности // Журнал "Вычислительные технологии" Т. 10, Спецвыпуск. СВ-Томск, 2005. с.21-29.

3. Вязилов Е.Д. Проектирование баз данных о состоянии морской среды. — М.: Гидрометеоиздат 1986, 41с.

4. Таненбаум Э., ван Стен М. Распределенные системы: Принципы и парадигмы СПб.: Питер, 2003. с. 23-31.

5. В.В.Липаев. Системное проектирование сложных программных средств для информационных систем. М: СИНТЕГ, 2002.С.36-48.

6. Шаймарданов М.З., Пуголовкин В.В. Об истории автоматизации первичной обработки и накопления текущей режимно-справочной метеорологической информации. : сб.научн.трудов/ВНИИГМИ-МЦЦ. 2000.- Вып. 166. с. 3-7

7. Веселов В.М., Прибыльская И.Р., Проскурня В.И. Система АИСОРИ стандартное средство работы с архивными гидрометеорологическими данными. : сб.научн.трудов/ВНИИГМИ-МЦЦ. - 2000,- Вып. 166. с. 8-25

8. Global Maritime Distress and Safety System. Электронный ресурс. Режим доступа: http://www.gmdss.com.au/, свободный.

9. ИНМАРСАТ. Электронный ресурс. Режим доступа: http://www.alphatelecom.ru/inmarsat/index.htm, свободный.

10. Единая система информации об обстановке в Мировом океане (ЕСИМО). Электронный ресурс. Режим доступа: http://www.oceaninfo.ru/, свободный.

11. DODS NASA. Электронный ресурс. Режим доступа: http://www.opendap.org/. свободный.

12. Coriolis. Электронный ресурс. Режим доступа: http://www.coriolis.eu.org/. свободный.

13. US-DMAC. Электронный ресурс. Режим доступа: http://dmac.ocean.us/, свободный.

14. Common Data Index. Электронный ресурс. Режим доступа: http://seadatanet.maris2.nl/cdi/. свободный.

15. Мартин Д., Бирбек М., Кэй М. и др. XML для профессионалов. М.: Лори, 2001. - с. 23

16. Маршал Б. XML в действии. М.: Издательство «Триумф», 2002. - 368 с.

17. Ноутон П. Шилдт Г. Java 2. Наиболее полное руководство в подлиннике // Перевод с англ. СПБ.: БХВ Петербург. 2000. - 1072 с.

18. Кэри И. Амриш, Хавар Заман Ахмед. Разработка корпоративных Java-приложений с использованием J2EE и UML.- М., Издательскийдом "Вильяме", 2002, 272 с.

19. Создание распределенных приложений на Java 2. -СПб.: БХВ Петербург, 2002. — -704с.:

20. Брюс У. Перри. Java сервлеты и JSP. Сборник рецептов. М., КУДИЦ-Образ, 2006,- -768 с.

21. Гэри Д. Java Server Pages. Библиотека профессионала.- М., Издательский дом "Вильяме", 2002, 448 с.

22. Офали Р., Харки Д., Эдварде Д., Основы CORBA. М., Малип, 2006, 318 с.

23. Хоффман П., Internet. М., Диалектика, 1995, 160 с.

24. Смолян Г.Л., Цыгичко В.Н., Хан-Магомедов Д.Д. Интернет в России: Перспективы развития. УРСС. 2004. 200 с.

25. Храмцов П.Б., Брик С.А., Русак A.M., Сурин А.И. Основы web-технологий. -Издательство: «Интернет-университет информационных технологий» ИНТУИТ.ру. Серия: Основы информационных технологий. 2003. 512 с.

26. JAVA. Что такое Java платформа? Электронный ресурс. Режим доступа: http://ru.sun.com/iava/whatisiava.html, свободный

27. Коваленко В., Корягин Д. Эволюция и проблемы Grid // Журнал «Открытые системы», 2003. №1 Электронный ресурс. Режим доступа: http://www.i2r.ru/static/255/out 23186.shtml, свободный

28. Емельянов С.В., Афанасьев А.П. (Ред.) Проблемы вычислений в распределенной среде: организация вычислений в глобальных сетях. Труды ИСА' РАН. М.: РОХОС, 2004, с.6-105.

29. Grid Globus Project. Электронный ресурс. Режим доступа: http://www.globus.orgA свободный.

30. Open Grid Services Architecture. Электронный ресурс. Режим доступа: http ://www. globus .or g/ogsa/, свободный

31. Ньюкомер Э. Веб-сервисы. Для профессионалов.- Спб.: Питер,2003.- 265 с.

32. Simple Object Access Protocol (SOAP). Электронный ресурс. Режим доступа: http://www.w3.org/TR/soap/, свободный

33. Web Services.Description Language (WSDL). Электронный ресурс. Режим доступа: -http://www.w3.org/TR/wsdl, свободный

34. Universal Description, Discovery and Integration (UDDI). Электронный ресурс. Режим* -доступа: http://uddi.microsoft.com/, свободный

35. Clive Finkelstein The Enterprise: Service-Oriented Architecture (SOA) Электронный ресурс./ Finkelstein С.- Режим , доступа: http://www.dmreview.com/article sub.cfm?articleID=1016488, свободный.

36. Беккет Г., Куннуспурат М.М., Роди Ш., Тост A. Java: основы Web-служб./ Пер. с англ.- М.:КУДИЦ-ОБРA3, 2004 464 с.

37. Лешек А. Мацяшек., Анализ требований и проектирование систем. Разработка информационных систем с использованием UML. / Пер. с англ.- М.: Вильяме, 2002 — 432 с.

38. Геловани В.А., Бритков В.Б., Башлыков А.А., Вязилов Е.Д. Интеллектуальные системы поддержки принятия решений в нештатных ситуациях с использованием информации о состоянии природной среды // М.: ИСА РАН, УРСС. 2001. 304с.

39. Юсупов-И.Ю. Автоматизированные системы принятия решений// М.: ИСА РАН, УРСС. 1983. 88 с.

40. Михайлов Н.Н., Воронцов А.А., Вязилов Е.Д., Кузнецов А.А., Цвецинский А.С. Интегрированный подход к управлению, обработке, анализу и интерпретации данныхо состоянии морской природной среды: сб.научн.трудов/ВНИИГМИ-МЦД. 2000.-Вып.166. с. 38-50

41. Global Sea Level Observing System (GLOSS). Электронный ресурс. Режим доступа: http://www.gloss-sealevel.org/, свободный

42. David Marco.: Building and Managing the Meta Data Repository: A Full Lifecycle Guide.

43. ISO 19115.Geographic information Metadata Электронный ресурс. - Режим доступа: https://committees.standards.org.au/COMMITTEES/IT-004/PRIVATE/I0028/IS00/o2019115%20.pdf, свободный

44. GRIB. Электронный ресурс. Режим доступа: http://www.grib.us/, свободный

45. BUFR. Электронный ресурс. Режим доступа: http://dss.ucar.edu/docs/formats/bufr/, свободный

46. CREX. Электронный ресурс. Режим ' доступа: http://www.естwf.int/products/data/software/crex.html, свободный

47. Wiederhold, G.: Mediators in the Architecture of Future Information Systems, IEEE Computer 25(3).-1992. c.38-49

48. Фаулер M. Архитектура корпоративных программных приложений. — «Вильяме», 2006, с.25 54 ^

49. Фред Ролланд. Основные концепции баз данных. М., «Вильяме», 2002, 256 с.

50. Слама Д., Габрамс Д., Рассел П., Корпоративные системы на основе CORBA.- М., Издательскийдом "Вильяме", 2001, с.208 255

51. Global Temperature-Salinity Profile Program. Электронный ресурс. Режим доступа: http://www.nodc.noaa.gov/GTSPP/gtspp-home.html, свободный

52. MEDAR/MEDATLAS format. Электронный ресурс. Режим доступа: http://www.ifremer.fr/sismer/program/mater/formats.htm , свободный

53. Апарин Б.В., Лежнева Н.Г. Форматы представления текущих метеорологических данных и программный комплекс их преобразования. : сб.научн.трудов/ВНИИГМИ-МЦД. 2000.- Вып. 166. с. 112-116

54. XML Schema. Электронный ресурс. Режим доступа: http://www.w3 lorg/XML/Schema, свободный

55. Айла Нейштадт, Джим Арлоу. UML 2 и Унифицированный процесс: практический объектно-ориентированный анализ и проектирование (2-е издание). М.: "Символ-Плюс", 2007, 624 с.

56. Лондон Дж.5 Лондон К. Управление информационными системами. СПб.: 2005, с.12-18

57. Kulikov S., Andreev I. Data segmentation and interchange. Электронный ресурс. -Режим доступа: http://www.giac.unibel.by/docs/pdf/3-2006/s03-3-2006.pdF, свободный

58. Романов Д.А., Правда об электронном документообороте. — М.: ДМК-Пресс, 2002. — 224 с.

59. Менаске Дэниел Алмейда Виргилио Производительность Web-служб. Анализ, оценка и планирование: Пер. с англ./ Дэниэл А. Менанске, Виргилио А. Ф. Алмейда. — СПб: ООО "ДиаСофтЮП", 2003. 480 с.

60. Hypertext Transfer Protocol ~ HTTP/1.1 Режим доступа: http://www.w3.org/Protocols/rfc2616/rfc2616.html, свободный

61. Енюков И. С. и др. Статистический анализ и мониторинг научно-образовательных Интернет сетей / И.С. Енюков, И. В. Ретинская, А.К. Скуратов; Под ред. А. Н. Тихонова. М.: Финансы и статистика, 2004.

62. Клейнрок JL Теория массового обслуживания / Пер. с англ. под ред. В.И. Неймана. — М. Машиностроение, 1979.

63. Клейнрок JL Вычислительные системы с очередями / Пер. с англ. под ред. Б.С. Цыбакова. -М: Мир, 1979.

64. Борис Федосеев Отказоустойчивые решения на платформе Windows //Byte Magazine Online Электронный ресурс. - Режим доступа: http://www.bytemag.ru/Article.asp?ID=2494, свободный

65. Белов С.В. Методы интеграции структурированных и слабоструктурированных информационных ресурсов. Технология интеграции информационных ресурсов ЕСИМО (E2EDM). //Труды ВНИИГМИ-МЦД. 2007. Вып. 172.С.69-78

66. Belov S.V., Vjazilov E.D., Sukhonosov S.V. "The experience in using XML for a wide ranges of metadata objects'V/International conference. Brussels, Belgium. 25-27 November 2002, c.18

67. Lozano-Tello, A.Gomez-Perez, E.Sosa Selection of Ontologies for the Semantic Web//LNCS 2722,pp.413-416

68. ISO 8601. Электронный ресурс. Режим доступа: http://www.iso.org/iso/support/faqs/faqs widely used standards/widely used standards ot her/date and time format.htm , свободный

69. Open Information Model. Электронный ресурс. Режим доступа: www.mdcinfo.com , свободный

70. Брюхов Д.О., Задорожный В.И., Калиниченко JI.A., Курошев М.Ю., Шумилов С.С. Интероперабельные информационные системы: архитектуры и технологии// СУБД, 1995.-№4

71. Кагаловский М.Р.Перспективные технологии информационных систем. — М.: ДМК Пресс; М.: Компания АйТи, 2003 288 с. .

72. Швецов А.Н., Яковлев С.А. Распределенные интеллектуальные информационные системы. СПб.: Изд-во СПбГЭТУ «ЛЭТИ», 2003. - 318 с.

73. WMO Core Metadata. Электронный ресурс. Режим доступа: http://www.wmo.ch/pages/prog/www/metadata/^WMO-core-metadata.pdf, свободный

74. NetCDF. Электронный ресурс. Режим доступа: http://www.unidata.ucar.edu/software/netcdf/, свободный

75. Романец Ю.В., Тимофеев П.А., Шаньгин В.Ф. Защита информации в.компьютерных : системах и сетях/Под ред. В.Ф. Шаньгина. — М.: Радио и связь, 1999: 3.76 с.

76. Галатенко В.А. Основы информационной безопасности. М.: ИНТУИТ, 2005. - 208 с.

77. Дипак Артур, Джон Крупи, Ден Малке Образцы J2EE ТМ. Лучшие решения и стратегии проектирования / Пер. с англ. под ред. А. Вендерова М.:Лори, 2004. - 376с.

78. Скотт Бармен. Разработка правил информационной безопасности. М.: Вильяме, 2005-208 с.

79. Смит. Р.Э. Аутентификация: от паролей до открытых ключей.- М.: Вильяме, 2002 -432 с.

80. Семкин С., Семкин А. Н. Основы защиты правового обеспечения защиты информации. М.: Горячая линия-Телеком, 2008 г. — 238 с.

81. NetCDF Java (version 2.1) User Manual. Электронный ресурс. Режим доступа: ftp://ftp.unidata.ucar.edU/pub/netcdf-iava/v2.l/NetcdfJavaUserManual.pdf, свободный

82. CF Conventions. Электронный ресурс. Режим доступа: http://www.cgd.ucar.edu/cms/eaton/cf-metadata/CF-1.0.html, свободный

83. Distributed Generic Information Retrieval (DiGIR). Электронный ресурс. Режим доступа: http://digir.sourceforge.net/, свободный

84. МОДЕЛЬ ПОСТРОЕНИЯ' ЕСИМО. Электронный ресурс. Режим доступа: http://data.oceaninfo.ru/info/model/proiect/model.isp, свободный

85. W3C Markup Validation Service. Электронный ресурс. Режим доступа: http://validator.w3.org/, свободный

86. Tom Marrs, Scott Davis. JBoss at Work: A Practical Guide. O'Reilly Media, 2005. - 287 c.

87. ADOdb. Электронный ресурс. Режим доступа: http://adodb.sourceforge.net/, свободный

88. Джудит С. Боуман, Сандра JI. Эмерсон, Марси Дарновски. Практическое руководство по SQL. М.: Вильяме, 2002 - 352 с.