автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Логическая интеграция гетерогенных источников данных с помощью WEB-сервисов при создании информационного обеспечения автоматизированных систем управления

/

й-; у

САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ВОДНЫХ КОММУНИКАЦИЙ

ЛОГИЧЕСКАЯ ИНТЕГРАЦИЯ ГЕТЕРОГЕННЫХ ИСТОЧНИКОВ ДАННЫХ С ПОМОЩЬЮ \VEB-CEPBHCOB ПРИ СОЗДАНИИ ИНФОРМАЦИОННОГО ОБЕСПЕЧЕНИЯ АВТОМАТИЗИРОВАННЫХ СИСТЕМ УПРАВЛЕНИЯ

Специальность 05.13.06. «Автоматизация и управление технологическими процессами и производствами (технические системы)»

На правах рукописи

Сапунов Николай Олегович

Автореферат диссертации на соискание ученой степени Кандидата технических наук

Санкт-Петербург 2011

Работа выполнена на кафедре «Вычислительные системы и информатика» в Санкт-Петербургском государственном университете водных коммуникаций.

Научный руководитель: доктор технических наук,

профессор Марлей Владимир Евгеньевич

Официальные оппоненты: доктор технических наук,

профессор Нырков Анатолий Павлович

доктор технических наук,

профессор Воробьёв Владимир Иванович

Ведущая организация: Санкт-Петербургский государственный

электротехнический университет «ЛЭТИ»

Защита состоится ДЧ .ОЧ 2011 г. в (Ч часов в аудитории на

заседании диссертационного совета Д.223.009.03 при Санкт-Петербургском государственном университете водных коммуникаций по адресу: 198035, г. Санкт-Петербург, ул. Двинская, 5/7

С диссертацией можно ознакомиться в библиотеке ФГОУ ВЛО «С116ГУВК»

Автореферат разослан 28 марта 2011 г.

Ученый секретарь диссертационного совета, Кандидат технических наук, доцент

-—" Барщевский Е.Г.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы

При возрастающем интересе разработчиков и пользователей к решению проблемы интеграции разнородных источников данных логический подход представляется перспективным и многообещающим. В своей общей постановке эта проблема исключительно сложна, и до сих пор ее решению уделялось недостаточное внимание. Однако быстрое развитие технологий основанных на XML, таких как web-сервисы, и языков запросов к XML-данным, таких как XQuery, позволяет по-новому взглянуть на указанную проблему.

В течение нескольких последних лет было приложено много усилий, чтобы развить инфраструктуру, поддержать развертывание, открытие, и использование web-ссрвисов. Главные поставщики компьютерной и программной инфраструктуры, включая IBM, Microsoft, Sun Microsystems, настойчиво работают, расширяя свои технологические среды, чтобы поддержать развитие, развертывание, и обслуживание web-ссрвисов. Их решения направлены на улучшение безопасности, поддержание транзакций, и улучшение координации web-сервисов.

До настоящего времени, научные исследования в области web-сервисов были. прежде всего, сосредоточены па определении и развитии инфраструктуры публикации, поиска и поставки web-ссрвисов, которые удовлетворяют функциональным требованиям потребителя. При этом вопросу использования web-сервисов в качестве средства для логической интарации баз данных должного внимания не уделялось.

В настоящее время в связи с ориентацией на сервис - ориентированную архитектуру (SOA) в информационных системах компаний и предприятий, а, в общем плане, в ориентации на концепцию SAAS (Software As A Service) разработчики стали активно заниматься проблемой логической интергации баз данных с помощью композиции web-cepRHCOB. Указанное обстоятельство в полной мерс подтверждает актуальность темы диссертации.

Цель работы

Целью диссертации является снижение трудоёмкости разработки технологического процесса логической интеграции гетерогенных источников данных с помощью web-сервисов.

Эта цель достигается решением следующих частых задач:

1. Проанализировать современные методы интеграции гетерогенных источников данных.

2. Проанализировать современные методы использования web-ссрвисов в информационных системах.

3. Проанализировать основные подходы композиции web-ссрвисов и предложения по их использованию для интеграции гетерогенных источников данных.

4. Разработать модель композиции wcb-сервисов.

5. Разработать приложение, реализующие методы логической интарации гетерогенных источников данных с помощью композиции web-сервисов.

Объект исследования

Технологический процесс интеграции данных, предназначенный для предоставления единого доступа к гетерогенным источникам данных.

Предмет исследования

Алгоритмическое обеспечение технологического процесса логической интеграции баз данных с помощью XML web-ссрвисов.

Методы исследования

Теория графов, теоритическое программирование, методы логического проектирования, создание формальных языков, баз данных и знаний, оценка информации.

Научная новизна

1. Принцип логической интеграции гетерогенных источников данных с использованием композиции web-сервисов.

2. Алгоритмы динамической композиции web-сервисов использующие мониторинг операционной обстановки.

3. Методы и модели интеграции источников данных на базе операций над деревьями.

4. Формализованное описание моделей композиции web-ссрвисов на базе диаграм UML.

Практическая ценность

В итоге практического применения материалов диссертационной работы:

1. Снижена трудоёмкость создания информационного обеспечения АСУ.

2. Успешно прошли опытную проверку созданные методы логической интеграции баз данных с помощью web-сервисов.

3. Внедрено в систему автоматизации крупных датацентров разработанное программное приложение, основанное на моделях логической интеграции гетерогенных источников данных на основе композиции web-сервисов.

Основные научные результаты, представляемые к защите

1. Принцип логической интеграции гетерогенных источников данных на основе композиции web-сервисов.

2. Модель композиции веб-сервисов, предполагающая обмен информацией между web-сервисами без использования информационных брокеров.

3. Методы и модели логической интеграции гетерогенных источников данных.

Апробация работы

Основные положения и резулътыты диссертационной работы докладывались автором на: VTI Международной научной конференции «Инновации в iiayice и образовании 2009» г. Калининград, Пятой

международной научно-практической конференции «Исследование, разработка и применение высоких технологий в промышленности» г. Санкт-Петербург, V международной научно-практической конференции «ИНФОС 2009» г. Санкт-Петербург.

Внедрение результатов

Результаты настоящей работы внедрены на следующих предприятиях: ООО «Фора Софт», ООО «ЮМА-Девелопмент», External IT LLC., OS33 LLC., СПБГУВК кафедра ВСиИ.

Изложенный в диссертационной работе материал экспериментально проверен на практике при разработке автоматизированных информационных стстем интеграции гетерогенных источников данных различных классов.

Структу ра и объем работы

Диссертация состоит из введения, четырех глав, заключения, списка использованных источников, содержит 126 страниц, 22 иллюстрации, приложения.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертации, её научная новизна и практическая значимость, сформулирована цель работы.

В главе 1 рассматриваются основные положения технологии логической интеграции гетерогенных источников данных и web-сервисов, современные тенденции развития методов интеграции информационных систем и место web-сервисов в этих методах. Поднимается проблема создания единого информационного пространства как основа широкого использования web-сервисов в распределенных системах. В конце первого раздела диссертации поставлена цель и конкретные задачи диссертационного исследования.

Идея, лежащая в основе использования шаблона интеграции данных в контексте SOA - это повышение отдачи от информации, и ее многократное использование, то есть создание расширяемых сервисов интеграции информации для различных потребителей. Моделирование и определение сервисов - ключевой аспект SOA. Хорошей практикой может быть разработка сервисов, допускающих многократное использование и/или межкорпоративную функциональную совместимость и/или включение информации или функции в бизнес-процесс. Многие из наиболее успешных проектов SOA концентрируются, в первую очередь, на самых важных, наиболее широко используемых бизнес-функциях, которые предлагаются в форме сервисов. Вследствие того, что такие сервисы играют ключевую роль, они часто объединяют несколько серверных систем. Поэтому сбор информации от нескольких разнородных источников - одно из самых важных требований и одновременно функция, от которой зависит архитектура SOA. Сервис - это не запрос в традиционном смысле обращения к данным, скорее, это извлечение некоторой бизнес-сущности (или сущностей), которое может быть выполнено сервисом интеграции через серию запросов и других сервисов.

В главе 2 развивается подход к моделированию процессов логической интеграции гетерогенных источников данных и посторения композиции web-сервисов на базе различных моделей иМЬ. Рассматривается вопрос создания специальной службы, осуществляющей приведение данных к стандартизированному виду.

Одной из старейших задач в области разработки информационных систем, несомненно, можно назвать интеграцию разнородных гетерогенных данных. Допустим, есть несколько гетерогенных источников данных, которые связаны на логическом уровне, и имеется задача обеспечить возможность унифицированного доступа к этим данным, как будто бы они имеют единое логическое представление.

Шаблон интеграции данных в контексте SOA

Интеграцию Web-сервисов можно разделить на два этапа -подготовительный и рабочий. Прежде чем адресовать запросы интеграционной системе, необходимо выполнить ряд подготовительных действий, таких как создание глобальной схемы интегрируемых данных в терминах XML. Во время подготовительных действий происходит работа с метаданными, а не с данными. Глобальная схема данных может быть произвольной, и отображение локальных источников на нее является нетривиальным: документы могут подвергаться

сложным трансформациям, на их основе могут строиться новые документы, которые затем вновь подвергаются трансформациям и т.д. В общем смысле эта задача может быть переформулирована следующим образом: пусть имеются некоторые данные, соответствующие схеме А. Как преобразовать эти данные, чтобы они соответствовали схеме В?

Схема алгоритма приведения данных, предоставляемых \¥еЬ-сервисом, к унифицированному виду представлена на диаграмме:

• Подготовительный этап

Построение словаря предметной »блести

Выставление ввсэе

Рабочий этап

Построение дерева по шк

? !

ПрвоЯразоалнив . мскодоогэ дерева к : у: бичармиау «иду

Приведемте дерева к Ь'4-йяиочвчесвп»'» форме •.:•••

Л / „ ш/Ф -"Л" ' / <

" .Г*'

Определение кяаиа зкаивале^тьост

Зеялючеяке: о ПРИГОДНОСТИ

а I : Построение ХвСТ | >5 выражений для

* V • А^ ............« . V

Алгоритм приведения данных предоставляемых >УеЬ-сирвисами к унифицированному виду

Определение 1

Формальное описание \¥еЬ-сервиса представляется следующим образом: где:

Х - множество переменных ; И - множество операторов {/)};

Сетью ЛУеЬ-сервисов (СВС) называется множество взаимодействующих между собой "^еЬ-сервисов. Определение 2

Формальное описание сети \¥еЬ-сервисов (СВС) представляется следующим образом:

X >

где:

Р - множество вершин сети {р1}; Q- множество дуг сети {дк}; Х- множество переменных , при этом:

X -uJJ,-множество переменных i-ой вершины, / - множество всех индексов вершин; /•'- множество операторов {/; [ Определение 3

Опера тор j\ в множестве F описывается:

У, :=<hi{f,\f\out(J\)>

Где:

/-имя функции;

i - номер функции в вычислительной схеме;

in{j\) -множество аргументов функции (возможно in(J]) = 0);

ош[ f\ ) -множество результатов функции (всегда

X. - in( f\) u out{j\) -множество всех переменных функции, при этом /«(у; )пош( ./;):?= 0;

Глава 3 посвящена вопросам выбора технологических средств, используемых для разработки приложения логической интеграции гетерогенных источников данных и \уеЬ-сервисов. Показывается значимость архитектуры MVC для разработки приложений. Анализируется технология ASP .NET MVC2 как технология практического построения wcb-приложений на основе МУС.

В целях демонстрации методов динамической композиции Web-ссрвисов в процессе диссертационного исследования разработано Web-приложение, в котором для решения одной и той же задачи используется разная схема псрсадресации Wcb-еервиеов в процессе выполнения. При этом, в целях проверки совместимости Web-сервисов, построенных с использованием разных технологий, использовались среды разработки и инструментарий .NET Web Services и WCF.

Для целей исследования можно рекомендовать широко используемый во многих программных разработках инструментальный пакет Microsoft Visual Studio. .NET Web Services - представляет из себя набор .NET-классов, позволяющих разработчикам создавать и использовать Web-сервисы, которые используют протокол SOAP для обмена сообщениями.

Для построения Web-приложений на основе ASP .NET MVC2 используется подход Model-View-Controller (MVC). Согласно этому подходу приложение представляет собой в общем случае организованный набор страниц HTML и ASP .NET.

Другим несомненным достоинством архитектуры MVC является возможность стандартизовать модуль контроллера, обеспечивая некоторый каркас или шаблон проектирования, что в англоязычной литературе обозначается термином «framework», дословно - каркас, основа. Нет необходимости каждый раз создавать новый сервлет-коптроллер, вполне

уместно использовать внешний, грамотно разработанный и настраиваемый «движок».

Глава 4 посвящена описанию и проверке предлагаемых подходов к логической интеграции гетерогенных источников данных с помотг.ю \veb-сервисов па основе разработанного приложения.

В качестве примера, для описания реализации, мы будем рассматривать один из возможных вариантов развёртывания приложения, который приведен на диаграмме ниже.

->_[_*. ОМ14

.'.»гулпи^кданш

сЧ

-(---5» ифисл

! Ф—-

> |>Р1

-

*.....а-

_[ ьсомзгем КГ'СМ

Один из вариантов развертывания приложения

На диаграмме пунктирными стрелками обозначены пути обмена информацией.

Описываемая система предназначена для автоматизации сбора и агрегации информации с множества датчиков, которые территориально распределены по автоматизируемому предприятию. Каждый датчик подключёт к своему серверу (в некоторых случаях к одному серверу может быть подключено более одного датчика и описываемое приложения корректно обрабатывает подобные ситуации, по в данном случае для простоты измодсиия материала данный факт упускается).

Система состоит из следующих основных компонен тов:

• Датчик - программно-аппаратный компонент, который осуществляет снятие определённых показателей с моииторящегося объекта. Например что может быть датчик давления, датчик температуры или датчик или датчик свободного места не диске сервера.

• МР скрипт - специальным образом скомпонованный скрипт, который работает с датчиком напрямую и передаёт собранную информацию в

SCOM агент. Для каждого вида датчиков создастся свой собственный MP скрипт, т.к. каждый датчик, как правило, имеет собственный программный интерфейс.

• Web-сервис - сервис, который собирает информацию со SCOM агента, приводит сё к унифоцированному виду и публикует в сети. В случае необходимости система может быть настроена таким образом, чтобы web-сервис в случае, когда не обладает необходимыми данными для выполнения запроса обращался к другому web-сервису за недостающими данными образуя таким образом сеть web-сервисов. Каждый из этих web-сервисов предоставляет идентичный программный интерфейс (программный интерфейс описывается в разделе 4.3)

• Сервер - Отдельный компрьютер, к которому подключёт датчик, SCOM агент и Web-Сервис. В описываемой системе сервером может быть сколь угодно много. На практике была проверенна работоспособность данной системы при 4000 работающих серверах.

• SCOM сервер - сервер являющийся точкой входа для всех запросов пользовотелей. Он экранируют от пользователя всю сложную архитектуру приложения предоставляя простой APT для стороннего программного обеспечения.

В заключении приведены основные результаты диссертационной работы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Проведен анализ подходов к логической интеграции гетерогенных источников данных и предложены конкретные варианты интеграции с помощью включения в процесс композиции web-сервисов.

2. Обоснована необходимость, создания дополнительной программной службы, выполняющей функции приведения данных к канонической форме для обеспечения эффективности логической интеграции гетерогенных источников данных.

3. Разработан и аппробирован алгоритм работы дополнительной службы, основанный на операциях над деревьями и XSLT преобразованиях.

4. Предложен, как основа для архитектуры приложений предлагается шаблон Model-View-Controller (MVC) в исполнении ASP .NET MVC2, так как web-сервисы естественно вписываются в эту архитектуру в качестве команд модели.

5. Разработаны специальные программные средства и приложения на базе платформы .NET и С#, реализующие идею логической интеграции разнородных источников данных с использованием динамической композиции web-сервисов.

6. Осуществлено моделирование процессов логической интеграции гетерогенных источников данных и связывания web-сервисов выполнено на базе моделей UML. Модели в виде диаграм UML могут быть построены на разных уровнях детализации запросов клиента и ответов web-сервиса.

Публикации

1. Сапунов И.О. Интеграция разнородных источников данных посредством XML Web-сервисов при организации управления транспортным процессом .//Журнал университета водных коммуникаций. №8, 2011 (публикация из списка ВАК)

2. Сапунов Н.О. «Веб-сервисы и бизнес процессы». //Высокие технологии, фундаментальные и прикладные исследования, образование. Том 13.

3. Сапунов Н.О. «Разработка системы тестирования студентов на основе XML веб-сервисов логической интеграции баз данных». //Инновации в науке и образовании - 2009. Сборник трудов часть 2.

4. Сапунов Н.О. «Разработка системы контроля знаний студентов на основе композиции XML веб-сервисов». //Сборник трудов VII юбилейной международной научно практической конференции «Инновации в науке и образовании»

Подписано в печать 25.03.11 Сдано в производство 25.03.11 Формат 60x84 1/16 Усл.-печ. л. 0,63. Уч.-изд. л. 0,55. _Тираж 60 экз._Заказ № 44_

Санкт-Петербургский государственный университет водных коммуникаций 198035, Санкт-Петербург, ул. Двинская, 5/7

Отпечатано в типографии ФГОУ ВПО СПГУВК 198035, Санкт-Петербург, Межевой канал, 2

Р-77 14

2010199600