автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Методы интеграции данных компьютерных систем на основе универсального формата обмена данными

На правах рукописи

ТОРШИН Дмитрий Вячеславович

МЕТОДЫ ИНТЕГРАЦИИ ДАННЫХ КОМПЬЮТЕРНЫХ СИСТЕМ НА ОСНОВЕ УНИВЕРСАЛЬНОГО ФОРМАТА ОБМЕНА ДАННЫМИ

Специальность 05.13.11 - Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Уфа - 2009 003473525

003473525

Работа выполнена на кафедре вычислительной математики и кибернетики в ГОУ ВПО «Уфимский государственный авиационный технический

университет»

Научный руководитель

доктор технических наук, профессор

ЮСУПОВА Нафиса Исламовна

Официальные оппоненты доктор технических наук,

профессор

МАРТЫНОВ Виталий Владимирович

кандидат технических наук, доцент

ИБАТУЛЛИНА София Мухамедовна

Ведущая организация Институт систем информатики им. А.П. Ершова

СО РАН, г. Новосибирск

Защита диссертации состоится 3 июля 2009 года в 10:00 часов на заседании диссертационного совета Д-212.288.07 при ГОУ ВПО «Уфимский государственный авиационный технический университет» по адресу: 450000, Республика Башкортостан, г. Уфа, ул. К. Маркса, д. 12, корп. 1.

С диссертацией можно ознакомиться в библиотеке Уфимского государственного авиационного технического университета.

Автореферат разослан 2 июня 2009 года

Ученый секретарь диссертационного совета д-р техн. наук, проф.

С.С. Валеев

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования

В процессе развития крупной организации, включая государственные и муниципальные органы власти, все актуальнее становится задача эффективного управления информационной структурой. При этом многократно возрастают информационные потоки обмена данными, все более значимой становится правильно построенная информационная структура организации.

Ключом к достижению успеха процесса автоматизации организации, развивающей информационную инфраструктуру для повышения эффективности своей деятельности, является разработка способа интеграции данных из компьютерных систем.

Анализ отечественной, зарубежной литературы и источников сети Интернет позволяют сделать вывод, что исследованием и разработкой методов решения вышеуказанной задачи занимаются крупные информационные компании, такие как Microsoft, ШМ, Oracle и др. Каждая из данных компаний предлагает проприетарные программные средства и технологии, и все они являются закрытыми программными продуктами для конечного потребителя, что не позволяет на их основе строить интегрированные системы обмена данными в рамках концепции открытых информационных систем. Среди российских ученых, изучающих проблемы интеграции данных, можно отметить работы А.Кудинова, Н.Ермакова, Л.В.Масель, А.В. Черноусова и др.

Можно сделать вывод, что задача интеграции данных из разных компьютерных систем представляется недостаточно исследованной, а большинство проектов по интеграции данных из различных компьютерных систем обработки не завершаются успехом из-за отсутствия обобщенного подхода к решению данной задачи.

Все вышесказанное подчеркивает актуальность тематики данной исследовательской работы.

Объектом исследования является процесс интеграции данных компьютерных систем.

Предметом исследования является разработка методов интеграции и постоянного обмена данными, которые обрабатываются компьютерными системами автоматизации деятельности организаций (информационных систем управления взаимоотношения с клиентами, систем планирования ресурсов предприятия, аналитических систем и др.).

Цель диссертационной работы

Целью диссертационной работы является повышение в организации эффективности процессов комплексной обработки данных, находящихся в разных компьютерных системах в различных структурах и форматах представления, на основе разработки методов интеграции этих данных в единое интегрированное информационное пространство.

Задачи исследования

Для достижения цели диссертационной работы необходимо решение следующих задач.

1. Разработка архитектуры интеграции данных разных компьютерных систем обработки данных.

2. Разработка моделей, методов представления, преобразования и обработки данных компьютерных систем для обеспечения их интеграции, а также метода организации хранения таких данных.

3. Разработка алгоритма сохранения данных в централизованном хранилище с обеспечением синхронизации данных.

4. Разработка прототипа программного обеспечения, реализующего предлагаемые методы и алгоритмы в рамках описанных моделей, с последующим проведением анализа эффективности предлагаемого подхода.

Методы исследования

Для решения поставленных задач в диссертационной работе был использован широкий спектр научных методов. При анализе функций систем интеграции данных и описании модели данных были использованы методы системного анализа, а в качестве средства моделирования была применена методология объектно-ориентированного проектирования. При разработке системы интеграции данных были использованы методы модульного, объектно-ориентированного и системного программирования, а также реляционная методология организации хранилища данных.

Основные научные результаты, выносимые на защиту

1. Архитектура интегрирующей системы для организации единого интегрированного информационного пространства разных компьютерных систем обработки данных.

2. Метод сопоставления данных в различных структурах и форматах, метод обеспечения сохранности данных в централизованном хранилище и обмена данными в едином информационном пространстве.

3. Математическая модель преобразования данных универсальным конвертором на основе универсального формата обмена данными.

4. Алгоритм сохранения (и изменения) данных в централизованном хранилище данных интегрирующей системы.

Научная новизна работы

Научная новизна работы содержится в следующих результатах.

1. Предложена архитектура интегрирующей компьютерной системы обработки данных, составленной го разных компьютерных систем обработки данных, основанная на применении универсального формата обмена данными. В отличие от известных, архитектура применима для одновременной интеграции данных компьютерных систем с требованием минимального вмешательства во внутренние структуры, а также для организации периодического обмена данными между этими системами. Это позволяет как проводить комплексную обработку данных, так и осуществлять обмен данными между отдельными компьютерными системами.

2. Разработана математическая модель преобразования данных между различными структурами с применением универсального конвертора данных в различных форматах на основе задания шаблона преобразования, что позволяет производить подключение новых систем в единое интегрированное информационное пространство путем задания одного шаблона преобразования при подключении каждой новой системы. Предложен метод сопоставления данных в различных структурах, основанный на определении уникальности объекта по группам ключевых полей, что позволяет сопоставлять и связывать между собой объекты в различных форматах, создавая в центральном хранилище эталонное представление объекта, а также задавать связи между компьютерными системами. Предложен метод хранения данных в интегрирующей системе с обеспечением их сохранности, что позволяет восстановить данные после некорректного изменения.

3. Разработан двухпроходный алгоритм обработки данных на основе многоступенчатой защиты от внесения некорректных данных в централизованное хранилище, что позволяет сформировать централизованное хранилище из проверенных, связанных между собой данных.

4. Разработан прототип программного обеспечения интеграции данных компьютерных систем обработки данных, позволяющий оценить эффективность предложенных методов и алгоритмов.

Практическая значимость

Практическая значимость полученных результатов содержится в разработанном прототипе программного обеспечения интеграции и комплексной обработки данных, находящихся в разных компьютерных системах в различных структурах и форматах представления на основе

разработанных методов интеграции этих данных в единое интегрированное информационное пространство.

Разработанный прототип программного обеспечения, реализующий предлагаемый подход, прошел пилотное внедрение в Администрации городского округа город Уфа Республики Башкортостан.

Результаты работы внедрены в учебный процесс УГАТУ в рамках курса «Технология разработки программного обеспечения» для студентов специальности 010503 «Математическое обеспечение и администрирование информационных систем». На модуль прототипа программного обеспечения получено свидетельство об официальной регистрации программы для ЭВМ в Роспатенте.

Связь с научными программами

Исследования проводились в рамках грантов РФФИ №0б-07-89228-а (2006-2008гг.) и НИР № ИФ-ВК-01-08-03.

Апробация работы

Основные научные и практические результаты диссертационной работы докладывались и обсуждались на следующих конференциях: 7-й и 9-й Международных конференциях «Компьютерные науки и информационные технологии» (CSIT), Уфа-Ассы, 2005; Уфа-Красноусольск, 2007; Региональной зимней школе-семинаре аспирантов и молодых ученых, Уфа, 2006, 2007, а также семинарах регионального уровня.

Публикации

Результаты диссертационные работы отражены в 8 научных статьях, в том числе в 2 статьях в рецензируемых журналах из перечня ВАК.

Структура и объем работы

Диссертационная работа состоит из введения, четырех глав основного материала, заключения, библиографического списка и приложения и изложена на 134 страницах машинописного текста. Библиографический список включает 87 наименований литературы и источников сети Интернет.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность диссертационной работы, сформулирована цель и задачи исследования, определены научная новизна и практическая значимость работы.

Первая глава посвящена анализу подходов к интеграции данных и самих разрозненных компьютерных систем в единое информационное нространствб компаний.

Рассмотрена постановка задачи интеграции с заданным ограничением -невмешательством во внутренние структуры компьютерных систем, интегрируемых в единое пространство. Обсуждаются три основных метода интеграции данных: консолидация, федерализация и распространение.

При использовании метода консолидации данные собираются из нескольких первичных систем и интегрируются в одно постоянное хранилище. При использовании метода федерализации данных образуется единое виртуальное информационное пространство, данные в котором могут храниться в различных источниках, однако информация о расположении данных недоступна запрашивающей стороне. Наконец, метод распространения данных, при котором осуществляется перенос данных из одной системы в другую. В качестве основы выполненных исследования принимается модификация метода консолидации данных.

Выполнен анализ существующих программных решений и подходов к интеграции данных. Такие подходы разрабатываются различными компаниями, рассматриваются системы Informática, ШМ, Microsoft, Oracle. Эти системы, как правило, требуют существенной доработки под конкретную задачу и конкретные компьютерные системы. Делается вывод о необходимости разработки методов интеграции данных на основе универсального формата обмена данными.

Вторая глава посвящена разработке подхода и архитектуры организации единого информационного пространства.

Ставится задача построения интегрированного информационного пространства, состоящего из множества компьютерных систем, с помощью метода, основанного на консолидации, организации централизованного хранилища данных. Предлагается архитектура построения единого интегрированного информационного пространства с центральной концентрирующей системой, обеспечивающей связность (рис. 1).

Обмен данными между системами напрямую не предусматривается, однако возможен. Так достигается независимость компьютерных систем друг от друга, и уменьшается количество связей: их число всегда равно количеству участвующих в информационном пространстве систем.

При организации обмена данными возникает задача сопоставления в централизованном хранилище данных, хранящихся в различных структурах, а также разработка формата, в котором будет выполняться этот обмен данными. Для решения поставленной задачи обосновывается необходимость разработки

обобщающего формата данных, который станет промежуточным звеном между форматами данных конкретных компьютерных систем. В этом случае для конвертации данных необходимо разработать методы конвертации в этот формат и из этого формата.

Данные, которые будут переведены в единый «эталонный» формат представления сущности, могут быть сконвертированы в формат любой компьютерной системы, участвующей в обмене данными в рамках информационного пространства, для этого предлагается универсальный формат обмена данными (УФОД) на основе XML. Разработанный УФОД позволяет минимизировать количество преобразований, а процесс добавления новой системы в существующее информационное пространство сделать простым.

Рисунок 1 - Концептуальная схема построения единого интегрированного информационного пространства

При поступлении данных из компьютерной системы-источника они анализируются и преобразовываются в вид, удобный для сопоставления с уже имеющимися данными в центральном хранилище. Поскольку и поступившие извне, и уже хранящиеся данные представляются в единой информационной структуре, задача поиска дубликатов и проверки уникальности сводится к определению групп идентификационных полей (ключей), которые однозначнб идентифицируют объекты между собой. При описании расширяемого УФОД для каждой сущности описывается множество групп ключевых полей - все наборы полей, одновременная уникальность данных в которых обеспечивает уникальность объекта.

Для идентификации объектов в едином интегрированном информационном пространстве предлагается введение единого идентификатора объекта (ЕИО), который присваивается каждой сущности централизованного хранилища данных. Введение ЕИО решает задачу связности компьютерных систем при требовании минимального вмешательства в структуры данных.

ЕИО можно использовать и с целью введения единого номера для прикладного объекта, поэтому ЕИО должен быть уникальным для любой сущности, и при этом легко обрабатываться как компьютерными системами, так и человеком.

Для предотвращения некорректной замены данных в централизованном хранилище на данные, полученные от другой компьютерной системы, в работе предлагается задание приоритетности компьютерных систем-источников. В структуре централизованного хранилища формируется матрица приоритетов для каждой сущности или для полей отдельной сущности. Приоритеты задаются номером уровня, то есть для каждой сущности каждой системы присваивается номер уровня (приоритета), на котором она . находится. Компьютерные системы на одном уровне могут замещать данные друг друга, однако данные в централизованном хранилище не могут быть заменены данными из системы с меньшим приоритетом. Формирование матрицы приоритетов выполняется экспертами.

С целью повышения устойчивости централизованного хранилища и всей системы в целом предлагается использовать в централизованном хранилище системный историзм: все данные, попавшие в систему, не удаляются безвозвратно. Если данные изменяются (в т.ч. удаляются из хранилища), сохраняется их «резервная копия», которую можно восстановить. Для полноценного восстановления истории предлагается сохранять не только старые версии данных, но и старые структуры данных. При данном подходе становится возможным восстановить любую сущность и справочные данные

даже в том случае, если изменился формат централизованного хранилища данных.

Для сохранности данных также в работе предлагается разработка системы фильтрации поступающих данных, которая построена на базе алгоритмов, применяемых в системах фильтрации нежелательной почты, теории нечеткой логики, нейронных сетей, эвристик и четких правил, настраиваемых экспертом на этапе внедрения.

Оправданным с точки зрения простоты и эффективности представляется применение регулярных выражений, накладывающих ограничения на данные.

Предлагается использование принципа обязательной обратной связи, когда формирование ответа от централизованного хранилища должно производиться всегда: в случае успешного сохранения переданных данных возвращается присвоенное ЕИО; в случае ошибки в ответ высылается подробное описание причины, из-за которой данные не могут быть приняты в централизованное хранилище.

Показано, что для обеспечения бесперебойной работы центрального концентратора необходим механизм приоритетизации поступающих пакетов на основе пула задач, каждой из которых присваивается определенный приоритет. Диспетчер задач должен обладать возможностью определения и автоматического изменения порядка пакетов и их приоритетов.

В третьей главе рассматриваются теоретические основы предложенных методов, включая математические модели и алгоритмы.

Показано, что структура данных в едином интегрированном информационном пространстве описывается в УФОД, а затем расширяется добавлением ключевых слов, требуемых для классификации данных.

УФОД основан на XML, который позволяет в комплексе (объектно-ориентированно) описывать объекты и связи, а также операции по их обработке. В зависимости от типа пакетов, УФОД позволяет представлять данные либо в виде иерархии вложенных объектов, либо в плоском виде, когда каадый объект размещается на верхнем уровне иерархии, а его свойства - на уровень ниже.

Предлагается в качестве средства конвертирования данных использовать универсальный конвертор, работающий с XML. Схемой отображения данных в этом случае выступает шаблон преобразования, который и задает соответствие полей в одной структуре полям в другой структуре. Дня задания нестандартных соответствий системному аналитику предоставляется возможность вписывать в шаблон преобразования собственные алгоритмические конструкции на специальных языках программирования.

В главе разработана математическая модель преобразования данных и шаблонов преобразования данных, выводятся ограничения на данные и структуры.

Пусть задано множество объектов (сущностей) 0={о1,о2,~.о„}, при этом каждому объекту о( соответствует набор свойств из множества Р={р1,р2,...,'р„), то есть у объекта о,- набор свойств - # , £ = (1 ,п). Сам набор свойств представляет собой кортеж полей Р1~(ец,еа,...,ецп). Каждое поле состоит из пары еугде Уу - значение поля, я,у - формат поля (размерность, тип). Связи между объектами задаются элементами множества ¿={//,/¿...,4}, где каждый элемент является тройкой /,=(0^7,0,2,^), указывая на два связанных между собой объекта и наименование (вид) роли, по которой они связываются* Иерархия (дерево вложенности) объектов в конкретном файле данных описывается множеством ...,?„}> где каждый элемент-это пара = (оь

I ~ О-/11)' в которой первый элемент соответствует объекту с тем же индексом, а второй указывает на объект, который является родительским по отношению к данному в иерархии (т.е. о( непосредственно вложен в о;).

Совокупность всех указанных выше множеств II = {О, Р, Л Т) образует пакет данных в определенном формате. Тогда шаблон преобразования Р - это

отображение двух множеств С/, т.е. и1 -*1}г. *

Показано, что множество Г можно считать единообразным, т.е. когда ¿¡=(о£, 0), I = (1,п). Предполагается, что верхний индекс / у объектов, их свойств, связей и т.п. означает соответствующую совокупность С/.

В общем случае каждому объекту из С/' может соответствовать произвольное количество объектов из Ц2, и наоборот: каждому объекту из V2 может соответствовать произвольное количество объектов из и'. Это связано с тем, что в соответствие ставятся не сами объекты, а их свойства. Следует отметать, что одному свойству одного объекта в С/ может соответствовать набор свойств одного или нескольких объектов в V2 (обратное также верно). Таким образом, отображение раскрывается следующим образом:

По*) - -.4.) = г О^и) =

(0>Д 0$, 4))

Учитывая вышеизложенное, можно определить отображение. Р (шаблон преобразования) как набор условий-связей пространств .Р« (Й»/г> Данные условия-связи устанавливают соответствие между свойствами объекте? и связями между объектами.

10 ^ Каждое такое условие состоит из тройки: элемента I/1, элемента Ц2 и дополнительного условия (функции преобразования). В качестве рассматриваемого элемента может выступать конкретное свойство объекта или связь между объектами, а в качестве дополнительного условия может значиться изменение формата, добавление дополнительных символов. Отметим, что условия могут быть разными и не обязательно взаимообратными при прямом и обратном преобразовании.

Каждая связь-тройка описывается следующим образом (Таблица 1). Таблица 1 - Соответствие формального представления видам связей Ч

Вид связи-тройки Формальное представление

Один-к-одному и - И™

Один-ко-многим и 9 {(УЬ> ». О&и^М*)) - К)

Многие-к-одному или/, = (ОцЛ^.-Д^Д1!'^)

где еР^ = (1,ж); = (1,х), Н - множество функций

преобразования.

Таким образом, все можно разделить на 2 вида: связывающие свойства

объектов (что приводит к связи самих объектов между собой) и связывающие связи между объектами. ,,

Отдельно описывается роль и место функций преобразования, заданных специальными алгоритмами. Рассматривается расширение ^ € Р,

обеспечивающее возможность двустороннего преобразования данных с использованием шаблона преобразования.

Реляционная модель организации системного историзма представлена т схеме (рис. 2). Схема БД для хранения данных о структуре хранилища в самом хранилище представлена на рис. 3. Приводится разработанный общий двухпроходный алгоритм обработки данных центральным концентратором (рис. 4). *

Четвертая глава посвящена разработке и пилотному внедрению прототипа программного обеспечения, реализующего описанные в третьей главе алгоритмы и методы, а также анализ эффективности метода на основе тестирования разработанного прототипа.

и

Прототип серверного программного обеспечения интегрирующей системы представляет собой сложную систему управления данными, процессами и потоками обработки данных, имеет модульную структуру и во многом опирается на принципы, используемые при построении операционных систем.

Серверная часть системы не имеет пользовательского интерфейса. Разработан «толстый клиент» для работы с концентратором данных. Модуль преобразования данных (конвертор) основан на предлагаемом подходе и использует шаблоны преобразования в формате XML.

Рисупок 2 - Схема реляционной БД для организации системного историзма

Рисунок 3 - Схема БД для хранения структуры хранилища

Анализ эффективности предлагаемых моделей, методов и подходов выполнен на основе обработки выборки реальных данных компьютерных систем Администрации ГО г.Уфа РБ. Результаты обработки данных приведены на схеме (рис. 5) и диаграммах (рис. 6,7).

Разработанный прототип программного обеспечения позволил синхронизировать 11834 реальных объекта недвижимости в центральное хранилище, связав их адреса, описанные в одной структуре, с адресным планом города Уфы, описанным в другой структуре и другой компьютерной системе обработки данных. Кроме того, 11166 объектов были признаны, ошибочным*?* так как не были найдены соответствующие адреса в адресном плане (и по иным причинам). Наконец, было выявлено около 0,3% дубликатов адресов в реальном адресном плане города, что позволило провести «очистку» данных в соответствующей системе.

Рисунок 4 - Схема общего двухпроходного алгоритма обработки данных

Рисунок 5 - Результаты обработки реальных данных разработанных прототипом программного обеспечения

Проведено сравнение результатов обработки тестовых данных разработанным прототипом программного обеспечения и экспертами, данные отражены в Таблице 2.

Ошибки в

адресах Дубликаты

Результаты анализа адресного реестра

Рисунок 6 - Результаты анализа адресного реестра

Таблица 2 - Сравнение результатов анализа выборки данных экспертами и прототипом программного обеспечения

Параметр

Оценка экспертов,%

Результат тестов,%

Доля дефектных (ошибочных) адресов

7,4

Доля ошибок в адресах договоров аренды

12,5

15

Доля дубликатов в адресах договоров аренды

34,1

33

Привлечение экспертов при близких результатах привело к временным затратам около 115 человеко-часов, работа прототипа программного обеспечения - 5,5 часов, что доказывает преимущество в производительности при проведении такого анализа - более чем в 20 раз.

Результаты анализа объектов реальной системы

Рисунок 7 - Результаты анализа объектов реальной системы

Рассматриваются область применения предлагаемого подхода, ограничения, а также приводится анализ преимуществ и недостатков.

I

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

< I

1. Разработана архитектура и общие требования к технологии интеграции разных компьютерных систем обработки данных. Сопоставление данных и их обмен между системами производится в центральном элементе 1 системы - централизованном хранилище, а структура централизованного 1 хранилища и пакетов обмена данными описывается на универсальном формате обмена данными (УФОД). В отличие от известных архитектур, в предложенной достигается возможность как комплексной обработки данных разных компьютерных систем при сохранении ими независимости и невмешательства в их внутренние структуры, так и обеспечение обмена данными между этими системами, что позволяет связать системы между собой путем создания связей между объектами, находящимися в разных системах.

2. Разработаны следующие модели и методы:

- математическая модель единого интегрированного информационного пространства, позволяющая рассмотреть общий случай передачи данных между системами, а при задании ограничений получить модель задачи, решаемой в рамках диссертационного исследования. В отличие от известных подходов, в модели акцентируется внимание на вопросе конвертирования данных в различных форматах при наличии произвольног о количества систем.

- математическая модель преобразования данных между различными форматами на основе шаблона преобразования, которая формально описывает

две в общем случае неравноценных структуры данных, а также способы их сопоставления путем задания связей. В отличие от известных, модель описывает принцип задания соответствия данных в формальном виде шаблона преобразования.

- метод сопоставления данных в различных структурах на основе оценки идентичности объектов путем сравнении 1рушх ключевых полей, что, в отличие от известных методов, позволяет определять различные ключевые поля (признаки) для объектов из различных систем, а также определять дубликаты объектов и автоматически добавлять связи между объектами.

- метод обеспечения безопасных изменений (сохранений) данных в централизованном хранилище путем применения системного историзма, задания приоритетности систем-источников, применения единого идентификатора для объектов, а также использования принципа обязательной обратной связи и фильтрации поступающих данных. В отличие от известных решений, метод обеспечивает создание в централизованном хранилище «эталонных» реестровых данных, а также обеспечивает защиту от некорректного их изменения и возможность восстановления ранних версий.

3. Разработан общий алгоритм двухпроходного изменения данных в централизованном хранилище, который включает в себя проверку всех поступивших в рамках транзакции объектов, и не помещает их в хранилище, а также не создает пустые связи, до того, пока не будет получен результат, что позволяет объекту, который будет связан с данным, также успешно пройти проверку. Разработанный алгоритм, в отличие от известных, позволяет избежать пустого выделения единых идентификаторов объектам, которые не будут в итоге сохранены в централизованном хранилище, а также позволяет не создавать ссылки на несуществующие объекты.

4. Разработан прототип программного обеспечения, реализующий предложенные методы и алгоритм. Прототип прошел пилотное внедрение в Администрации ГО г. Уфа РБ. Эффективность предлагаемого подхода подтверждена анализом результатов пилотного внедрения прототипа программного обеспечения. Установлено, что преимущество по времени обработки тестовой выборки реальных объектов перед оценкой экспертами в рассматриваемом случае - более чем в 20 раз.

ОСНОВНЫЕ ПУБЛИКАЦИИ

В рецензируемых журналах из перечня ВАК

1. Торшин Д.В. Организация единого интегрированного пространства на основе универсального формата обмена данными /У «Научно-технические

ведомости СПбГГГУ», Серия «Информатика. Телекоммуникации. Управление», 2009 №2 (71). С. 26-32.

2. Торшин Д.В., Юсупова Н.И. Программное обеспечение для задачи интеграции разрозненных компьютерных систем // «Вестник УГАТУ», Серия «Управление, вычислительная техника и информатика», 2009 № 1 (30). - Т.12. -С. 127-132.

В других изданиях

3. Торшин Д.В., Юсупова Н.И. DVT Engine - простая разработка приложений баз данных // Сборник статей 7-ой Международной Конференции Компьютерные Науки и Информационные Технологам CSIT'2005. - Уфа, 2005.

- Т.3 - С. 216-221 (на англ. языке).

4. Торшин Д.В., Юсупова Н.И. Современный метод разработки информационных систем: разделение приложений на слои и звенья // Сборник статей Региональной зимней школы-семинара аспирантов и молодых ученых. — Уфа, 2006.-Т.1 -С. 59-64.

5. Торшин Д.В., Юсупова Н.И. Анализ основных типов архитектур взаимодействия нескольких информационных систем // Сборник статей Региональной зимней школы-семинара аспирантов и молодых ученых. - Уфа,

2006. - Т.2 - С. 15-21.

6. Торшин Д.В., Юсупова Н.И. Конвертация и перенос данных в задачах интеграции информационных ресурсов // Сборник статей 2-ой региональной зимней школы-семинара аспирантов и молодых ученых. - Уфа, 2007. - Т.2 - С. 50-55.

7. Торшин Д.В., Юсупова Н.И. Пример реализации принципов разработки программ конвертации данных на практике // Сборник статей 2-ой региональной зимней школы-семинара аспирантов и молодых ученых. - Уфа,

2007.-Т.1-С. 71-76.

8. Торшин Д.В. Тройное решение интеграции данных и проблемы восстановления // Сборник статей 9-й Международной Конференции Компьютерные Науки и Информационные Технологии CSIT'2007. - Уфа, 2007.

- Т.З - С.163-167 (на англ. языке).

Диссертант

Д.В. Торшин

ТОРШИН Дмитрий Вячеславович

МЕТОДЫ ИНТЕГРАЦИИ ДАННЫХ КОМПЬЮТЕРНЫХ СИСТЕМ НА ОСНОВЕ УНИВЕРСАЛЬНОГО ФОРМАТА ОБМЕНА ДАННЫМИ

Специальность 05.13.11 - Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Подписано к печати 01.06.2009. Формат 60x84 1/16. Бумага офсетная. Печать плоская. Гарнитура Times New Roman Суг. Усл. печ. л. 1,0. Усл. кр.- отт. 1,0. Уч.- изд. л. 0,9. Тираж 100 экз. Заказ № 205.

ГОУ ВПО Уфимский государственный авиационный технический университет

Центр оперативной полиграфии 450000, Уфа-центр, ул. К.Маркса,12

ВВЕДЕНИЕ.

ГЛАВА 1. АНАЛИЗ ПОДХОДОВ К ИНТЕГРАЦИИ РАЗРОЗНЕННЫХ КОМПЬЮТЕРНЫХ СИСТЕМ ОБРАБОТКИ ДАННЫХ В ЕДИНОЕ ИНФОРМАЦИОННОЕ ПРОСТРАНСТВО И ВЫБОР ПУТЕЙ РЕШЕНИЯ.

1.1 Анализ проблемы интеграции данных в разрозненных компьютерных системах обработки данных.

1.2 Анализ известных подходов к решению.

1.3 Анализ известных программных решений и применимости сервисно-ориентированной архитектуры для интеграции данных.

1.4 Постановка задачи — цели и задачи исследования.

Выводы по главе.

ГЛАВА 2. РАЗРАБОТКА АРХИТЕКТУРЫ ЕДИНОГО ИНТЕГРИРОВАННОГО ИНФОРМАЦИОННОГО ПРОСТРАНСТВА И МЕТОДОВ ОРГАНИЗАЦИИ И УПРАВЛЕНИЯ ОБРАБОТКОЙ ДАННЫХ.

2.1 Разработка архитектуры единого интегрированного пространства, основанной на подходе консолидации данных.

2.2 Выбор метода сопоставления структур данных компьютерных систем.

2.3 Разработка подходов корректировки, сопоставления и сохранности данных в центральном концентраторе.

2.4 Реализация принципов обратной связи при управлении импортом данных в централизованное хранилище.

2.5 Разработка метода обмена данными между компьютерными системами во

Выводы по главе.58

ГЛАВА 3. РАЗРАБОТКА МОДЕЛЕЙ ДАННЫХ И АЛГОРИТМИЧЕСКОГО ОБЕСПЕЧЕНИЯ ДЛЯ ИНТЕГРАЦИИ РАЗРОЗНЕННЫХ КОМПЬЮТЕРНЫХ СИСТЕМ.61

3.1 Разработка математической модели единого интегрированного информационного пространства и постановка задачи.61

3.2 Разработка моделей представления данных и форматов их преобразования.64

3.3 Разработка математической модели преобразования данных с использованием шаблонов преобразования данных.76

3.4 Разработка моделей построения централизованного хранилища с системным историзмом и хранением собственной структуры данных (метаданных).80

3.5 Разработка алгоритмического обеспечения обработки данных центральным концентратором.84

Выводы по главе.91

ГЛАВА 4. РАЗРАБОТКА ПРОТОТИПА ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ И АНАЛИЗ ЭФФЕКТИВНОСТИ ПРЕДЛОЖЕННОГО ПОДХОДА НА ОСНОВЕ ПИЛОТНОГО ВНЕДРЕНИЯ ДАННОГО ПРОТОТИПА.93

4.1 Разработка прототипа программного обеспечения на основании предложенного подхода.93

4.2 Анализ эффективности предлагаемых методов на основе пилотного внедрения разработанного прототипа программного обеспечения.108

4.3 Определение применимости, анализ преимуществ и недостатков предлагаемого подхода.112

4.4 Анализ этапов внедрения разработанного прототипа программного обеспечения и экономической эффективности.116

4.5 Анализ перспективности развития предложенного подхода.120

Выводы по главе.121

ЗАКЛЮЧЕНИЕ.123

СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ.125

ПРИЛОЖЕНИЕ. ДЕКОМПОЗИЦИЯ ЗАДАЧИ ИНТЕГРАЦИИ ДАННЫХ. .132

ВВЕДЕНИЕ

Актуальность темы исследования

Компьютерные системы обработки данных, внедренные на предприятиях и в некоммерческих организациях, зачастую представляют собой автономные системы, которые слабо или никак не связаны с другими системами, базами данных и программами автоматизации деятельности предприятий. Такие компьютерные системы могут быть разработаны разными компаниями, на различных платформах, с использованием разных типов баз данных.

В процессе развития крупной организации, включая государственные и муниципальные органы власти, все актуальнее становится задача эффективного управления информационной структурой. При этом многократно возрастают информационные потоки обмена данными, все более значимой становится правильно построенная информационная структура организации.

Ключом к достижению успеха процесса автоматизации организации, развивающей информационную инфраструктуру для повышения эффективности своей деятельности, является разработка способа интеграции данных из компьютерных систем.

Объектом исследования является процесс интеграции данных компьютерных систем.

Предметом исследования является разработка методов интеграции и постоянного обмена данными, которые обрабатываются компьютерными системами автоматизации деятельности организаций (информационных систем управления взаимоотношения с клиентами, систем планирования ресурсов предприятия, аналитических систем и др.).

Анализ отечественной, зарубежной литературы и источников сети Интернет позволяют сделать вывод, что исследованием и разработкой методов решения вышеуказанной задачи занимаются крупные информационные компании, такие как Microsoft, IBM, Oracle и др. Каждая из данных компаний предлагает проприетарные программные средства и технологии, и все они являются закрытыми программными продуктами для конечного потребителя, что не позволяет на их основе строить интегрированные системы обмена данными в рамках концепции открытых информационных систем. Среди российских ученых, изучающих проблемы интеграции данных, можно отметить работы А.Кудинова, Н.Ермакова, А.Черноусова и др.

Можно сделать вывод, что задача интеграции данных из разных компьютерных систем представляется недостаточно исследованной, а большинство проектов по интеграции данных из различных компьютерных систем обработки не завершаются успехом из-за отсутствия обобщенного подхода к решению данной задачи.

Все вышесказанное подчеркивает актуальность тематики данной исследовательской работы.

Цель диссертационной работы

Целью диссертационной работы является повышение в организации эффективности процессов комплексной обработки данных, находящихся в разных компьютерных системах в различных структурах и форматах представления, на основе разработки методов интеграции этих данных в единое интегрированное информационное пространство.

Задачи исследования

Для достижения цели диссертационной работы необходимо решение следующих задач.

1. Разработка архитектуры интеграции данных разных компьютерных систем обработки данных.

2. Разработка моделей, методов представления, преобразования и обработки данных компьютерных систем для обеспечения их интеграции, а также метода организации хранения таких данных.

3. Разработка алгоритма сохранения данных в централизованном хранилище с обеспечением синхронизации данных.

4. Разработка прототипа программного обеспечения, реализующего предлагаемые методы и алгоритмы в рамках описанных моделей, с последующим проведением анализа эффективности предлагаемого подхода.

Методы исследования

Для решения поставленных задач в диссертационной работе был использован широкий спектр научных методов. При анализе функций систем интеграции данных и описании модели данных были использованы методы системного анализа, а в качестве средства моделирования была применена методология объектно-ориентированного проектирования. При разработке системы интеграции данных были использованы методы модульного, объектно-ориентированного и системного программирования, а также реляционная методология организации хранилища данных.

Основные научные результаты, выносимые на защиту

1. Архитектура интегрирующей системы для организации единого интегрированного информационного пространства разных компьютерных систем обработки данных.

2. Метод сопоставления данных в различных структурах и форматах, метод обеспечения сохранности данных в централизованном хранилище и обмена данными в едином информационном пространстве.

3. Математическая модель преобразования данных универсальным конвертором на основе универсального формата обмена данными.

4. Алгоритм сохранения (и изменения) данных в централизованном хранилище данных интегрирующей системы.

Научная новизна работы

Научная новизна работы содержится в следующих результатах.

1. Предложена архитектура интегрирующей компьютерной системы обработки данных, составленной из разных компьютерных систем обработки данных, основанная на применении универсального формата обмена данными. В отличие от известных, архитектура применима для одновременной интеграции данных компьютерных систем с требованием минимального вмешательства во внутренние структуры, а также для организации периодического обмена данными между этими системами. Это позволяет как проводить комплексную обработку данных, так и осуществлять обмен данными между отдельными компьютерными системами.

2. Разработана математическая модель преобразования данных между различными структурами с применением универсального конвертора данных в различных форматах на основе задания шаблона преобразования, что позволяет производить подключение новых систем в единое интегрированное информационное пространство путем задания одного шаблона преобразования при подключении каждой новой системы. Предложен метод сопоставления данных в различных структурах, основанный на определении уникальности объекта по группам ключевых полей, что позволяет сопоставлять и связывать между собой объекты в различных форматах, создавая в центральном хранилище эталонное представление объекта, а также задавать связи между компьютерными системами. Предложен метод хранения данных в интегрирующей системе с обеспечением их сохранности, что позволяет восстановить данные после некорректного изменения.

3. Разработан двухпроходный алгоритм обработки данных на основе многоступенчатой защиты от внесения некорректных данных в централизованное хранилище, что позволяет сформировать централизованное хранилище из проверенных, связанных между собой данных.

4. Разработан прототип программного обеспечения интеграции данных компьютерных систем обработки данных, позволяющий оценить эффективность предложенных методов и алгоритмов.

Практическая значимость

Практическая значимость полученных результатов содержится в разработанном прототипе программного обеспечения интеграции и комплексной обработки данных, находящихся в разных компьютерных системах в различных структурах и форматах представления на основе разработанных методов интеграции этих данных в единое интегрированное информационное пространство.

Разработанный прототип программного обеспечения, реализующий предлагаемый подход, прошел пилотное внедрение в Администрации городского округа город Уфа Республики Башкортостан.

Результаты работы внедрены в учебный процесс УГАТУ в рамках курса «Технология разработки программного обеспечения» для студентов специальности 010503 «Математическое обеспечение и администрирование информационных систем». На модуль прототипа программного обеспечения получено свидетельство об официальной регистрации программы для ЭВМ в Роспатенте.

Связь с научными программами

Исследования проводились в рамках грантов РФФИ №06-07-89228-а (2006-2008гг.) и НИР № ИФ-ВК-01-08-03.

Апробация работы

Основные научные и практические результаты диссертационной работы докладывались и обсуждались на следующих конференциях: 7-й и 9-й Международных конференциях «Компьютерные науки и информационные технологии» (СБГГ), Уфа-Ассы, 2005; Уфа-Красноусольск, 2007; Региональной зимней школе-семинаре аспирантов и молодых ученых, Уфа, 2006, 2007, а также семинарах регионального уровня.

Публикации

Основные результаты диссертационной работы опубликованы в 8 научных трудах, в том числе в виде научных статей в 2 научных изданиях, рекомендованных для публикации Высшей аттестационной комиссией Минобразования РФ. Перечень публикаций отражен в списке используемой литературы.

Структура работы

Диссертационная работа состоит из 133 страниц машинописного текста, включающего в себя введение, четыре главы, заключение, рисунки, таблицы, список литературы из 87 наименований и приложение.

Результаты исследования оставляют широкий выбор дальнейших тематик исследования, таких как следующий логический уровень — сквозные бизнес-процессы - и разработка различных методов и алгоритмов оценки качества данных, пересылаемых в централизованное хранилище.

ЗАКЛЮЧЕНИЕ

1. Разработана архитектура и общие требования (подход) к технологии интеграции разных компьютерных систем обработки данных. Сопоставление данных и их обмен между системами производится в центральном элементе системы - централизованном хранилище, а структура централизованного хранилища и пакетов обмена данными описывается на универсальном формате обмена данными (УФОД). В отличие от известных архитектур, в предложенной достигается возможность как комплексной обработки данных разных компьютерных систем при сохранении ими независимости и невмешательства в их внутренние структуры, так и обеспечение обмена данными между этими системами. Это позволяет связать системы между собой путем создания связей между объектами, находящимися в разных системах.

2. Разработаны следующие модели и методы:

- математическая модель единого интегрированного информационного пространства, которая позволяет рассмотреть общий случай передачи данных между системами, а при задании ограничений получить модель задачи, решаемой в рамках диссертационного исследования. В отличие от известных, в модели акцентируется внимание на вопросе конвертирования данных в различных форматах при наличии произвольного количества систем.

- математическая модель преобразования данных между различными форматами на основе шаблона преобразования, которая формально описывает две в общем случае неравноценных структуры данных, а также способы их сопоставления путем задания связей. В отличие от известных, модель описывает принцип задания соответствия данных в формальном виде шаблона преобразования.

- метод сопоставления данных в различных структурах на основе оценки идентичности объектов путем сравнении групп ключевых полей, что, в отличие от известных методов, позволяет определять различные ключевые поля (признаки) для объектов из различных систем, а также определять дубликаты объектов и автоматически добавлять связи между объектами.

- метод обеспечения безопасных сохранений (изменений) данных в централизованном хранилище путем применения системного историзма, задания приоритетности систем-источников, применения единого идентификатора для объектов, а также использования принципа обязательной обратной связи и фильтрации поступающих данных. В отличие от известных, метод обеспечивает создание в централизованном хранилище «эталонных» реестровых данных, а также обеспечивает защиту от некорректного их изменения и возможность восстановления ранних версий.

3. Разработан общий алгоритм двухпроходного изменения данных в централизованном хранилище, который включает в себя проверку всех поступивших в рамках транзакции объектов, и не помещает их в хранилище, а также не создает пустые связи, до того, пока не будет получен результат, что объект, который будет связан с данным, также успешно проходит проверки. Алгоритм, в отличие от известных, позволяет избежать пустого выделения единых идентификаторов объектам, которые не будут в итоге сохранены в централизованном хранилище, а также позволяет не создавать ссылки на несуществующие объекты.

4. Разработан прототип программного обеспечения, реализующий предложенные подход, методы и алгоритм. Прототип прошел пилотное внедрение в Администрации ГО г. Уфа РБ. Эффективность предлагаемого подхода подтверждена анализом результатов пилотного внедрения прототипа программного обеспечения, на рассмотренном примере установлено, что преимущество по времени обработки тестовой выборки реальных объектов перед оценкой экспертами - более чем в 20 раз. Данный прототип может быть использован в реально эксплуатируемых системах.

1. Enterprise application integration — From Wikipedia, the free encyclopedia http://en.wikipedia.org/wiki/Enterpriseapplicationintegration.

2. В. Краюшкин. Виртуальная консолидация данных -http://www.citforum.ru/nets/storage/consolidation/.

3. Консолидация финансовых данных — http://www.rosterminal.com/46/.

4. Интеграция данных и хранилища http://citcity.ru/12101/.

5. Extract, transform, load From Wikipedia, the free encyclopedia -http://en.wikipedia.org/wiki/Rxtract.trans form,load.

6. Enterprise content management From Wikipedia, the free encyclopedia -http://en.wikipedia.org/wiki/EnteipriseContent Management.

7. Integration Consortium — Международный консорциум по интеграции — http ://ci te ity.ru/11134/.

8. Подходы к созданию федеративных Хранилищ данных -http://zeus.sai.msu.ru:7000/consulting/BI/f warehousing/.

9. Проблемы интеграции данных http://zeus.sai.msu.ru:7000/consulting/BI/integr data/index.shtml.

10. Informática Ро werCenter — http://www.neoflex.ru/informatica.

11. Harness Data Assets for Operational Excellence and Competitive Advantage -http://www.informatica.com/solutions/enterprise data warehouse/Pages/enterprise d ata warehouse solution.aspx.

12. Опыт применения продуктов Informática в зарубежных банках — http://www.iso.ru/journal/articles/541 .html.

13. IBM WebSphere From Wikipedia, the free encyclopedia -http://en.wikipedia.org/wiki/WebSphere.

14. Питер Ю. Сюй Разработка расширенных клиентских приложений Eclipse для платформы WebSphere -http://www.ibm.com/developerworks/ru/library/0608 xu/.

15. Websphere для новичков — http://www.ibm.com/developerworks/rii/vvebsphere/newto/.

16. Microsoft BizTalk Server From Wikipedia, the free encyclopedia -http://en.wikipedia.org/wiki/BizTalk.

17. Business process management From Wikipedia, the free encyclopedia- http://en.wikipedia.org/wiki/Business processmanagement.

18. Application Integration Architecture -http://www.oracle.com/applications/oracle-application-integration-architecture.html.

19. Oracle SO A Suite From Wikipedia, the free encyclopedia -http://en.wikipedia.org/wiki/OracleSOA Suite.

20. Oracle SOA Suite Official Web Site http://www.oracle.com/technologies/soa/soa-suite.html.

21. Data Integration — Fusion Middleware — Oracle — http://www.oracle.com/products/middleware/odi/index.html.

22. Г.Лодыженский Шлюзы как средство интеграции баз данных — http://www.osp.ru/os/1999/02/179696/.

23. Торшин Д.В. Организация единого интегрированного пространства на основе универсального формата обмена данными // «Научно-технические ведомости СПбГПУ», Серия «Информатика. Телекоммуникации. Управление», 2009 № 2. С. 26-32.

24. Торшин Д.В., Юсупова Н.И. Программное обеспечение для задачи интеграции разрозненных компьютерных систем // «Вестник УГАТУ», Серия «Управление, вычислительная техника и информатика», 2009 № 1. — Т. 12. С. 127-132.

25. Торшин Д.В., Юсупова Н.И. DVT Engine — простая разработка приложений баз данных // Сборник статей 7-ой Международной Конференции Компьютерных Наук и Информационных Технологий CSIT'2005. Уфа, 2005.- Т.З — С. 216-221 (на английском языке).

26. Торшин Д.В., Юсупова Н.И. Современный метод разработки информационных систем: разделение приложений на слои и звенья // Сборникстатей Региональной зимней школы-семинара аспирантов и молодых ученых. -Уфа, 2006. Т. 1 - С. 59-64.

27. Торшин Д.В., Юсупова Н.И. Анализ основных типов архитектур взаимодействия нескольких информационных систем // Сборник статей Региональной зимней школы-семинара аспирантов и молодых ученых. Уфа,2006. -Т.2-С. 15-21.

28. Торшин Д.В., Юсупова Н.И. Конвертация и перенос данных в задачах интеграции информационных ресурсов // Сборник статей 2-ой региональной зимней школы-семинара аспирантов и молодых ученых. Уфа,2007. — Т.2 — С. 50-55.

29. Торшин Д.В., Юсупова Н.И. Пример реализации принципов разработки программ конвертации данных на практике // Сборник статей 2-ой региональной зимней школы-семинара аспирантов и молодых ученых. — Уфа, 2007.-Т.1 С. 71-76.

30. Торшин Д.В. Тройное решение интеграции данных и проблемы восстановления // Сборник статей 9-й Международной Конференции Компьютерных Наук и Информационных Технологий СБЕГ'2007. Уфа, 2007.- Т.З С. 163-167 (на английском языке).

31. Шаппел Д. ЕЭВ Сервисная Шина Предприятия. Пер. с англ. -СПб.: БХВ-Петербург, 2008 - 368 с.

32. Липаев В.В. Процессы и стандарты жизненного цикла сложных программных средств. Справочник. -М.: СИНТЕГ, 2006 — 276 с.

33. Партыка Т.Л., Попов И.И. Операционные системы, среды и оболочки : учебное пособие / Т.Л. Партыка, И.И. Попов 2-е изд., испр. и доп. М.: ФОРУМ, 2009-528 с.

34. Голицына О.Л., Максимов Н.В., Попов И.И. Информационные системы : учеб. Пособие М.: ФОРУМ, 2009 - 496 с.

35. Хорошевский В.Г. Архитектура вычислительных систем: Учеб. Пособие 2-е изд., перераб. и доп. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2008.- 520 с.

36. Фаудер, Мартин. Архитектура корпоративных программных приложений.: Пер. с английского М.: Издательский дом «Вильяме», 2008 г. -544 с.

37. Бек, Кент. Шаблоны реализации корпоративных приложений.: Пер. с англ. -М.: ООО «И.Д. Вильяме», 2008 г. 176 с.

38. Хон, Грегор, Вульф, Бобби. Шаблоны интеграции корпоративных приложений. : Пер. с англ. М.: ООО «И.Д. Вильяме», 2007. — 672 с.

39. Б.А. Хейфец, А.М.Либман. Корпоративная интеграция. Альтернативна для постсоветского пространства. — М.: ЛКИ, 2008. 162 с.

40. Роб Катлип, Джон Медик. DB2: решения по интеграции. : Пер. с англ. -М.: КУДИЦ-Образ, 2005. 320 с.

41. М.Рейнолдс. Электронная коммерция. Основы программирования. -М.: Лори, 2001.-538 с.

42. В.А.Макушкин, Д.С. Володичев. Интеграция приложений на основе WebSphere MQ. Курс лекций. Учебное пособие. М.: Интернет-университет информационных технологий, 2005. — 280 с.

43. Б.П.Арсеньев, С.А.Яковлев. Интеграция распределенных баз данных. М.:Лань, 2001. - 464 с.

44. А.В.Ложечкин. Интеграция приложений для электронной коммерции с использованием Microsoft BizTalk Server 2000. — M.: Русская редакция, 2002. 368 с.

45. Джеймс Бин. XML для проектировщиков. Повторное использование и интеграция : Пер. с англ. М.: КУДИЦ-Образ, 2004. - 256 с.

46. Р.Хандхаузен, С.Борг и др. Построение Веб-приложений с ADO.NET и XML Web-Services (на английском языке). — Wiley, 2002. 416 с.

47. Алекс Феррара, Мэтью Мак-Дональд. Программирование web-сервисов для .NET. СПб.: Питер, 2003. - 432 с.

48. Г.Вейхлер. Мобильность, безопасность и Веб-сервисы: технологии и сервисно-ориентированные архитектуры в новой эре ИТ-решений (на английском языке). SIEMENS, 2004. - 332 с.

49. К.Басслер, Р. Халл. Веб-сервисы, электронная коммерция и семантический Веб (на английском языке). — Канада, Торонто: Спрингер, 2002.- 223 с.

50. Эрик Ньюкомер. Веб-сервисы: XML, WSDL, SO АР и UDDI. -СПб.: Питер, 2003. 256 с.

51. И.Крнкович, У.Асклунд и др. Реализовывая и интегрируя Product Data Management и Software Configuration Management (на английском языке). -США: Артек Хаус Компьютинг Лайбрари, 2003. 333 с.

52. Д. Лошин. Управление главными данными (на английском языке).- США: Элсевьер Инк., 2009. 265 с.

53. Елена Гореткина. PDM и ERP обязательно нужно интегрировать // PCWeek/RE №19 (673) '2009.

54. Александр Глинских. Мировой рынок PDM-систем // Компьютер-Информ № 3 '2001.

55. Джим Кох, Кен Дэвидсон. XML. Никаких тайн и секретов! М.: НТ Пресс, 2007.-256 с.

56. В.Вагнер, Р.Хилкен и др. XML: Введение в прикладные XML-технологии в бизнесе (на английском языке). США: Прентис Хол, 2002. - 600 с.

57. Марк Зайден. XML для электронной коммерции. М.: Бином. Лаборатория знаний, 2003. — 480 с.

58. М.Р. Когаловский, Ю.Е. Хохлов. Стандарты XML для электронного правительства. М.: Институт развития информационного общества, 2008. -416 с.

59. XML. Базовый курс, 4-е издание, перераб. и дополнен., под ред. Н.Закаса М.: Вильяме, 2009. - 1344 с.

60. К.МакКензи. Что такое WebSphere? Java, J2EE, Portal и другое! (Раскрывая секреты технологии IBM) (на английском языке). США: ПалпЯва, 2007.-280 с.

61. Р.Турага, О.Клин, П.Сикел. Сервер приложений WebSphere: шаг за шагом, 6-е изд. (на английском языке) США: МакПресс, 2006. - 808 с.

62. Р.Барден. PDM: Product Data Management. США:Ресурс Паблишин, 2003. - 643 с.

63. Д.Чаппел. Корпоративная Шина Данных (Enterprise Service Bus) (на английском языке). США: О'Рейли Медиа, Инк., 2004. - 352 с.

64. Томас Эр л. Паттерны дизайна SOA (на английском языке). США: Прентис Хол, 2009. - 800 с.

65. Вульф, Хоскинс. Изучая и практикуя IBM SOA-технологии. (на английском языке). США: Клиа Хоризон, 2008. - 92 с.

66. Николай Йосуттис. SOA на практике: искусство дизайна распределенных систем (на английском языке). США: О'Рейли Медиа, Инк.,2007.-342 с.

67. Дж. МкГоверн и др. Корпоративные Сервисно-Ориентированные Архитектуры: концепции, сложности, рекомендации (на английском языке). — Канада, Торонто: Спрингер, 2006. 408 с.

68. Д.Аллен. Лучшая практика Корпоративного Управления Содержимым: стратегия ЕСМ (на английском языке). США: Эмерио Лтд.,2008. 192 с.

69. Д.МакЛид, К.Хар. Управление записями: основы Корпоративного Управления Содержимым (ЕСМ) (на английском языке). Великобритания: Фасит Паблишин, 2009. - 192 с.

70. Дюваль, Матиас III, Гловер. Непрерывная интеграция. пер. с англ.- М.:Вильямс, 2008. 240 с.

71. К. Спенс, М. Ноэл. Microsoft SharePoint 2007. Полное руководство.- М.:Вильямс, 2008. 832 с.

72. Старыгин A.A. XML: Разработка Web-приложений. СПб: БХВ-Петербург, 2003. - 592 с.

73. Грей Д., Дальви Д., Джоши Б. и др. XML для разработчиков-профессионалов .NET (пер. Штерова И.) М.: Лори, 2003. - 642 с.

74. Спенсер П. XML: проектирование и реализация. М.: Лори, 2001. -510с.

75. Трэвис Б. XML и SOAP: Программирование для серверов BizTalk (пер. с англ.) М.: Русская редакция, 2001. — 496 с.

76. Тейбор Р. Реализация XML Web-служб на платформе Microsoft .NET (пер. с англ.) М.: Вильяме, 2002. - 448 с.

77. Шорт С. Разработка XML Web-сервисов средствами Microsoft .NET (пер. с англ.) СПб.: БХВ-Петербург, 2003. - 480 с.

78. К. Браун, Г. Крейг, Г. Хэстер. Создание корпоративных Java-приложений для IBM WebSphere. M.: КУДИЦ-Образ, 2005. - 860 с.

79. Репликация Microsoft SQL Server 2005/2008 (под ред. А. Гладченко и В. Щербинина). М.: ЭКОМ Паблишере, 2009. - 288 с.

80. Дэвид А. Шаппелл. ESB Сервисная шина предприятия. - СПб.: БХВ -Петербург, 2008.-340 с.

81. С.Я. Архипенков, Д.В. Голубев, О.Б. Максименко. Хранилища данных. М.: Диалог-МИФИ, 2002. - 528 с.

82. Эрик Спирли. Корпоративные хранилища данных. Планирование, разработка и реализация. Том первый. М.: Вильяме, 2008. - 400 с.

83. Лилиан Хоббс, Сьюзан Хилсон, Шилпа Лоуенд. Oracle9iR2: разработка и эксплуатация хранилищ баз данных. Практическое пособие. М.: КУДИЦ-Образ, 2004 г. - 586 с.

84. Т. Хаммергрен. Хранилища данных для чайников (на английском языке). США: Фо Даммиз, 2009. - 384 с.

85. Ральф Хьюз. Быстрые хранилища данных: доставляя бизнес-логику мирового класса с использованием технологий Serum и ХР (на английском языке). США: АйЮниверс, 2008. - 320 с.

86. Аршад Хан. 101 концепция и реализация хранилищ данных (на английском языке). США: Хан Консалтинг энд Паблишинг, 2003. - 134 с.

87. Винсент Райнарди. Построение хранилища данных с примерами на SQL Server (на английском языке). — США: Ипресс, 2007. — 523 с.