автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Разработка методов и средств единого представления структурированных данных в информационных системах

Введение.

Глава 1. Обзор тематики структурированных данных.

1.1. Языки программирования.

1.2. СУБД.

1.2.1. Модели данных.

1.2.2. Преобразование моделей данных.

1.2.3. Ограничения целостности.

1.2.4. Методы доступа к БД.

1.3. Проектирование баз данных.

1.3 1. Моделирование в терминах «Сущность-связь».

1.3.2. Существующие на рынке CASE-средства.

1.3.3. Классификация CASE-средств.

1.4. Форматы данных в информационных системах.

1.4.1. Стандарт XML.

1.4.2. Форматы данных, основанные на XML.

1.5. Постановка задач диссертационной работы.

Глава 2. Модель и ее отображения.

2.1. Общее описание технологии.

2.2. ER-модель.

2.3. Иерархическое представление ER-модели.

2.4. ER-модель и базы данных.

2.4.1. Реляционные БД.

2.4.2. Иерархические БД.

2.4.3. Объектно-ориентированные БД.

2.5. ER-модель и XML-файлы.

2.5.1. Назначение формата.

2.5.2. Общие положения.

2.5.3. Простые типы.

2.5.4. Атрибуты сущностей.

2.5.5. Сущности.

2.5.6. Первичные и альтернативные ключи.

2.5.7. Связи между сущностями.

2.5.8. Документные БД.

2.6. ER-модель и набор классов.

2.6.1. Карта атрибутов.

2.6.2. Дополнение структуры данных функциональностью.

2.6.3. Другие применения технологии генерации классов.

Глава 3. Анализ и применение.;.

3.1. Используемые определения.

3.2. Формализация модели данных.

3.3. Формулировка задачи.

3.4. Алгоритм создания иерархического представления ER-модели.

3.4.1. Описание алгоритма.

3.4.2. Анализ алгоритма.

3.5. Созданный инструментарий.

3.5.1. Способы взаимодействия с CASE-средством.

3.5.2. Состав инструментария.

3.6. Эффективность.

Актуальность темы. В настоящее время при разработке информационных систем существует множество проблем, связанных с разными аспектами обработки структурированных данных.

Одной из таких проблем является требование работоспособности системы совместно с СУБД различных моделей. В настоящее время наибольшее распространение получила реляционная модель, но наряду с ней существуют и иерархическая, и обьектно-ориентированная. В последнее время появились и документные СУБД. Обычно требование совместимости удовлетворяется тем, что значительные фрагменты кода, выполняющие одни и те же действия, дублируются для разных моделей СУБД.

Аналогичная проблема имеет место в области взаимодействия с внешними информационными системами. Обычно обмен данными осуществляется с помощью сообщений и/или файлов. В настоящее время сложилась тенденция, при которой для каждого канала, связывающего информационные системы, создается узкоспециализированный формат обмена. Это приводит к существованию десятков разных форматов, содержащих одни и те же данные, но абсолютно не похожих друг на друга и не совместимых между собой. Программный код, обрабатывающий эти форматы, опять же, часто дублируется.

Близкой проблемой является необходимость работы с несколькими СУБД одной и той же модели (как правило, реляционной) от различных производителей. Традиционно она решается тем, что вся работа с данными производится через «узкое горлышко», коим является, например, интерфейс ODBC. Переносимость при этом достигается, однако часто возникают проблемы с производительностью.

При работе с базами данных через традиционные программные интерфейсы зачастую обращение к полям таблиц производится по именам этих полей или даже по порядковым номерам. Это приводит к тому, что при изменении схемы базы данных, такой как переименование поля или смена его типа, программы перестают работать, а для исправлений и последующего тестирования нужно проверить весь программный комплекс. Проблема стоит особенно остро, если изменения вносятся в таблицы, используемые большим числом модулей.

Смежной проблемой является обработка ошибок, возникающих на разных уровнях программного комплекса. Традиционно она осуществляется с помощью кодов возвратов. Этот механизм неплохо работает для маленьких программ, но приводит зачастую к непредсказуемому поведению больших программных комплексов. В последнем случае в недрах большого числа модулей факт ошибки теряется из-за недостаточно выверенной обработки ошибочных ситуаций. Однако несмотря на это, большинство программных интерфейсов по прежнему пишутся с использованием кодов возвратов.

В процессе обработки данных происходят такие типичные операции, как их поиск в БД, загрузка в память, редактирование, запись в БД или удаление. При этом сначала происходит преобразование данных из формата, предоставляемого интерфейсом программного уровня СУБД, в структуры данных, расположенные в памяти, работа с ними, а затем преобразование полученньк результатов в вид, приемлемый для переноса в БД. Эти преобразования разработчику зачастую приходится выполнять вручную.

Таким образом, современная информационная система обрабатывает данные в различных форматах, получаемые из разных источников, хранящиеся в базах данных различных моделей, доступные через разные программные интерфейсы. Эти данные имеют схожую семантическую структуру, т.к. описьшают предметную область программного комплекса. Все это приводит зачастую к дублированию программного кода, к дополнительному коду для преобразования вызовов функций и типов данных, к недостаточно надежной обработке исключительных ситуаций.

В настоящее время эти проблемы пытаются решить несколько технологий:

• на стыке обьектно-ориентированных языков программирования и СУБД -объектно-ориентированные СУБД;

• в области обмена данными между информационными системами - семейство стандартов, основанных на XML;

• в области редактирования данных - среды разработки, такие как Delphi, семейство продуктов Oracle, отчасти Visual С++ и Visual Basic;

• в области создания выходных документов - генераторы отчетов.

Все эти технологии пытаются снять какие-то частные проблемы и не рассматривают задачу как единое целое.

Описанные вопросы широко обсуждается в литературе. Один из важных вопросов - какой язык программирования применять при разработке информационных систем. Многие авторы придерживаются мнения, что это должен быть компилируемый язык с механизмами сильной типизации [4,40, 49, 50]. Программы, написанные на таком языке более устойчивы к изменениям, т.к. грубые ошибки всплывают уже на этапе компиляции. В языках интерпретирующего типа или в языках, где есть только позднее связывание (например, SmallTalk), такого сорта ошибки можно обнаружить, лишь поработав с программой и проверив всю ее функциональность. Наибольшее распространение из сильно типизированных компилируемых языков получил Си++.

Среди всех моделей баз данных в настоящее время распространение получили реляционные и, в меньшей степени, объектно-ориентированные [11, 12, 20, 39, 47, 53, 70]. Кроме того, существует еще СУБД Ника [44], являющаяся иерархической с сетевыми ссылками. И не так давно появилось новое веяние - документные СУБД [73].

Объектно-ориентированные СУБД имеют недостатки, связанные с молодостью этой модели, поэтому предлагается использовать гибридный подход - создавать объектно-ориентированный интерфейс к реляционной СУБД [5, 24, 39].

Самым популярным способом проектирования структуры баз данных является ER-моделирование [11, 20, 53], однако его используют только для этих целей, и не делается попыток решать какие-либо смежные вопросы. Причем для проектирования реляционных баз обычно используют нотацию ШЕР1Х [64, 59], а для объектно-ориентированных - UML [6, 52].

Из приведенного краткого обзора видно, что решаются лишь частные проблемы и не делается попыток концептуально решить вопрос работы со структурированными данными различной природы. Отсюда и вытекает актуальность предложенной темы диссертации.

Целью данной работы является разработка модели данных, обеспечивающей единое представление структурированных данных вне зависимости от их физического способа хранения, методов отображения этого представления на различные способы хранения и программного инструментария для работы с этим представлением.

Задачи данной работы:

1. Разработать модель данных, обеспечивающую единое представление структурированных данных.

2. Разработать методы отображения модели на базы данных реляционного, иерархического, объектно-ориентированного и документного типов, а также на файлы данных в формате XML.

3. Разработать принципы построения информационных систем на основе единого представления структурированных данных.

4. Спроектировать и реализовать программный инструментарий, обеспечивающий поддержку данной технологии.

Объект исследования - технология разработки информационных систем, системы управления базами данных (реляционные, иерархические, объектно-ориентированные) .

Предмет исследования - методы и средства взаимодействия программного комплекса с разнородными структурированными данными - базами данных, файлами в различных форматах, структурами данных в оперативной памяти.

В диссертационной работе использованы следующие методы исследования: методы теории графов, теории построения алгоритмов, проектирования информационных систем, объектно-ориентированные методы создания программного обеспечения.

Научная новизна работы. Впервые в семействе моделей «Сущность-связь» разработана модель данных, допускающая отображение на модели реляционных, иерархических, объектно-ориентированных, документных баз данных и на XML-схемы. Введено новое понятие иерархического представления, предназначенного для генерации на основе единой модели схем иерархических БД и XML-файлов. Сформулирован критерий качества этого представления и разработан алгоритм построения представления, оптимального по этому критерию.

Практическая значимость работы. Предложена методология создания информационных систем, основанная на единой логической модели. Она предназначена для создания программных комплексов, работающих с физически разнородными, но семантически похожими данными. Методология позволяет избежать дублирования программного кода при разработке таких комплексов.

Одним из элементов методологии является технология построения набора классов на основе логической модели. Созданный таким образом набор классов предоставляет возможность работать с данными в объектно-ориентированном представлении безотносительно их реального физического устройства. Главным отличием этой технологии от существующих является то, что она предоставляет настраиваемый инструментарий для создания набора классов, который может быть адаптирован к каждому конкретному проекту, а не предлагает установления жесткого соответствия между элементами модели и классами.

Реализация результатов работы. Создан инструментарий, реализующий разработанные алгоритмы для моделей, спроектированных в системе Computer Associates ERwin версии 3.5.2. На основе разработанной модели создан формат файлов, базирующийся на XML и предназначенный для обмена данными между информационными системами. Разработана технология обработки входных параметров и создания выходных документов в Web-приложениях.

Созданный инструментарий использовался для разработки программного комплекса «Система Дистанционного Обучения».

Апробация работы. Результаты исследований докладывались на XLII и на XLIII научных конференциях Московского физико-технического института «Современные проблемы фундаментальных и прикладных наук» в 1999 и в 2000 гг.

Публикации. Основные положения диссертации изложены в восьми работах [31,32, 33, 34, 35, 36, 37, 45], из них три [31, 35, 45] в соавторстве.

Структура диссертациоиной работы. В Главе 1 сделан обзор существующих технологий, так или иначе связанных с обработкой структурированных данных. К ним относятся системы управления базами данных, вопросы создания схем БД с помощью моделирования в терминах «Сущность-Связь», рассмотрены существующие в настоящее время CASE-средства, текущее состояние дел в области стандартов, связанных с языком разметки XML, вопросы программирования в области Web-технологий.

В Главе 2 описывается формальная модель данных, основанная на ER-модели, и иерархическое представление этой модели. Описывается технология построения программных комплексов, основанная на применении формальной модели. 9

Формулируется критерий качества иерархического представления. Приводится связь формальной модели с моделями СУБД (реляционной, иерархической, объектно-ориентированной и документной) и ХМЬ-файлов. Здесь же описывается процесс построения набора классов, соответствующих ЕК-модели.

В Главе 3 формализуются понятия ЕК-модели, ее иерархического представления, критерия качества этого представления. Приводится алгоритм построения иерархического представления ЕК-модели. Доказывается, что этот алгоритм дает оптимальный результат для выбранного критерия. В этой же главе описывается созданный инструментарий, поддерживающий разработанную технологию, и аспекты применения унифицированного доступа для \¥еЬ-приложений: обработка входных параметров и создание выходных документов, экспорт страниц для работы в автономном режиме. Также указано на другие возможные применения этого подхода: сервер приложений, отчеты, интеграция с унаследованными системами. В конце главы приводятся две известные ловущки ЕК-моделирования и одна новая, которая важна в контексте построения иерархического представления. Здесь же описываются проблемы семантики атрибутов и суррогатных ключей.

В Главе 4 рассказывается об опыте использования разработанного инструментария при создании \¥еЬ-приложения «Система Дистанционного Обучения».

В Заключении приведены основные результаты данной работы.

Основные результаты, полученные в настоящей работе, заключаются в следующем:

1. Описана формальная модель данных, на основе которой могут создаваться схемы реляционных, иерархических, объектно-ориентированных и документных баз данньк, а также XML-файлов. Описано соответствие между ними и формальной моделью.

2. Описано иерархическое представление формальной модели. Сформулирован критерий его качества. Разработан алгоритм построения иерархического представления, оптимального по сформулированному критерию.

3. Разработана методология создания информационных систем на основе унифицированного доступа к данным. Одной из частей этой методологии является технология построения набора классов на основе формальной модели.

4. Разработаны способы применения унифицированного доступа в области создания Web-приложений.

101

5. Разработан формат, основанный на XML и предназначенный для обмена данными между информационными системами.

6. Разработанные алгоритмы практически реализованы для ER-моделей, спроектированных в системе Computer Associates ERwin версии 3.5.2.

Разработанный инструментарий использовался для создания программного комплекса «Система Дистанционного Обучения».

Заключение

Работа посвящена одному из актуальнейших вопросов современного программирования - создания единого представления структурированных данных в виде логической и физических моделей, в виде набора классов на язьпсах программирования. Единая логическая модель позволила совместить традиционные средства взаимодействия, принятые в СУБД, с объектно-ориентированным подходом, на который ориентированы все популярные языковые средства.

Рассмотрены существующие физические модели баз данных, проведен анализ логических моделей из семейства «Сущность-связь», сделан аргументированный выбор концепций из этого семейства, которые могут быть отображены в наиболее распространенные физические модели.

Проведена классификация существующих способов построения форматов данных, основанных на XML. Указано, что самым оптимальным является использование XML-схемы.

Исследованы вопросы использования языков программирования для разработки больших программных комплексов, работающих с базами данных.

1. Арлазоров В.Л., СоловьевД.В. Документ как система представлений // Сборник трудов ИСА РАН «Методы и средства работы с документами» / Под редакцией Арлазарова В.Л. и Емельянова Н.Е. М.: Эдиториал УРСС, 2000. С. 52-61.

2. Арсеньев Б.П. Система автоматизации семантической интеграции распределенных баз данных / Автореферат диссертации на соискание ученой степени кандидата технических наук СПб., 1997.

3. Белоусов H.H. Конструирование преобразователей моделей данных в системе интеграции неоднородных баз данных / Автореферат диссертации на соискание ученой степени кандидата физико-математических наук М., 1988.

4. Бен-Ари М. Языки программирования. Практический сравнительный анализ / Пер. с англ. М. Мир: 2000.

5. Буч Г. Объектно-ориентированный анализ и проектирование с примерами приложений на С++, 2-е изд. / Пер. с англ. М.: «Издательство Бином»; СПб.: «Невский диалект», 2000.

6. Буч Г., РамбоДж., Джекобсон А. \JML. Руководство пользователя: Пер. с англ. М.: ДМК Пресс, 2000.

7. Вендров A.M. CASE-технологии. Современные методы и средства проектирования информационных систем -http://www.interface.rvi/LOGWORKS/caset/glaval/case.htm.

8. Гарольд Э. Р. Java Beans / Пер. с англ. М.: Лори, 1999.

9. Горбунов-Посадов М. Расширяемые программы М.: Полиптих, 1999.

10. Дейт К. Дж. Введение в системы баз данных / Пер. с англ. 6-е изд. К.: Диалектика, 1998.

11. Джордан Д., Обработка объектньк баз данных в С++. Программирование по стандарту ODMG: Пер. с англ. -М.: Издательский дом «Вильяме», 2001.

12. Емельяов А.Н Щелкачева И.В. Основные характеристики моделей данных и их применение к ИНЕС. Сборник Школа «Банки данных в автоматизированных системах. Опыт и проблемы» Калинин, 1986, стр. 38.

13. ЕмельяновН. Е. Введение в СУБД ИНЕС. М.: Наука, гл. ред. физ.-мат. лит., 1998.

14. Емельянов НЕ., Тищенко В.А. Методы отображения объектов для построения Web-сервера объектно-ориентированной базы данных // Сборник трудов

15. ИСА РАН «Развитие безбумажной технологии в организационньсс системах» / Под редакцией Арлазарова В.Л. и Емельянова Н.Е. М.: Эдиториал УРСС, 1999. С. 96-109.

16. Замулин A.B. Интегральная языковая среда для описания и реализации баз данных различных моделей / Автореферат диссертации на соискание ученой степени доктора физико-математических наук Новосибирск: 1989.

17. Керниган Б., ПайкР. Практика программирования: Пер. с англ. СПб.: Невский Диалект, 2001.

18. Кнут, Дональд Э. Искусство программирования. Том 1. Основные алгоритмы, 3-е изд. / Пер. с англ. М: Издательский дом «Вильяме», 2000.

19. Конопли Т., Бегг К, Страчан А. Базы данных: проектирование, реализация и сопровождение. Теория и практика, 2-е изд.: Пер. с англ. -М.: Издательский дом «Вильяме», 2000.

20. Кормен Т., Лейзерсон Ч., РиеестР. Алгоритмы: построение и анализ. М: МЦНМО, 2000.

21. Космынин А.Н. Методы и средства организации типовополной модели баз данных / Автореферат диссертации на соискание ученой степени кандидата технических наук М.: 1991.

22. Марка Д., МакГоуэн К. Методология структурного анализа и проектирования: Пер. с англ. М.: Мета Технология, 1993.

23. МейерД. Теория реляционных баз данных / Пер. с англ. М. Мир, 1987.

24. МутушевД.М. Методы обеспечения доступа к объектно-ориентированным базам данных на основе стандартов реляционных систем / Автореферат диссертации на соискание ученой степени кандидата физико-математических наук-М.: 1998.

25. Новиков Ф., Дискретная математика для программистов. СПб.: Питер, 2000.

26. ОззуМ.Т., ВалдуризП. Распределенные и параллельные базы данных: Пер. с англ. СУБД, 4/1996, с.4.

27. Плискин Е.Л. Слышкин В.В. Архитектура серверной части системы документооборота // Методы и средства работы с документами: Сб. ст. М.: Эдито-риал УРСС, 2000. С. 263-279.

28. Плискин Е.Л. Управление версиями в системах коллективного создания документов // Развитие безбумажной технологии в организационных системах: Сб. ст. М.: Эдиториал УРСС, 1999, С. 214-251.

29. ЪХ.ПорайД.С, ГолоусиковаA.A. Создание среды хранения объектов над иерархической СУБД // Развитие безбумажной технологии в организационных системах: Сб. ст. М.: Эдиториал УРСС, 1999. С. 252-279.

30. ПорайД.С. Дистанционное обучение через Интернет // Методы и средства работы с документами: Сб. ст. М.: Эдиториал УРСС, 2000. С. 280-287.

31. ПорайД.С. Обработка документов как основа построения информационных систем // Управление информационными потоками: Сб. ст. М.: Эдиториал УРСС, 2002. С. 282-295.

32. ПорайД.С, Плискин Е.Л., СолощенкоД.В., ГолоусиковаА.А., Карпенко СМ., ЛогиновA.C. Опыт разработки Интернет-приложения «Система дистанционного обучения» // Методы и средства работы с документами: Сб. ст. М.: Эдиториал УРСС, 2000. С. 288-303.

33. ПорайД.С. Представление документов в формате XML // Управление информационными потоками: Сб. ст. М.: Эдиториал УРСС, 2002. С. 296-308.

34. Романов Б.Л. Средства разработки форм документов // Сборник трудов ИСА РАН «Методы и средства работы с документами» / Под редакцией Арлаза-рова В.Л. и Емельянова Н.Е. М.: Эдиториал УРСС, 2000. С. 304-311.

35. Саймон А.Р. Стратегические технологии баз данных / Пер с англ. / Под ред. и с пред. М.Р. Когаловского М.: Финансы и статистика, 1999.

36. СебестаР. Основные концепции языков программирования, 5-е изд.: Пер. с англ. М.: Издательский дом «Вильяме», 2001.

37. Семенов Ю.А. Сети Интернет. Архитектура и протоколы. М.: «Блик Плюс», 1998.

38. Система программирования баз данных Модула-90К / Лютый В. Г., Мерков А. R, ЛеонтьевЮ. В. и др. М.: ВЦ РАН, 1994.

39. Система управления базами данных ИНЕС // Под редакцией В.Л. Арлазаро-ва и Н.Е. Емельянова. М: Министерство обороны СССР, 1982.

40. Системы управления базами данных и знаний: Справ, изд. /А. Н. Наумов, А. М. Вендров, В. К. Иванов и др.; Под ред. А.Н Наумова. М.: Финансы и статистика, 1991.

41. Соловьев А.В. Разработка методов и средств взаимодействия объектно-ориентированных систем управления базами данных с электроннъши издательскими комплексами / Диссертация на соискание ученой степени кандидата технических наук М., 2000.

42. Среда и хранилище: ООБД/АндреевA.M., БерезктД.В., Кантонистов Ю.А. IIМир ПК, 1998, № 4, С. 74-81.

43. Станишич П. Конверсия реляционных баз данных в объектно-ориентированные и соответствующая трансляция запросов / Автореферат диссертации на соискание ученой степени кандидата физико-математических наук М., 1999.

44. Страуструп Б. Дизайн и эволюция С++: Пер. с англ. М.: ДМК Пресс, 2000.

45. Страуструп Б. Язык программирования С++, спец. изд.: Пер. с англ. М.; СПб.: «Издательство БИНОМ» - «Невский Диалект», 2001.

46. Теоретические основы компьютерной безопасности /77. Я Девянин, О. О. Михальский, Д. И. Правите и др. М.: Радио и связь, 2000.

47. ФаулерМ., Скотт К. UML в кратком изложении. Применение стандартного языка объектного моделирования: Пер. с англ. М.: Мир, 1999.

48. ХаррингтонД. Проектирование объектно-ориентированных баз данных: Пер. с англ. М.: ДМК Пресс, 2001.

49. Язык описания данных КОДАСИЛ / Пер. с англ. под ред. М.Р. Когаловского и Г.Л. Столярова-М.: Статистика, 1981.

50. Apache Software Foundation (официальный сайт) http://www.apache.org.

51. CASE-средства http://www.interface.ru/chapters/software.htm.

52. Database Template Library http://www.geocities.coni/corw1niov/dtl/1ndex.htm.

53. DOM (официальная документация) http://www.w3.org/TR/REC-DOM-Level-i.

54. ERwin. Справочное руководство // Logic Works Inc. / Hep. с англ. 1995.

55. FAQ no ERwin http://www.interface.ru/faq/platinum/faq er.htm.

56. IDEFl Information modeling. Technical Report AFWAL-TR-81-4023.

57. Information Integration for Concurrent Engineering (ПСЕ). IDEF4 Object-Oriented Design Method Report. Version 2.0

58. InfoZip Group (официальная страница) -http://www.freesoftware.com/pub/infozip/.

59. Integration Definition for Information Modeling (ШЕР1Х). Federal Information Processing Standard (FIPS). Publication 184. December 1993.

60. Microsoft Foundation Classes электронная документация Microsoft Developer Library, выпуск «Июнь 2001 г».

61. OIFML (описание предложения) http ://www. odmg. org.

62. Oracle, ODBC and DB2-CLI Template Library -http://members.fortunecitv.com/skuchin/home.htm.106

63. Ozsu, TamerM., Valduriez, Patrick. Principles of distributed database systems / Englewood Cliffs, NJ: Prentice Hall, 1991.

64. Sciore, Edward. Using annotations to support multiple kinds of versioning in an object-oriented database system. ACM Transactions on Database Systems. Vol. 16, No. 3 (Sept. 1991), pp. 417-438.

65. Sessions R Object Persistence beyond object-oriented databases / Upper Saddle River, NJ: Prentice Hall, 1996.

66. Singhal v., KakkadSk, Wilson P. Texas: An Efficient, Portable Persistent Store // Persistent Object Systems: Proceedings of the Fifth International Workshop on Persistent Object Systems, pages 11-33, San Miniato, Italy, September 1992.

67. SourcePro DB http://www.roguewave.com/products/sourcepro/db.

68. TAMINO (официальный сайт) http://www.soflwareag.com/tamino/.

69. Texas http://www.cs.utexas.edu/users/oops/.

70. The Object Data Standard: ODMG 3.0 Morgan Kaufinann Publishers, 2000.

71. Xalan http://xml.apache.org/xalan-c/.

72. XForms http ://www. w3. org/MarkUp/F orms/.

73. XHTML http://www.w3 .org/MarkUp/.

74. XML http://www.w3. org/XML/.

75. XML Query http://www.w3 .org/XML/Querv.

76. XML Schema http://www.w3.org/XML/Schema.

77. XSLT http://www.w3 .org/Stvle/XSL/.