автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Интегрированные объектно-реляционные логические модели представления данных для систем потоковой обработки информации

На правах рукописи

□03456560

МАСЛЕННИКОВ Виталий Александрович

ИНТЕГРИРОВАННЫЕ ОБЪЕКТНО-РЕЛЯЦИОННЫЕ ЛОГИЧЕСКИЕ МОДЕЛИ ПРЕДСТАВЛЕНИЯ

ДАННЫХ ДЛЯ СИСТЕМ ПОТОКОВОЙ ОБРАБОТКИ ИНФОРМАЦИИ

Специальность 05.13.11

Математическое и программное обеспечение вычислительных машин, комплексов н компьютерных сетей

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Я

С'д I»»"

Уфа 2008

003456560

Работа выполнена на кафедре информатики Уфимского государственного авиационного технического университета

Научный руководитель д-р техн. наук, проф.

Кабальное Юрий Степапович

Официальные оппоненты д-р техн. наук, проф.

Павлов Сергей Владимерович

канд. техн. наук, доц. Набатов Александр Нурович

Ведущее предприятие: ООО «Новойл-Автоматика», г. Уфа

Защита состоится «/У » 2008 г. в часов

на заседании диссертационного совета Д-212.288.07 при Уфимском государственном авиационном техническом университете по адресу: 450000, г. Уфа, ул. К. Маркса, 12

С диссертацией можно ознакомиться в библиотеке университета

Автореферат разослан « » /¿о-х^^ 2008 г.

Ученый секретарь диссертационного совета д-р техн. наук, проф. С.С. Валеев

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы

В настоящее время широкое распространение получили большие базы данных (БД) в системах потоковой обработки информации, среди которых можно отметить БД билинговых систем, БД геоинформационных систем и БД крупных торговых сетей. Характерными особенностями больших БД в системах потоковой обработки информации, как правило, являются большой объем хранимой и поступающей информации, интерактивный многопользовательский режим работы, нестационарность схемы данных БД, динамические методы обработки данных, сложная пред- и постобработка потока поступающих данных.

Для построения подобных БД, как правило, применяют классический реляционный подход или современный объектно-ориентированный. При построении подобных БД для систем потоковой обработки информации с использованием реляционного подхода возникает ряд трудностей, вызванных структурной избыточностью логической модели данных; неструктурированным хранением алгоритмов обработки данных; сложностью организации многопользовательских интерактивных режимов для аналитической обработки данных (первичный Data-mining); нарушением целостности БД в процессе обновления схемы данных и обработки данных вследствие сложности установления связей между группами сущностей. Кроме того, при использовании объектно-ориентированного подхода возникают трудности, связанные отсутствием строгого математического аппарата, позволяющего строить логические модели данных и реализовывать операции их обработки, а также с низкой скоростью поиска в больших массивах данных, что затрудняет использование подобных БД в режиме реального времени.

Подходы к решению подобных задач рассматриваются в работах А.С.Усова, Г. Буча.

В работе предлагается новый тип логических моделей представления данных, а именно интегрированных объектно-реляционных моделей данных и основанные на них методы структуризации алгоритмов обработки и управления данными.

Цель диссертационной работы

Целью работы является разработка интегрированных объектно-реляционных логических моделей представления данных для больших реляционных баз данных в системах потоковой обработки информации, способных сохранять целостность данных в условиях значительных динамических изменений схемы данных и методов их обработки.

Задачи исследования

Для дсст;гл;с:;;1л цел» работы поставлены и решены следующие задачи:

1. Разработать интегрированную объектно-реляционную логическую модель представления данных большой реляционной БД, позволяющей: снизить структурную избыточность логической модели представления данных; предотвратить появление структурных аномалий данных в условиях динамичного изменения логической схемы данных и самих данных.

2. Разработать объектно-реляционную модель хранения алгоритмов обработки данных, позволяющих упорядочить их хранение, и обеспечить управление процессом обработки данных.

3. Разработать критерии качественной оценки логических моделей представления данных БД для систем потоковой обработки данных.

4. Оценить эффективность предложенных моделей данных и алгоритмов на примере БД системы потоковой обработки складских документов крупной торгово-сервисной сети.

Методы исследования

При решении поставленных задач в работе использовались теория реляционных баз данных, теория объектно-ориентированного подхода, а также применение реляционной алгебры и теории множеств. Экспериментальная проверка теоретических результатов проводилась на основе системы потоковой обработки складских документов крупной торгово-розничной сети ТРК «Июнь» г. Санкт- Петербург.

Основные научные результаты, выносимые на защиту:

- интегрированная объектно-реляционная логическая модель представления данных большой реляционной БД;

- объектно-реляционная модель хранения алгоритмов обработки данных;

- критерии качественной оценки логических моделей представления данных БД для систем потоковой обработки данных;

- результаты экспериментальной проверки эффективности предложенных моделей представления данных и хранения алгоритмов.

Научная новизна работы:

1. Применение объектно-реляционного подхода к построению логических моделей представления данных и алгоритмов их обработки для больших баз данных, в отличие от известных, позволяет объединить в рамках единой иерархической структуры как логическую структуру данных, так и структуру алгоритмов обработки данных. Это обеспечивает в условиях динамического изменения схемы данных и методов их обработки снижение структурной и алгоритмической избыточности и обеспечивает эффективное управление процессом обработки данных.

2. Предложен новый метод преобразования классической реляционной логической модели представления данных в объектно-реляционную логическую модель представления данных путем объединения семантически подобных элементов в исходной реляционной логической модели данных, что позволяет снизить количество потенциальных структурных аномалий.

3. Предложены критерии качественной оценки логических моделей представления данных БД, отражающие их структурную сложность и функциональную надежность БД позволяющие производить количественное сравнение структурной сложности логических моделей представления данных и осуществлять целенаправленное изменение модели с целью получения ее наилучших характеристик.

Обоснованность и достоверность результатов диссертации

Обоснованность результатов, полученных в работе, базируется на использовании апробированных научных положений и методов исследования, согласованности экспериментальных резулыатов с теоретическими исследованиями.

Достоверность полученных результатов и выводов подтверждается результатами проведенных численных экспериментов.

Практическая значимость результатов

Предложенная интегрированная объектно-реляционная логическая модель представления данных и алгоритмы на основе разработанного метода преобразования классической реляционной логической модели представления данных в объектно-реляционную использовались при разработке системы потоковой обработки складских документов крупной торгово-розничной сети ТРК «Июнь» г. Санкт- Петербург. Это позволило повысить бесперебойность выдачи информации в режиме реального времени менеджменту компании о текущем объеме продаж, остатке товара, обеспечить актуальность и достоверность получаемой информации, а также снизить сложность системы в 1,4 раза.

Публикации

По материалам диссертации опубликовано 11 печатных работ (в том числе 1 статья в рецензируемом журнале из списка ВАК), 3 доклада в сборниках трудов конференций, 1 монография (в соавторстве), список которых приведен в конце автореферата.

Структура и объем работы

Диссертационная работа состоит из введения, четырех глав, заключения, библиографии. Основная часть содержит 116 страниц и включает в себя 47 рисунков и 6 таблиц. Список литературы содержит 124 наименования.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность задачи, решаемой в диссертационной работе, формулируются задачи и цели исследования, отмечается научная новизна и практическая ценность полученных результатов.

В первой главе рассматриваются особенности работы БД потоковой обработки информации и сложности построения логической модели представления данных.

Основными особенностями БД потоковой обработки являются отсутствие формализованной модели системы, зашумленность, нестационарность, невоспроизводимость эксперимента.

Как известно, БД обладает рядом следующих осаовиыл параметров, изменяющихся в процессе ее функционирования характерными чертами организационного объекта, наиболее важными из которых являются эволюция структуры, цели и задачи системы, непрерывное изменение количества ее элементов (таблиц, связей, алгоритмов обработки данных), что, в свою очередь, оказывает влияние на функциональность всей БД.

Особенностью крупного предприятия, является постоянное развитие его структуры. Это связано со многими факторами, самыми главными из которых являются работа предприятия во внешнем экономическом пространстве, существование предприятия в правовом пространстве, существование предприятия в пространстве постоянно изменяющейся технической базы (оснастки), влияние эволюции предприятия на административную подсистему.

В БД потоковой обработки данных объект реального мира не может быть описан в рамках одного кортежа или одного отношения, так как объект предметной области в логической модели данных представляется при помощи ряда записей нескольких реляционных отношений, связанных друг с другом. Для примера рассмотрим приходный документ. В его составе можно выделить такие отношения как заголовок, спецификация (многострочное приложение), стадии документа (этапы пути обработки документа), где в каждом из отношений может присутствовать от десяти до нескольких сотен записей. Описание одного объекта реального мира в БД потоковой обработки данных можно представить в виде понятия «бизнес объекта» (БО). БО - это элемент БД, который представляет собой множество отношений, связанных друг с другом. Исходя из выше сказанного, можно представить БО как множество таблиц и связей между ними: БО = < ТБ0, FБо>, где ТБ0={(и ..., tmm} - множество таблиц, FE0= {/¡,..., f„m}

- множество связей, где тБо, «гае U >'00)•

Таким образом, можно ввести следующую меру сложности БО - сложность, как функция от количества таблиц, связей и атрибутов 5 = fiT, F, А), где А - множество атрибутов.

Следует отметить, что функционирование БД потоковой обработки данных обусловлено большим количеством и сложностью структуры алгоритмов обработки данных. Использование оперативных транзакций требует выполнения аналитических запросов низкой и средней сложности.

Одним из решений данной задачи является использование OLAP - OLTP систем. Препятствием применения комбинации OLAP ~ OLTP систем в БД потоковой обработки информации является наличие сложных методов управления и большого количества сложных алгоритмов, состоящих из тесно взаимосвязанных частей.

Работа любой БД ведется в рамках транзакций, которые являются атомарными и неделимыми операциями работы с наборами данных. При обработке данных в БД неизбежно приходится сталкиваться с блоками информации сложной структуры. В реляционной системе можно выделить 4 простые операции, которые выполняются целостно (вставка, удаление, обновление, выборка (insert, update, delete, select)). При работе со сложно связанными друг с другом данными БД потоковой обработки информации невозможно обеспечить целостность данных, используя только элементарные транзакции. Каждая операция над объектом, хранимым в БД потоковой обработки информации, состоит из множества элементарных транзакций. Предлагается ввести понятие «бизнес транзакция» (БТ). БТ может использоваться в качестве количественной характеристики описательной сложности: Set бт. ■Яшт). где ^вт - количество эле-

ментарных транзакций, выполняемых в рамках БТ, Snet - некая усредненная сложность, которая равна количеству кортежей в БТ.

Концептуально логическую модель представления данных в системе потоковой обработки информации можно представить в виде 4-х абстрактных классов, что позволяет использовать внутриклассовую общность и подобие сущностей. Следующей ступенью унификации является разработка логической модели представления данных БД потоковой обработки информации.

Концептуальная логическая модель представления данных изображена на рисунке 1.1.

Как видно из рисунка, логическая модель представления данных системы потоковой обработки складских документов состоит из следующих элементов:

1. Справочники. В качестве справочников могут выступать таблицы, содержащие любые перечислимые данные, являющиеся основой для построения документов. В качестве примера можно привести такие справочники, как: «Пользователи», «Склады», «Контрагенты», «Месяца» и т.д. Справочники могут ссылаться на другие справочники, но количество таких ссылок невелико.

2. Документы. .Являются основой для построения системы учета. Именно на основе документы осуществляют те операции, которые требуют учета. На основе документов происходит «движение» товарно-денежных средств. Документы в основном состоят из ссылок на справочники, и именно ссылки документов составляют большую часть всех ссылок.

- Ссылка

Ссылка

Пример

Документ

Основная часть системы оперативного учета, которая концентрирует в себе товарно-денежные средства. 75-80%

Многострочная часть, в которой ■ перечисляются физические объекты ) (действия) совершаемые данным ! документом

Часто изменяемая часть системы, которая содержит перечислимые данные и имеет значительное количество ссылок.

Рисунок 1.1- Концептуальная логическая модель представления данных

системы потоковой обработки складских документов Документы, как правило, состоят из двух частей:

a) заголовки - общие заголовки документов;

b) спецификации - многострочная часть, в которой перечисляются физические объекты/действия, совершаемые на основе данного документа.

Могут существовать также спецификации, не имеющие заголовков. Как правило, это потоковые данные (данные с датчиков информации, электронные письма и т.п.).

Следует отметить, что основная масса данных сосредоточена в «Документах» и большая часть алгоритмов обрабатывает и анализирует именно данные, хранящиеся в «Документах».

Выполнен анализ недостатков применения классического реляционного подхода при создании логических моделей БД потоковой обработки инфориа-ции. Отмечены следующие недостатки: сложность при реализации функциональной зависимости к группе сущностей; значительные затраты как человеческих, так и временных ресурсов на внесение изменений как в логическую модель представления данных, так и в алгоритмы обработки информации; невозможность использования реляционной модели данных для алгоритмического отображения процессов предметной области; трудоемкость при получении аналитических данных низкой и средней сложности для решения задач оперативного управления; низкая производительность из-за наличия структурной и алгоритмической избыточности, а также процедурной логики.

Рассмотрены основные недостатки применения объектно-ориентированного подхода при создании логических моделей представления данных. Среди них следует отметить инкапсуляцию свойств объекта, недостатки формализации модели данных, технику реализации хранения поведения объекта, а не данных об объекте.

Предлагается использовать объектно-реляционный подход при построении логических моделей данных для БД потоковой обработки информации, используя преимущества ООП и классического реляционного подхода. К таковым относятся четкий математический базис реляционного подхода (большинство современных СУБД имеют реляционной базис); возможность простой реализации функциональной зависимости группы сущностей (ООП); стройная иерархия структуры данных и алгоритмов их обработки (ООП); простота описания; высокая повторная используемость кода; возможность анализа системы на разных уровнях абстракции (ООП).

Во второй главе рассматриваются особенности применения объектно-ориентированного подхода при построении логических моделей представления данных в БД потоковой обработки информации при сохранении реляционного базиса. Анализ характерных особенностей БД, в которой происходит потоковая обработка набора объектов, показал, что для данного типа объектов свойственна иерархическая структура данных, функциональной особенностью которой является непрерывное эволюционное развитие. Следует уточнить, что рассматриваемая в данной работе логическая модель представления данных, хоть и базируется на классической объектно-ориентированной модели, по не тождественна ей. Она имеет множество отличий, обусловленных ее реализацией в контексте реляционных баз данных, а не языков программирования.

Так, одним из наиболее существенных отличий является характер работы с объектами в предлагаемой модели. Если в классической объектно-ориентированной модели, сам объект был активной единицей, то в предлагае-

мой логической модели представления данных такой активной единицей становится класс.

Кроме того, особенностью предлагаемого подхода является то, что объектно-реляционная база данных (ОРБД) хранит не просто различные объекты, принадлежащие различным классам, а множества объектов - их списки, и любая работа в ОРБД протекает не с отдельными объектами, а с их определенной выборкой, подсписком. Обращение к свойствам объектов, вызов их методов -все это имеет массовый характер, работа с одиночным объектом является исключением, частным случаем работы с множеством.

В предлагаемой логической модели представления данных класс является активной составляющей, способной в процессе работы оказывать недетерминированное влияние на свои экземпляры (объекты). К примеру, в БД не может существовать двух одинаковых объектов данного класса. Само поведение системы выражается через поведение классов, а не объектов, так как класс, при появлении нового своего экземпляра может изменять другие свои экземпляры по определенным правилам. Объекты лишены всякой самостоятельности и являются просто контейнерами для хранения свойств, делегируя свою активность классам и их методам. Следует отметить ключевую особенность предлагаемого подхода, заключающуюся в сохранении четко формализованного реляционного базиса. Поэтому данную логическую модель предполагается называть не объектно-ориентированной, а объектно-реляционной (ОР).

Исходными данными для метода построения логической ОР-модели представления данных является множество отношений Г={?ь ..., г„}, причем каждое из отношений ti имеет множество атрибутов А,={аД ..., а'к/} где п - общее число отношений (таблиц в БД), число атрибутов в отношении

Суть метода заключается в последовательном выполнении следующей последовательности действий:

1) семантически подобные атрибуты (то есть атрибуты, которые несут одинаковую смысловую нагрузку в различных отношениях) объединяются в одно множество; из всех таких множеств формируется множество Ас = {а',..., а*,..., а;с], где а] - множество семантически подобных атрибутов, / -количество семантически различных атрибутов в БД;

2) каждому множеству атрибутов а? соответствует множество отношений 77 с Г, содержащих атрибуты данного множества а*, то есть а' с [] AJ ,

при этом каждый атрибут из множества а^ принадлежит только одному отношению из множества Т,€ и такое отношение Т,° обязательно существует, то есть Г ; из всех таких множеств Т? с Т формируется множество

Г = {77.....

3) Некоторые множества 7]' е Т° могут совпадать, так как некоторым

множествам семантически подобных атрибутов а/ могут соответствовать одинаковые по составу множества отношений; после замены таких одинаковых по составу множества отношений одним множеством получаем множество С = {С,}, где С,- - класс-кандидат;

4) Между классами-кандидатами устанавливаются отношения иерархии, которые можно задать в виде матрицы Е с элементами:

[1, если класс Су является предком класса j;

[О, в противном случае. с учетом этого можно представить структуру наследования в виде таблицы 2.1.

Родительские отношения

- Г, Тг Гз

Отношения наследники Г, - 1 0

г2 1 - 1

Гз 0 0 -

...

Представлен пример, исходными данными для которого выбраны четыре сущности (рисунок 2.1):

'•ЧЙй ЕЩД^ЩРзг.-й;:

РК Ил ВхЛок

Ид_Контр_Ист

Ид Склад Назн

Док Ном

Док_Дата

Сумма

Выписка

РК Ил ИсхЛок

Ид Коигр Назн

Ид Склад Ист

Док Ном

Док__Дата

Сумма

Иц_Довер

РК Ид Возврат

Ид_Контр_Исг

Док Ном

Док_Дата

Ид Склад Назн

Выписка

Сумма

РК Ил Списание

Ид_Контр_Назн Док_Ном Док_Дата Ид_Склад_Ист Ид_Довер Сумма

Рисунок 2.1 - Исходное количество сущностей с атрибутами В соответствии с методом построения логической ОР-модели представления данных получаем изображенную на рисунке 2.2, иерархическую логическую ОР-модель представления данных в виде ЦМЬ схемы. В результате преобразований было получено 8 классов, хотя в исходной форме мы имеем всего 4 отношения. Для того чтобы можно было однозначно идентифицировать принадлежность объектов к определенному классу, этот класс должен существовать явно, пусть и фиктивным образом, как в данном случае, т.к. класс «Склад_ИсхДок» не содержит собственных атрибутов, а только интегрирует в себе атрибуты двух родительских классов.

Таким образом, можно вывести правило, что все сущности также в обязательном порядке заносятся в таблицу кандидатов классов, даже если у них отсутствуют собственные уникальные атрибуты.

Документ

■У!дент

•Дойном

•Док_дата

♦генерация номера() ♦проверка датыО ♦проверка номера()

Склад_Док_Вх

Идент

•Ид_Склзд__наэн

•Ид_Контр_ист

Выписка

Сипад_Док_исх ■Идент

-Ид_Склад_ист -Ид_Контр_наз -Ид_Довер

Склад_ВхДок

-Идент

♦проверка причиныО

Скпад_Возврат

•Идент

♦ценообразоааниеО

Скпад_Опт_Док

-Идент

♦проверка осладаО

¿57

Склад_Списание

-Идент

♦проверка Комтр-а()

Склзд_ИсхДок

-Идент

+проверка лродавцаО

Рисунок 2.2 - Граф наследования реляционных отношений

Предлагаемая ОР-модель позволяет обеспечить свойство надежного и эффективного эволюционного развития при сохранении функциональности в интерактивном режиме работы, а также наделить логическую модель данных возможностью множественного наследования, что сложно реализовать в реляционной БД. Реализация классовой парадигмы ООП позволила сохранить реляционный базис БД, сохранить нормализованное состояние структуры данных, обеспечивая целостное состояние в условиях непрерывного развития.

Предложен метод грануляции семантически подобных реляционных алгоритмов (эти алгоритмы обеспечивают смысловую обработку данных в различных сущностях) в классовую структуру, для структуризации и наиболее точного соответствия бизнес логики предметной области.

Исходными данными для метода является множество алгоритмов а = {а,,...,ат} БД, где у- число алгоритмов.

Метод аналогичен методу построения логической ОР-модели представления данных и включает в себя следующие основные процедуры:

1) семантически подобные алгоритмы (то есть алгоритмы, которые выполняют близкую по смыслу обработку данных в различных сущностях) объединяются в одно множество; из всех таких множеств формируется множество ас = {а),..„а-,...,а^}, где а'-множество семантически подобных с, т - количество семантически различных алгоритмов в БД;

2) каждому множеству алгоритмов а' соответствует множество сущностей Г,с с Г, содержащих алгоритмы данного множества а.], то есть

а' с и а} , при этом каждый алгоритм из множества а- принадлежит только одной сущности из множества Т,с и такое отношение Т,с обязательно существует, то есть Т' ^ 0; из всех таких множеств Т,с с Т формируется множество

тс = \г{ ,...,т,с.....Т'].

3) Некоторые множества Т/е Тс могут совпадать, так как некоторым

множествам семантически подобных алгоритмов а, могут соответствовать одинаковые по составу множества отношений; после замены таких одинаковых по составу множества отношений одним множеством получаем множество С = {С,}, где С, - класс-кандидат;

4) составляется таблица конечных кандидатов, в соответствии с которой определяется, какая группа алгоритмов или отдельный алгоритм, принадлежит соответствующему классу (сущности).

Для соответствия предметной области предлагается произвести объединение структуры данных и структуры алгоритмов, так как они не могут существовать неразрывно и дополняют друг друга. В ее основе находится метакласс «Документ», который обслуживается тремя алгоритмами: генерация номера, проверка даты, проверка номера и т.д. (рисунок 2.2)

В третьей главе выполнен анализ критериев оценки качества БД как программного средства, которое выполняет роль централизованного хранилища информации, ее предобработки и анализа.

Предложено выполнять качественную оценку БД комплексным критерием сложности в соответствии с методами теории исследования сложных систем, предложенную Н.П. Бусленко. Сложностью системы, состоящей из элементов

п

со сложностью где 1 = 1,..., п будем называть величину £ — £ <У, • ^ , где г,- -

ы

число элементов /-го типа, входящих в систему.

Особенностями данной модели является то, что ссылочная сложность 5Н» Л\2»>.?43, где Бк1 - ссылочная сложность между заголовками и справочниками, - ссылочная сложность между спецификациями и заголовками, — ссылочная сложность между справочниками и спецификациями. Для сравнительной оценки ссылочной сложности предлагаемой модели данных с существующей реляционной, необходимо выполнить процедуру типизации связей в БД.

Для комплексной оценки системы необходимо оценить сложность ее элементов. К основным элементам реляционной БД можно отнести: атрибуты, связи входящие и исходящие, и алгоритмы обработки данных.

Общая атрибутивная сложность системы можно определяется по следующей формуле:

(3.2)

где А\ - количество атрибутов справочников, Л2 ~ количество атрибутов заголовков, Аз - количество атрибутов спецификаций, Nt - количество справочников в системе, N2 — количество заголовков в системе, /V3 - количество спецификаций в системе.

Сложность связей входящих в систему определяется по следующим фор-з

мулам: Sua = (3.3)

i=I

/=1

где S/ki ~ количество вторичных ключей справочников, S/u - количество вторичных кшочей заголовков, S/u— количество вторичных ключей спецификаций.

Общая сложность связей реляционной модели данных БД оценивается следующим образом: Sca = Sex + Sucx. (3.5)

Алгоритмическую сложность системы необходимо оценивать по каждому метаклассу раздельно, это обусловлено тем, что сложность алгоритмов функционально зависит от количества вторичных ключей, атрибутов и бизнес - алгоритмов, которые обслуживают каждый из метаклассов системы. Для оценки сложности алгоритмов справочников используются следующие зависимости:

+ (3-6)

i=; TV,

ЯГ = +kl.A1 + k2-Sfil + k3-^, (3.7)

Sr=Sao+kl-Ai+k2-Sja, (3.8)

где Ssai ~ количество БА справочников, Ssa2 ~ количество БА заголовков, Беаз -количество БА спецификаций, к\ ~ коэффициент вовлеченности атрибутов в алгоритмы справочников, кг - коэффициент вовлеченности атрибутов в алгоритмы заголовков, к3 — коэффициент вовлеченности атрибутов в алгоритмы спецификаций.

Комплексный показатель сложности БА определяется следующим образом: 5а = Scr'pa +- STna + Sf"e4a. (3.9)

Для качественной оценки предложенной модели на основе объектно-ориентированного подхода необходимо ввести коэффициент насыщенности классового дерева к. Этот коэффициент характеризует количество потомков у родителя в дереве.

Предлагается определять исходные данные, необходимые для оценки сложности ОР-модели данных, используя следующие параметры: количество

справочников N{ — N\, количество заголовков N2кшгачество спецификаций количество атрибутов на справочниках А/= А,, кол- ,, А , личество атрибутов на заголовках А2 - —, где и2 --— +1 - количество

иг 1п(к)

уровней в поддереве заголовков, количество атрибутов на спецификациях л, А, Т1 1п(Ыъ) „

А3 = —, где 1/2 =----количество уровней в поддереве спецификации,

из 1п(к) + \

количество вторичных ключей на справочниках ¿д; = , количество вторичных ключей на заголовках 5 д2 = ~> количество вторичных ключей на спе-

цификациях 5 = количество БА справочников = количество

и,

БА заголовков 5 'Бдг = , количество БА спецификаций 5 'т = —^.

и2 и3

Для оценки сложности ОР-модели логической модели представления данных использованы следующие выражения:

з

Общая атрибутивная сложность: А'= ■Аг'/. (3.10)

ы

з

Сложность связей в модели данных: 8'исг = £ ^ (3.11)

¡=1

= (3-12)

1=/

(3.13)

'.А/'

/=2 А:-1

где $„асл - количество связей наследования, которые появляются в ОР-модели данных БД.

Общая сложность связей классово-ориентированной модели данных БД определяется как Sca = S'ex + S'ucx + S'Haa. (3.14)

Сложность алгоритмов для справочников определена как

= ■ A',J + k3 (3.15)

i=i N\

Сложность алгоритмов для заголовков можно определить с помощью сле-

N'

дующей зависимости S'"'a" = S'EA2+kt ■ А'г +к2 -S'^+k^ • --3-. (3.16)

Сложность алгоритмов для спецификаций определяется как

Sr^M+V^+VSV (3.17)

Комплексный показатель сложности БА ОРБД:

Уа = Успр8 + S™", + SKm\. (3.18)

Интегральная оценка сложности классической реляционной модели данных выражается следующей зависимостью S=A û\+ SCB аг+ ^ аз- (3-19)

Интегральная оценка сложности классово-ориентированной модели данных определяется с помощью следующей зависимости

^A'ai+S^ai+^a^. (3.20)

В соответствии с ГОСТ Р ИСО/МЭК 9126, для оценки качества БД предложен критерий надежности, как функция тестируемости

£г = (б™)/(&м), (3.21)

где От - количество элементов, отработавших в процессе тестирования и отладки, Qoм - общему числу элементов БД. Количество элементов БД является функцией сложности БД.

В ГОСТ Р ИСО/МЭК 9126 установлены две основные субхарактеристики оценки эффективности программных средств, это эффективность ресурсная и эффективность временная.

В качестве меры ресурсной эффективности автором предложено использовать меру объема индексов базы данных, так как и в РБД и ОРБД объем данных одинаковый, он различается количеством составных элементов. Установлено, что ресурсная эффективность БД может определяегься как - X Удт,

^доп.иадсг)) Где Рдоп.иадст =АЪ»несоответственно для РБД объем индексов определяется следующим обра-

ln(N>

'-+1

зом

kW*) _1 d___

Ь-l

(3.22)

Для БД, в основе которой используется логическая ОР-модель представления данных, объем индексов определяется как:

орбд_ч

ln(Ws)

{ ln(k)

+ 1

К к'

К-1

h(N'k')

-1

(3.23)

где = 1¥акI - количество индексов на таблице (количество атрибутов, коэффициент индексирования), Ws - количество сущностей, к^ - коэффициент насыщенности дерева В+, к - коэффициент насыщенности дерева ОРБД, N - количество записей в таблице.

Предложено использовать в качестве меры временной эффективности БД время выполнения 1- БТ: Ебх - время выполнения бизнес транзакции, где

Ге^Т^Т^Тц+^Тд, Ь»кг»къ»и.

В соответствии с этим время выполнения 1" БТ в РБД можно определяться по выражению

Т*

от

= f(TnP6ö)=f(U,P6ö)-C'

ln(N) lnßd)

+1

(3.24)

Мера временной эффективности ОРБД определяются по следующей фор-

U

1../ \Т* J, i» А.

J

+ 1

муле: n-Kobö ln( kd) 1 , (3.25)

где U — количество уровней в дереве поиска, с - коэффициент вовлеченности в поиск, где с = 1,.., к для систем оперативного учета с к.

Таким образом, можно сделать вывод, что при поиске по группе сущностей глубина поиска при использовании логической ОР-модели представления данных останется не зависящей от количества вовлеченных в поиск сущностей.

В заключении главы отмечаются, наблюдающееся снижение декларативной сложности при увеличении количества сущностей в системе, снижение количества связей (функциональных) при увеличении числа сущностей, при анализе структуры ОРБД. Делается заключение, что наилучшим значением коэффициента насыщенности классового дерева является «3», а при увеличении насыщенности классового дерева общая сложность системы будет стремиться к сложности исходной РБД.

В четвертой главе оценивается реализация предложенного метода структурной декомпозиции реляционных сущностей. В качестве основы была использована реляционная модель данных, разработанная и внедренная на предприятии ТРК «Июнь» г. Санкт - Петербург.

При экспериментальной апробации разработанной методики использовалась рабочая база данных, реализованная на базе СУБД MS SQL 2005. Основные характеристики: размер БД - 998568 Мб, количество таблиц БД - 283, количество атрибутов таблиц БД- 3176, количество связей - 702, количество триггеров - 484, интенсивность продаж - 20000 - 40000 прод./сут. (в среднем 120 зап. в БД./сек.). Были поставлены задачи:

1) Разработать логическую ОР-модель представления данных на основе существующей классической ER-модели базы данных.

2) Разработать ОР-модель хранения алгоритмов обработки данных, которая позволит упорядочить их хранение и обеспечить управление их вызовами.

3) Оценить качество полученной ОР-модели, используя критерии предложенные в работе.

Для оценки эффективности выполнено сравнение результатов работы исходной БД и с БД полученной после преобразования (см. таблицу 4.1)

Таблица 4.1 Сравнение результатов преобразования РБД в ОРБД

Характеристика РБД ОРБД

Количество таблиц (N) 283 399

Связи (Sm) 702 584

Атрибуты (А) 3176 1865

Триггеры (5ба) 484 361

На основе полученных результатов выполнено качественная оценка сложности исходной базы данных и базы данных после ее преобразования.

Применение предложенной ОР-модели позволило снизить затраты времени на обработку одного элемента по сравнению с исходной на 30%.

Следовательно, можно сделать заключение о том, что предложенный метод построения логической ОР-модели представления данных позволил повысить производительность БД, а также решить задачу по снижению ее сложности, так как сложность исходной РБД 5 = 1357, а полученная ОРБД Я' = 879.

Делается вывод о том, что применение метода построения логической ОР-модели представления данных позволяет снизить сложность ОРБД на 34% по отношению к исходной РБД.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

В процессе выполнения работы получены следующие основные результаты.

1. Разработана интегрированная объектно-реляционная логическая модель представления данных для больших реляционных БД и метод преобразования классической реляционной логической модели представления данных в предложенную ОР-модель. Применение ОР-модели позволило снизить структурную избыточность логической модели представления данных, а также предотвратить появление структурных аномалий в условиях динамического изменения как схемы данных, так и самих данных.

2. Разработана объектно-реляционная модель хранения алгоритмов обработки данных, а также метод грануляции реляционных алгоритмов классической реляционной БД в ОР-модель. Применение ОР-модели хранения алгоритмов позволило снизить семантическую избыточность реляционных алгоритмов обработки данных и упорядочить алгоритмы в виде синтезированной древовидной структуры их хранения и, таким образом, обеспечить эффективное управление обработкой данных.

3. Разработаны критерии качественной оценки БД потоковой обработки информации, в основе которых используется комплексный критерий сложности логических моделей представления данных. Разработанные критерии позволяют качественно оценить логические модели представления данных, определить их основные характеристики.

4. Проведено исследование эффективности предложенной ОР-модели логического представления данных и алгоритмов в рамках системы потоковой обработки складских документов крупной торгово-розничной сети ТРК Петербург г. Санкт-Петербург. Применение предложенной логической ОР-модели представления данных позволило снизить сложность БД на 36% по сравнению с изначально реализованной БД, а также повысить надежность работы БД и эффективность ее модернизации в процессе жизненного цикла.

ОСНОВНЫЕ ПОЛОЖЕНИЯ ДИССЕРТАЦИИ ОПУБЛИКОВАНЫ В РАБОТАХ

В рецензируемом журнале из списка ВАК

1. Проблемы организации структуры данных в сверхбольших базах данных / Масленников В.А., A.A. Левков // Научно-технический журнал "Системы управления и информационные технологии", 2007, № 3.1(29), С. 169-176.

Монография

2. Структурная оптимизация многомерных систем хранения данных / Ю.С. Кабальнов, А. А. Левков, В. А. Масленников // М.: УГАТУ, 2007. -213 с.

В других изданиях

3. Использование многомерных технологий хранения и обработки информации при создании базы данных "Расписание учебных занятий" / Масленников

B.А., П.А. Алкаев, Ю.С. Кабальнов, А.Л. Калинина, Г.Ф. Низамова // Мавлютов-ские чтения. Матер, всерос. науч.-техн. конф. Уфа, УГАТУ, 2006, Т.1, С. 9-14.

4. Повышение эффективности реинжиниринга сложных БД при помощи использования объектно-ориентированных БД / Масленников В.А., A.A. Левков // Проблемы техники и технологий телекоммуникаций. Матер. VII междунар. науч. конф., Самара, 2006, С. 34-36.

5. Реализация наследования при оптимизация объектно-ориентированной модели данных / Масленников В.А., A.A. Левков // Проблемы Техники и Технологий Телекоммуникаций. Матер. VII междунар. науч. конф., Самара, 2006, С. 48-50.

6. Методология построения системы оперативного учета и документооборота / Масленников В. А., А А. Левков // Мавлютовские чтения. Матер, всерос. моло-деж. науч.-техн. конф., Уфа, УГАТУ, 2007, С. 41-43.

7. Способы оптимизации построения логических моделей данных ОО БД / Масленников В.А., A.A. Левков // Проблемы техники и технологии телекоммуникаций. Матер. VIH междунар. науч.-техн. конф., Уфа, УГАТУ, 2007, С. 144-146.

8. Методы оптимизации хранения информации об испытаниях авиационных двигателей / Масленников В.А., A.A. Левков // Информационные технологии и математическое моделирование. Матер. VI междунар. науч.-техн. конф., Томск, 2007,

C. 55-58.

9. Оптимизация структуры базы данных оперативного учета и документооборота / Масленников В.А., A.A. Левков // Информационно-математические технологии в экономике, технике и образовании- Матер. II междунар. науч.-техн. конф., Екатеринбург, УГТУ-УПИ, 2007, С. 54-55.

10. Использование классовых алгоритмов и структур в реляционных базах данных / Масленников В.А., A.A. Левков // Решетневские чтения. Матер. XI междунар. науч. конф., Красноярск, СГАУ, 2007, С. 36-37.

11. Объектно-ориентированные модели для хранения данных / Маленников В.А. // Компьютерные науки и информационные технологии. Матер. IX междун. семин., Уфа, УГАТУ, 2007, С. 87-89.

Диссертант _В.А. Масленников

МАСЛЕННИКОВ Виталий Александрович

ИНТЕГРИРОВАННЫЕ ОБЪЕКТНО-РЕЛЯЦИОННЫЕ ЛОГИЧЕСКИЕ МОДЕЛИ ПРЕДСТАВЛЕНИЯ

ДАННЫХ ДЛЯ СИСТЕМ ПОТОКОВОЙ ОБРАБОТКИ ИНФОРМАЦИИ

Специальность 05.13.11

Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Подписано в печать 14.11.08. Формат 60x84 1/16. Бумага офсетная. Печать плоская. Гарнитура Тайме. Усл. печ. л. 1,0. Усл. кр.-отг. 1,0. Уч.-изд. л. 0,9. Тираж 100 экз. Заказ ла 527.

ГОУ ВПО Уфимский государственный авиационный технический университет Центр оперативной полиграфии 450000, Уфа-центр, ул. К.Маркса, 12

ВВЕДЕНИЕ.

Глава 1. Логические модели представления данных в системах потоковой обработки информации.

1.1 Характерные особенности работы БД потоковой обработки информации крупного предприятия.

1.2 Проблема построения логической модели БД потоковой обработки информации.

1.3 Недостатки применения классического реляционного подхода при построении логических моделей представления данных систем потоковой обработки информации.

1.4 Недостатки применения объектно-ориентированного подхода при построении логических моделей представления данных систем потоковой обработки информации.

Глава 2. РАЗРАБОТКА ИНТЕГРИРОВАННОЙ ОБЪЕКТНО-РЕЛЯЦИОННОЙ ЛОГИЧЕСКОЙ МОДЕЛИ ПРЕДСТАВЛЕНИЯ ДАННЫХ.

2.1 Особенности объектно-реляционной логической модели представления данных.

2.2 Основные понятия ОР-модели данных.

2.3 Структура организации ОР-модели данных.

2.3.1 Диаграмма наследования классов.

2.3.2 Диаграмма отношений классов.

2.3.3 Диаграмма состояний и переходов классов.

2.4 Жизненный цикл логической модели данных.

2.5 Методика построения логической ОР-модели представления данных.

2.6 Разработка ОР-модели хранения алгоритмов обработки данных.

ГЛАВА 3 РАЗРАБОТКА КРИТЕРИЕВ ОЦЕНКИ КАЧЕСТВА ЛОГИЧЕСКИХ МОДЕЛЕЙ БД.

3.1 Анализ существующих критериев оценки качества ПО.

3.1.1 Анализ критерия функциональной пригодности.

3.1.2 Анализ критерия надежности.

3.1.3 Анализ критерия эффективности.

3.1.4 Анализ критерия применимости.

3.1.5 Анализ критерия сопровождаемости.

3.1.6 Анализ критерия переносимости.

3.2 Разработка критериев качественной оценки логических моделей представления данных.

3.2.1 Разработка комплексных критерий сложности логических моделей представления данных.

3.2.1 Критерий надежности логических моделей представления данных .83 3.3 Разработка критериев эффективности.

3.3.1 Разработка критериев ресурсной эффективности.

3.3.2 Разработка критериев временной эффективности.

Глава 4. ПРИМЕНЕНИЕ МЕТОДА ПОСТРОЕНИЯ ОБЪЕКТНО-РЕЛЯЦИОННОЙ ЛОГИЧЕСКОЙ МОДЕЛИ ПРЕДСТАВЛЕНИЯ ДАННЫХ.

4.1 Постановка задачи и экспериментальная апробации предложенных методик.

4.2 Структуры и механизмы реализации объектно-реляционного подхода на реляционном базисе.

4.3 Операции над объектами и классами объектов логической ОР-модели представления данных.

Актуальность темы

В настоящее время в крупных организационно-технических системах (крупная торгово-сервисная сеть) широкое распространение получили большие базы данных потоковой обработки информации. Характерные особенности больших БД в системах потоковой обработки информации: а) большой объем хранимой и поступающей информации, что позволяет отнести подобные БД к классу больших баз данных (VLDB); б) интерактивный многопользовательский режим работы; в) нестационарность схемы данных БД; г) большая динамика методов обработки данных; д) сложная пред- и постобработка потока поступающих данных.

Для построения подобных БД, как правило, применяют классический реляционный подход или современный объектно-ориентированный. Однако при построении подобных больших БД для систем потоковой обработки информации возникает ряд трудностей, вызванных: а) структурной избыточностью логической модели данных (реляционный подход); б) неструктурированным хранением алгоритмов обработки данных (реляционный подход); в) сложностью организации многопользовательских интерактивных режимов для аналитической обработки данных (первичный Date-mining) (реляционный подход); г) нарушением целостности БД в процессе обновления схемы данных и обработки данных вследствие сложности установления связей между группами сущностей (реляционный подход); д) отсутствием строгого математического аппарата, позволяющего строить логические модели данных и реализовывать операции их обработки (объектно-ориентированный подход); е) низкой скоростью поиска в больших массивах данных, затрудняющей использование подобных БД в режимах реального времени (объектно-ориентированный подход).

Для решения перечисленных трудностей в данной работе предлагается использовать: а) новый тип логических моделей представления данных, а именно интегрированных объектно-реляционных моделей данных; б) методы структуризации алгоритмов обработки и управления данными.

Цель работы

Целью работы является разработка интегрированных объектно-реляционных логических моделей представления данных для больших реляционных баз данных в системах потоковой обработки информации, способных сохранять целостность данных в условиях большой динамики изменения схемы данных и методов их обработки.

Задачи исследования

1. Разработка интегрированной объектно-реляционной логической модели представления данных больших реляционных БД, позволяющей: а) снизить структурную избыточность логической модели представления данных; б) предотвратить появление структурных аномалий данных в условиях динамичного изменения логической схемы данных и самих данных.

2. Разработка объектно-реляционной модели хранения алгоритмов обработки данных, позволяющей упорядочить их хранение, и обеспечить управле

4 ние процессом обработки данных.

3. Разработка критериев качественной оценки логических моделей БД для систем потоковой обработки данных,

4. Проверка эффективности предложенных моделей данных и алгоритмов для БД на примере использования системы потоковой обработки складских документов крупной торгово-сервисной сети.

Методы исследования

При решении поставленных задач в работе используются теория реляционных баз данных, теория объектно-ориентированного подхода, а также применение реляционной алгебры и теории множеств. Экспериментальная проверка теоретических результатов проводилась на основе системы потоковой обработки складских документов крупной торгово-розничной сети ТРК «Июнь» г. Санкт- Петербург.

Научная новизна:

1. Применение объектно-реляционного подхода к построению логических моделей представления данных и алгоритмов их обработки для больших баз данных, в отличие от существующих, позволяет объединить в рамках единой иерархической структуры, как логическую структуру данных, так и структуру алгоритмов обработки данных, что обеспечивает в условиях динамического изменения схемы данных и методов их обработки: а) снижение структурной избыточности; б) эффективное управление процессом обработки данных.

2. Предложен новый метод преобразования классической реляционной логической модели представления данных в объектно-реляционную логическую модель представления данных, позволяющий путем объединения семантически подобных элементов в исходной реляционной логической модели данных снизить количество потенциальных структурных аномалий.

3. Предложены критерии оценки логических моделей данных БД и методы их расчета в отличие от существующих отражающие их структурную сложность и как следствие функциональную надежность БД, позволяющие: а) производить количественное сравнение структурной сложности логических моделей данных; б) осуществлять целенаправленное изменение модели с целью получения ее наилучших характеристик.

На защиту выносятся:

1. Интегрированная объектно-реляционная логическая модель представления данных большой реляционной БД;

2. Объектно-реляционная модель хранения алгоритмов обработки данных;

3. Критерии качественной оценки логических моделей БД для систем потоковой обработки данных;

4. Результаты экспериментальной проверки эффективности предложенных моделей представления данных и хранения алгоритмов.

Практическая значимость:

Предложенная интегрированная объектно-реляционная логическая модель представления данных и алгоритмов на основе разработанного метода преобразования применялась при разработке и внедрении системы потоковой обработки складских документов крупной торгово-розничной сети ТРК «Июнь» г. Санкт- Петербург, что позволило: а) повысить бесперебойность выдачи информации в необходимом темпе (в частности, в режиме реального времени) менеджменту компании о текущем объеме продаж, остатке товара и др.; б) повысить актуальность и достоверность получаемой информации; в) снизить сложность системы в 1,45 раза.

Апробация работы

Основные результаты диссертационной работы внедрены в системе потоковой обработки складских документов крупной торгово-розничной сети ТРК «Июнь» г. Санкт- Петербург.

Публикации по теме диссертации:

Основные результаты диссертационной работы докладывались и обсуждались и получили положительную оценку на всероссийских и международных конференциях. Список публикаций по теме диссертации включает 11 научных трудов, в том числе 6 статей (1 в рецензируемом журнале из списка ВАК) и 3 тезисов докладов на научных конференциях и 1 монография. t

Структура и объем работы:

Диссертация состоит из введения, четырёх глав и заключения, изложенных на 116 листах машинописного текста, включая 47 иллюстраций, 6 таблиц и список используемой литературы из 124 наименований.

Выводы к третьей главе

В данной главе рассмотрено внедрение логической ОР-модели представления данных и алгоритмов, предложенных автором. В процессе внедрения автором были рассмотрены исходные и полученные схемы БД складских и бухгалтерских документов, а также рассчитаны критерии сложности рассмотренных логических моделей данных. Достигнутые результаты выражаются в снижении сложности БД, реализованной с применением ОР-модели данных. Сложность БД, полученной на основе предложенной автором ОР-модели представления данных, оказалась на 36% меньше, чем сложность исходной базы данных, созданной на основе реляционной логической модели представления данных.

ЗАКЛЮЧЕНИЕ

В процессе выполнения работы получены следующие основные результаты.

1. Разработана интегрированная объектно-реляционная логическая модель представления данных для больших реляционных БД и метод преобразования классической реляционной логической модели представления данных в предложенную ОР-модель. Применение ОР-модели позволило снизить структурную избыточность логической модели представления данных, а также предотвратить появление структурных аномалий в условиях динамического изменения как схемы данных, так и самих данных.

2. Разработана объектно-реляционная модель хранения алгоритмов обработки данных, а также метод грануляции реляционных алгоритмов классической реляционной БД в ОР-модель. Применение ОР-модели хранения алгоритмов позволило снизить семантическую избыточность реляционных алгоритмов обработки данных и упорядочить алгоритмы в виде синтезированной древовидной структуры их хранения и, таким образом, обеспечить эффективное управление обработкой данных.

3. Разработаны критерии качественной оценки БД потоковой обработки информации, в основе которых используется комплексный критерий сложности логических моделей представления данных. Разработанные критерии позволяют качественно оценить логические модели представления данных, определить их основные характеристики.

4. Проведено исследование эффективности предложенной ОР-модели логического представления данных и алгоритмов в рамках системы потоковой обработки складских документов крупной торгово-розничной сети ТРК Петербург г. Санкт-Петербург. Применение предложенной логической ОР-модели представления данных позволило снизить сложность БД на 36% по сравнению с изначально реализованной БД, а также повысить надежность работы БД и эффективность ее модернизации в процессе жизненного цикла.

1. Айвазян С.А., Бухштабер В.М., Юнюков И.С., Мешалкин Л.Д. Прикладная статистика: Классификация и снижение размерности. М.: Финансы и статистика, 1989.

2. Аналитические системы и хранилища данных http://www.interface.ru/oracle/acdc.htm

3. Артемьев В. Что такое Business Intelligence // Открытые системы, №4, 2003.

4. Архипенков С., Голубев Д., Максименко О. Хранилища данных. От концепции до внедрения / Под общ. Ред. С .Я. Архипенкова // М.: Диа-лог-МИФИ, 2002.

5. Аткинсон М.И. и др. Манифест систем объектно-ориентировнных баз данных // СУБД, №4, 1995. С. 142-155.

6. Банасевич А., Кудинов А. От Informix к SQL Server. // Открытые систе-мы, №1, 2002.

7. Баутов А. ИТ и прогнозирование экономических процессов // Директор ИС, №9, 2002.

8. Бич Д. К объектным моделям данных // Открытые системы, №4, 1994.-С. 5-55.

9. Бусленко Н.П., Калашников В.В., Коваленко И.Н. Лекции по теории сложных систем. М.: Советское радио, 1973 г. -440 с.

10. Буч Г. Объектно-ориентированный анализ и проектирование с приме-рами на С++, 2-е изд. / Пер. с англ. М.: «Издательство Бином», СПб: «Невский Диалект», 1998 г.

11. Вендров A.M. Проектирование программного обеспечения экономических информационных систем: Учебник. 2-е изд., перераб. и доп. — М.: Финансы и статистика, 2006. — 544 с.

12. Воронов A.A. Основы теории автоматического управления. Ч. III. — Л.: Энергия, 1970. -346 с

13. Волков И.А., Галахов И.В. Архитектура современной информационно-аналитической системы // Директор ИС, №3, 2002.

14. Галахов И.В. Проектирование корпоративной информационно-аналитической системы // Открытые системы, №4, 2003.

15. Гамма Э., Хелм Р. Приемы объектно-ориентированного проектиро-ва-ния. Паттерны проектирования. СПб.: Питер, 2001. -368 с.

16. Гвишиани А.Д. Динамические задачи классификации и выпуклое про-граммирование в приложениях .— М. : Наука, 1992 .— 355с.

17. Гергенев А.С. Информационные технологии в управлении: Учебное пособие. Улан-Уде: ВСГТУ, 2005. -75 с.

18. Глоссарий по хранилищам данных, многомерному моделированию и анализу данных // Директор ИС, №3, 2002.

19. Дмитриев П. «Кворум» продвигает порталы // Сети, №1-2, 2003.

20. Добсон Р. Что нового в Access 2002, MSDE и Access 2000 http://wrww.osp.ru/win2000/sql/newability/sidebar54nwab0701 .htm

21. Дэйвисон M. Многомерное шкалирование: Методы наглядного представления данных / Пер. с англ. В.С.Каменского. М.: Финансы и статистика, 1998. - 254 с.

22. Дэйт К.Дж. Введение в системы баз данных, 8-е издание, Пер. с англ. -М.: Издательский дом «Вильяме», 2005. - 1328 с.

23. Дюк В.A. Data mining интеллектуальный анализ данных http://www. interface .ru/oracle/dmiad.htm

24. Дюк В.А. Обработка данных на ПК в примерах. СПб: Питер, 1997.

25. Дюк В.А., Самойленко A. Data mining: учебный курс. СПб: Питер,2001.

26. Замулин А.В. Типы данных в языках программирования и базах данных // Отв. ред. В.Е. Котов. Новосибирск: Наука, СО РАН, 1987. - 147 с.

27. Зырянов М. Диалектика быстрого роста // Computerworld, №46,2001.

28. Зырянов M. Эволюция продолжается // Computerworld, №35, 2002.

29. Ивахненко, А.Г. Моделирование сложных систем: Информационный подход / Под общ. ред. В.В.Павлова .— Киев : Вища школа, 1987 .— 62 с.

30. Йодан Э. Структурное программирование и конструирование программ. М.: Мир, 1974. - 415 с.

31. Каратыгин С.А., Тихонов А.Ф., Тихонова JI.H. Программирование в FoxPro для Windows. Бином, 1995

32. Ким В. Три основных недостатка современных хранилищ данных // Открытые системы, №2, 2003.

33. Киселев М., Соломатин Е. Средства добычи знаний в бизнесе и финансах. // Открытые системы, №4, 1997, с. 41-44.

34. Кнут Д. Искусство программирования, том 1. Основные алгоритмы, 3-е изд. М.: "Вильяме", 2000.

35. Комафорд К. Корпоративная отчетность: Серверная архитектура для распределенного доступа к информации. // Открытые системы, №2, 1999.

36. Комплексное решение для создания систем управления предприятием http://www.osp.ru/news/busines/2002/03/! l01.htm

37. Корнеев В.В., Гареев А.Ф., Васютин C.B., Райх В.В. Базы данных. Интеллектуальная обработка информации. // М.: Нолидж, 2001, 144 с.

38. Корнеев И. К., Машурцев В.А. Информационные технологии в управлении. -М.: ИНФРА-М, 2001. 158с.

39. Кречетов Н. Продукты для интеллектуального анализа данных. // Рынок программных средств, №14, 1997, с. 32-39.

40. Кристофидес Н. Теория графов. Алгоритмический подход. — М.: Мир,-1978 г.-430 с.

41. Кузнецов С. Объектно-ориентированные базы данных — основные концепции, организация и управление: краткий обзор.

42. Кузнецов С. Хранилища данных в начале века // Открытые системы, №1, 2002, с. 40-44.

43. Левин И. Размерность времени ttp://www.osp.ru/win2000/sql/080.htm

44. Левшин И. Эксперименты на себе // Computerworld, №34, 2002.

45. Лисянский К. Архитектурные решения и моделирование хранилищ и витрин данных // Директор ИС, №3, 2002.

46. Липаев В.В. Надежность программных средств. —М.: Синтег, 1998 г. -232 с.

47. Майерс Г. Надежность программного обеспечения. М.: Мир, 1980.-360 с.

48. Мартин Дж. Организация баз данных в вычислительных системах. -М.: Мир, 1980.-662 с.

49. Масленников В.А., Левков A.A. Повышение эффективности реинжиниринга сложных БД при помощи использования объектно-ориентированных БД // Проблемы Техники и Технологий Телекоммуникаций: матер. VII междунар. науч. конф. Самара, 2006, С. 34-36.

50. Масленников В.А., Левков A.A. Реализация наследования при оптимизация объектно-ориентированной модели данных // Проблемы Техники и Технологий Телекоммуникаций: матер. VII междунар. науч. конф. Самара, 2006, С. 48-50.

51. Масленников В.А., Левков A.A. Способы оптимизации построения логических моделей данных ОО БД // Проблемы техники и технологии телекоммуникаций: матер. VIII междунар. науч.-техн. конф. Уфа : УГАТУ, 2007, С. 144-146.

52. Масленников В,А., Левков A.A. Использование классовых алгоритмов и структур в реляционных базах данных // Решетневские чтения: матер. XI междунар. науч. конф. Красноярск: СГАУ, 2007, С. 36-37.

53. Маленников В.А. Объектно-ориентированные модели для хранения данных // Компьютерные науки и информационные технологии: матерю IX ме-ждун. семин. Уфа: УГАТУ, 2007, С. 87-89.

54. Нагао M., Катаяма Т., Уэмура С. Структуры и базы данных. М.: Мир, 1986.- 198 с.

55. Новиков Д.А., Смирнов И.М., Шохина Т.Е. Механизмы управления динамическими активными системами. М.: ИПУ РАН, 2002. - 124 с.

56. Норенков И.П., Кузьмик П.К. Информационная поддержка наукоемких изделий. CALS-технологии. М.: Мир, 2002. - 320 с.

57. Позин Б., ИТ будущего: потребности и возможности (1-я часть) // Директор ИС, №2, 2002.

58. Рамодин Д. D3 Server 7.0 постреляционная современная система управления базами данных // Мир ПК, №3, 1997.

59. Растригин Л. А. Адаптация сложных систем. Рига: Зинатне, 1981. - 375 с.

60. Редько В.Н., Басараб И.А. Базы данных и информационные системы // Математика и кибернетика. № 6. - М.: Знание, 1987. - 31 с.

61. Ремонтов А.П., Писарев А.П. Вычислительные машины и системы: Учебное пособие. Пенза: ПТУ, 2006. -96 с.

62. Салливан T. OLAP наоборот // Computerworld, №27, 2002.

63. Салливан Т. Данных больше, доступ - лучше // Computerworld, №38, 2001.

64. Салливан Т. Это надо рисовать: Программное обеспечение анализа данных становится более выразительным. // Computerworld, №42, 2000, с. 20 -21.

65. Сахаров А.А. Концепции построения и реализации информационных систем, ориентированных на анализ данных // СУБД, №4, 1996, с. 30 31.

66. Сахаров А.А. Принципы проектирования и использования многомерных баз данных (на примере Oracle Express Server) // СУБД, №3, 1996, с. 3433.

67. Современный анализ сетевого трафика и политика безопасности сети http://www.netlab.mephi.ru^0KyMeHTuiTi/files/html/analiz.html

68. Создание OLAP-модулей http://www.osp.ru/expo/06/55485.htm

69. Сонгини M. Аналитические возможности SQL Server // Computerworld, №8, 2003.

70. Спирли Э. Корпоративные хранилища данных. Планирование, разработка, реализация. Том.1: Пер. с англ. // М.: Вильяме, 2001, 234 с.

71. Стулов А. Особенности построения информационных хранилищ // Открытые системы, №4, 2003, с. 25 26.

72. Сурков К.А., Сурков Д.А., Вальвачев А.Н. Программирование в среде Delphi 3.0, Попурри, 1997, 330 с.

73. Терехина А.Ю. Анализ данных методами многомерного шкалирования. М.: Наука, 1986, 134 с.

74. Тихонов А.Ф., Тихонова JI.H. Visual Foxpro 5.0 без проблем.- Бином, 1997, 236 с.

75. Уитни Р. Итеративный алгоритм для массивов данных http://www.osp.ru/win2000/sql/olap/14olap09.htm

76. Уитни Р. Настройка характеристик показа данных http://www.osp.ru/win2000/sql/085.htm

77. Усов А.С. Внутри Объектной Технологии: Теория, Архитектура, Концепции, http://www.alexus.ru/russian/articles.htm

78. Федоров С. Стратегическое планирование сетей масштаба предприятия // www.citforum.ru/database/articles/art15.shtml

79. Фонсека Б. Cognos фокус на OLAP // Computerworld, №8, 2003.

80. Харрелд X. Создайте свой куб // Computerworld, №35, 2002.

81. Цикритзис Д., Лоховски Ф. Модели данных. М.: Финансы и статистика, 1985. - 344 с.

82. Цуприков С. Методология Sybase для создания хранилищ и витрин дан-ных http ://www. interface .ru/sybase/msy .htm

83. Чаудхури С., Дайал У., Ганти В. Технология баз данных в системах поддержки принятия решений // Открытые системы, №1, 2002, с. 45-48.

84. Чирков М.К. Основы общей теории конечных автоматов .— JI. : ЛГУ, 1975, 278с.

85. Щербина А. Основы извлечения знаний из Internet // Открытые системы, №4, 2003.

86. Юдин Д.Б., Юдин А.Д. Математики измеряют сложность. —М.: Знание, 1985.-192 с.

87. Янг Дж., Танг Ч., Сони С., Куртц В., Измерение быстродействия работы алгоритмов http://www.osp.ru/win2000/sql/olap/25olap08.htm

88. Almeida M.S., Ishikawa М., Reinschmidt J., Roeber Т., Getting Started with Data Warehouse and Business Intelligence. IBM Red Books.

89. Atkinson M., Bansilhon F., DeWitt D., Dittrich K., Maier D., Zdonik S., The Object-Oriented Database System Manifesto // 1st Int. Conf. Deductive and Object-Oriented Databases, Kyoto, Japan, Dec. 4-6, 1989

90. Boulding K.E. General Systems Theory The Skeleton of Science // Man-agement Science, 2, 1956.

91. Celko, Trees in SQL: Intelligent Enterprise, 2000, October 20.

92. Chaudhuri S., Dayal U., An Overview of Data Warehousing and OLAP Technology. SIGMOD Record, Vol.26, Nu.l, March 1997.

93. Codd E.F. A Relational Model of Data for Large Shared Data Banks // CACM. 1970. - 13, №6. (Переиздано: Milestones of Research - Selected Papers 1958-1982 (CACM 25th Anniversary Issue) // CACM. - 1983. - 26, №1.)

94. Codd E.F. Relational Completeness of Data Base Sublanguages // Data Base Systems, Courant Computer Science Symposia Series 6. — Englewood Cliffs, N.J.: Prentice-Hall, 1972.

95. Codd E.F., Codd S.B., Salley C.T., Providing OLAP (On-Line Analytical Processing) to User-Analysts: An IT Mandate. E.F.Codd & Associates, 1993.

96. ContourCube разработчикам деловых приложений // Computerworld, №25-26, 2002.

97. Cornelio A., Shamkant B. Navathe, Keith L. Doty. Extending Object-Oriented Concepts to Support Engineering Applications // 6th Int. Conf. Data Eng., Los Angeles, Calif., USA, Febr. 5-9, 1990.

98. Cowan D.D., Koch P.M., Mayfield C.I., Swayne D.A. An information framework for environmental research and management / Proc. Of the Inter-national Symposium on Environmental Software Systems. IFIP, 1996. - P. 69-79.

99. Data Warehouse Issues. Butler Group Co., UK.

100. Demarest M., Building The Data Mart, DBMS, July 1994, v. 7, n. 8.

101. Eisenberg A., Melton J., «SQL Standardization: The Next Steps», ACM SIGMOD Record, vol. 29, no. 1, 2000.

102. Gray J., «Data Cube: A Relational Aggregation Operator Generalizing Group-By, Cross-Tab and Sub-Totals», Data Mining and Knowledge Dis-covery, vol. 1, no. 1,1997.

103. Guide to OLAP Terminology. Kenan Systems Corporation, 1995

104. Inmon W.H., Building the Data Warehouse. John Willey & Sons, New York, 1992.

105. Kimball R., Help for Hierarchies. DBMS, 1998 September.

106. Kimball R., Slowly Changing Dimensions. DBMS, 1996 April.

107. Kimball R., The Data Warehouse Toolkit: Practical Techniques for Building Dimensional Data Warehouses. John Willey & Sons, New York, 1996.

108. Knowledge Discovery Through Data Mining: What Is Knowledge Dis-cov-ery? Tandem Computers Inc., 1996.

109. Lenz H.-J., Shoshani A., «Summarizability in OLAP and Statistical Data Bases», Proc. 9th Int'l Conf. Scientific and Statistical Database Management, IEEE CS Press, Los Alamitos, Calif., 1997.

110. Liautaud B., Hammond M. e-Business Intelligence: Turning Information into Knoledge into Profit. McGraw-Hill, 2001.

111. Meyer, B. 1988. Private communication.

112. Pedersen T.B., Jensen C.S., Dyreson C.E., «A Foundation for Capturing and Querying Complex Multidimensional Data», Information Systems, vol. 26, no. 5, 2001.

113. Pedersen T.B., Jensen C.S., Dyreson C.E., «Extending Practical Pre-Aggregation in On-Line Analytical Processing», Proc. 25th Int'l Conf. Very Large Databases, Morgan Kaufmann, San Mateo, Calif., 1999.

114. Pendse N., OLAP Architectures: The OLAP Report, http://www.olapreport.eom/Architectures.htm#top .

115. Personal Express User's Guide, Part No A43042-1. Oracle.

116. Rahm E., Hong Hai Do, Data Cleaning: Problems and Current Approaches. IEEE Data Engineering Bulletin, 23(4): 2000.

117. Reinschmidt J., Françoise A., Business Intelligence Certification Guide. IBM Red Books.

118. Stanley Y. W. Su. Extensions to the Object-Oriented Paradigm // COMP-SAC'89 13th Annu. Int. Comput. Software and Appl. Conf., Orlando, Fla, Sept. 20-22, 1989. ^

119. Sowa, J. 1984. Conceptual Structures: Information Processing in Mind and Machine. Reading, MA: Addison-Wesley, p. 16.

120. Thomsen E., Spofford G., Chase D., Microsoft OLAP Solutions, John Wiley & Sons, New York, 1999.

121. UK National Health Service, Read Codes Version 3, Sept. 1999, www.cams.co.uk/readcode.htm (current Nov. 2001),

122. Vassiliadis P., Sellis T.K., «A Survey of Logical Models for OLAP Data-bases», ACM SIGMOD Record, vol. 28, no. 4, 1999.

123. Winter R., «Databases: Back in the OLAP Game», Intelligent Enterprise Magazine, vol. 1, no. 4, 1998.

124. Zurek T., Sinn well M., «Data Warehousing Has More Colours Than Just Black and White», Proc. 25th Int'l Conf. Very Large Databases, Morgan Kaufmann, San Mateo, Calif., 1999.