автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Разработка методики построения хранилищ данных для систем финансового учета

На правах рукописи

ЗОТОВ Алексей Алексеевич

Разработка методики построения хранилищ данных для систем финансового учета

Специальность 05.13.11 -Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

Автореферат

диссертации на соискание ученой степени кандидата технических наук

Санкт - Петербург 2004

Работа выполнена в Государственном образовательном учреждении высшего профессионального образования «Санкт-Петербургский государственный политехнический университет».

Научный руководитель - доктор технических наук, профессор Кракау Татьяна Константиновна

Официальные оппоненты - доктор технических наук, профессор

Мелехин Виктор Федорович - кандидат технических наук, профессор Котляров Всеволод Павлович

Ведущая организация - НПО "Импульс"

Защита состоится «11» ноября 2004 г. в 16 часов на заседании диссертационного совета Д 212.229.18 в Государственном образовательном учреждении высшего профессионального образования "Санкт-Петербургский государственный политехнический университет" по адресу: 195251, Санкт-Петербург, Политехническая ул., д.29,9 уч. корп., ауд. 325.

С диссертацией можно ознакомиться в Фундаментальной библиотеке университета.

Автореферат разослан « Ц » октября 2004 г.

Ученый секретарь

диссертационного совета Шашихин В.Н.

¿С2>92>2

Общая характеристика работы

Актуальность

На сегодняшний день в области информационных технологий особую актуальность приобретают вопросы построения информационно - аналитических систем. Особенно это отражается на такой области, как банковская деятельность.

Ситуация на рынке аналитической банковской деятельности в России такова, что более половины банков не имеют соответствующих информационно-аналитических систем (ИАС). Вопросы анализа информации в таких банках решаются полуавтоматизированным способом или же вручную. Это приводит к понижению конкурентоспособности конкретного банка и нестабильности банковской системы страны в целом. Существующие же аналитические системы решают весьма ограниченный круг конкретных задач анализа, не унифицированы и привязаны к технологическим процессам и методикам определенного банка.

Построение ИАС по сути своей очень трудоемкий и дорогостоящий процесс, особенно для России Постоянное изменение законодательства, нестабильная финансовая и политическая ситуация страны обуславливают необходимость периодического внесения соответствующих, порой существенных изменений в архитектуру и бизнес процессы аналитических систем. Зачастую такие изменения требуют принципиальных доработок системы, а в ряде случаев выбывают необходимость ее перепроектирования Для того чтобы избежать таких проблем и обеспечить возможность проектирования достаточно унифицированных ИАС, легко адаптируемых к изменению внешних условий, необходима теоретическая и методологическая база и соответствующие инструментальные средства ее реализации.

В данной работе на основе анализа существующих концепций создания систем данного класса и тенденций развития технологии и информационно - аналитической деятельности в целом, разработаны теоретическая база и методика построения ИАС. Разработанная методика обеспечивает возможность построения ИАС, адаптируемой к быстроизменяющимся требованиям и пригодной для обеспечения деятельности большой группы предприятий, в сравнительно короткие сроки. Предложенная теоретическая база позволяет автоматизировать процесс построения хранилищ данных (ХД) для аналитических систем на основании формальной модели.

Вышеизложенное свидетельствует об актуальности данной работы.

Цель и задачи работы

Целью работы является создание методики построения и формального аппарата описания универсального ХД для повышения производительности труда разработчиков и повышения эффективности ИАС за счет:

• формализации процесса построения НАС и ХД с учетом отраслевой специфики, обеспечивающей возможность их автоматизированного проектирования;

• разработки практической методики построения ИАС и ХД, позволяющей обеспечивать в сравнительно короткие сроки их проектирование и адаптацию к внешним условиям в соответствии с быстроменяющимися требованиями на основе универсального ХД, пригодного для удовлетворения информационно - аналитических потребностей большой группы предприятий.

Методы исследования

В диссертации используются методы теории множеств, реляционной алгебры, реляционного исчисления, проектирования и нормализации баз данных (БД) а так же методы системного структурного анализа.

Достоверность полученных результатов подтверждается использованием утверждений, доказанных в реляционной алгебре, корректным доказательством и непротиворечивостью собственных утверждений и достаточной аргументацией приведенных в работе выводов и рекомендаций, а также практическим внедрением результатов исследований и их апробацией.

Научная новизна работы

Научную новизну работы представляют следующие результаты:

1. Для формализации требований к ИАС предложен механизм формирования иерархии функциональных требований. На его основе сформированы методы выделения результирующих, промежуточных и базовых требований, позволяющие повысить скорость проектирования на этапе анализа предметной области.

2. Предложен механизм построения информационной структуры ИАС высокого уровня, базирующийся на основе сформированных базовых требований, позволяющий повысить показатели внедряемости.

3. Предложен новый подход к проектированию логической структуры хранилища данных, основывающийся на использовании готовых структур внешних источников, позволяющий увеличить скорость разработки ХД.

4. Разработана формальная модель хранилища данных, на базе которой проводится расширение реляционной алгебры и предлагаются правила преобразования структур данных, обеспечивающие возможность автоматизированного проектирования хранилища.

5. На базе построенной формальной модели ХД и доказанных утверждений введены правила "денормализации", с помощью которых проектируется ХД.

6. Впервые использованы правила "объединения" и "всеобщего объединения" применительно к уже существующим структурам данных.

7. На основании введенных правил и функциональных требований сформулирован набор критериев для оценки необходимости и эффективности применения соответствующих правил преобразования.

Практическая значимость работы

Полученные в работе результаты были использованы при построении НАС для решения широкого круга аналитических задач для группы коммерческих банков. На основании формальной модели было построено универсальное ХД, позволяющее решать большинство аналитических задач, присущих банковской деятельности.

Результаты, полученные при реализации предложенных методов построения ИАС, использованы в разработке программной системы формирования отчетности и анализа банковских данных - ЗВЛ&А Так же результаты применения разработанной методики были использованы при построении ХД для торгового предприятия.

Хочется выразить глубокую благодарность за чрезвычайно ценные замечания и советы Дробинцеву Д.Ф., послужившие более четкому и полному изложению материала.

Апробация работы

Основные результаты диссертационной работы обсуждались в рамках научно-практических конференций СПбГПУ, а также на семинарах «29-я, 31-я, 32-я неделя науки» СПбГПУ и были доложены на II Международной научно-практической конференции «Информационные технологии в моделировании и управлении» и на IV Всероссийской научно-методической конференции "Фундаментальные исследования в технических университетах".

Внедрение

Разработанная методика, инструментальные средства поддержки и готовые программные комплексы внедрены в ООО «Деловые консультации, СПб», ЗАО

«Телекомбанк», АКБ "Связь-банк", ЗАО "РБД" и в рамках учебного курса «Базы данных» кафедры «Информационные и Управляющие Системы» СПбГПУ

Публикации

По материалам диссертации опубликовано 10 работ.

Структура и объем работы

Диссертация содержит 180 страниц основного текста, 31 рисунок, 30 таблиц и состоит из введения, четырех глав, заключения, списка литературы и двух приложений. *

Содержание работы ^

Во введении обосновывается актуальность работы, формулируются цель, задачи, объект и предмет диссертационного исследования, показана научная новизна и практическая ценность полученных результатов. Приводится структура диссертации.

Первая глава посвящена изучению различных аспектов аналитической деятельности предприятий, на примере коммерческих банков.

Очевидно, что наличие в банке ИАС, которая решает разнообразные аналитические задачи, на порядок повышает эффективность работы. Но, тем не менее, более половины банковских институтов Российской федерации не имеют полноценных ИАС. Для того, что бы понять, почему складывается такая неблагоприятная ситуация, в работе был проведен сравнительный анализ ИАС банковской деятельности.

Среди достоинств рассматриваемых ИАС можно выделить высокую функциональность и широкие возможности анализа данных, а так же высокую скорость реакции на запросы пользователей. Недостатками является то, что все эти системы !

привязаны к транзакционным системам, технологическим процессам и методикам расчета и анализа конкретного предприятия. Изменение требований применительно к таким системам влечет за собой значительные затраты на доработки и модернизацию.

Автор диссертационной работы считает, что основная причина недостатков состоит в том, что в процессе построения ИАС разработчики не имеют возможности опираться на формальные модели структур данных и единую методику их построения. Именно из этих суждений следует постановка задачи и цели работы,

Наличие формальных моделей позволит более эффективно управлять параметрами ИАС в процессе ее построения, сократить затраты на разработку и, как следствие, получить дополнительные возможности повышения качества системы. Наличие единой методики построения ИАС даст возможность проектировать структуры данных, не привязываясь к

6

бизнес-процессам конкретного предприятия Это позволит уменьшить затраты на создание ИАС и сократить стоимость ее сопровождения.

В рамках первой главы проведен сравнительный анализ концепций построения ИАС и выбран ряд концепций для дальнейшего использования в работе. Среди выбранных концепций следует отметать концепцию хранилищ данных и витрин данных (рис. 1).

ХРАНИЛИЩЕ ДАННЫХ

НЮ*

ВИТРИНА1

ВИТРИНА2

Рисунок 1. Концепция ХД

Используя данную концепцию при реализации ИАС разработчикам важно определить стратегию ее построения и средства разработки. В работе предлагается спиральная (итерационная) стратегия и различные критерии выбора программных средств реализации ИАС.

Во второй главе автор предлагает к рассмотрению собственную методику построения ХД и ИАС, полученную на основе анализа:

• концепций организации ИАС и ХД;

• банковской деятельности и требований к анализу и отчетности;

• принципов и примеров построения подобного рода систем;

В рамках сравнительного анализа различных методик построения ХД были выделены классическая методика Б.Инмона и методика построения корпоративных ХД Э. Спирли. Анализ показал, что все рассматриваемые методики имеют следующие недостают:

• привязка проекта ХД к конкретному предприятию;

• отсутствие формальных моделей построения ХД;

• построепие ХД только для крупных предприятий.

Эти недостатки перекликаются с недостатками конкретных ИАС банковской деятельности, которые рассмотрены в главе 1, поэтому можно говорить о том, что рассматриваемые ИАС так или иначе построены с использованием данных методик. Диссертационная работа как раз и направлена на устранение вышеуказанных недостатков существующих методик.

Сформулированы основные цели, которые должна преследовать предложенная автором

методика:

1. ИАС, построенные на основе данной методики не должны быть привязаны к конкретному предприятию. Гибкость настройки и учет специфики деятельности должен позволять применять построенную ИАС к решению аналогичных задач в различных предприятиях (мобильность).

2. При изменении требований, законодательства и других факторов необходимо минимизировать существенные изменения структуры хранилища (сопровождаемость).

3. Построенная ИАС должна обладать достаточно высокими характеристиками, которые отражают объемы, времена ввода, обработки, хранения и выдачи информации (эффективность).

4. Система должна обладать минимальной избыточностью и высоким качеством дапных за счет достаточно подробной формализации проектирования и функциональных процессов, протекающих в ИАС.

На этапе формирования методики за основу был взят спиральный жизненный цикл, на каждой итерации которого используется схема Захмана. В рамках даппой модели различные участки проекта, такие как данные, функции, сеть и взаимодействие с внешней средой, рассматриваются в разрезе отдельных уровней жизненного цикла ИАС: контекстного, исследовательского, концептуального, логического, физического и пользовательского.

Данная схема позволяет разделить сложные методологии и правила на более простые и понятные. Кроме того, на ее базе можно реализовать и управление проектом. Описание предлагаемой методики в рамках схемы Захмана приведено в табл. 1.

Таблица 1 Схема Захмана, как отображение одной итерации построения ХД

ш^тх-щхшш^т *

•и. К; 'л* <»у ;

Контекстный Модель данных

уровень высокого уровня

Функциональные требования

Описание внешней среды

ве»

. * 'ЛЧ

Пользовательский уровень

Пользовательский интерфейс

тщ,

шмИёш шитшм

Технология и функции Настройки системы

Предложенная методика разбита на 6 этапов и описывает процесс от определения необходимости построения ХД и ИАС до разработки и тестирования готовой системы (табл. 2). Выделенные этапы являются наиболее значимыми при построении ИАС, и именно на этих этапах автором диссертационной работы был впервые предложен аппарат проектирования, использование которого позволило устранить недостатки существующих методик.

Таблица 2. Методика построения ХД и ИАС.

№ Нювант этапа ИРМ»' í аппарат " , результат

1 Определение необходимости построения ХД Глобальные цели Востребованность проекта Классификация маркетинг совещания Группа потенциальных клиентов Пилотный банк

2 Выбор и обепедо'вание; предметной * ■ ее обследование гарархи^функпиональиь» . ■ 'уящш&то. ' '■.'■ функционшшныв требования' ./ , ( у (ИФТ) модеяьданных высокого уровня

3 Концептуальная архитектура Выбор архитектуры и формирование принципов функционирования ИАС. Системный структурный анализ ERD. Сравнительный анализ, ИФТ Крнцептуальная архитектура ИАС Принципы организации данных Принципы функционирования и метаданных

4 Логическая л архитектура " { Логическая^,-. !'. " архитектура^ . г ярое« попьзоватеяьского адтеоФейсз.;Модель метаданных

5 Физическая архитектура Выбор средств реализации ABC, Сравнительный анализ Аппаратное обеспечение, профаммное обеспечение

Разработка «Т«"^ V , ! * . II , Ж<7£ 1 /¡с

В рамках предложенного аппарата следует выделить процесс построения иерархии ^ функциональных требований (ИФТ) на этапе 2. Разработчики, сталкиваясь с новой

предметной областью для автоматизации, должны провести детальное исследование и формирование требований к будущей системе. Аналитическая деятельность сложна и ' многообразна, поэтому процесс ее обследования должен носить четкий формальный и

систематизированный характер. Для обследования предметной области и построения функциональной модели предлагается использовать механизм ИФТ (рис. 2).

На вершине ИФТ расположены результирующие показатели, на следующем уровне сущности, на основе которых рассчитывается результирующий показатель, и т.д. Одной из "конгрольных точек" ИФТ являются базовые показатели, которые включают сущности, используемые при расчете результирующего показателя.

Результирующие и промежуточные показатели выявляются путем анализа предметной области. Базовые показатели из ИФТ выявляются по максимальному соответствию с понятиями транзакционных систем.

Поскольку базовые показатели напрямую связаны с понятиями внешних источников, они будут определять информационную структуру ХД. Промежуточные показатели будут определять технологию расчета и подготовки данных для анализа. Результирующие показатели будут определять подготовленные данные, над которыми будут проходить процессы анализа.

Рис 2. Иерархия функциональных требований.

Следуя основным принципам, на основе которых разрабатывается данная методика можно отметить, что понятия внешних источников являются базовыми понятиями банковской деятельности, целевая функция которых практически пе изменяется со временем, поэтому информационная структура ХД, построенная на основе данных понятий, будет также неизменной, что приведет к устойчивости ХД к изменению требований.

На 2 этапе разработчики определяют модели (функциональную, информационную и сетевую) высокого уровня, а на 4 этапе они преобразуются в модели более низкого уровня -логические Корректно построенная логическая архитектура будет определять важнейшие параметры НАС, такие как время реакции, объемы данных, качество данных, время загрузки данных. Для решения задач данного этапа автором предложена формальная модель и правила проектирования ХД.

При проектировании ХД перед разработчиком стоит задача создания базы данных, отвечающей поставленным требованиям и содержащей данные из множества внешних источников предприятия. При условии, что все структуры данных ВИ можно представить с использованием реляционной модели, а ХД вторично по отношению в ВИ, можно использовать новый подход при проектировании ХД, предложенный автором

диссертационной работы. Это подход заключается в описании ХД на основании зафиксированных структур данных ВИ и правил формального преобразования

Данные из ВИ состоят из объектов. Объект ВИ является отношением (или в терминах современной СУБД таблицей), определенной на множестве ВИ.

Отношение может быть представлено следующей тройкой (рис. За): О — {Й,А,Л},

где:

Л - описание структуры отношения или атрибутов, входящих в отношение; А - множество потенциальных ключей отношения, которое определяет набор атрибутов, на которые ссылаются другие отношения;

Л - множество внешних ключей отношения, которое определяет ссылки данного отношения на другие.

(а) (Ь)

Рис. 3. Отношение (а) и отношение в функционально-зависимой форме (Ъ)

Любое отношение можно представить в форме функциональной зависимости (рис ЗЬ). 0 = {£>-> Р , А, Л } (1)

, где £) —> .Р есть выражение, описывающее структуру отношения. О называют детерминантом отношения, а Р-функционально зависимой частью.

Определение: £> функционально определяетР, тогда и только тогда, когда каждое значение £) связано в точности с одним значением .Р.

Функциональные зависимости широко применяются при проектировании базы данных (нормализация путем синтеза и через декомпозицию). Но в данном случае, выражение отношений в форме функциональных зависимостей, применяется к уже спроектированным данным (отношениям).

Необходимо формализовать процессы преобразования данных внешних источников в данные хранилища. Для того чтобы формально описать процессы преобразования, отношения во ВИ должны быть приведены к виду функциональной зависимости, который определен в (1), причем атрибуты отношения, входящего в функциональную зависимость должны быть приведены к упрощенной форме, то есть имя домена должно совпадать с именем атрибута.

Задача преобразования сводится к процессам объединения описанных отношений в отношения хранилища данных. Причем это объединение должно соответствовать

требованиям, коюрые предъявляются к ХД. Кроме того, все отношения должны быть приведены к единому формату по доменам и по системам отсчета.

Для описания процессов преобразования данных были использованы правила, выведенные на основании правил Армстронга и Дарвена.

Правило Xsl Простое объединение. Пусть имеются два отношения:

01 = {(£>1-> Л),Д1,Л1} и 02 - {(D2 F2),Á2,A2}

Если детерминанты этих отношений совпадают Dl = D2. то данные отношения можно объединить, в результате чего получится отношение объединения (рис 4).

Ol 2 = {(Dl -> FIF2), AlА2, Л1Л2} (2).

У отношения объединения детерминанты пересекаются, и при пересечении остается один из детерминантов (поскольку они равны), функционально зависимые части объединяются, при этом дублирующие атрибуты так же объединяются, потенциальные ключи и внешние ключи объединяются.

Рис 4. Правило простого объединения

Замечание. Операция объединения дублирующих атрибутов представляется следующим образом: пусть Л, В даа множества атрибутов, тогда Л.В - А[]В - А[)В .

Правило №2 Всеобщее объединение Пусть имеются два отношения:

01 = {(£>1->М),Д1,Л1} и 02 = {(£>2->^2),Д2,Л2}

Тогда существует отношение, которое является результатом всеобщего объединения двух отношений.

012 = {(£>1(1)2 - Л) F1F2), Д1Д2, Л1Л2} (3)

У отношения всеобщего объединения детерминанты объединяются, причем из второго детерминанта вычитаются атрибуты первой функционально зависимой части, функционально зависимые части объединяются, так же объединяются потенциальные и внешние ключи.

Это правило говорит о том, что можно объединить два любых отношения.

12

Правило №3 Денормализация вертикальных структур

Вертикальная структура используется для хранения неких параметров и их свойств, с учетом того, что свойств может быть неограниченное количество. В основном такие структуры состоят из 3 отношений (рис. 5а):

• Отношение описания параметра Р;

• Отношение описания свойств всех параметров в;

• Отношение значений свойств для параметров V.

Я

1с1

(а) (Ь)

Рис. 5 Вертикальная структура данных (а) и горизонтальная структура данных (Ь)

При денормализащш вертикальных структур особое внимание следует обращать на

отношение V . именно оно содержит всю необходимую информацию и имеет т.н. вертикальную структуру.

V = {(р id ,s id val),(p _id ,s _ id), ((p _ id), (s _ id))}

Детерминант этого отношения есть идентификатор параметра и идентификатор свойства Функционально зависимая часть содержит значение конкретного свойства для конкретного параметра Необходимо в первую очередь денормализовать данное отношение, т е преобразовать его в горизонтальный вид, а затем соединить получеппое отношение с отношением параметров Р.

Сначала необходимо выявить, какие свойства мы будем преобразовывать в горизонтальный вид, определим эти свойства как Gs = {gs\.....gsN} (4).

Набор получившихся свойств имеет тип данных такой же, как тип данных атрибута val отношения V При необходимости можно применить к полученному списку

атрибутов операцию приведения к единому формату %sl ~

Типы данных для приведения можно формально определить либо по отношению S, либо исходя из смыслового содержания свойства. Далее будем считать, что данный набор а!рибутов уже приведен к единому формату по типам данных

После выявления этого списка преобразуем отношение V в отношение Gv . которое будет иметь т.н. горизонтальную структуру

Gv = {( р _ id gs 1,.... gsN ), (р), (р)}

в»1

es

авз

Детерминантом этого отношения является идентификатор параметра и м.б другие атрибуты, функционально зависимая часть представлена списком атрибутов, который мы определили выше Внешний ключи ссылаются на отношение параметров, потенциальный

ключ есть детерминант Далее полученное отношение ^у соединяется с отношением Р по

правилу всеобщего объединения. В результате соединения этих двух отношений получим

искомое денормализованное отношение (рис. 5Ь) вУР = {(р_Ш->(5)

Правила объединения и денормализации данных, описанные выше, необходимо применять осознанно, принимая во внимание требования к НАС, предельные объемы данных хранилища и адекватные времена ответа на запросы, формируемые к данным. Если при проектировании ХД эти аспекты не принимаются во внимание, то можно получить ХД не удовлетворяющее поставленным задачам.

В работе сформулированны некоторые критерии объединения отношений. Отношения могут объединяться если:

• они соответствуют условиям правил объединения и ИФТ;

• мощность пересечения предполагаемого объединения по запросам достаточно высока;

• объем предполагаемого объединения менее предельно допустимого объема, определенного для данного объединения;

• совокупное время реакции по запросам, выполняемым над данным объединением, должно быть минимальным.

Учитывая данные критерии можно увидеть, как меняются характеристики отношений и запросов при применении правил объединения и денормализации.

Применение формальной модели при построении ХД дает разработчикам следующие преимущества'

• возможность предварительной оценки объемов ХД;

• возможность управления параметрами ХД;

• дополнительные возможности оптимизации (уменьшение избыточности, управление индексацией, увеличение времен реакции);

• возможность автоматизации процесса проектирования логической структуры ХД;

• увеличение скорости проектирования.

В третьей главе показаны реальные примеры использования разработанной методики и формальной модели для построения ИАС банковской деятельности Предложенная методика была внедрена в процесс организации - разработчика программных систем, в результате чего был разработан ряд ИАС Среди них хочется отметить несколько систем,

14

автоматизирующих аналитическую деятельность банков. Это три системы, построенные в рамках одного жизненного цикла на различных его итерациях - ИАС "Бюджет клиента", ИАС "Регистры налогового учета" и ИАС "Ликвидность". Так же была построена ИАС для обеспечения аналитической деятельности торгового предприятия, что показывает возможность применения предложенной методики не только для построения ИАС банковской деятельности, но и для других отраслей.

В рамках применения методики в главе 3 подробно рассматривается процесс создания ИАС "Бюджет клиента". Основная задача этой системы формирование бюджетов клиентов в виде отчетных форм, их анализ и, как следствие, управление процентными ставками по кредитам и депозитам.

На этапе 2 была построена ИФТ для выбранной предметной области, что позволило максимально быстро и эффективно выявить данные для анализа (результирующие показатели), промежуточные показатели, определившие технологию расчета, и базовые показатели, определившие модель данных высокого уровня.

На этапе 4, при формировании информационной логической структуры ХД применялись правила и критерии, определенные в формальной модели, в результате чего была построена структура ХД и оптимизированы основные параметры ИАС.

Говоря о количественной оценке применения формальной модели, следует отметить, что при использовании правил, сформулированных на ее базе, удалось максимально сократить количество отношений ХД, что позволило уменьшить избыточность и увеличить качество данных, добиться оптимизации времени реакции ХД, времени загрузки данных в хранилище и объемов данных. Так, например, для объекта "счета", нам удалось 16 отношений ВИ преобразовать в одно, для объекта "клиенты" из 5 отношений, представляющих собой вертикальную структуру, сформировано одно отношение горизонтальной структуры.

В результате внедрения и промышленной эксплуатации этой ИАС в банках были получены следующие результаты:

• С внедрением "Бюджета клиента" время расчета стало в 26 раз меньше, чем время расчета бюджета без использования ИАС.

• Время анализа н "подгонки" стало в 31 раз меньше.

• В процессе расчета бюджета стало участвовать менее половины сотрудников, которые были задействованы в этом процессе ранее.

• Внедрение ИАС припесло банку дополнительную выгоду в части, касающейся более оперативного принятия стратегически важных решений, а именно регулирования процентных ставок по кредитам и депозитам.

Так же следует заметить, что при разработке других ИАС в рамках этого жизненного цикла, логическая структура ХД практически не изменялась. То есть можно говорить о том, что применение формальной модели и механизма ИФТ позволяет строить ХД универсальной структуры, в рамках выбранной предметной области.

Проекты по созданию ХД, выполненные на базе предложенной методики показали ее работоспособность.

В главе 4 для получения оценки эффективности был проведен анализ критериев качества ИАС и возможностей их оптимизации в рамках разработанного аппарата формального описания. Среди них выделены эффективность и трудоемкость.

В рамках оценки эффективности были использованы следующие критерии, значения которых определяются экспериментальным путем:

• среднее время реакции для решения типичных задач;

• среднее время закачки данных в хранилище при постоянном объеме ХД;

• объемы ХД в различные периоды функционирования ИАС.

А так же были использованы такие критерии, как степень избыточности, денормализации и структурная сложность, значения которых определяются метрически. В рамках оценки трудоемкости были использованы следующие критерии:

• Коэффициент переиспользования Км 2 = и -г(/«> + и + /*>);

• СТОИМОСТЬ СОПрОВОЖДеНИЯ Тс — N * А* 1хд ;

• Стоимость внедрения ИАС Те = N * А*(1*> + *«>);

При сравнении ИАС, построенных с использованием предлагаемой методики (группа 1) с ИАС сторонних производителей (группа2) по сформированным критериям были получены следующие результаты:

• Среднее время реакции, время загрузки данных, объемы данных ИАС группы 1 превышают данные параметры ИАС группы 2, что говорит о более высокой эффективности разработанных систем.

• Эти результаты обусловлены сравнительно низкой степенью избыточности, структурной сложности и высокой степенью денормализации, за счет применения формальной модели.

• Трудоемкость разработки среди ИАС группы 1 на первой итерации сравнительно выше, на последующих гораздо ниже соответствующих коэффициентов ИАС группы

2. Это говорит о том, что предложенную методику целесообразно применять для

разработки целого ряда ИАС в рамках одного жизненного цикла.

В заключении дается итоговая оценка проделанной работы, и формулируются основные результаты работы.

Основные результаты работы

В работе проведен сравнительный анализ существующих ИАС и методик их построения, указаны их основные достоинства и недостатки. Рассмотрены различные концепции построения и реализации ХД и НАС, проведен сравнительный анализ подходов к построению ХД, в ходе которого выявлена необходимость применения единых методик и формальных подходов к построению ИАС.

Разработана методика построения ХД, в рамках которой предлагается использование схемы Захмана на каждой итерации жизненного цикла.

Предложен механизм построения ИФТ, который дал разработчикам возможность формального описания предметной области в привязке в функциональности ИАС

Предложен новый подход к проектированию ХД, который заключается в использовании, структур данных внешних источников.

Разработана формальная модель ХД, в рамках которой проведено расширение реляционной алгебры, в результате которого выведены правила и критерии проектирования ХД.

Разработанная методика и формальная модель были успешно внедрены в процесс организации - разработчика, в результате чего были построен ряд ИАС для торговых и кредитных организаций. Это показывает работоспособность методики.

Проведена оценка предлагаемой формальной модели, результаты которой показали преимущества ее применения для построения ХД, среди которых следует выделить уменьшение времени реакции и уменьшение планируемых объемов данных.

Проведено сравнение построенных ИАС с ИАС сторонних производителей, результаты которой показали высокие показатели качества.

На основе анализа результатов внедрения методики делается вывод о целесообразности ее применения для построения ИАС для решения многих аналитических задач, применительно к выбранной предметной области.

Содержание диссертации отражено в следующих публикациях:

1 Зотов A.A., Абдрахманов P.JL, Басин В.В., Дробинцев Д.Ф. Разработка системы управления банковским счетом через Интернет // XXIX неделя науки СПбГТУ. 4.IV. Материалы межвузовской научной конференции. СПб • СПбГТУ, 2ООО. С. 15 - 16.

2. Зотов А.А, Басин В.В., Дробина Ю.А. Использование архивирования в комплексных системах автоматизации. // Информационные технологии в моделировании и управлении-Труды II Международной научно-практической конференции, 20-22 июня 2000 года. СПб: СПбГТУ, 2000. С 11-12.

3. Зотов A.A., Капустин В.В. Некоторые аспекты разработки информационно-аналитических систем банковской деятельности // Материалы IV Всероссийской научно-методической конференции "Фундаментальные исследования в технических университетах". СПб.: СПбГПУ, 2000. С. 18 - 20.

4. Зотов A.A., Кракау Т.К., Капустин В.В. Архитектура хранилища данных многофилиального банка // XXXI неделя науки СПбГПУ. ЧIV- Материалы межвузовской научной конференции СПб : СПбГПУ, 2003. С. 10 - 11

5 Зотов Л Л, Бутенко И В. Архитектура построения автоматизированной банковской системы для мпогофилиальпого банка // XXXI неделя науки СПбГПУ. ЧIV: Материалы межвузовской научной конференции. СПб • СПбГПУ, 2003. С 8 - 9.

6 Зотов А.А , Дробинцев Д Ф . Бутенко И В Разработка подсистемы формирования данных для Ин гернет-банка // Конкурс - конференция студенческих работ в области современных технологий программирования в СПбГПУ. СПб.: СПбГПУ, 2003. С 9-10

7 Зотов А.А , Пархоменко С.А., Иванов А В. Разработка набора СОМ-объектов для MS DTS, реализующего за1рузку информации из текстовых файлов в таблицы метаданных // ХХХП неделя науки СПбГПУ 4.V: Материалы межвузовской научно-технической конференции СПб.- СПбГПУ, 2004. С. 29 - 30.

8 Зотов А А., Пархоменко С.А , Воинов Н.В. Реализация подсистемы взаимодействия метаданных библиотеки разработки СКАУТ v4 5 и объектов Microsoft Analysis Services. // ХХХП неделя науки СПбГПУ 4V: Материалы межвузовской научно-технической конференции СПб.: СПбГПУ, 2004. С 37 - 38.

9 Зотов A.A., Пархоменко С А., Ульянов С.Г. Разработка шаблонов реализации СОМ-объектов MS DTS. // ХХХП неделя науки СПбГПУ. 4.V: Материалы межвузовской научно-технической конференции. СПб : СПбГПУ, 2004. С 36 - 37.

10. Зотов А А. Принципы проектирования аналитической системы в условиях быстро меняющихся требований // ХХХП неделя науки СПбГПУ. 4.V: Материалы межвузовской научной-технической конференции. СПб.: СПбГПУ, 2004. С. 38 - 40

Лицензия ЛР №020593 от 07.08.97

Подписано в печать^ 0#,е&Х>У. Формат 60x84/16. Печать офсетная. Усл. печ. л Тираж /¿О . Заказ Ш .

Отпечатано с готового оригинал-макета, предоставленного автором, в типографии Издательства Политехнического университета. 195251, Санкт-Петербург, Политехническая, 29.

•184 17

РНБ Русский фонд

2005-4 12555

СОДЕРЖАНИЕ.

ВВЕДЕНИЕ.

Глава 1. Описание информационно - аналитических аспектов деятельности банков и концепций их реализации.

1. Особенности аналитической деятельности банков.

1.1 Краткое описание предметной области.

1.2 Системы автоматизации финансовой деятельности.

2. Концепции построения и реализации И АС.

2.1 Концепция хранилищ данных.

2.2 Концепция витрин данных.

2.3 Концепция интеллектуального анализа данных.

2.4 Концепция оперативной аналитической обработки данных (OLAP). ф 2.5 Концепция традиционного анализа данных.

2.6 Сравнительный анализ концепций построения ИАС.

3. Сравнительный анализ инструментальных средств построения ИАС.

3.1 Стратегия построения ИАС.

3.2 Критерии выбора СУБД.

3.3 Сравнительный анализ СУБД.

4. Обзор готовых ИАС.

5. Постановка задачи.

Глава II. Методика построения хранилищ данных для банковских систем.

1. Различные методики построения хранилищ данных.

2. Разработка методики построения хранилищ данных.

Этап 1. Определение необходимости построения ХД.

Этап 2. Выбор и обследование предметной области.

Этап 3. Концептуальная архитектура хранилища.

Этап 4. Логическая архитектура хранилища.

Этап 5. Физическая (Технологическая) архитектура хранилища.

Ф Этап 6. Детальное представление или разработка.

Систематизация методики - построение схемы Захмана.

3. Формальная модель хранилища данных.

3.1 Описание данных во ВИ и процессов их переноса в ХД.

3.2 Описание данных в ХД и процессов их переноса в витрины.

3.3 Критерии и требования к организации ХД.

Глава III Разработка информационно - аналитических систем банковской деятельности

1. Аналитические задачи банковской деятельности.

2. Информационно-аналитическая система "Бюджет клиента".

Этап 1. Определение необходимости построения ХД.

Этап 2. Выбор и обследование предметной области.

Этап 3. Концептуальная архитектура И АС.

Этап 4. Логическая архитектура ИАС.

Этап 5. Физическая (технологическая) архитектура ИАС.

Этап 6. Детальное представление или разработка.

Глава IV Исследование достоверности и эффективности предложенной методики.

1. Оценка формальной модели ХД.

1.1 Оценка достоверности формулы определения объемов данных.

1.2 Изменение объемов отношений при применении формальных правил.

2. Оценка ИАС, разработанных с использованием предложенной методики.

2.1.1 Сравнение по группе критериев "Эффективность (экспериментально)".

2.1.2 Сравнение по группе критериев "Эффективность (сложность)".

2.1.3 Сравнение по группе критериев "Трудоемкость".

Актуальность

На сегодняшний день в области информационных технологий особую актуальность приобретают вопросы построения информационно - аналитических систем. Особенно это отражается на такой области, как банковская деятельность.

Ситуация на рынке аналитической банковской деятельности в России такова, что более половины банков не имеют соответствующих информационно-аналитических систем (ИАС). Вопросы анализа информации в таких банках решаются полуавтоматизированным способом или же вручную. Это приводит к понижению конкурентоспособности конкретного банка и нестабильности банковской системы страны в целом. Существующие же аналитические системы решают весьма ограниченный круг вполне конкретных задач анализа, не унифицированы и привязаны к технологическим процессам и методикам определенного банка.

Построение ИАС по сути своей очень трудоемкий и дорогостоящий процесс, особенно для России. Постоянное изменение законодательства, нестабильная финансовая и политическая ситуация страны обуславливают необходимость периодического внесения соответствующих, порой существенных изменений в архитектуру и бизнес процессы аналитических систем. Зачастую такие изменения требуют принципиальных доработок системы, а в ряде случаев вызывают необходимость ее перепроектирования. Для того чтобы избежать таких проблем и обеспечить возможность проектирования достаточно унифицированных ИАС, легко адаптируемых к изменению внешних условий, необходима теоретическая и методологическая база и соответствующие инструментальные средства ее реализации.

В данной работе на основе анализа существующих концепций создания систем данного класса и тенденций развития технологии и информационно - аналитической деятельности в целом, разработаны теоретическая база и методика построения ИАС. Разработанная методика обеспечивает возможность построения ИАС, в сравнительно короткие сроки адаптируемой к быстроизменяющимся требованиям и пригодной для обеспечения деятельности большой группы предприятий. Предложенная теоретическая база позволяет автоматизировать процесс построения хранилищ данных (ХД) для аналитических систем на основании формальной модели.

Цель и задачи работы

Целью работы является создание методики построения и формального аппарата описания универсального ХД для повышения производительности труда разработчиков и повышения эффективности ИАС за счет:

• формализации процесса построения ИАС и ХД с учетом отраслевой специфики, обеспечивающей возможность их автоматизированного проектирования;

• разработки практической методики построения ИАС и ХД, позволяющей обеспечивать в сравнительно короткие сроки их проектирование и адаптацию к внешним условиям в соответствии с быстроменяющимися требованиями на основе универсального ХД, пригодного для удовлетворения информационно -аналитических потребностей большой группы банков.

Методы исследования

В диссертации используются методы теории множеств, реляционной алгебры, реляционного исчисления, проектирования и нормализации баз данных (БД) а так же методы системного структурного анализа.

Достоверность полученных результатов подтверждается использованием утверждений, доказанных в реляционной алгебре, корректным доказательством и непротиворечивостью собственных утверждений и достаточной аргументацией приведенных в работе выводов и рекомендаций, а также практическим внедрением результатов исследований и их апробацией. Научная новизна работы

Научную новизну работы представляют следующие результаты:

• В рамках методов системного структурного анализа для формализации требований к ИАС предложен механизм формирования т.н. иерархии функциональных требований. Впервые на его основе сформированы методы выделения базовых, специфических и исходных требований.

• Предложен механизм выделения исходных сущностей и построения информационной структуры ИАС высокого уровня, базирующийся на основе сформированных исходных требований.

• Предложен новый подход проектирования ХД, в рамках которого предлагается использовать логические структуры данных внешних источников.

• На базе построенной формальной модели ХД и доказанных утверждений введены правила "денормализации" и "денормализации вертикальных структур", с помощью которых проектируется ХД.

• Впервые использованы правила "объединения" и "всеобщего объединения" применительно к уже существующим структурам данных.

• На основании введенных правил и функциональных требований сформулирован набор критериев для оценки необходимости и эффективности применения соответствующих правил преобразования.

Практическая значимость работы

Полученные в работе результаты были использованы при построении ИАС для решения широкого круга аналитических задач для группы коммерческих банков. На основании формальной модели было построено универсальное ХД, позволяющее решить около 80% всех аналитических задач, присущих банковской деятельности.

Результаты, полученные при реализации предложенных методов построения ИАС, использованы в разработке системы формирования отчетности и анализа банковских данных - SBR&A. Так же результаты применения разработанной методики были использованы при построении ХД для торгового предприятия.

Хочется выразить глубокую благодарность за чрезвычайно ценные замечания и советы Дробинцеву Д.Ф., послужившие более четкому и полному изложению материала. Апробация работы

Основные результаты диссертационной работы обсуждались в рамках научно-практических конференций СПбГПУ, а также на семинарах «29-я, 31-я, 32-я неделя науки» СПбГПУ и были доложены на II Международной научно-практической конференции «Информационные технологии в моделировании и управлении». Внедрение

Разработанная методика и инструментальные средства поддержки внедрены в ООО «Деловые консультации, СПб», ЗАО «Телекомбанк», АКБ "Связь-банк", ЗАО "РБД" и в рамках учебного курса «Базы данных» кафедры «Информационные и Управляющие Системы» СПбГПУ.

Структура диссертационной работы

Первая глава посвящена изучению различных аспектов аналитической деятельности предприятий на примере коммерческих банков. Проведен сравнительный анализ ИАС банковской деятельности и концепций построения и реализации таких систем. Определен жизненный цикл и стратегия построения а так же предложены критерии выбора программных средств. Определена и поставлена задача.

Во второй главе автор предлагает к рассмотрению собственную методику построения ХД и ИАС, полученную на основе анализа:

• концепций организации ИАС и ХД;

• банковской деятельности и требований к анализу и отчетности;

• принципов и примеров построения подобного рода систем;

• методик построения аналитических систем.

Так же разработана формальная модель ХД и предложен новый подход к проектированию ХД.

В третьей главе показаны реальные примеры использования разработанной методики и формальной модели для построения ИАС банковской деятельности.

В главе IV для получения оценки эффективности был проведен анализ критериев качества ИАС и возможностей их оптимизации в рамках разработанного аппарата формального описания.

Заключение

В работе проведен сравнительный анализ существующих ИАС и методик их построения, указаны их основные достоинства и недостатки. Рассмотрены различные концепции построения и реализации ХД и ИАС, проведен сравнительный анализ подходов к построению ХД, в ходе которого выявлена необходимость применения единых методик и формальных подходов к построению ИАС.

Разработана методика построения ХД, в рамках которой предлагается использование схемы Захмана на каждой итерации жизненного цикла.

Предложен механизм построения иерархии функциональных требований, который дал разработчикам возможность формального описания предметной области в привязке в функциональности ИАС.

Предложен новый подход к проектированию ХД, который заключается в использовании структур данных внешних источников.

Разработана формальная модель ХД, в рамках которой проведено расширение реляционной алгебры, в результате которого выведены правила и критерии проектирования ХД.

Разработанная методика и формальная модель была успешно внедрена в процесс организации - разработчика, в результате чего были построен ряд ИАС для банковской и торговой деятельности. Это показывает работоспособность методики.

Проведена оценка предлагаемой формальной модели, результаты которой показали корректность формул и правил, используемых в ее рамках.

Проведена оценка качества построенных ИАС с ИАС сторонних производителей, результаты которой показали сравнительно высокие показатели.

На основе анализа результатов внедрения методики делается вывод о целесообразности ее применения для построения большого ряда ИАС для решения многих аналитических задач.

1. Архипенков С., Голубев Д., Максименко О. Хранилища данных. От общей концепции до внедрения / Под общ. ред. С.Я. Архипенкова. М.: ДИАЛОГ-МИФИ, 2002. - 528 с.

2. Бочаров А. Пример реализации СППР в банке // Банковские технологии. 2002. №2.-С. 23 -29.

3. Васильева И. Реинжиниринг программного обеспечения: определения, стратегии, экономическое обоснование //http://se.math.spbu.ru/courses/Reeng/2001/Vasilieva.html

4. Викторов Л. Использование хранилища данных в банковской системе финансового управления // http://www.olap.ru/best/bfin.asp

5. Вендров A.M. CASE-технология. Современные методы и средства проектирования систем. — М.: Финансы и статистика, 1998. ЗН5с.

6. Гейн К., Сарсон Т. Системный структурный анализ: средства и методы. — М.: Эйтекс, 1992. -^Ыс.

7. Дюк В., Самойленко A. Data Mining: учебный курс. СПб.: Питер - Пресс, 2001. -368 с.

8. Дейт, К., Дж. Введение в системы баз данных, 6-е издание: Пер. с англ. К.; М.; СПб.: Вильяме, 1999. - 848 е.: ил. - Парал. тит. англ., уч. пос.

9. Евтюшкин А.В. Выбирая автоматизированную банковскую систему // Банковские системы и оборудование. 1994. №1. - С. 17-34.

10. И.Зотов А.А., Кракау Т.К., Капустин В.В. Архитектура хранилища данных многофилиального банка. // XXXI неделя науки СПбГПУ. 4.IV: Материалы межвузовской научной конференции. СПб.: СПбГПУ, 2003. С. 10 11.

11. Зотов А.А., Бутенко И.В. Архитектура построения автоматизированной банковской системы для многофилиального банка. // XXXI неделя науки СПбГПУ. 4.IV: Материалы межвузовской научной конференции. СПб.: СПбГПУ, 2003. С. 8-9.

12. Зотов А.А., Дробинцев Д.Ф., Бутенко И.В. Разработка подсистемы формирования данных для Интернет-банка. // Конкурс конференция студенческих работ в области современных технологий программирования в СПбГПУ: СПб.: СПбГПУ,2003.С. 10 12.

13. Зотов А.А., Пархоменко С.А., Ульянов С.Г. Разработка шаблонов реализации СОМ-объектов MS DTS. // XXXII неделя науки СПбГПУ. 4.V: Материалы межвузовской научно-технической конференции. СПб.: СПбГПУ, 2004. С. 36 37.

14. Зотов А.А., Пархоменко С.А., Якимайнен А.Ю. Реализация загрузки XML документов посредством MS DTS. // XXXII неделя науки СПбГПУ. 4.V: Материалы межвузовской научно-технической конференции. СПб.: СПбГПУ,2004. С. 32 33.

15. Зотов А.А. Принципы проектирования аналитической системы в условиях быстро меняющихся требований // XXXII неделя науки СПбГПУ. 4.V: Материалы межвузовской научно-технической конференции. СПб.: СПбГПУ, 2004. С. 38 40.

16. Инмон У. Обоснование хранилища данных //http ://www. iso. ru/j ournal/articles/182 .html

17. Инмон У. Типы хранилищ данных // http://www.iso.ru/journal/articles/181.html

18. Пендс Н. Обеспечение OLAP (оперативной аналитической обработки) для пользователей аналитиков // http://www.cfin.ru/itm/olap/olap fasmi.shtml

19. Логиновский О.В. Управление и моделирование в социальных и экономических системах: Учеб. пособие. — Челябинск: ЮУрГУ, 1997. —501с.

20. Львов В. Создание систем поддержки принятия решений на основе хранилищ данных // http .'//www, osp.ru/dbm s/1997/03/3 0.htm

21. Маркелов К. Историография банковских технологий // Банковские технологии. -2004. №4. С. 22 - 27.

22. Маклаков С. Проектирование хранилищ данных с помощью PLATINUM Erwin // http: //www. interface. ru/publ ic/wh/wh. htm

23. Маклаков C.B. BPWin и ERWin. CASE средства разработки информационных систем. - М.: ДИАЛОГ - МИФИ, 1999. - 256 с.

24. Никольский Н. Интеллектуальные технологии анализа данных // Компьютер пресс. — 2000. № 4. — С. 148-149.

25. Пуле М. Денормализация: как нарушить правила и избежать последствий // http :/7www.osp .ru/win2000/sql/890 .htm

26. Полукеев О., Коваль Д. Моделирование бизнеса и архитектура информационной системы // www.osp.ru

27. Сахаров А.А. Концепция построения и реализации информационных систем, ориентированных на анализ данных // СУБД. — 1996. № 4. С. 55-70.

28. Сахаров А.А. Принципы проектирования и использования многомерных баз данных (на примере Oracle Express Server) // СУБД. — 1996. № 3. — С. 44-59.

29. Саймон А. Склады данных // СУБД. 1997. №3. - С. 1&-ЗЧ.

30. Синха С. Точка возврата // http://www.tcs.coin

31. Спирли Э. Корпоративные хранилища данных. Планирование, разработка, реализация. Том 1.: Пер. с англ. М.: Вильяме, 2001. - 400 е.: ил. - Парал. тит. англ.

32. Стогний А., Кожевникова Г. Метрический анализ программ: основные концепции, методы и направления

33. Федоров А., Елепанова Н. Введение в OLAP // Компьютер Пресс. — 2001. № 4. — С. 145-148, № 5. — С. 137-140.

34. Хэкни Д. Успешное хранилище данных: Архитектурные решения // http://www.iso.ru/journal/articles/184.html

35. Щавелев J1. Оперативная аналитическая обработка данных концепции и технологии // http://www. о 1 ар.ru/basiс/о 1 ар and id a. asp

36. Ballard С., Herreman D., Schau D., Bel R., Kim E., Valencic A. Data Modeling Techniques for Data Warehousing // IBM ITSO Red Books

37. Codd E.F., Codd S.B., Salley C.T. Providing OLAP (On-Line Analytical Processing) to User-Alalysts: An IT Maudate. — E.F. Codd & Associates, 1993.

38. Darwen H. The Role of Functional Dependence in Query Decomposition // C.J. Date and H. Darwen. Relational Database Writings 1989 1991. - Reading, Mass.:Addison-Weslay, 1992.

39. Demarest M. Building the Data Mart // DBMS. — 1994. — № 7. — P. 44-50.

40. Data Warehousing. Butler Group Co., UK.

41. Inmon W.H. What is Data Warehouse. — NY: John Wiley, 1993.

42. Inmon W.H. Building The Data Warehouse (Second Edition). — NY: John Wiley, 1993.

43. Kimball R., "The Data Warehouse Toolkit: Practical Techniques for Building Dimensional Data Warehouses", John Wiley & Sons, 1996.

44. Kimball R., "The Data Webhouse Toolkit: Building the Web-Enabled Data Warehouse", John Wiley & Sons, 2000.

45. Krutchten P. The Rational Unified Process, An Introduction (The Addison Wesley Object Technology Series), Addison - Wesley Publishing Conpany, 2000.