автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Комплексная технология модификации программных систем обработки и хранения данных с использованием индексирования

кандидата технических наук
Прошин, Евгений Николаевич
город
Уфа
год
2010
специальность ВАК РФ
05.13.11
цена
450 рублей
Диссертация по информатике, вычислительной технике и управлению на тему «Комплексная технология модификации программных систем обработки и хранения данных с использованием индексирования»

Автореферат диссертации по теме "Комплексная технология модификации программных систем обработки и хранения данных с использованием индексирования"

004698464 На правах рукописи

ПРОШИН Евгений Николаевич

КОМПЛЕКСНАЯ ТЕХНОЛОГИЯ МОДИФИКАЦИИ ПРОГРАММНЫХ СИСТЕМ

ОБРАБОТКИ И ХРАНЕНИЯ ДАННЫХ С ИСПОЛЬЗОВАНИЕМ ИНДЕКСИРОВАНИЯ

Специальность 05.13.11 -Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ диссертации па соискание ученой степени кандидата технических наук

2 3 СЕН 2010

Уфа-2010

004608464

Работа выполнена на кафедре экономической информатики ГОУ ВПО «Уфимский государственный авиационный технический университет»

Научный руководитель д-р техн. наук, проф.

МАРТЫНОВ Виталий Владимирович

Официальные оппоненты д-р техн. наук, проф.,

ЮСУПОВА Нафиса Исламовиа, зав. каф. вычислительной математики и кибернетики Уфимского государственного авиационного технического университета

канд. техн. наук,

ГАРИФУЛЛИН Тимур Артурович,

доцент каф. информатики Башкирской академии государственной службы управления при президенте Республики Башкортостан

Ведущая организация ОАО «Уфимское моторостроительное производ-

ственное объединение», г. Уфа

Защита диссертации состоится « 1 » октября 2010 года в 12:00 часов на заседании диссертационного совета Д-212.288.07 при Уфимском государственном авиационном техническом университете по адресу: 450000, г. Уфа, ул. К. Маркса, д. 12

С диссертацией можно ознакомиться в библиотеке университета

Автореферат разослан « 27 » августа 2010 года

Ученый секретарь диссертационного совета д-р техн. наук, проф. ( С.С. Валеев

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы

Современные информационные системы (ИС) представляют собой совокупность программных систем (ПС), технического и организационного обеспечения, а также персонала и предназначены для обработки и управления информацией в рамках конкретной предметной области. Данные ПС могут быть разработаны разными компаниями, на различных платформах, с использованием разных типов баз данных (БД). Подавляющее большинство таких систем строится по концептуально общей реляционной схеме.

Следует заметить, что объемы данных, число пользователей и приложений, работа которых связана с использованием реляционных БД, с течением времени может увеличиваться, поэтому ИС должны обеспечивать стабильную производительность и быструю адаптацию характеристик и показателей своих программных подсистем с учетом изменений.

Определение инфраструктуры информационных технологий (ИТ) в организации лежит в основе поиска, оправданной величины начальных инвестиций в базовое программное и аппаратное обеспечение. Тем самым, одной из важных составляющих на пути к осуществлению длительной эффективной промышленной эксплуатации ИС организации, развивающей информационную инфраструктуру, является разработка способов повышения эффективности процесса модификации ПС, использующих в своем составе СУБД.

Анализ отечественной, зарубежной литературы и источников сети Интернет позволяет сделать вывод, что исследованием и разработкой методов решения вышеуказанной задачи занимаются крупные информационные компании такие как HP, Microsoft, ШМ, Oracle и др. Каждая из них предлагает программные средства и технологии, которые в основном нацелены на выбор достаточных аппаратных средств для функционирования существующих ИС и являются закрытыми для конечного потребителя. Среди российских и зарубежных ученых, изучающих проблемы производительности ПС и их модификацию, а также производительности СУБД можно отметить Кузнецова С.Д., Кодца Э.Ф., Дейта К.Дж. и др.

В их трудах задаче определения показателей ПС и влиянию последних на общую производительность уделяется лишь частичное внимание, что позволяет решать задачу производительности для отдельных компонент ПС. В связи с этим, задача разработки методов и алгоритмов комплексной модификации ПС является актуальной как в теоретическом, так и в практическом плане. Тем самым, тематика данной исследовательской работы является актуальной.

Объектом исследования является процесс обработки и управления данными в программных системах.

Предметом исследования является разработка методов и инструмен- - • тальных средств повышения эффективности процесса модификации программных систем обработки и управления данными.

Цель диссертационной работы

Целью диссертационной работы является повышение эффективности процесса модификации программных систем посредством разработки методов, алгоритмов и программного обеспечения увеличения их производительности при условии соблюдения требования невмешательства во внутренние структуры базы данных.

Задачи исследования

Для достижения поставленной цели в диссертационной работе решаются следующие задачи:

1. Разработка комплексной технологам модификации программных систем обработки и управления данными для увеличения их производительности.

2. Разработка метода увеличения производительности программных систем обработки и управления данными на основе их индексирования.

3. Разработка методики определения показателей эффективности программных систем и их влияние на производительность последних.

4. Разработка алгоритма и прототипа программного обеспечения увеличения производительности программных систем обработки и управления данными с последующим проведением анализа эффективности предлагаемой технологии.

Методы исследования

В работе использовались методы системного анализа и различные мето-дшш тестирования сложных систем, структурного анализа и проектирования информационных систем (Structured Analysis and Design Technique), методология унифицированного процесса разработки программного обеспечения (Rational Unified Process) на основе унифицированного языка моделирования (Unified Modeling Language), методы математического и имитационного моделирования, математической статистики, реляционная методология организации хранения данных, а также методы модульного, объектно-ориентированного и системного программирования.

Осповные положения, выносимые на защиту

1. Комплексная технология модификации программных систем обработки и управления данными, обеспечивающая возможность их эффективного развития.

2. Метод увеличения производительности программных систем обработки и управления данными на основе их индексирования.

3. Методика определения показателей программных систем по заданным требованиям производительности, основанная на нагрузочном тестировании.

4. Алгоритм и прототип программного обеспечения увеличения производительности программных систем обработки и управления данными, с последующим анализом эффективности предлагаемой технологии.

Научная новизна работы

Научная новизна работы заключается в следующем:

1. Разработана технология модификации программных систем обработки и управления данными, отличающаяся от существующих комплексным учетом всех составляющих систем при условии соблюдения требования невмешательства во внутренние структуры базы данных, позволяющая учитывать затраты на модернизацию информационных систем для их эффективного развития.

2. Разработан метод увеличения производительности программных систем обработки и управления данными, основанный на их индексировании, позволяющий сократить количество и объем часто используемых индексов при сохранении функциональности базы данных.

3. Разработана методика определения показателей про1раммных систем обработки и управления данными по заданным требованиям производительности, основанная на нагрузочном тестировании и отличающаяся от известных тем, что использует как технические, так и экономические параметры информационных систем, что позволяет оценить их влияние на общую производительность.

Практическая значимость и внедрение результатов

Практическая ценность результатов, полученных в диссертации, заключается в разработке:

-методики определения показателей программных систем обработки и управления данными, обеспечивающей выполнение анализа их влияния на производительность последних, что позволяет конфигурировать состав информационных систем для достижения заданной производительности;

— алгоритма и прототипа программного обеспечения, осуществляющего увеличение производительности программных систем обработки и управления данными и формирование практических рекомендаций по их модернизации.

Разработанный прототип программного обеспечения прошел пилотное внедрение в ОАО «Уфимское моторостроительное производственное объединение», ОАО «Аврора» (гостиничный комплекс «Президент Отель»).

Результаты работы внедрены в учебный процесс УГАТУ в рамках курсов «Проектирование информационных систем», «Базы данных» и «Хранилища данных» для студентов специальности 080700 «Бизнес-информатика».

Связь с научными программами

Работа выполнена в период 2007-2010 г.г. на кафедре экономической информатики Уфимского государственного авиационного технического университета в рамках приоритетного национального проекта «Образование» по направлению «ЕИР-системы в управлении производством» (2007-2008), а также государственных контрактов и программ РНП.3.2.3.5788 (2006-2007), №3.2.3/6005 (2009-2010) и №3.2.3/5986 (2009-2010).

Апробация работы

Основные научные и практические результаты работ докладывались на следующих конференциях:

- Межвузовской научно-технической конференции «Принятие решений в условиях неопределенности», Уфа, УГАТУ, 2005;

-Региональной зимней школе-семинаре аспирантов и молодых ученых: «Интеллектуальные системы обработки. информации и управления», Уфа, УГАТУ, 2007-2009;

-Всероссийской молодежной научной конференции «Мавлютовские чтения» Уфа, УГАТУ, 2007,2009;

- Международной конференции по компьютерным наукам и информационным технологиям (CSIT), Уфа, 2007; Анталия, Турция, 2008; Крит, Греция, 2009;

-Международном научно-практическом семинаре «Управление информационной инфраструктурой организации на основе технологии открытых систем», Магнитогорск, МаГУ, 2008.

Публикации

Основные положения и результаты диссертационной работы опубликованы в 11 публикациях, включающих 5 статей, в том числе 1 - в рецензируемом журнале из списка ВАК РФ, 5 материалах конференций и 1 свидетельстве о регистрации программного продукта.

Структура и объем работы

Диссертация состоит из введения, 3-х глав основного материала, заключения, списка литературы и приложений. Работа изложена на 174 страницах машинописного текста, включая 36 рисунков и 15 таблиц. Библиографический список включает 125 наименований и занимает 12 страниц.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность диссертационной работы, формулируется цель и задачи исследования, перечисляются основные методы исследования, отмечается научная новизна и практическая значимость полученных результатов.

Первая глава посвящена анализу известных подходов к решению задачи повышения производительности ПС обработки и управления данными, обсуждаются их особенности, преимущества и недостатки.

Ставится задача определения и увеличения производительности ПС обработки и управления данными с заданным ограничением - невмешательством во внутреннюю структуру компьютерных систем с учетом ограничений на затрачиваемые средства. Обсуждаются три основных метода определения необходимой конфигурации ИС: метод, основанный на учете числа пользователей ИС, на пропускной способности ИС и нагрузочном тестировании производительности ИС.

При использовании метода, построенного на учете числа пользователей, на основе данных о поведении пользователей и одновременно работающих с

приложением пользователей, а также усредненных данных по аналогичным приложениям, имеющимся у производителя, рассчитывается необходимая конфигурация И С. В методе, основанном на анализе пропускной способности ИС, в дополнении используется информация об уровне сложности выполняемых транзакций, среднем значении объема данных, приходящихся на одного пользователя. В методе на основе использования тестов производительности реализуется алгоритм нагрузочного тестирования в условиях промышленной эксплуатации, что позволяет определить производительность оборудования и функциональность приложения в целом. В результате анализа в качестве основы для решения поставленной задачи был выбран метод, использующий тесты организации ТРС (Transaction Processing Performance Council - независимая некоммерческая организация, созданная для исследования задач обработки транзакций и производительности СУБД). Были выделены основные недостатки рассматриваемых тестов, которые, в основном, заключаются в невозможности определения зависимости производительности от составляющих ИС. Кроме того, данные тесты показывают лишь пиковую производительность ИС.

Выполнен анализ существующих реализаций ПО ведущими разработчиками СУБД и ПС (HP, Microsoft, ШМ, Oracle и др.) для управления, мониторинга и тестирования ПС, которые позволяют определить его производительность. Эти программные системы позволяют получить подробную диагностическую информацию. Однако вывод о необходимости замены или модернизации программного и аппаратного обеспечения систем, возлагается на высококвалифицированного эксперта в данной области. Исходя из этого, делается вывод о необходимости разработки единого комплексного метода увеличения производительности ПС с оценкой эффективности инвестированных средств.

Вторая глава посвящена разработке метода увеличения производительности ПС на основе индексирования данных и методики определения показателей ИС. Выполнен анализ влияния на его производительность. Рассматриваются теоретические основы предлагаемых методов.

Рассмотрена задача увеличения производительности ПС в контексте жизненного цикла инфраструктуры ИТ организации, определяются причинно-следственные связи снижения производительности ИС, делается вывод о необходимости использования эффективных путей увеличения производительности.

Основные компоненты ИС, используемые при анализе его производительности представлены на рис.1. В связи с тем, что в рамках постановки задачи архитектура информационного приложения, а также логика доступа к данным неизменны, так как изменения в них ведут к изменению логики бизнес-процессов приложений, делается вывод о необходимости исследовании только тех показателей, которые влияют на производительность ПС, но не изменяют семантику бизнес-процессов приложений, то есть организация хранения и доступа к данным. Тем самым, делается вывод, что необходимо при разработке инструментальных средств повышения эффективности ИС учитывать показатели выделенных компонент.

Клиент 2

-< Процессорная система ВДВ—» Оперативная память —» Дисковая подсистема • Сетевой интерфейс

Рисунок 1

Аппаратное обеспечение

Сервер приложений

„ N 1

Программное обеспечение / \

Сервер БД

(СУБД)

Переписывание кода приложения,

информационных систем, систем управления

Изменение организации данных * (изменение структуры БД)

Оптимизация выполнения транзакций " (изменение кода транзакций, запросов)

Уменьшение времени ' доступа к данным БД [индексирование данных)

Основные направления решения задачи анализа производительности ИС

Предлагается технология модификации программных систем обработки и управления данными, которая позволяет выполнить комплексный учет всех составляющих систем при условии соблюдения требования невмешательства во внутренние структуры БД с оценкой эффективности инвестированных средств:

1. Определяются показатели параметров СУБД, структуры используемой БД и аппаратного обеспечения ИС. Дня вычисления производительности данной ИС формируется тестовый набор запросов наиболее часто используемых клиентами при обращении к БД. В результате чего определяются возможные направления увеличения производительности.

2. Выполняется анализ эффективности предложенных решений по модернизации ПС, настроек СУБД и индексации данных. Определяются варианты модернизации с учетом экономических параметров ИС и выносится решение о реализации выбранного варианта из предложенных вариантов.

Далее конкретизирована данная технология в разработанных методе и алгоритме комплексной модификации ПС для увеличения ее производительности.

Как известно, в соответствии с ГОСТ Р ИСО/МЭК 9126 эффективность ИС определяется двумя комплексными показателями качества ПС:

-характером изменения во времени (выполнение операций ИС за определенное время);

- характером изменения ресурсов (объем используемых ресурсов ИС для выполнения операций).

Определим производительность ИС Р как количество транзакций, выполненных за одну минуту:

Р-'-КГ, Р", П (1)

где Р"с - показатели производительности ПС, Р* - показатели производительности аппаратного обеспечения ИС, I* - показатели коммуникаций сети ИС.

Показателями производительности программного обеспечения Р"° функции (1) являются блокировки (ограничение доступа к объектам БД с целью поддержания целостности данных) и индексирование данных.

Рассматривается пример нарушения требования невмешательства во внутренние структуры данных, заключающееся в том, что одно из свойств блокировок - уровень изоляции (степень ограничения доступа к данным), можно проставить в запросах соответствующей ^/-конструкцией, что противоречит принятому ограничению. Блокировки в нашем случае учитываются при описании производительности программного обеспечения ИС в качестве постоянных.

Делается заключение, что индексация данных является одним из возможных путей повышения производительности, который может дать положительный эффект. Выполнен отбор наиболее часто используемых запросов за заданное время при обращении к БД, и определена доля данных операций к общему числу операций производимых пользователями к БД. На основе собранной статистики, варьируя данный параметр, формируется некоторый тестовый набор запросов, с помощью которого можно определить величину производительности ИС. Для полей выбранных запросов создаются индексы для обеспечения повышения производительности их выполнения.

Предлагается метод, позволяющий сократить количество и объем часто используемых индексов при сохранении функциональности используемой БД. Создается для каждой таблицы рассматриваемой БД матрица CRUD (Таблица 1), аббревиатура которой выбрана в соответствии с основными операциями над данными БД (CRUD - create, retrieve, update, delete). Строки этой матрицы соответствуют полям таблицы, а столбцы - процедурам и запросам, которые осуществляют доступ к таблице БД. Приняты следующие обозначения: S - выбранные столбцы; О - упорядочение по столбцу; W - ссылки на столбец, G -группировки по столбцу.

Таблица 1. Матрица CRUD

Поле 3/ 3; 3Nz

п, Sa, о,,, wj,, gu Uli, On, Wit, Rh Sinz, OINX, WINЪ giNz

П, Sn, ot!, wj7, gu Sib Оц, wu, gn Si'Nz, OiNz, WiNz, KiNz

Пдгр $NdJ> °Nnl> WNvh KNdI SNpi, % V/ffp» SNdNz, OffuNz, WNpJV» Stoffe

В таблице 1 используются следующие обозначения:

П, е П - элемент множества полей таблицы;

3; е 3 — элемент множества запросов, использующих таблицу;

Np - количество полей в таблице;

N, - количество запросов, использующих таблицу;

Sa е S~ элемент множества, обозначающее включение поля П, в запросе 3/ (i,y = 1, если поле i присутствует в запросе на выборку данных j и 0 - в ином случае);

Оу е О - элемент множества, обозначающее упорядочивание по полю П,- в запросе 3, (о,у = 1, если поле г присутствует в запросе, использующем упорядочивание данных j и 0 - в ином случае);

Wjj е W— элемент множества, обозначающее использование условия по полю П,-в запросе 3,- (w,y = 1, если поле i присутствует в запросе, использующем условие j и 0 - в ином случае);

gii eG-элемент множества, обозначающее группировку по полю П, в запросе 3,- (ga = 1, если поле i присутствует в запросе, использующем группировку j и О - в ином случае).

Таким образом, сформировав матрицы CRUD для наиболее часто используемых таблиц БД, определим индексы, для полей, участвующих в запросах.

Кроме создания дополнительных индексов и удаления ненужных предлагается выигрыш в производительности получить, дефрагментировав индексы БД. Также в работе предложено использовать способ определения необходимости индексации поля таблицы, используя вычисленное значение селективности блоков данных (отношение числа блоков данных, содержащих, по крайней мере, одну строку, отвечающую условию запроса, к общему количеству блоков данных).

В это случае производительность ПС Р"с можно представить как

Рши)| (2)

где /блок - эффективность выбора уровня и продолжительности блокировок данных, Рад - эффективность выбора системы индексов. Уровень блокировок В определяется множеством:

В- {Дзаш #стр}, (3)

где Дзаш Апр - уровни блокировок строк и страниц соответственно при обращении к индексу.

Уровень изоляции блокировок определяется множеством:

U= {Um URO Um, Щ, (4)

где URu, Uцс, Ugs, Us - уровни изоляции блокировок read uncommitted (RU), read committed (RC), repeatable read (RR), serializable (S), соответственно.

Тогда эффективность настройки блокировок к данным определяется следующим образом:

Лл<ж=УГД U), (5)

Различные виды индексов задаются множеством:

{Auiacrj Люкласт) Дыч.неклост > 1хШл ^предсгК (6)

где 4ласт> -^нскласт, , /выч.иашаст. ^хмь Лтредст ~ множество кластеризованных и некла-стеризованных индексов, индексов в вычисляемых полях, XML-индексов и индексов в представлениях. Здесь:

-Аспаст ~ {Дн.класт; -^ун-сосг.класт}»Лсласт Л (7)

где /ун.класт> /уц.сост.иаст — множество уникальных и составных кластеризованных индексов.

^пекласт {^пр.некласт) -^покр.некласт}» ^некласт Л (8)

где Лф.некласг) Локр.вскласт - множество простых и покрывающих (в индексе используются все поля таблицы) некластеризованных индексов.

/XML = {Лсрв.ХМЬ Лтор-XMl}, IxML С I, (9)

где 7трв.хмь -^sropjcML - множество первичных и вторичных .XML-индексов.

Перечисленные виды индексов создаются для полей таблиц, определенных из матрицы CRUD и по вычисленному значению селективности блоков данных выполняемых запросов. Количество таких матриц равно количеству сущностей в БД. Также рассчитывается и используется уровень фрагментации индекса (коэффициент насыщенности дерева В+ - отношение количества занятых ключей в узле дерева к общему количеству ключей в данном узле).

Для реляционной БД объем индексов определяется следующим образом

.г „ М-у-1

Кп^^.-К——-, (10)

где Ni = Na ■ у, - количество индексов на таблице (Na - количество атрибутов,^;

- коэффициент индексирования полей таблицы), N, - количество сущностей, N

- количество записей в таблице, у - коэффициент насыщенности дерева В+.

Селективность блоков данных определяется следующим образом:

(П)

где Ьс - число блоков данных, содержащих по крайней мере одну строку; Вс - общее количество блоков данных.

Таким образом, эффективность выбора системы индексов формально выражается следующим выражением:

Лшд=/(Х VUJ. (12)

Производительность ПС Р™ представляется следующим образом:

Pac=f(B, U,I, FUJ, (13)

Для реализации комплексного подхода рассмотрены показатели эффективности аппаратного обеспечения ИС и их влияние на его производительность. Производительность аппаратного обеспечения ИС Р3 зависит от соответствующих показателей

P*=f(Pm,Pn,Pn,PJ, (14)

где Рп?, Ра, Рл, Рс - показатели производительности частей аппаратного обеспечения ИС по процессорной системе, оперативной памяти, дисковой и сетевой подсистемах соответственно.

Основная метрика производительности ИС на основе СУБД по версии ТРС Рт характеризуется количеством транзакций, выполненных в течение минуты и состоит из двух составных частей:

1. Ps - определяет производительность исследуемой ИС в зависимости от объема БД к среднему времени выполнения набора транзакций (запросов), выполненных последовательно в одном потоке за одну минуту;

2. Ts - определяет пропускную способность выполнения множества транзакций в нескольких параллельных потоках за одну минуту.

На их основе вычисляется производительность ИС и относительный критерий «Производительность/Стоимость».

Предложены решения для устранения выявленных на этапе анализа недостатков тестов ТРС. Для первого случая необходимо определить влияние со-

ставляющих ИС на общую производительность выполнения транзакций для базы, использующейся в тестах ТРС, на основе информации о результатах тестирования с различными конфигурациями конкретного ИС. Таким образом, имея текущую конфигурацию ИС, на основе собранной статистики результатов тестирования можно определить долю увеличения производительности от изменения определенных компонент ИС:

^ = ¿^=¿4-!)' (15)

4-1 4-1 "

где к - компонента ИС (к = 1...4, 1 - процессор, 2 - оперативная память, 3 -дисковая подсистема, 4 - сетевая подсистема); Рк - производительность при ¿-том изменяемом компоненте ИС; Р - производительность текущей конфигурации ИС.

Новое значение производительности модернизированного ИС определяется следующим образом:

Р' = Р-0+АР). (16)

Затраты, которые необходимо понести для данного увеличения производительности АС\

ЛС = £дс4=£(С*-Сь,„), (17)

*-1 4-1

где С к - стоимость ¿-той изменяемой компоненты ИС,

Сктек- стоимость ¿-того компонента текущей конфигурации ИС. Количество возможных вариантов конфигураций ИС:

¿=П*<=ГК> (18)

/-1 1.1

где ¿,- - количество возможных вариантов выбора одного элемента из 1-й группы компонентов ИС.

Для второго случая вводятся поправочные коэффициенты в формулу (15), которые позволяют оценить реальную производительность ИС при определенной загрузке ресурсов. Для компонентов аппаратного обеспечения ИС в ходе тестовых испытаний были проведены тестовые эксперименты производительности в зависимости от загрузки данного компонента.

Показатели производительности компонентов аппаратного обеспечения ИС представлены следующим выражением:

= /,(**), (19)

где Хк-загрузка ¿-го компонента ИС, 0 <х^<].

Справедливо предположить, что при нулевой загрузке ресурсов ИС получим максимальную производительность

тах(Рк) =Л(0). (20)

Сделано допущение, что характер зависимости производительности от загрузки компонентов ИС будет одинаковым для различных наборов компонентов. Таким образом, с учетом данного предположения, можно проанализировать влияние загрузки компонентов ИС на его общую производительность и получить новое значение производительности по формуле (16) с учетом характера загруженности ИС.

В процессе тестирования получаются пары значений (jc0; f(xtj), (яf(xt)), ■ ■ •, {xn-h f(Xn-i)), где х - тестируемый показатель при 0 < х < l,f(x) - производительность И С. Промежуточное значение производительности f(x) определяется методом линейной интерполяции по значению загрузки рассматриваемого компонента.

Искомые поправочные коэффициенты, которые дали бы реальную производительность ИС при определенной загрузке ресурсов, можно представить следующей формулой:

m = 1±L- ЛМ п,ч

1 /ДО)" (21)

Значение производительности ИС в новой конфигурации и загруженных компонентах будет выражаться следующей формулой:

P" = P-f[Dt . (22)

ы

Текущее значение производительности ИС с учетом загруженности компонентов будет определяться следующим образом:

р"=р- lW> (23)

к-1

где литера m обозначает текущее значение производительности.

Сконфигурируем тестовый набор запросов наиболее часто используемых в БД исследуемой ИС и вычислим ее производительность PDB по этому набору.

Введем коэффициент DBB, выражающий зависимость производительности исследуемой БД и известной БД, принятой организацией ТРС как наиболее типичной в задачах OLTP и OLAP. Коэффициент DnB вычисляется для текущей конфигурации имеющейся ИС:

рт

• (24)

DB

Тогда новое значение производительности с учетом загрузки компонентов будет выражаться следующей формулой:

р» р»

(25)

UDB r

Следует отметить, что описанные выше показатели ИС не влияют на внутренние структуры данных. Показатели коммуникаций сети ИС в (1) выражаются конфшурацией информационно-телекоммуникационной сети. Сделано допущение, что пропускная способность сети и ее конфигурация достаточна для обеспечения эффективной работы ИС. Был проведен ряд экспериментов по определению зависимости производительности ИС от пропускной способности сети при различных вариантах конфигурации ИС. К значимому изменению производительности ИС это не привело. Поэтому в рамках настоящего исследования показатели коммуникаций сети ИС приняты в качестве постоянных.

Введем понятие эффективности модернизации ПС, нацеленную на повышение ее производительности:

Е=ЛС (26)

АР'

Пусть X = {хь ..., хь} - вектор показателей ПС, где А - количество показателей ПС, участвующих в модернизации ПС.

Ставятся следующие задачи увеличения производительности ПС:

1. При имеющихся ресурсах получить максимальную производительность ПС при возможных ограничениях на изменяемые параметры х* = ад

Р = Х^О») шах, при С, = ¿ДСО,,). *-] ы

2. При заданных требованиях к производительности ПС минимизировать необходимые затраты при возможных ограничениях на изменяемые параметры ** = Хок-

С = ->пш1, приР, = ^АР(хк).

При этом пара, характеризующая компонент, выбирается из дискретного множества результатов тестирования производительности ПС по тестам ТРС:

= (29)

где ак—количество различных вариантов выбора к-то компонента.

С учетом ограниченного множества вариантов компонент ПС задачи 1 и 2 предлагается решать на основе полного перебора вариантов.

Третья глава посвящена разработке и пилотному внедрению прототипа программного обеспечения, реализующего описанную во второй главе комплексную технологию увеличения производительности ПС.

Технология увеличения производительности ПС представляет собой следующий ряд основных этапов:

1. Выполняется комплексный анализ показателей параметров СУБД, и структуры используемой БД и аппаратного обеспечения ИС. В результате чего определяются возможные направления увеличения производительности с последующим выбором эффективных с технической и экономической точки зрения решений. Далее анализируются запросы наиболее часто используемых клиентами при обращении к БД и на основе собранной статистики формируется некоторый тестовый набор запросов, с помощью которого можно будет вычислить производительность данной ИС.

2. Выполняется анализ эффективности предложенных решений по модернизации ПС, настроек СУБД и индексации данных. На этом этапе определяются варианты модернизации с учетом экономических параметров ИС и выносится решение о реализации выбранного варианта из предложенных вариантов. При необходимости изменяются принятые ограничения, вновь определяются варианты модернизации и выносится решение о реализации предложенного варианта.

В работе разработана функциональная модель процесса увеличения производительности ПС на основе СУБД и проведена декомпозиция функциональных блоков для решения задачи увеличения производительности ПС.

Данные о конфигурации ИС, а также мониторинг операций работы СУБД с БД записываются в хранилище данных, модель которого представлена на рис 2.

На основе предложенного во 2-й главе метода индексации данных был разработан алгоритм индексирования данных с применением матрицы С1ШБ и

селективности блоков данных, представленный на рис. 3. Также определяется уровень фрагментации, в зависимости, от которого производится перестроение (удаление старого индекса и создание нового) или реорганизация (дефрагмен-тация) индекса.

Рисунок 2 - Модель хранения архивной информации о работе ИС и СУБД

Рисунок 3 - Блок-схема алгоритма индексирования данных методом матрицы СЕШГ) и селективности блоков данных

Анализ эффективности предлагаемых методов и алгоритмов выполнен на примере системы управления гостиницей (СУГ) «Epitome PMS», внедренной в гостиничном комплексе «Президент Отель» г. Уфа, РБ. В результате апробации метода индексирования данных и селективности блоков данных удалось добиться повышения скорости работы системы на 21,88 %. Повышение производительности при модернизации конфигурации СУГ методом, описанным в работе, составило 26,23%. Общее время отклика системы при использовании двух методов по полученным результатам эксплуатации системы снизилось на 48,11% (Таблица 2). Погрешность решения от полученных на практике данных после модернизации программного комплекса равна 4,76 %.

Таблица 2. Оценка эффективности разработанных методов

Без использования методов увеличения производительности Комплексное увеличение производительности

Индексирование методом матрицы CRUD Модернизация аппаратного обеспечения ИС

Количество транзакций в тесте 2817

Количество транзакций в минуту 349 426 440

Количество индексов 528 414 528

Размер индексов, Мб 509 241 509

Конфигурация аппаратного обеспечения ИС Intel Xeon E5405 (2GHz); 4(2x2)Gb DDR2; 4x160Gb (8Mb Buffer); Gigabit Ethernet Intel Xeon Е5405 (2GHz); 4(2x2)Gb DDR2; 4x160Gb (8Mb Buffer); Gigabit Ethernet Intel Xeon Е5420 (2,5 GHz); 8(4x2)Gb DDR2; 2x320Gb (32Mb Buffer); Gigabit Ethernet

Повышение скорости работы системы, % 0 48,11

21,88 26,23

Стоимость затрат 0 0 323$

Делается вывод об эффективности предложенных решений. В главе рассматриваются особенности применения метода индексирования данных и селективности блоков данных для БД единого справочника материалов, предназначенный для организации централизованного хранения и использования информации по материалам и сортаментам, используемой различными системами, эксплуатирующимися на ОАО «Уфимское моторостроительное производственное объединение». Показано, что в результате выполнения индексации данных разработанным методом удалось добиться повышения скорости работы БД материалов на тестовом наборе на 12,09%.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Предложена технология модификации программных систем обработки и управления данными, позволяющая выполнить комплексный учет всех составляющих систем при условии соблюдения требования невмешательства во внутренние структуры базы данных, а также учитывать затраты на модернизацию информационных систем для их эффективного развития.

2. Разработан метод увеличения производительности программных систем на основе индексирования базы данных, позволяющий сократить количество и объем часто используемых индексов для выполнения операций производимых пользователями БД при сохранении ее функциональности.

3. Разработана методика определения показателей программных систем обработки и управления данными на основе нагрузочного тестирования, позволяющая оценить их влияние на общую производительность и сформировать практические рекомендации по конфигурированию эффективного состава информационных систем для достижения заданной производительности.

4. Разработан алгоритм и прототип программного обеспечения увеличения производительности программных систем обработки и управления данными, реализующий предложенную технологию, метод и алгоритм и позволяющий оценить их эффективность. Прототип прошел апробацию в ОАО «Аврора», гостиничный комплекс «Президент Отель», г. Уфа, где внедрена система управления гостиницей «Epitome PMS». Установлено, что общее время отклика системы снизилось на 48,11% в результате применения предложенных алгоритма увеличения производительности программных систем на основе индексирования данных, а также методики определения показателей программных систем обработки и управления данными. Погрешность решения от полученных на практике данных равна 4,76 %. Также в результате выполнения индексации данных для БД материалов, которая используется различными системами, эксплуатирующимися на ОАО «Уфимское моторостроительное производственное объединение», удалось добиться повышения скорости работы БД материалов на тестовом наборе на 12,09 %.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

I. Подход к анализу характеристик производительности БД / В. В. Мартынов, Е. Н. Прошин // Вестник УГАТУ: науч. журн. уфимск. гос. авиац. техн. ун-та. Серия Управление, вычислительная техника и информатика. 2009 . Т.13, №2 (35). С. 198-205.

2. Нахождение цикла модифицированного вычислительного алгоритма потенциалов / А. П. Мартынов, Е. Н. Прошин // Принятие решений в условиях неопределенности: Межвуз. научн. сб-к. Уфа: УГАТУ, 2005. С. 25 -32.

3. Организация бизнес-процессов ведения справочников PDM-системы промышленного предприятия / В. В. Мартынов, Е. Н. Прошин // Актуальные пробл. упр. в соц. и экон. сист.: Межвуз. науч. сб-к. Уфа: УГАТУ, 2006. С. 131-135.

4. Анализ текущего состояния рынка СУБД для хранилища данных / Е. Н. Прошин // Интеллект, сист. обр-ки инф-ции и управл.: Сб-к тр. 2-ой per. зимн. шк.-сем. асп. и молод, ученых. Т.2. Уфа: Технология, 2007. С. 175-179.

5. Разработка подсистемы ведения справочника материалов для крупного машиностроительного объединения / Е. Н. Прошин // Мавлютовские чтения: Материалы всерос. молодежи, науч. конф.. Уфа: УГАТУ, 2007. Т.4. С.149 - 151.

6. Проектирование распределенной СУБД применительно к БД материалов для крупного машиностроительного объединения / В. В. Мартынов, Е. Н. Прошин // Матер. 9-ой межд. конф. комп. наук и инф. техн. CSIT'2007. Красно-усольск, Уфа, 2007. Т.2. С. 222 - 228 (на англ. языке).

7. Использование свободно распространяемого программного обеспечения для управления бизнес-процессами / Е. Н. Прошин // Управление инф. инфраструктурой организации на основе технологии откр. систем: Сб-к тр. участн. V межд. науч.-практ. сем.. Магнитогорск: МаГУ, 2008. С. 74 - 77.

8. Эволюционное моделирование баз данных как метод изменения структуры и управления изменениями / В. В. Мартынов, Е. Н. Прошин // Матер. 10-ой межд. конф. комп. наук и инф. техн. CSIT'2008. Турция, Анталия, 2008. Т. 2. С. 202 -207. (на англ. языке).

9. Стратегии оптимизации и повышение эффективности работы СУБД / Е. Н. Прошин // Мавлютовские чтения: Материалы всерос. молодежи, науч. конф.. Уфа: УГАТУ, 2009. Т.З. С.108 -109.

10. Анализ производительности программно-аппаратного комплекса СУБД / В. В. Мартынов, Е. Н. Прошин // Матер. 11-ой межд. конф. комп. наук и инф. техн. CSIT'2009. Греция, Крит, 2009. Т. 3. С. 46 - 50. (на англ. языке).

11. Инструментальные средства оптимизации производительности программно-аппаратного комплекса / Мартынов В.В., Прошин E.H. // Свидетельство об официальной регистрации программы для ЭВМ .№2010613961 в РосАПО от 18.06.2010.

В рецензируемом журнале из списка ВАК

В других изданиях

Диссертант

E.H. Прошин

ПРОНИН Евгений Николаевич

КОМПЛЕКСНАЯ ТЕХНОЛОГИЯ МОДИФИКАЦИИ ПРОГРАММНЫХ СИСТЕМ

ОБРАБОТКИ И ХРАНЕНИЯ ДАННЫХ С ИСПОЛЬЗОВАНИЕМ ИНДЕКСИРОВАНИЯ

Специальность 05.13.11 -Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Подписано к печати 26.08.2010. Формат 60x84 1/16. Бумага офсетная. Печать плоская. Гарнитура Times New Roman. Усл. печ. л. 1,0. Усл. кр.-отт. 1,0. Уч.- изд. л. 0,9. Тираж 100 экз. Заказ № 350

ГОУ ВПО Уфимский государственный авиационный технический университет Центр оперативной полиграфии 450000, Уфа-цеятр, ул. К.Маркса,12

Оглавление автор диссертации — кандидата технических наук Прошин, Евгений Николаевич

ВВЕДЕНИЕ.

ГЛАВА 1. АНАЛИЗ СУЩЕСТВУЮЩИХ ПОДХОДОВ К УВЕЛИЧЕНИЮ ПРОИЗВОДИТЕЛЬНОСТИ ИС НА ОСНОВЕ СУБД.

1.1 Введение в проблему производительности ИС на основе СУБД.

1.2 Анализ подходов определения производительности ИС на основе СУБД

1.3 Анализ известных методик тестирования производительности ИС на основе СУБД.

1.4 Анализ программных решений определения производительности ИС на основе СУБД.

1.5 Постановка цели и задач исследования.

1.6 Выводы по главе.

ГЛАВА 2. РАЗРАБОТКА МЕТОДОВ КОМПЛЕКСНОГО УВЕЛИЧЕНИЯ ПРОИЗВОДИТЕЛЬНОСТИ ПРОГРАММНЫХ СИСТЕМ НА ОСНОВЕ СУБД.

2.1 Подходы к управлению ИТ-инфраструктурой организации.

2.2 Исследование производительности программных систем на основе СУБД.

2.3 Разработка математической модели увеличения производительности программных систем.

2.4 Разработка математической модели увеличения производительности аппаратной обеспечения ИС.

2.5 Определение производительности при определенном вложении средств на модернизацию программных систем.

2.6 Выводы по главе.

ГЛАВА 3. РАЗРАБОТКА ПРОТОТИПА ИНФОРМАЦИОННОЙ СИСТЕМЫ ПОВЫШЕНИЯ ПРОИЗВОДИТЕЛЬНОСТИ ПРОГРАММНЫХ СИСТЕМ И АНАЛИЗ ЭФФЕКТИВНОСТИ ЕГО ИСПОЛЬЗОВАНИЯ.

3.1 Разработка архитектуры оптимизирующей информационной системы

3.2 Разработка прототипа программного обеспечения увеличения производительности программных систем.

3.3 Анализ эффективности разработанного прототипа программного обеспечения увеличения производительности программных систем на основе СУБД.

3.4 Выводы по главе.

Введение 2010 год, диссертация по информатике, вычислительной технике и управлению, Прошин, Евгений Николаевич

Актуальность темы исследования

Современные информационные системы (ИС) представляют собой совокупность программных систем (ПС), технического и организационного обеспечения, а также персонала и предназначены для обработки и управления информацией в рамках конкретной предметной области. Данные ПС могут быть разработаны разными компаниями, на различных платформах, с использованием разных типов баз данных (БД). Подавляющее большинство таких систем строится по концептуально общей реляционной схеме.

Следует заметить, что объемы данных, число пользователей и приложений, работа которых связана с использованием реляционных БД, с течением времени может увеличиваться, поэтому ИС должны обеспечивать стабильную производительность и быструю адаптацию характеристик и показателей своих программных подсистем с учетом изменений.

Определение инфраструктуры информационных технологий (ИТ) в организации лежит в основе поиска, оправданной величины начальных инвестиций в базовое программное и аппаратное обеспечение. Тем самым, одной из важных составляющих на пути к осуществлению длительной эффективной промышленной эксплуатации ИС организации, развивающей информационную инфраструктуру, является разработка способов повышения эффективности процесса модификации ПС, использующих в своем составе СУБД.

Объектом исследования является процесс обработки и управления данными программными системами.

Предметом исследования является разработка методов и инструментальных средств повышения эффективности процесса модификации программных систем обработки и управления данными.

Анализ отечественной, зарубежной литературы и источников сети Интернет позволяет сделать вывод, что исследованием и разработкой методов решения вышеуказанной задачи занимаются крупные информационные компании такие как HP, Microsoft, IBM, Oracle и др. Каждая из них предлагает программные средства и технологии, которые в основном нацелены на выбор достаточных аппаратных средств для функционирования существующих ИС и являются закрытыми для конечного потребителя. Среди российских и зарубежных ученых, изучающих проблемы производительности ПС и их модификацию, а также производительности СУБД можно отметить Кузнецова С.Д., Кодда Э.Ф., Дейта К.Дж. и др.

В их трудах задаче определения показателей ПС и влиянию последних на общую производительность уделяется лишь частичное внимание, что позволяет решать задачу производительности для отдельных компонент ПС. В связи с этим, задача разработки методов и алгоритмов комплексной модификации ПС является актуальной как в теоретическом, так и в практическом плане. Тем самым, тематика данной исследовательской работы является актуальной.

Цель диссертационной работы

Целью диссертационной работы является повышение эффективности процесса модификации программных систем посредством разработки методов, алгоритмов и программного обеспечения увеличения их производительности при условии соблюдения требования невмешательства во внутренние структуры базы данных.

Задачи исследования

Для достижения поставленной цели в диссертационной работе решаются следующие задачи:

1. Разработка комплексной технологии модификации программных систем обработки и управления данными для увеличения их производительности.

2. Разработка метода увеличения производительности программных систем обработки и управления данными на основе их индексирования.

3. Разработка методики определения показателей эффективности программных систем и их влияние на производительность последних.

4. Разработка алгоритма и прототипа программного обеспечения увеличения производительности программных систем обработки и управления данными с последующим проведением анализа эффективности предлагаемой технологии.

Методы исследований

В работе использовались методы системного анализа и различные методики тестирования сложных систем, структурного анализа и проектирования информационных систем (Structured Analysis and Design Technique), методология унифицированного процесса разработки программного обеспечения (Rational Unified Process) на основе унифицированного языка моделирования (Unified Modeling Language), методы математического и имитационного моделирования, математической статистики, реляционная методология организации хранения данных, а также методы модульного, объектно-ориентированного и системного программирования.

Основные положения, выносимые на защиту

1. Комплексная технология модификации программных систем обработки и управления данными, обеспечивающая возможность их эффективного развития.

2. Метод увеличения производительности программных систем обработки и управления данными на основе их индексирования.

3. Методика определения показателей программных систем по заданным требованиям производительности, основанная на нагрузочном тестировании.

4. Алгоритм и прототип программного обеспечения увеличения производительности программных систем обработки и управления данными, с последующим анализом эффективности предлагаемой технологии.

Научная новизна работы

Научная новизна работы заключается в следующем:

1. Разработана технология модификации программных систем обработки и управления данными, отличающаяся от существующих комплексным учетом всех составляющих систем при условии соблюдения требования невмешательства во внутренние структуры базы данных, позволяющая учитывать затраты на модернизацию информационных систем для их эффективного развития.

2. Разработан метод увеличения производительности программных систем обработки и управления данными, основанный на их индексировании, • позволяющий сократить количество и объем часто используемых индексов при сохранении функциональности базы данных.

3. Разработана методика определения показателей программных систем обработки и управления данными по заданным требованиям производительности, основанная на нагрузочном тестировании и отличающаяся от известных тем, что использует как технические, так и экономические параметры информационных систем, что позволяет оценить их влияние на общую производительность.

Практическая значимость и внедрение результатов

Практическая ценность результатов, полученных в диссертации, заключается в разработке:

- методики определения показателей программных систем обработки и управления' данными, обеспечивающей выполнение анализа их влияния на производительность последних, что позволяет конфигурировать состав информационных систем для достижения заданной производительности;

- алгоритма и прототипа программного обеспечения, осуществляющего увеличение производительности программных систем обработки и управления данными и формирование практических рекомендаций по их модернизации.

Разработанный прототип программного обеспечения прошел пилотное внедрение в ОАО «Уфимское моторостроительное производственное объединение», ОАО «Аврора» (гостиничный комплекс «Президент Отель»),

Результаты работы внедрены в учебный процесс УГАТУ в рамках курсов «Проектирование информационных систем», «Базы данных» и «Хранилища данных» для студентов специальности 080700 «Бизнес-информатика».

Связь с научными программами

Работа выполнена в период 2007-2010 г.г. на кафедре экономической информатики Уфимского государственного авиационного технического университета в рамках приоритетного национального проекта «Образование» по направлению «ERP-системы в управлении производством» (2007-2008), а также государственных контрактов и программ РНП.3.2.3.5788 «Разработка технологии согласованного управления информационными ресурсами сферы образования и науки на базе информационных моделей в области ИЛИ (CALS) технологий» (2006-2007), №3.2.3/6005 «Технология создания адаптивных распределенных электронных ресурсов как элементов образовательной среды с учетом международных стандартов» (2009-2010), №3.2.3/5986 «Управление компетенциями специалистов в области информационных технологий на базе объектного подхода в рамках международных стандартов обучения» (2009-2010).

Апробация работы и публикации

Основные научные и практические результаты работ докладывались на следующих конференциях:

Межвузовской научно-технической конференции «Принятие

I решений в условиях неопределенности», Уфа, УГАТУ, 2005;

Региональной зимней школе-семинаре аспирантов и молодых ученых: «Интеллектуальные системы обработки информации и управления», Уфа, УГАТУ, 2007-2009;

Всероссийской молодежной научной конференции «Мавлютовские чтения» Уфа, УГАТУ, 2007, 2009;

Международной конференции по компьютерным наукам и информационным технологиям (С81Т), Уфа, 2007; Анталия, Турция, 2008; Крит, Греция, 2009;

Международном научно-практическом семинаре «Управление информационной инфраструктурой организации на основе технологии открытых систем», Магнитогорск, МаГУ, 2008.

Публикации

Основные положения и результаты диссертационной работы опубликованы в 11 источниках, включающих 5 статей, 5 материалов конференций и 1 свидетельстве о регистрации программного продукта. Результаты работы опубликованы в 1-м издании, входящем в перечень ведущих рецензируемых научных журналов и изданий, выпускаемых в Российской Федерации в соответствии с требованиями ВАК Минобразования и науки РФ. Перечень публикаций отражен в списке используемой литературы.

Структура и объем работы

Диссертация состоит из введения, 3-х глав основного материала, заключения, списка литературы и приложений. Работа изложена на 174 страницах машинописного текста, кроме того, содержит 36 рисунков и 15 таблиц. Библиографический список включает 125 наименований и занимает 12 страниц.

Заключение диссертация на тему "Комплексная технология модификации программных систем обработки и хранения данных с использованием индексирования"

3.4 Выводы по главе

В данной главе проведен анализ эффективности и работоспособности, разработанных в диссертации методов и реализованной на их основе оптимизирующей ИС, основными положениями которого являются представлены следующие пункты:

1. Рассмотрена распределенная архитектура данной системы, позволяющая обеспечить работу в режиме "клиент-сервер". Было выполнено описание программного комплекса оптимизирующей ИС. Предложена и реализована методика проведения нагрузочного тестирования и инструментарий, облегчающий процесс, создания нагрузочных тестов, являющейся основой для подсистемы тестирования производительности.

2. Внедрение методов и алгоритмов по повышению производительности ИС на основе СУБД в отделе информационных технологий ОАО «Аврора» и её опытная эксплуатация показали адекватность разработанных в диссертации моделей данных, а также методов и алгоритмов их использования, что обусловлено заключением специалистов отдела информационных технологий ОАО «Аврора».

3. Анализ эффективности использования разработанных методов и алгоритмов по повышению производительности ИС на основе СУБД показал, что в результате индексирование данных методом матрицы CRUD и селективности блоков данных удалось добиться повышения скорости работы системы в среднем на 21,88 %. Повышение производительности при модернизации аппаратного обеспечения ПК методами, описанными с работе составили в среднем 26,23%. Общее время отклика системы при использовании двух методов, по полученным результатам эксплуатации системы снизилось на 41,82%. Также, в результате выполнения индексации данных для БД материалов, которая используется различными системами, эксплуатирующимися на ОАО «Уфимское моторостроительное производственное объединение», удалось добиться повышения скорости работы тестового набора на 12,09 %.

ЗАКЛЮЧЕНИЕ

В работе решена актуальная задача повышения производительности программных комплексов, использующих в своем составе некоторые БД, реализованные в СУБД, имеющих различное назначение, структуру и форматы представления данных, при условии соблюдения требования невмешательства во внутренние структуры БД, на основе разработки методов комплексной оптимизации производительности программной и аппаратной части СУБД. Осуществлена разработка метода определения характеристик программного комплекса на основе СУБД, исследовано их влияние на производительность. Разработан метод оптимизации производительности программного комплекса на основе индексирования данных и модернизации аппаратной части СУБД. Использование данных методов позволяет достичь поставленной цели за счет автоматизации процесса структурированной обработки всего набора информации об объектах программного комплекса на основе СУБД с учетом затрачиваемых средств.

При решении этой задачи получены следующие научные и практические результаты:

1. Предложена технология модификации программных систем обработки и управления данными, позволяющая выполнить комплексный учет всех составляющих систем при условии соблюдения требования невмешательства во внутренние структуры базы данных, а также учитывать затраты на модернизацию информационных систем для их эффективного развития

2. Разработан метод увеличения производительности программных систем на основе индексирования базы данных, позволяющий сократить количество и объем часто используемых индексов при сохранении функциональности базы данных. Индексы создаются для тех полей таблиц БД, доступ к которым осуществляется запросами, наиболее часто использующимися для выполнения операций производимых пользователями к БД.

3. Разработана методика определения показателей программных систем обработки и управления данными на основе нагрузочного тестирования, позволяющая оценить их влияние на общую производительность и сформировать практические рекомендации по конфигурированию эффективного состава информационных систем для достижения заданной производительности.

4. Разработан алгоритм и прототип программного обеспечения увеличения производительности программных систем обработки и управления данными, реализующий предложенную технологию, метод и алгоритм и позволяющий оценить их эффективность. Прототип прошел апробацию в ОАО «Аврора», гостиничный комплекс «Президент Отель», г. Уфа, где внедрена система управления гостиницей «Epitome PMS». Установлено, что общее время отклика системы снизилось на 48,11% в результате применения предложенных алгоритма увеличения производительности программных систем на основе индексирования данных, а также методики определения показателей программных систем обработки и управления данными. Погрешность решения от полученных на практике данных равна 4,76 %. Также в результате выполнения индексации данных для БД материалов, которая используется различными системами, эксплуатирующимися на ОАО «Уфимское моторостроительное производственное объединение», удалось добиться повышения скорости работы БД материалов на тестовом наборе на 12,09 %.

Библиография Прошин, Евгений Николаевич, диссертация по теме Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

1. Астелс Д., Миллер Г., Новак М. Практическое руководство по экстремальному программированию. Издательство Вильяме, 2002, 320 с.

2. Ахлаков Ш. Уровни зрелости ИТ-инфраструктуры предприятияЭлектронный ресурс. — hltp://www.iteam.ru/publications/it/section91/article3182/

3. База данных Электронный ресурс. — http://ru.wikipedia.org/wiki/Ba3aflaHHbix.

4. Базы данных: Учебник для высших учебных заведений / Под ред. проф. А. Д. Хомоненко. — 4-е изд., доп. и перераб. — СПб.: КОРОНА принт,2004. 736 с.

5. Бесков-Доронин Д. Оптимизация баз данных. http://www.profyclub.org/articles/380/3241.

6. Блокировка (СУБД) Электронный ресурс. -Ьир://т^к1реё1а.о^^Ы/Блокировка(СУБД).

7. Бронштейн Е.М. Комбинаторика в задачах: Методические указания для самостоятельной работы по дискретной математике. Уфа: УАИ, 1988 .— 12с.

8. Вебер Э. Производительность и масштабируемость SQL Server 2008. http://msdb.ru/Downloads/SQL2008/whitepapers/ PerfandScaleRU.docx

9. Вендров А.М. CASE-технологии. Современные методы и средства проектирования информационных систем. М.: Финансы и статистика, 1998.

10. Виейра Р. Программирование баз данных Microsoft SQL Server 2005 для профессионалов. M.: ООО «И.Д. Вильяме», 2008. - 1072 е.: ил.

11. Виейра Р. Программирование баз данных Microsoft SQL Server2005. Базовый курс. M.: ООО «И.Д. Вильяме», 2007. - 832 е.: ил.

12. Влияние объёма оперативной памяти на производительность компьютера Электронный ресурс. -h ttp ://w w w. oszone .net/33905/Memorysize.

13. Волков Д. Оптимизация информационных систем на основе СУБД Oracle Электронный ресурс. http://www.oracle.com/global/ru/oramag/oct2006/russiaoptimvolk.html

14. Волоха А. В. Microsoft SQL Server 2005. Новые возможности. -СПб.: Питер, 2006. 304 е.: ил.

15. Вязилов Е.Д. ВЫБОР СУБД. http://vt.obninsk.rU/attach/l/654/LekciyaViborSUBD.doc

16. Гагарина JÏ. Г., Кокорева Е. В., Виснадул Б. Д. Технология разработки программного обеспечения. — М.: ИД «ФОРУМ»; ИНФРА-М, 2008. — С. 400.

17. Гилев В.В. Оптимизация 1С предприятие 8.1 Электронный ресурс., http://www.gilev.ru/lc/81/opt.htm

18. Гладченко А. Приборная панель производительности SQL Server 2005 Электронный ресурс. -http://msmvps.com/blogs/gladchenko/archive/2007/03/08/658350.aspx

19. Голицына О. JI. Базы данных: учебное пособие для вузов. М.: Форум: Инфра-М, 2005.-352 е.: ил.

20. Гома X. UML. Проектирование систем реального времени, параллельных и распределенных приложений. — М.: ДМК Пресс, 2002. — 704 е.: ил.

21. ГОСТ 34.320-96. «Информационные технологии. Система стандартов по базам данных. Концепции и терминология для концептуальной схемы и информационной базы», Госстандарт РФ 2001г.

22. ГОСТ 34.601-90. «Информационная технология. Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Стадии создания», Госстандарт Союза ССР 1992г.

23. ГОСТ Р ИСО/МЭК 10032-2007. «Информационная технология. Эталонная модель управления данными», Национальный стандарт РФ 2008г.

24. ГОСТ Р ИСО/МЭК 9126-93. «Информационная технология. Оценка программной продукции. Характеристики качества и руководства по их применению», Госстандарт РФ 1994г.

25. Григорьев Ю.А., Бурдаков А.В. Анализ характеристик производительности распределенных систем обработки данных Электронный ресурс., http://www.geocities.com/burdakov/artlrus.html.

26. Гургенидзе А. Системы управления базами данных: гонка за скоростью Электронный ресурс. http://www.connect.ru/article.asp?id=6321.

27. Дейт К.Дж. Введение в системы баз данных, 8-е изд. — М.: «Вильяме», 2006. - 1328 с.

28. Джонс Дж. Методы проектирования. М.: Мир, 1986.

29. Дудченко В. Мониторинг и повышение эффективности информационных систем: подход Embarcadero Электронный ресурс. — http://software-testing.ru/Hbrary/testing/performance-testing/93

30. Елашкин М. Кто сильнее кит или слон? Электронный ресурс. / М. Елашкин // Журнал «СЮ» 2003, № 2 (12). (http://offline.cio-world.ru/2003/12/24052/).

31. Елашкин М. Оценка производительности программно-аппаратных решений. Проблема выбора Электронный ресурс. http://www.elashkin.com/attach.asp?ano=72.

32. Елашкин М. Планирование проектов с помощью сайзеров Электронный ресурс. / М. Елашкин // Журнал «СЮ» 2003, № 4 (14). (http://offline.cio-world.ru/2003/14/26010/).

33. Жизненный цикл СУБД Электронный ресурс. -http://ru.wikipedia.org/wiki/ЖизнeнныйциклCУБД.

34. Заикин О.А., Советов Б.Я. Проектирование интегрированных систем обработки информации и управления. Учебное пособие. М., МГАП "Мир Книги", 1994.

35. Закон Амдала Электронный ресурс. — http://ru.wikipedia.org/wiki/ЗaкoнAмдaлa.

36. Закон Парето Электронный ресурс. -http://ru.wikipedia.0rg/wiki/3aK0HnapeT0.

37. Зиндер Е.З. Бизнес-реинжиниринг и новое системное проектирование. М.: Синтез, 1997.

38. Индекс (базы данных) Электронный ресурс. — http://ru.wikipedia.org/wiki/HHfleKc(6a3biflaHHbix).

39. Инструментальные средства оптимизации производительности программно-аппаратного комплекса / Мартынов В.В., Прошин Е.Н. // Свидетельство об официальной регистрации программы для ЭВМ №2010613961 вРосАПО от 18.06.2010.

40. Кайт Т. Oracle для профессионалов. СПб.: ООО «ДиаСофтЮП», 2003. - 672 с.

41. Каучмэн Д.С., Марисетти С.Н. Oracle 9i. Associate DBA. Подготовка администраторов баз данных. М.: «Лори», 2006. - 706 с.

42. Кириллов В.В. Основы проектирования реляционных баз данных Электронный ресурс. http://www.citforum.ru/database/dbguide/index.shtml

43. Когаловский М.Р. Энциклопедия технологий баз данных. — М: Финансы и статистика, 2002. — 800 е.: ил.

44. Корнеев В.В., Гарев А.Ф., Васюшин СВ., Райх В.В. Базы данных. Интеллектуальная обработка информации. М.: Изд-во "Нолидж", 2000.

45. Кремер Н.Ш. Теория вероятностей и математическая статистика: учебник для студентов вузов, обучающихся по экономическим специальностям. -М.: ЮНИТИ-Дана, 2007.— 551 с.

46. Липаев В.В. Системное проектирование сложных программных средств для информационных систем. М.: Синтез, 1999.

47. Лисков Б., Гатэг Дж. Использование абстракций и спецификаций при разработке программ. М.: Мир, 1989.

48. Маклаков C.B. BPWin и ERWin. CASE-средства разработки информационных систем. M.: Диалог-Мифи, 1999. -256 с.

49. Маклаков C.B. BPWin и ERWin. CASE-средства разработки информационных систем. М.: Диалог-Мифи, 1999. -256 с.

50. Маллинс К.С. Администрирование баз данных. Полное справочное руководство по методам и процедурам. М.: КУДИЦ-Образ, 2003. - 752 с.

51. Марков A.C., Лисовский К.Ю. Базы данных. Введение в теорию и методологию: Учебник. — М.: Финансы и статистика, 2006. 512 е.: ил.

52. Мартин Дж. Планирование развития автоматизированных систем. М.: Финансы и статистика, 1984.

53. Мартынов А.П., Прошин E.H. Нахождение цикла модифицированного вычислительного алгоритма потенциалов. // Принятие решений в условиях неопределенности: межвуз. науч. сб-к. Уфа: УГАТУ, 2005. - с.25-32.

54. Мартынов А.П., Салимоненко Е.А., Ванчухина Л.И., Калашникова Л.А. Линейные модели с взаимозависимыми параметрами и их применение. Уфа, Реактив, 1998. — 204 с.

55. Мартынов В.В. Аппроксимация плоского контура многоугольником при решении задач оптимизации размещения деталей обводообразующей оснастки. // Начертательная геометрия и машинная графика в практике решения инженерных задач. Омск: ОмПИ, 1987. 6 с.

56. Мартынов В.В., Куликов Г.Г. Башкирская энциклопедия- Уфа: Научное издательство «Башкирская энциклопедия», 2005. 274 с.

57. Мартынов В.В., Прошин Е.Н. Организация бизнес-процессов ведения справочников PDM-системы промышленного предприятия. // Актуальные проблемы управления в социальных и экономических системах: Межвузовский научный сборник. Уфа: УГАТУ, 2006. - с.131-135.

58. Мартынов В.В., Прошин Е.Н. Подход к анализу характеристик производительности БД. // «Вестник УГАТУ», Серия «Управление, вычислительная техника и информатика», 2009, № 2 (35). Т. 13. - С. 198205.

59. Масленников В.А. Проблемы организации структуры данных в сверхбольших базах данных / Масленников В.А., Левков А.А. // Научно-технический журнал "Системы управления и информационные технологии", 2007, №3.1(29), С. 169-176.

60. Миллсап К., Хольт Д. Oracle. Оптимизация производительности. СПб.: Символ-Плюс, 2006. - 464 е.: ил.

61. Миронов В.В. Концептуальные модели баз данных: учебное пособие. Уфа: УГАТУ, 2007.

62. Михеев Р.Н. MS SQL Sqrver 2005 для администратора. СПб.: БХВ-Петербург, 2007. - 544 е.: ил.

63. Мюллер Р. Дж. Базы данных и UML: Проектирование. М.: Лори, 2002. - 420 с.

64. Нагао М., Катаяма Т., Уэмура С. Структуры и базы данных. М., Мир, 1989.

65. НИКС Компьютерный супермаркет. Компьютеры, комплектующие, ноутбуки, периферия, сетевое оборудование, расходные материалы Электронный ресурс. - http://www.nix.ru/

66. Нильсен П. Microsoft SQL Server 2005. Библия пользователя. -M.: ООО «И.Д. Вильяме», 2008. 1232 е.: ил.

67. Нихтер 3. Оптимизация производительности ЦП SQL Server Электронный ресурс. / Nichter Z. // TechNet Magazine October 2007. (http://technet.microsoft.com/ru-ru/magazine/2007.10.sqlcpu.aspx).

68. Новосельцев В.И. Теоретические основы системного анализа. М.: Майор, 2006. 592 с.

69. Норкин С.Б., Берри Р.Я., Жабин И.А. и др. Элементы вычислительной математики. М.: Высшая школа. 1963. — 212 е.: ил.

70. ОАО УМПО производство авиационных турбореактивных и газотурбинных двигателей и газоперекачивающих агрегатов Электронный ресурс. - http://www.umpo.ru/

71. Перри Д. Введение в Oracle 10g. — М.: Вильяме, 2006. 699 е.: ил.

72. Пилецкий И.И. Базы данных. Методы тестирования производительности. 4-я международная конференция SOA Days 2008 Минск.

73. Программное обеспечение Электронный ресурс. — http://ru.wikipedia.org/wiki/ Программноеобеспечение

74. Прошин E.H. Анализ текущего состояния рынка СУБД для хранилища данных. // Актуальные проблемы в науке и технике: Сборник статей региональной зимней школы-семинара аспирантов и молодых ученых. Том 2. Уфа: УГАТУ, 2007. - с. 175-179.

75. Прошин E.H. Разработка АИС ведения документооборота корпоративного лизинга. // Мавлютовские чтения: Всероссийская молодежная научная конференция. Том 3 / Уфимск. гос. авиац. техн. ун-т. -Уфа: УГАТУ, 2009. с. 133-134.

76. Прошин E.H. Стратегии оптимизации и повышение эффективности работы СУБД. // Мавлютовские чтения: Всероссийская молодежная научная конференция. Том 3 / Уфимск. гос. авиац. техн. ун-т. — Уфа: УГАТУ, 2009. с. 108-109.

77. Пуле М. Оптимизация производительности модели данных: настройка базы данных Электронный ресурс. http://www.osp.ru/text/print/302/380203.html

78. Р50—1-031-2001. «Информационные технологии поддержки жизненного цикла продукции. Терминологический словарь. Часть 1. Стадии жизненного цикла продукции», Госстандарт РФ 2001г.

79. Рабочая книга по прогнозированию. / Ред. Колл.: И.В. Бестужева-Лада. М.: Мысль, 1982. - 430 с.

80. Райзберг Б. А. Экономика и управление : словарь : учебно-методическое пособие / Б. А. Райзберг, JI. Ш. Лозовский; Российская академия образования, Московский психолого-социальный институт .— М. : Моск. псих.-социал. ин-т, 2005 .— 488 с.

81. Расчет параметров кривых обеспеченности расходов воды графоаналитическим методом / Прошин E.H., Ганцева Е.М., Фащевская Т.Б. // Свидетельство об официальной регистрации программы для ЭВМ №2006610697 в РосАПО от 20.02.2006.

82. Рубан А. И. Методы анализа данных: Учебное пособие. Издание 2-е, испр. и доп. / А. И. Рубан Красноярск: ИПЦ КГТУ, 2004. - 319 с.

83. Саати Т. Принятие решений. Метод анализа иерархий. М: Радио и связь, 1993.

84. Саати Т., Керне К. Аналитическое планирование. Организация систем; М.: Радио и связь, 1991 г.

85. Система управления базами данных Электронный ресурс. -http://ru.wikipedia.org/wiki/Cиcтeмayпpaвлeниябaзaмидaнныx.

86. Смирнов С.Н. Безопасность систем баз данных: учебное пособие. М.: Гелиос АРВ, 2007. - 352 с.

87. Станек У.Р. Microsoft SQL Server 2005. Справочник администратора. M.: «Русская Редакция», 2006 - 544 е.: ил.

88. Фатрелл Р.Т., Шафер Д.Ф., Шафер Л.И. Управление программными проектами. Достижение оптимального качества при минимуме затрат. Вильяме, 2003. 1136 е.: ил.

89. Федеральный закон Российской Федерации от 27 июля 2006 г. N 149-ФЗ «Об информации, информационных технологиях и о защите информации».

90. Фильчаков П.Ф. Справочник по высшей математике. — К.: Наукова думка, 1973 — 743 е.: ил.

91. Фленов М.Е. Transact-SQL. СПб.: БХВ-Петербург, 2006. - 576е.: ил.

92. Шнитман В.З. Серверы баз данных: проблемы оценки конфигурации системы Электронный ресурс. http://www.citforum.ru/hardware/articles/art2.shtml.

93. Шнитман В.З., Кузнецов С.Д. Серверы корпоративных баз данных Электронный ресурс. http://citforum.amursu.ru/database/skbd/contents.shtml

94. Энсор Д., Стивенсон Й. Oracle. Проектирование баз данных. К.: Издательская группа BHV, 1999. - 560 с.

95. Aldrich М. Techniques for Indexing Low-Selectivity Columns in SQL Server Электронный ресурс. http://www.sql-server-performance.com/articles/per/indexinglowselcolspl.aspx.

96. American National Standard Institute Электронный ресурс. -http://www.ansi.org/

97. Benchmark Factory® for Databases. Workload Replay and Scalability Testing Tool Электронный ресурс. -http://www.quest.com/benchmark-factory/.

98. Codd E.F., A Relational Model of Data for Large Shared Data Banks. CACM 13: 6, June 1970.

99. Embarcadero Technologies. Database Tools and Developer Software Электронный ресурс. http://www.embarcadero.com/

100. Florescu D., Kossmann D. Rethinking Cost and Performance of Database Systems. // IGMOD Record, Vol. 38, No. 1, March 2009.

101. Fowler M. The New Methodology Электронный ресурс. http://www.martinfowler.com/articles/newMethodology.html

102. Howard P. Database Performance Management. November 2008. // A White Paper by Bloor Research.

103. IBM DB2 Multiplatform Tools Электронный ресурс. -http://www.ibm.com/software/data/tools/mptools.html

104. IBM DB2 Performance Expert for Multiplatforms Электронный ресурс. http://www.interface.ru/home.asp?artld=6420

105. ISO 12207:1995. «Information Technology — Software Life Cycle Processes».

106. Libra International Комплексные решения автоматизации гостиниц Электронный ресурс. - http://libra-russia.com/.

107. Martynov V.V., Proshin E.N. Evolutionary database modeling as a method of changing of the structure and the change control. // The 10th International workshop on Computer Science and Information Technologies Csit'2008 Antalya, Turkey, v.2. p.202-207.

108. Martynov V.V., Proshin E.N. Performance analysis of hardware and software database management systems. // Proceedings of the llrd International Workshop on Computer Science and Information Technologies CSIT'2009. Volume 3. Crete, Greece. p.46-50.

109. McGehee В. M. Using Performance Monitor to Identify SQL Server Hardware Bottlenecks Электронный ресурс. http://www.sql-server-performance.com/sqlserverperformanceaudit2.asp

110. McGehee B. Mastering SQL Server Profiler, 2009 282 p.

111. Millsap C, Shallahamer C, Adler M. "Predicting the Utility of the Nonunique Index." // Oracle Magazine Vol. VII, No. 2 (Spring 1993): 48-53.

112. OLAP Электронный ресурс. http://ru.wikipedia.org/wiki/OLAP.

113. Oracle Enterprise Manager Электронный ресурс. -http://en.wikipedia.org/wiki/OracleEnterpriseManager

114. Petrossian Т. An Introduction to System Sizing for Data Warehousing Workloads Электронный ресурс. / Petrossian Т., Matzou A., Wong K.// IBM Redbooks, 27.07.2004. (http://www.redbooks.ibm.com/abstracts/redp3896.html).

115. SoftBrands ia an Infor Affiliate Электронный ресурс. -http://www.infor.com/softbrands/

116. SQL Server 2005 BP А (Январь 2008) Электронный ресурс. -http ://www. fcenter.ru/on line ,shtml?softne ws/id/23273

117. TPC BENCHMARK™ С. Standard Specification. Revision 5.10.1 / Transaction Processing Performance Council, February 2009 Электронный ресурс. -. http://tpc.org/tpcc/spec/tpcccurrent.pdf.

118. TPC BENCHMARK™ H. Standard Specification. Revision 2.9.0 / Transaction Processing Performance Council, September 2009 Электронный ресурс. http://tpc.Org/tpch/spec/tpch2.9.0.pdf.

119. Transaction Processing Performance Council Электронный ресурс. http://tpc.org.