автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Модель и алгоритмы распределенной обработки больших массивов данных в управлении процессами материально-технического обеспечения производства на примере ОАО "Сургутнефтегаз"

На правах рукописи

Главин Александр Николаевич

МОДЕЛЬ И АЛГОРИТМЫ РАСПРЕДЕЛЕННОЙ ОБРАБОТКИ БОЛЬШИХ МАССИВОВ ДАННЫХ В УПРАВЛЕНИИ ПРОЦЕССАМИ МАТЕРИАЛЬНО-ТЕХНИЧЕСКОГО ОБЕСПЕЧЕНИЯ ПРОИЗВОДСТВА НА ПРИМЕРЕ ОАО «СУРГУТНЕФТЕГАЗ»

Специальность: 05.13.01 - Системный анализ, управление и обработка информации

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

2 9 НОЯ 2012

Сургут-2012

005055878

Работа выполнена на кафедре «Автоматизированных систем обработки информации и управления» Сургутского государственного университета Ханты-Мансийского автономного округа - Югры (ГБОУ ВПО СурГУ).

Научный руководитель: кандидат технических наук, доцент,

с.н.с. ИВАНОВ Фёдор Фёдорович

Официальные оппоненты: доктор технических наук, профессор

АНТОНОВ Александр Владимирович

кандидат технических наук, инженер-программист 1 категории МУРАВЬЁВ Игорь Измаилович

Ведущая организация: федеральное государственное бюджетное

учреждение науки «Санкт-Петербургский институт информатики и автоматизации Российской академии наук (СПИИРАН)» (г. Санкт-Петербург).

Защита диссертации состоится «14» декабря 2012 г. в 1400 часов на заседании диссертационного совета по защите докторских и кандидатских диссертаций Д 800.005.06 при ГБОУ ВПО Сургутском государственном университете ХМАО - Югры по адресу: 628400, Тюменская обл., г. Сургут, ул. Ленина, 1.

С диссертацией можно ознакомиться в научной библиотеке ГБОУ ВПО Сургутского государственного университета по адресу: 628400, г. Сургут, ул. Ленина 1.

Автореферат разослан «13» ноября 2012 г.

Ученый секретарь диссертационного совета к.т.н., доцент

В.С. Микшина

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. В современном мире в сферах промышленности, науки и жизнедеятельности человека широко используется термин «информация», напрямую связанный с «информатизацией», как с одним из основных явлений, обусловленных постоянно растущей потребностью в аккумулировании, обработке и последующем использовании разнородной информации для контроля существующих процессов, а также для анализа и прогнозирования развития их вариативных изменений.

В связи с постоянно прогрессирующим развитием производственных технологий в области нефтегазового сектора расширяется круг производственных задач, повышается уровень автоматизации, постоянно совершенствуются бизнес-процессы, сохраняется тенденция увеличения объемов поступающей производственно-экономической информации аналогично тенденциям роста объемов информации в сети Интернет. В ОАО «Сургутнефтегаз» ежегодный прирост информации, отражающей состояние сектора материально-технического обеспечения производства, составляет сотни Гб.

В условиях постоянного роста объемов информации на предприятии актуальными являются вопросы оптимального использования вычислительных мощностей, обеспечивающих ввод, преобразование и хранение больших объемов информации, а также представления подробной информации в агрегированном виде для ее качественного анализа. Объем информации, поступающей в информационную систему предприятия, представляет собой большой массив данных. Большой массив данных М - структурированный тип данных М = \ml[al,a2,...,a },m2{al, а2,..., а ),..., т {а,, а2,...,аки

^ 1 1 т ¿iz п z I z К ' , СОСТОЯЩИЙ

7п г <2 1

из некоторого числа массивов данных ' * ' ' объем которого исчисляется в сотнях Гб. Ежедневный прирост временного ряда производственно-экономической информации составляет десятки Гб, включая обновления ранее накопленной информации.

В ОАО «Сургутнефтегаз» с вертикально интегрированной структурой управления информационные потоки (в виде больших массивов данных) сектора материально-технического обеспечения производства обрабатываются в ERP-системе R/3 (разработка фирмы SAP AG).

В условиях роста объемов обрабатываемой информации существует ряд проблем, возникающих при разработке приложений, ориентированных на обработку больших массивов данных.

К числу типовых задач, решаемых в области материально-технического обеспечения производства на предприятии, относятся:

- формирование производственной потребности;

- контроль текущего состояния запасов МТР;

- контроль за материально-техническими ресурсами, хранящимися в категории запасов к перераспределению;

- контроль за лимитированным хранениям МТР в различных категориях запасов;

- прогнозирование объемов и номенклатуры МТР, находящихся в запасе и попадающих в категорию залежалых (находящихся без движения более года) в среднесрочной перспективе;

- контроль будущих расходов МТР;

- контроль планируемых поступлений МТР;

- контроль за своевременным вывозом МТР с центральных баз.

Представленные задачи недостаточно эффективно реализуются в

существующем контуре автоматизированной обработки информации из-за наличия большого объема обрабатываемых данных (сотни Гб) и большого объема результирующей информации, используемой при анализе текущего состояния процесса материально-технического обеспечения производства. Кроме того, для анализа информации в области материально-технического обеспечения производства на предприятии используются отчетные формы с подробными данными. Данные отчетные формы являются неинформативными и избыточными для управленческого уровня. Информация, предоставляемая на управленческий уровень для анализа текущего состояния процессов материально-технического обеспечения производства, должна актуально и полно отражать состояние контролируемых подобластей. Ежедневная подготовка информации для управленческого уровня в ручном режиме является малоэффективной ввиду наличия в данном процессе малопроизводительного и малонадежного человеческого фактора.

Таким образом, существует потребность в поиске такой технологии управления вычислительным процессом по обработке больших массивов данных и представлении состояния процесса материально-технического обеспечения производства в виде совокупности агрегированных показателей, описывающих текущее состояние процесса МТО, которая будет являться оптимальным и оперативным элементом всего производственного цикла. Такой элемент будет способствовать принятию эффективных своевременных управленческих решений, тактическому и стратегическому прогнозированию развития процесса материально-технического обеспечения.

Объектом диссертационного исследования являются методы, модели и средства по обработке больших массивов данных при расчете агрегированных показателей, определяющих текущие, критические или граничные состояния процесса материально-технического обеспечения.

Предметом диссертационного исследования является процесс по гарантированной обработке больших массивов данных и расчету агрегированных показателей, используемых для анализа состояния и прогнозирования динамики изменения процесса материально-технического обеспечения производства.

Целью диссертационного исследования является оптимизация процесса обработки больших массивов данных и представление их в виде агрегированных показателей, отражающих состояние процесса материально-технического обеспечения производства и динамику его изменения в рамках информационной системы ОАО «Сургутнефтегаз».

Задачи исследования. Для достижения поставленной цели необходимо решить следующие задачи:

1) сформировать перечень агрегированных показателей, отражающих состояние процесса материально-технического обеспечения производства и динамику его изменения;

2) разработать модель по распределенной обработке больших массивов данных и расчету агрегированных показателей в контуре информационной системы предприятия;

3) разработать алгоритмы расчета агрегированных показателей;

4) выработать перечень рекомендаций по принятию управленческих решений в управлении процессом материально-технического обеспечения производства;

5) спроектировать и реализовать информационную систему обрабатывающую большие массивы данных, рассчитывающую агрегированные показатели МТО и предоставляющую отчетные формы для принятия управленческих решений ответственными специалистами.

Методы исследования. Для решения поставленных задач применяются методы теории принятия решений, теории систем и системного анализа, экспертных оценок. Также применяются результаты исследований российских и зарубежных ученых (В.В. Воеводин, Вл.В. Воеводин, А.Б. Барский, В.П. Гергель, В.В. Топорков, David Peleg, Thomas Cormen и др.) в областях исследований параллельных и распределенных вычислений.

Используемые методы исследований опираются на математический аппарат в области теории вероятности, математической статистики, линейной алгебры, алгебры логики.

Научная новизна результатов, выносимых на защиту. Решение поставленных задач в диссертационной работе обусловлено получением следующих новых научных результатов:

1) с помощью метода экспертной оценки, сформирован перечень агрегированных показателей, отражающих состояние процесса материально-технического обеспечения производства и динамику его изменения;

2) разработана модель по распределенной обработке больших массивов данных и расчету агрегированных показателей в контуре информационной системы предприятия;

3) впервые разработаны алгоритмы расчета агрегированных показателей;

4) выработан перечень рекомендаций по принятию управленческих решений, полученный на основе системного анализа агрегированных показателей в части управления процессом материально-технического обеспечения производства.

Теоретическая значимость диссертационного исследования заключается в описании метода по получению перечня агрегированных показателей и обработке больших массивов данных с помощью распределенной модели обработки в части расчета агрегированных показателей, используемых для оценки текущего состояния процесса МТО, прогнозирования динамики его изменения и принятия управленческих решений.

Практическая значимость диссертационной работы заключается в полученной совокупности знаний и методов, с помощью которых был получен перечень агрегированных показателей, разработаны и внедрены распределенная модель обработки больших массивов данных и алгоритмы расчета агрегированных показателей на предприятии, способствующие принятию управленческих решений.

Положения, выносимые на защиту:

1) результаты метода экспертной оценки сформированного перечня агрегированных показателей, отражающих состояние процесса материально-технического обеспечения производства и динамику его изменения;

2) модель по распределенной обработке больших массивов данных и расчету агрегированных показателей в контуре информационной системы предприятия;

3) алгоритмы расчета агрегированных показателей;

4) перечень рекомендаций по принятию управленческих решений, полученный на основе системного анализа агрегированных пока-

зателей в части управления процессом материально-технического обеспечения производства.

Достоверность полученных результатов и выводов обусловлены корректностью математических выкладок, подтверждаются обоснованными исходными теоретическими, методологическими и практическими результатами исследований, апробацией результатов и успешным внедрением в ОАО «Сургутнефтегаз», что подтверждается Актом внедрения от 25.02.2010 № 50-01-19-002.

Апробация работы. Материалы исследований, изложенные в диссертационной работе, были опубликованы в периодических научных изданиях (сборниках научных трудов, научно-технических журналах).

Результаты диссертационных исследований неоднократно докладывались на:

- заседаниях кафедры АСОИУ (Сургутский государственный университет);

- двух городских семинарах (г. Санкт-Петербург, Санкт-Петербургский институт информатики и автоматизации Российской академии наук);

- окружной конференции (г. Сургут);

- двух межрегиональных конференциях (г. Обнинск, г. Сургут);

- двух всероссийских конференциях (г. Бийск);

- международной конференции (г. Воронеж).

По теме диссертационной работы опубликовано 14 научных работ, в том числе б тезисов докладов по материалам конференций, 8 статей, из них три опубликованы в изданиях, рекомендованных ВАК. Кроме этого, получено свидетельство о регистрации электронного ресурса в Институте научной информации и мониторинга ОФЭРНиО ГАН «РАО» (№ 15158).

Личный вклад соискателя. Все основные результаты, на которых базируется диссертационная работа, получены либо соискателем лично, либо при его непосредственном участии.

Структура и объем диссертационной работы. Диссертационная работа состоит из введения, четырех глав, заключения, изложенных на 115 страницах машинописного текста, иллюстрированного 44 рисунками и включающего 6 таблиц, 8 приложений, списка используемой литературы из 124 наименований, 31 из которых - зарубежные. Общий объём диссертационной работы - 143 страницы.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Введение носит постановочный характер, в котором обосновывается актуальность темы диссертационной работы, ставятся цели, задачи, формулируются основные положения диссертационного исследования. Обосновывается научная новизна, теоретическая и практическая значимость научного исследования.

В первой главе представлена функциональная модель процесса управления в области материально-технического обеспечения производства. С помощью схем бизнес-процессов описана информационно-организационная структура процесса материально-технического обеспечения производства.

Рассмотрен ряд классификаций и архитектур по организации параллельных (М. Флина, В. Хендлера, Т. Фенга, JT. Шнайдера) и распределенных (метакомпьютинг, облачные, DCOM, ORB, CORBA) вычислительных процессов.

Проведен системный анализ современных архитектурных решений по обработке больших массивов данных.

Приведен метод экспертных оценок выбора агрегированных показателей, используемых для анализа состояния процесса материально-технического обеспечения производства.

Основные понятия, используемые в диссертационной работе:

- большой массив данных М _ структурированный тип данных,

т ; = и ? 7\ состоящий из некоторого числа массивов данных ', где ' ' '"'' J ,

объем которого исчисляется в сотнях Гб;

- агрегированный показатель - обобщенный, синтетический измеритель, объединяющий в одном общем показателе многие частные (по группам);

- параллельные вычисления - способ организации прикладного процесса обработки информации, выполняемого одновременно группой процессоров;

- распределенные вычисления (частный случай параллельных вычислений) - способ решения трудоемких вычислительных задач с использованием нескольких процессоров, объединенных в параллельную вычислительную среду.

Во второй главе приведены результаты мониторинга загрузки транзакционной системы SAP R/3 в процессе последовательной обработки больших массивов данных, используемых для анализа текущего состояния процесса материально-технического обеспечения производства (рис. 1).

2Ю0 8 90 £ 80 I 70 Н 60

1 50 Р.40

е. зо М 20

2 10

£ А V *

л 4« ж А *

■4 i а] * * >- |м Цг л ж А Г

•*< I ■Т Г- Г к к

^ ^ ^ ^

«V V 1а- <Ь- „у

-Сервер БД --«--Серв.яршож.! -т- Серв. пршшж.2

Рис. 1. Результаты мониторинга загрузки транзакционной системы

Из представленного графика видно, что загрузка сервера базы данных является наиболее критической — около 80 % - в период времени с 02:00 до 07:00. Указанный период времени является основным, в момент которого производится сбор, подготовка и анализ информации по всему предприятию в целом. Загрузка сервера БД порядка 80 % приводит к наличию очередей к вычислительным процессам.

В настоящее время для контроля за состоянием процесса материально-технического обеспечения производства используется большое количество несвязанных между собой отчетных форм.

На рис. 2 представлены состав и структура отчетности, используемой при анализе данных в рамках процессов материально-технического обеспечения производства.

Рис. 2. Состав и структура отчетности

Анализ данных производится по восьми направлениям, каждое из которых представлено четырьмя ракурсами отчетных форм, состоящих из наборов двенадцати признаков и четырех показателей.

Из всего перечня используемых признаков и показателей (512 информационных объектов) для анализа данных по основным направлениям МТО производства был определен набор признаков и показателей, доступных и рекомендуемых к агрегации. Всего в процессе экспертной

(С С С }

оценки был определен набор показателей 2''"' 19 (табл. 1) описывающих процесс МТО на предприятии при работе с материально-техническими ресурсами.

Таблица 1

Перечень агрегированных показателей

№ Перечень агрегированных показателей

Общий запас завода

с2 Общий залежалый запас завода

с3 Запас на производственных складах

Запас на производственных складах (отечественные МТР)

С5 Запас на производственных складах (импортные МТР)

Залежалый запас на производственных складах

с7 Залежалый запас на производственных складах (отечественные МТР)

С8 Залежалый запас на производственных складах (импортные МТР)

с9 Залежалый запас, ожидаемый в текущем году

С10 Залежалый запас, ожидаемый в текущем месяце

сп Ожидаемый залежалый запас к указанной дате

С, 2 Запас МОЛ, хранящийся более 45 суток

С13 Просроченные наряды с центральных баз

С,4 Просроченные наряды из запасов к перераспределению от других СП

<45 Просроченные наряды из запасов к перераспределению для других СП

С16 Запасы в пути

с17 Запас в пути с центральных баз

С18 Запас в пути со складов структурных подразделений

С, 9 Неразрешенный специальный запас

Представленный перечень агрегированных показателей был получен с помощью метода экспертной оценки, в процессе которого производилось ранжирование т -объектов ^ -экспертами.

Согласованность мнений экспертов в выборе агрегированных показателей для анализа процесса материально-технического снабжения определяется величиной коэффициента согласованности - К (1) как отношение дисперсии к максимальной дисперсии.

D

К =-

^тах

При количестве экспертов d >1 оценка значимости коэффици-

2

ента согласованности производится по критерию % (2)

Z2 =d-(m-\)-K (2)

с количеством степеней свободы w — 1

Оценка значимости является критерием оценки гипотезы о подчинении наблюдаемой случайной величины теоретическому закону распределения.

Перенос процесса расчета агрегированных показателей в распределенную вычислительную среду выполняется с помощью следующих этапов:

- декомпозиция на независимые части;

- выделение информационных зависимостей;

- укрупнение подзадач;

- распределение подзадач по вычислительным процессам.

При переносе расчетов в распределенную вычислительную среду

определяется фактор ускорения по формуле (3), отражающий время обработки данных в последовательной вычислительной среде по отношению к распределенной.

v » tp tp 1

S(n) =--

t \-<p \-q>

(3)

<ptp + (-)xtp <f> +

t

P _

время выполнения задания на однопроцессорной вычислительной машине;

г

5 - время выполнения задания на многопроцессорной вычислительной машине;

^ - доля вычислений, которая может быть распараллелена; 1 -<р

г - доля вычислении неподдающаяся распределению; п — число вычислительных процессов.

Распределение данных для расчета по вычислительным процессам производится исходя из рассчитываемого коэффициента связности.

Для организации расчета агрегированных показателей средствами распределенной вычислительной системы определяется коэффициент связанности информационной схемы взаимодействия. В совокупности данных, передаваемых между двумя вычислительными узлами, существуют связи по управлению и связи по данным. На рис. 3 представлена формализованная связь вычислительного модуля с входным и выходным наборами данных.

Р (2 Р

'О

Рис. 3. Формализованная связь вычислительного модуля с входным и выходным наборами данных

N

'' - входной набор данных;

N

2у - выходной набор данных;

В

т — вычислительный модуль; В - структура наборов данных (входные/выходные); ^ - структура вычислительного модуля; I - матрица связности модуля с входным набором данных; О - матрица связности модуля с выходным набором данных.

При исключении из информационной схемы элементов действий

^ формируется информационный граф с образованием связей по дан-

т

ным, описываемый матрицей: 2 = 5x5 5 где

В = £> /и и оШ <2 =

с!и ап ... а21 а22 ■■■ а2]

вт транспонированная матрица

Относительный коэффициент связанности элементов данных рассчитывается по формуле (4).

/

к =

' ]

и

= 1

- при совместном использовании данных

Л: 1 и 7 ;

'и

= О

— при неиспользовании данных

й :

и совместно.

(4)

Для снижения нагрузки на систему Я/3 и снижения времени, затрачиваемого на подготовку, обработку данных и расчет агрегированных показателей, предлагается использовать параллельный процесс обработки и передачи данных, представленный на рис. 4.

Рис. 4. Схема параллельного процесса обработки и передачи данных

Определена схема взаимодействия систем К/З и В1 в процессе обработки больших массивов данных и расчета агрегированных показателей (рис. 5).

Отчетность системы БАР И/З

т

мм

РР

Модуль подготовки данных

БАР ШЗ

Многоуровневая отчетность БАР В1

т

т

Экстракция_

данных Экстракция_

данных Экстракция данных

Инфогкуб

_ _ ОЭО-объект Модуль обработки

данных __ЗАР В1

Рис. 5. Схема взаимодействия систем К/3 и В1

В третьей главе практически обоснован выбор перечня из 19 агрегированных показателей, используемых для принятия управленческих решений. Произведен расчет коэффициента согласованности экс-К =0,947

пертов , оценена значимость коэффициента согласованности

2

у — 136 44 2 _1с

Л ' с количеством степеней свобод л ~ 16 .

На примере информационного графа расчета агрегированного

С

показателя 12 - «Запас МОЛ, хранящийся более 45 суток» (рис. 6).

0,5

0,6 Иго |

С

Рис. 6. Информационный граф расчета агрегированного показателя 12

X

были получены матрицы ?, где ? - частота активизации действий. / = Ь 562148564223 11

9 3 0 6 6 0 0 6 0 0 0 0 0 0 0 0 0 0 0 0 0

3 10 7 0 2 2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

0 7 7 0 2 2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

6 0 0 14 6 0 0 14 8 0 0 8 0 0 0 0 0 0 0 0 0

6 2 2 6 9 3 1 6 0 0 0 1 0 0 0 0 0 0 0 0 0

0 2 2 0 3 7 5 0 0 0 0 I 0 0 4 0 0 0 0 0 0

0 0 0 0 I 5 9 0 0 0 0 1 0 4 8 4 0 0 0 0 0

6 0 0 14 6 0 0 14 8 0 0 8 0 0 0 0 0 0 0 0 0

0 0 0 8 0 0 0 8 8 0 0 8 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 5 5 5 5 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 5 5 5 5 0 0 0 0 0 0 0 0

0 0 0 8 1 1 1 Е 8 5 5 20 и 6 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 5 5 11 13 8 0 0 2 0 0 0 0

0 0 0 0 0 0 4 0 0 0 0 6 8 12 4 4 2 0 0 0 0

0 0 0 0 0 4 8 0 0 0 0 0 0 4 8 4 0 0 0 0 0

0 0 0 0 0 0 4 0 0 0 0 0 0 4 4 9 2 2 2 3 0

0 0 0 0 0 0 0 0 0 0 0 0 2 2 0 2 4 2 2 0 0

0 0 .0 0 0 0 0 0 0 0 0 0 0 0 0 2 2 2 2 0 0

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 2 2 2 0 1

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3 0 0 0 3 1

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1

Для определения степени связности рассчитана матрица коэффи-

Л'... - у

V

циентов совместного использования с элементами

1 0,33 0 0,67 0,67 0 0 0,67 0 0 0 0 0 0 0 0 0 0 0 0 0

0,30 1 0,70 0 0,200,20 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

0 1 1 0 0,290,29 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

0,43 0 0 1 0,43 0 0 1 0,57 0 0 0,57 0 0 0 0 0 0 0 0 0

0,67 0,220,220,67 1 0,33 0,11 0,67 0 0 0 0,11 0 0 0 0 0 0 0 0 0

0 0,290,29 0 0,43 1 0,71 0 0 0 0 0,14 0 0 0,57 0 0 0 0 0 0

0 0 0 0 0,11 0,56 1 0 0 0 0 0,11 0 0,44 0,89 0,44 0 0 0 0 0

0,43 0 0 1 0,43 0 0 1 0,57 0 0 0,57 0 0 0 0 0 0 0 0 0

0 0 0 1 0 0 0 1 1 0 0 1 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 0 0

0 0 0 0,40 0,05 0,05 0,05 0,40 0,40 0,25 0,25 1 0,55 0,30 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0,380,38 0,85 1 0,62 0 0 0,15 0 0 0 0

0 0 0 0 0 0 0,33 0 0 0 0 0,500,67 1 0,33 0,33 0,17 0 0 0 0

0 0 0 0 0 0,50 1 0 0 0 0 0 0 0,50 1 0,50 0 0 0 0 0

0 0 0 0 0 0 0,44 0 0 0 0 0 0 0,44 0,44 1 0,220,220,220,33 0

0 0 0 0 0 0 0 0 0 0 0 0 0,500,50 0 0,50 1 0,50 0,50 0 0

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 I 0 0

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 0 0,50

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 1 О.з

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1

Для каждого элемента данных 1 определен относительный коэффициент связанности ^ :

к so (£>i) = 0,30; Kso (Z?2) = 0,42; KS0(D3) = 0,39;

^(¿>4) = 0,25; ATSO(Z)5) = 0,25; (Z>6) = 0,29;

Kso{D1) = 0,28; Kso(D^) = 0,25; KS0(D9) = 0,25;

K,o(D10)=0,25; ^о(Ои> = 0'25; Kso(Dn) = 0,27;

Kso(Du) = 0,30; ^(0,4) = 0,30; A^CDjg) = 0,29;

^o(O16) = 0,30; АГдаф17) = 0,28; KJ0(£>lg) = 0,25;

A'io(Z)19) = 0,22; Kso(D2Q) = 0,43; KSO(D21) = 0,33.

so\u\2

so\u%

"■SO^ 9 ' - "i^-",

^оФ12)=0>27; ^.o(Z)15) = 0,29; Kso(o18)=O,25; ^O(Z)2J) = 0,33.

Распределение по вычислительным процессам производится путем укрупнения элементов данных (рис. 7), близких друг к другу по величине.

D, 02 о3 D4 D5 D6 D7 d8 D9 D,o D„ D12 D13 Dm D15 D16 O17 D18 D19 dx D21 Рис. 7. Схема укрупнения данных

Для распределенной обработки данных и расчета агрегированных показателей, отражающих состояние запасов МТР, разработана модель в системе SAP BI (рис. 8).

^ расчет агрегированных

Z OS

Z REP DSO

PSA

1—

Рис. 8. Модель распределенной обработки данных в системе BI

/ММЕХТОАТА — экстрактор передачи данных; 7_АЬАКМ_080, г ЯЕР ББО - ОвО-объекты (плоские таблицы); Z_OS - многомерный инфо-куб для построения корпоративной отчетности.

Расчет агрегированных показателей производится при помощи алгоритмов, реализованных в правиле обновления данных между ОБО-объектами 2_АЬАГШШО и /ГШРГЖ) на встроенном языке программирования АВАР. Пример алгоритма по расчету агрегированных

с с

показателей 3 и 6 представлен на рис. 9.

С помощью реализованной системы отчетности в SAP BI были определены управляющие воздействия с учетом положительной или отрицательной динамики изменения значений агрегированных показателей. На рис. 10 приведена сводная отчетная форма по контролю за состоянием процесса материально-технического обеспечения.

" -А* " * ; • ь

Щ ] Ш" Щ " % I ¿ю Условное Форилгирэезть С

| фори-агароезиие" уж таблиц?"

у//жх-лт^^Ш^ : „ „ ,

' Й

< водная а состоянии процесса МТО

Агрегированные даказггеля/втчетнжя Дата Ш 26,04.2012 25.04.2013 24.04.2012 23.64.2012 22.042012

}бщ(1Й запас вагона РУБ 285 665 165 834 23! 457 28! «67

>6щий залежалый запас завода РУБ 6Т 880 27 564 54 678 5" 565

апас на производственных склазаз. РУ5 13« Ж 187 647 87 654 15675 273 ¡Ю0

апас на производственных складах (отечественные МТ?} РУ5 54 633 46 784 26 546 15 678 165 000

апас на тфошвоцегвенны* складах (импортные М1?) РУБ 80264 140 863 6! 108 8 ООО

алежзлый запас на производственных складах РУ£ 25 555 34 543 27 564 45076 45 876

адажалый запас на производственных складах (отечественные \i TPi РУБ 2 556 36 543 27 564 §87 21 987

алежалый запас на производственны». складах (и-чпортные МТР} РУБ 25005 0 0 23 089

алежалва'г запас, ожпяасыый в текущем году РУБ 64 534 76455 98 567 89564 57 967

;Апа1Суг Ж К н

Рис. 10. Сводная таблица состояния процесса МТО

В таблице 2 приведен пример агрегированных показателей и управляющие воздействия при положительной или отрицательной динамике их изменений. Полный перечень агрегированных показателей и рекомендаций по принятию управленческих решений представлен в диссертационной работе.

Таблица 2

Агрегированные показатели в процессе принятия решений

Агрегированный показатель

Описание Использование Рекомендации

Залежалый запас на производственных складах

Отражает объем запаса материально-технических ресурсов, не вовлеченных в производство более 1 года. Анализ динамики изменения процесса вовлечения МТР в производство. Принятие решений по корректировке потребности в закупке, вовлечению в производство и перераспределению.

Неразрешенный специальный запас

Отражает объем материально-технических ресурсов, неразрешенных к хранению в категории «специальный запас». Используется для выявления несоответствующего хранения МТР на складах структурного подразделения. Недопущение к хранению в категории «специальный запас» МТР, не относящихся к данной категории запаса.

В заключении сформулированы выводы, приведены научные и практические результаты, полученные в ходе проведения диссертационного исследования. Произведен анализ полученных практических и теоретических результатов в процессе диссертационного исследования.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

В рамках диссертационной работы была проведена оптимизация существующего процесса обработки больших массивов данных и представления информации, описывающей состояние процесса материально-технического обеспечения производства в виде агрегированных показателей, способствующих принятию управленческих решений.

1. С помощью метода экспертных оценок был сформирован перечень агрегированных показателей, отражающих состояние процесса материально-технического обеспечения производства и динамику его изменения используемый при принятии управленческих решений. Использование процесса агрегации позволило достаточно полно представить подробную информацию, описываемую 512 признаками и показателями в виде 19 агрегированных макропоказателей.

2. Разработана модель по распределенной обработке больших массивов данных и расчету агрегированных показателей в контуре информационной системы предприятия. Использование разработанной модели обеспечило снижение нагрузки на сервер базы данных транзак-ционной системы ГШ, которая в установленное регламентом время сбора и расчета данных не превышает 30 %. Использование разработанной модели на практике позволило сократить время обработки данных в два раза. В настоящее время на обработку данных в информационной системе затрачивается порядка 4 часов вместо 8.

3. Разработаны алгоритмы по расчету агрегированных показателей, способствующие оценке текущего состояния процесса материально-технического обеспечения производства, используемые для анализа текущих бизнес-процессов при принятии ответственными специалистами управленческих решений в части его корректировки и изменения. Также значения агрегированных показателей используются для прогнозирования динамики изменения текущего процесса материально-технического обеспечения в среднесрочной перспективе.

4. Получен перечень рекомендаций по принятию управленческих решений направленных на изменение процесса материально-технического обеспечения производства. Полученный перечень рекомендаций используется с момента внедрения информационной системы в промышленную эксплуатацию (акт от 25.02.2012 № 50-01-19-002).

Разработанная модель и принципы ее построения являются универсальными и при необходимости могут быть аппроксимированы на другие информационные системы предприятия, работающие с большими массивами данных.

ПУБЛИКАЦИИ

В ведущих научных журналах из перечня ВАК:

1. Главин, А.Н. Способы хранения технологических данных в оперативной памяти контроллера сбора технологической информации / А.Н. Главин, Ф.Ф. Иванов // Системы управления и информационные технологии, 2007. -№ 1.2(27). - С. 218-221.

2. Главин, А.Н. Анализ стандартных механизмов сортировки больших массивов данных / А.Н. Главин, Ф.Ф. Иванов // Системы управления и информационные технологии. - 2009. - № 2.1(36). - С. 110113.

3. Главин, А.Н. Распределенная модель обработки данных при расчете агрегированных показателей в системе бизнес-аналитики SAP BI / А.Н. Главин // Системы управления и информационные технологии. - 2011. - № 4.1 (46). - С. 188-190.

В других изданиях:

1. Главин, А.Н. Алгоритмы и программы распределения информационно-вычислительных работ в гетерогенной сети / А.Н. Главин // Наука и новации XXI века: мат-лы VII Окр. конф. молодых ученых, Сургут, 23-24 нояб., 2006 г.: в 2 т. / Сургут гос. ун-т. - Сургут: Изд-во СурГУ, 2007. - Т. 1. - С. 30-32.

2. Главин, А.Н. Система оперативного контроля объектов бурения / А.Н. Главин, Д.В. Деренок // Физико-математические и технические науки: сб. науч. тр. Вып. № 25 / Сургут, гос. ун-т. - Сургут: Изд-во СурГУ, 2006. - С. 19-23.

3. Главин, А.Н. Применение технологии шаблонного проектирования при реализации Web-приложений / А.Н. Главин // Физико-математические и технические науки: сб. науч. тр. Вып. № 25 / Сургут, гос. ун-т. - Сургут: Изд-во СурГУ, 2006. - С. 23-27.

4. Главин, А.Н. Intranet-система регистрации абитуриентов / А.Н. Главин // Системный анализ и обработка информации в интеллектуальных системах: сб. науч. тр. каф. автоматизир. систем обр. инф. и упр. Вып. 4 / под общ. ред. Ф.Ф. Иванова; Сургут, гос. ун-т. - Сургут: Изд-во СурГУ, 2007. - С. 83-87.

5. Главин, А.Н. Кластер как альтернативная параллельная вычислительная система / А.Н. Главин, Ф.Ф. Иванов // Физико-математи-

ческие и технические науки: сб. науч. тр. Вып. № 28 / Сургут, гос. ун-т. — Сургут: Изд-во СурГУ, 2007. - С. 27-32.

6. Главин, А.Н. Алгоритмы нахождения поздних и ранних сроков окончания выполнения работ в вычислительной системе / А.Н. Главин // Современные проблемы информатизации в моделировании и социальных технологиях: сб. тр. Вып. 13 / под ред. д.т.н., проф. О .Я. Крав-ца. - Воронеж: «Научная книга», 2008. - С. 212-216.

7. Главин, А.Н. Фактор ускорения в параллельной многопроцессорной системе / А.Н. Главин, Ф.Ф. Иванов // Системный анализ и обработка информации в интеллектуальных системах: сб. науч. тр. каф. автоматизированных, систем обработки информации и управления. Вып. 5 / отв. ред. Ф.Ф. Иванов; Сургут, гос. ун-т. - Сургут: Изд-во СурГУ, 2008. - С. 140-144.

8. Главин, А.Н. Граф гетерогенной вычислительной сети по сортировке данных / А.Н. Главин // Информационные технологии в науке, экономике и образовании: мат-лы Всерос. науч. конф. Бийск, 1617 апреля 2009 г. / под ред. О.Б. Кудряшовой; Алт. гос. техн. ун-т, БТИ. -Бийск: Из-во Алт. гос. техн. ун-та, 2009. - Т. 1. - С. 82-84.

9. Главин, А.Н. Распределенный алгоритм, как решение проблемы обработки больших массивов данных средствами персональных ЭВМ / А.Н. Главин, Ф.Ф. Иванов // Информационные системы и технологии 2009: мат-лы II Межрегион, науч.-технич. конф. Обнинск, 15 мая 2009 г. / Обнинский государственный университет атомной энергетики (ИАТЭ). — Обнинск: Изд-во МП «Обнинская типография», 2009. — С. 96-98.

10. Главин, А.Н. Применение технологии EJB в процессах организации связи с ERP-системой / А.Н. Главин, Ф.Ф. Иванов // Системный анализ и обработка информации в интеллектуальных системах: сб. науч. тр. каф. автоматизированных систем обработки информации и управления. Вып. 7 / отв. ред. Ф.Ф. Иванов; Сургут, гос. ун-т ХМАО -Югры. - Сургут: ИЦ СурГУ, 2009. - С. 99-104.

11. Главин, А.Н. DATA MINING как метод обработки данных в системе корпоративной отчетности предприятия / А.Н.Главин // Информационные технологии в науке, экономике и образовании: мат-лы Всерос. науч.-практ. конф. БТИ. - Бийск: Изд-во Алт. гос. техн. ун-та, 2011.-С. 26-27.

Свидетельство о регистрации программных продуктов:

12. Главин, А.Н. Программа по определению оптимальной структуры распределенной вычислительной сети / А.Н. Главин // Свидетельство о регистрации электронного ресурса № 16508 от 14 декабря 2012 года.

Главин Александр Николаевич

МОДЕЛЬ И АЛГОРИТМЫ РАСПРЕДЕЛЕННОЙ ОБРАБОТКИ БОЛЬШИХ МАССИВОВ ДАННЫХ В УПРАВЛЕНИИ ПРОЦЕССАМИ МАТЕРИАЛЬНО-ТЕХНИЧЕСКОГО ОБЕСПЕЧЕНИЯ ПРОИЗВОДСТВА НА ПРИМЕРЕ ОАО «СУРГУТНЕФТЕГАЗ»

Специальность: 05.13.01 - Системный анализ, управление и обработка информации

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Подписано в печать 12.11.2012 г. Формат 60x84/16. Усл. печ. л. 1,2. Печать трафаретная. Тираж 100. Заказ П-118.

Отпечатано полиграфическим отделом издательского центра СурГУ. г. Сургут, ул. Энергетиков, 8. Тел. (3462) 76-30-67.

ГБОУ ВПО «Сургутский государственный университет ХМАО - Югры» 628400, Россия, Ханты-Мансийский автономный округ, г. Сургут, пр. Ленина, 1. Тел. (3462) 76-29-00, факс (3462) 76-29-29.

ВВЕДЕНИЕ.

1. АНАЛИЗ АРХИТЕКТУРНЫХ РЕШЕНИЙ СИСТЕМ ОБРАБОТКИ ИНФОРМАЦИИ И МЕТОД ЭКСПЕРТНЫХ ОЦЕНОК.

1.1. Информационно-организационная структура процесса материально-технического обеспечения производства.

1.2. Технологии параллельных и распределенных вычислений.

1.3. Классификации и архитектуры параллельных вычислительных систем

1.4. Классификация и архитектуры распределенных вычислительных систем.

1.4.1. Общие положения.

1.4.2. Системный анализ современных архитектурных решений.

1.5. Технологии и классификация GRID-систем.

1.6. Системы распределенных баз данных.

1.7. Инфраструктуры платформ и услуг.

1.8. Технология in-Memory.

1.9. Архитектура информационно-аналитического решения в SAP.

1.10. Метод экспертных оценок для выбора агрегированных показателей.

1.11. Выводы по первой главе.

2. РЕШЕНИЕ ЗАДАЧ РАСПРЕДЕЛЕННОЙ ОБРАБОТКИ ДАННЫХ.

2.1. Предел аппаратных ресурсов при обработке больших массивов данных

2.2. Экспертный анализ выбора агрегированных показателей.

2.3. Этапы распределения последовательных задач.

2.3.1. Теоретический расчет коэффициента ускорения для информационной модели предприятия.

2.4. Коэффициент связности информационной схемы взаимодействия.

2.5. Распределенная модель обработки больших массивов данных.

2.6. Выводы по второй главе.

3. РАСПРЕДЕЛЕННАЯ ОБРАБОТКА ДАННЫХ И РАСЧЕТ АГРЕГИРОВАННЫХ ПОКАЗАТЕЛЕЙ.

3.1. Подтверждение гипотезы выбора агрегированных показателей.

3.2. Процесс распределения данных для обработки.

3.3. Алгоритмы расчета агрегированных показателей.

3.4. Рекомендации по принятию решений с помощью агрегированных показателей.

3.5. Выводы по третьей главе.

4. ИНФОРМАЦИОННАЯ СИСТЕМА ПО РАСЧЕТУ АГРЕГИРОВАННЫХ ПОКАЗАТЕЛЕЙ.

4.1. Этапы разработки информационной системы.

4.2. Модель по распределенной обработке данных в системе бизнес-аналитики

4.3. Механизм системного планирования процессов обработки данных.

4.4. Автоматическая рассылка отчетных форм средствами 8АР-сервисаЮ

4.5. Анализ загрузки системных процессов.

4.6. Выводы по четвертой главе.

В современном мире в сферах промышленности, науки и жизнедеятельности человека широко используется термин «информация», напрямую связанный с «информатизацией», как с одним из основных явлений, обусловленных постоянно растущей потребностью в аккумулировании, обработке и последующем использовании разнородной информации для контроля существующих процессов, а также для анализа и прогнозирования развития их вариативных изменений.

Информация - часть знаний, которая используется для ориентирования, активного действия и управления чем-либо в целях сохранения, совершенствования и развития (Н. Винер).

Стремительный рост объемов информации сегодня и в перспективе создает серьезную проблему для эффективной работы информационных систем по обработке, поиску и предоставлению информации конечным пользователям. Ситуация, при которой отсутствует возможность произвести обработку информации за требуемый промежуток времени, эквивалентна полному отсутствию информации.

По оценкам агентства IDC (рис.1) к концу 2012 года прогнозируемый

Рис.1. Динамика роста объемов информации в сети Интернет объем информации (в сети Интернет) составит порядка 3 ЭБ (Экзабайт = 270 байт) [111]. Прогрессирующий рост объема информации является основной проблемой многих информационных технологий, которая заключается в существовании разрыва между постоянно увеличивающимся объемом информации и временем ее обработки.

В связи с постоянно прогрессирующим развитием производственных технологий в области нефтегазового сектора расширяется круг производственных задач, повышается уровень автоматизации, постоянно совершенствуются бизнес-процессы, сохраняется тенденция увеличения объемов поступающей производственно-экономической информации аналогично тенденциям роста объемов информации в сети Интернет.

В ОАО «Сургутнефтегаз» ежегодный прирост информации, отражающей состояние сектора МТОП, составляет сотни Гб. На предприятии актуальными являются вопросы оптимального использования вычислительных мощностей, обеспечивающих ввод, преобразование и хранение больших объемов информации, а также представления подробной информации в агрегированном виде для ее качественного анализа. Большой объем информации, поступающей в информационную систему предприятия, представляет собой большой массив данных. Большой массив данных М -структурированный тип данных

М = jm^flpfl^,., },., га^а^а^,.,^}}, состоящий из некоторого числа массивов данных т., где i = {1,2,., z}, объем которого исчисляется в сотнях Гб. Ежедневный прирост временного ряда производственно-экономической информации составляет десятки Гб, включая обновления ранее накопленной информации.

В ОАО «Сургутнефтегаз» с вертикально интегрированной структурой управления (Приложение 1) информационные потоки (в виде больших массивов данных) сектора МТОП обрабатываются в ERP-системе R/3 (разработка фирмы SAP AG) [120].

В условиях роста объемов обрабатываемой информации существует ряд проблем, возникающих при разработке приложений, ориентированных на обработку больших массивов данных [53].

В зависимости от сложности структуры, форматов данных и процессов, осуществляющих вычислительные операции над ними, меняются классы проблем. При однородности форматов данных и растущей вычислительной сложности класс текущих вычислительных проблем переходит в класс проблем супервычислений. При неоднородности форматов данных класс проблем обработки больших массивов данных переходит в более сложный класс - проблем супервычислений над большими массивами данных.

К числу типовых задач, решаемых в области материально-технического обеспечения производства на предприятии, относятся:

- формирование производственной потребности;

- контроль текущего состояния запасов МТР;

- контроль за материально-техническими ресурсами, хранящимися в категории запасов к перераспределению;

- контроль за лимитированным хранением МТР в различных категориях запасов;

- прогнозирование объемов и номенклатуры МТР, находящихся в запасе и попадающих в категорию залежалых (находящихся без движения более года), в среднесрочной перспективе;

- контроль будущих расходов МТР;

- контроль планируемых поступлений МТР;

- контроль за своевременным вывозом МТР с центральных баз.

Кроме этого, при решении задач по материально-техническому обеспечению производства должны быть учтены изменения производственной программы и стратегия предприятия в перспективе его развития. Представленные задачи по анализу данных недостаточно эффективно реализуются в существующем контуре автоматизированной обработки информации из-за наличия большого объема обрабатываемых данных (сотни Гб) и большого объема результирующей информации, используемой при анализе текущего состояния процесса МТОП.

На ежедневную обработку таких массивов данных в транзакционной системе К/3 затрачивается не менее восьми часов. Производить параллельную обработку больших массивов данных в транзакционной системе Ы/3 с одновременным использованием нескольких вычислительных процессов не представляется возможным ввиду наличия регламентированного (ограниченного) количества вычислительных процессов, выделяемых для обработки задач в информационной системе. В случае использования максимального количества вычислительных процессов для выполнения вычислительных операций растет нагрузка на транзакционную систему и сервер базы данных, которая влияет на образование очереди при обращении к вычислительным процессам [13].

Для анализа информации в области материально-технического обеспечения производства на предприятии используются отчетные формы с подробными (по партии) данными. Данные отчетные формы являются неинформативными и избыточными для управленческого уровня. Информация, предоставляемая на управленческий уровень для анализа текущего состояния процессов материально-технического обеспечения производства, должна актуально и полно отражать состояние контролируемых подобластей. Ежедневная подготовка информации для управленческого уровня в ручном режиме является малоэффективной ввиду наличия в данном процессе малопроизводительного и малонадежного человеческого фактора.

Таким образом, существует потребность в поиске такой технологии управления вычислительным процессом по обработке больших массивов данных и представлении состояния процесса материально-технического обеспечения производства в виде совокупности агрегированных показателей, описывающих текущее состояние процесса МТО, которая будет являться оптимальным и оперативным элементом всего производственного цикла.

Такой элемент будет способствовать принятию эффективных управленческих решений, тактическому и стратегическому прогнозированию развития процесса материально-технического обеспечения.

Актуальность работы обусловлена настоятельной потребностью в организации распределенной системы обработки больших объемов данных, снижении нагрузки на транзакционную систему и представлении всего объема информации в виде агрегированных показателей для оценки текущего состояния процесса МТО и прогнозирования его развития, способствующих принятию управленческих решений в квазиреальном времени [70].

Объектом диссертационного исследования являются методы, модели и средства по обработке больших массивов данных при расчете агрегированных показателей, определяющих текущие, критические или граничные состояния процесса материально-технического обеспечения.

Предметом диссертационного исследования является процесс по гарантированной обработке больших массивов данных и расчету агрегированных показателей, используемых для анализа состояния и прогнозирования динамики изменения процесса материально-технического обеспечения производства.

Цель диссертационного исследования состоит в оптимизации процесса обработки больших массивов данных и представление их в виде агрегированных показателей, отражающих состояние процесса материально-технического обеспечения производства и динамику его изменения в рамках информационной системы ОАО «Сургутнефтегаз».

Достижение поставленной цели позволит существенно снизить нагрузку на транзакционную систему Ы/3, тем самым обеспечить выполнение прямых операций (проводок) без задержек для пользователей системы.

Оперативное получение агрегированных показателей позволит существенно ускорить процесс анализа данных, а также обеспечить учет уМ »1

1 Iе4!

1 ' I

VI!

I1

Г ' нцУ' Г" и \ (V о

1 '*», 1 11 ч< й

М 1 изменений состояния процесса МТО при принятии многих управленческих решений.

В рамках поставленной цели решению подлежат следующие задачи: сформировать перечень агрегированных показателей, отражающих состояние процесса материально-технического обеспечения производства и динамику его изменения;

2) разработать модель по распределенной обработке больших массивов данных и расчету агрегированных показателей в контуре информационной системы предприятия;

3) разработать алгоритмы расчета агрегированных показателей;

4) выработать перечень рекомендаций по принятию управленческих решений в управлении процессом материально-технического обеспечения производства;

5) спроектировать и реализовать информационную систему обрабатывающую большие массивы данных, рассчитывающую агрегированные показатели МТО и предоставляющую отчетные формы для принятия управленческих решений ответственными специалистами.

Методы диссертационного исследования. Для решения поставленных задач применяются методы теории принятия решений, теории систем и системного анализа, экспертных оценок. Также применяются результаты исследований российских и зарубежных ученых (В.В. Воеводин, Вл.В. Воеводин, А.Б. Барский, В.П. Гергель, В.В. Топорков, David Peleg, Thomas Cormen и др.) в областях исследований параллельных и распределенных вычислений [10, 11, 5, 12, 78].

Используемые методы исследований опираются на математический аппарат в области теории вероятности, математической статистики, линейной алгебры, алгебры логики.

Научная новизна результатов, выносимых на защиту. Решение поставленных задач в диссертационной работе обусловлено получением следующих новых научных результатов:

1)с помощью метода экспертной оценки, сформирован перечень агрегированных показателей, отражающих текущее состояние процесса материально-технического обеспечения производства и динамику его изменения;

2) разработана модель по распределенной обработке больших массивов данных и расчету агрегированных показателей в контуре информационной системы предприятия;

3) впервые разработаны алгоритмы расчета агрегированных показателей;

4) выработан перечень рекомендаций по принятию управленческих решений, полученный на основе системного анализа агрегированных показателей в части управления процессом материально-технического обеспечения производства.

Теоретическая значимость диссертационного исследования заключается в описании метода по получению перечня агрегированных показателей и обработки больших массивов данных с помощью распределенной модели обработки в части расчета агрегированных показателей, используемых для оценки текущего состояния процесса МТО, прогнозирования динамики его развития и принятия управленческих решений.

Практическая значимость диссертационной работы заключается в полученной совокупности знаний и методов, с помощью которых был получен перечень агрегированных показателей, разработаны и внедрены распределенная модель обработки больших массивов данных и алгоритмы расчета агрегированных показателей на предприятии, предложен перечень практических рекомендаций по принятию управленческих решений.

Основные положения, выносимые на защиту:

1) результаты метода экспертной оценки сформированного перечня агрегированных показателей, отражающих состояние процесса материально-технического обеспечения производства и динамику его изменения;

2) модель по распределенной обработке больших массивов данных и расчету агрегированных показателей в контуре информационной системы предприятия;

3) алгоритмы расчета агрегированных показателей;

4) перечень рекомендаций по принятию управленческих решений, полученный на основе системного анализа агрегированных показателей в части управления процессом материально-технического обеспечения производства.

Достоверность полученных результатов и выводов обусловлены корректностью математических выкладок, подтверждаются обоснованными исходными теоретическими, методологическими и практическими результатами исследований, апробацией результатов и успешным внедрением в ОАО «Сургутнефтегаз», что подтверждается актом внедрения (Акт внедрения от 25.02.2010 № 50-01-19-002).

Апробация работы. Материалы исследований, изложенные в диссертационной работе, были опубликованы в периодических научных изданиях (сборниках научных трудов, научно-технических журналах).

Результаты диссертационных исследований докладывались на: заседаниях кафедры автоматизированных систем обработки информации и управления Сургутского государственного университета, г. Сургут в 2005-2012 гг.;

-городских семинарах «Информатика и компьютерные технологии» в Санкт-Петербургском институте информатики и автоматизации РАН, г. Санкт-Петербург в 2009-2010 гг.

Также материалы диссертации обсуждались на международных, всероссийских, региональных (окружных) конференциях:

1) VII Окружная конференция молодых ученых «Наука и инновации XXI века», г, Сургут, 2007 г.;

2) XIII Международная открытая научная конференция «Современные проблемы информатизации в моделировании и социальных технологиях», г. Воронеж, 2008 г.;

3) Всероссийская научно-практическая конференция «Информационные технологии в экономике, науке и образовании», г. Бийск, 2009 г.;

4) II Межрегиональная научно-техническая конференция «Информационные системы и технологии - 2009», г. Обнинск, 2009 г.;

5) XXX Научно-техническая конференция молодых ученых и специалистов ОАО «Сургутнефтегаз», г. Сургут, 2010 г. (работа отмечена медалью и дипломом за научно-техническую разработку, имеющую экономическую и практическую значимость для ОАО «Сургутнефтегаз»);

6) Всероссийская научно-практическая конференция «Информационные технологии в науке, экономике и образовании», г. Бийск, 2011г.

Личный вклад соискателя: все основные результаты, на которых базируется диссертационная работа, получены либо соискателем лично, либо при его непосредственном участии.

Публикации. По теме диссертационного исследования было опубликовано 14 научных работ. Среди них 5 тезисов, 9 статей, три из которых опубликованы без соавторов, и три статьи - в научно-техническом журнале «Системы управления и информационные технологии» (входит в перечень ВАК). Кроме этого, получено свидетельство о регистрации электронного ресурса в Институте научной информации и мониторинга ОФЭРНиО ГАН «РАО» (№ 15158).

Структура и объем диссертационной работы. Диссертационная работа состоит из введения, четырех глав, заключения, изложенных на 115 страницах машинописного текста, проиллюстрированных 44 рисунками и включающих 6 таблиц, 8 приложений. Список используемой литературы состоит из 124 наименований, 31 из которых - зарубежные. Общий объем диссертационной работы - 143 страницы.

4.6. Выводы по четвертой главе

Разработанная модель по загрузке данных в систему В1 и расчету агрегированных показателей на основе разработанных алгоритмов расчета агрегированных показателей позволила снизить нагрузку на сервер БД с 80 % до 30 %.

Внедрение модели распределенной обработки больших массивов данных в системе БАР В1 позволило снизить время на подготовку и расчет информации (агрегированных показателей) в два раза - с 8 до 4 часов.

Использование механизма системного планирования с помощью разработанной инфо-цепочки позволило автоматически производить загрузку данных в систему бизнес-аналитики В1 и рассчитывать агрегированные показатели, своевременно подготавливая необходимую информацию для отчетных форм, используемых в системе.

Реализованный процесс автоматической рассылки отчетных форм позволил исключить человеческий фактор при подготовке необходимой информации для управленческого уровня.

ЗАКЛЮЧЕНИЕ

В рамках диссертационной работы была проведена оптимизация существующего процесса обработки больших массивов данных и представления информации, описывающей состояние процесса материально-технического обеспечения производства в виде агрегированных показателей, способствующих принятию управленческих решений.

1. С помощью метода экспертной оценки был сформирован перечень агрегированных показателей, отражающих текущее состояние процесса материально-технического обеспечения производства и динамику его изменения используемый при принятии управленческих решений. Использование процесса агрегации позволило достаточно полно представить подробную информацию, описываемую 512 признаками и показателями в виде 19 макропоказателей.

2. Разработана модель по распределенной обработке больших массивов данных и расчету агрегированных показателей в контуре информационной системы предприятия. Использование разработанной модели обеспечило снижение нагрузки на сервер базы данных транзакционной системы Я/3, которая в установленное регламентом время сбора и расчета данных не превышает 30 %. Использование разработанной модели на практике позволило сократить время обработки данных в два раза. В настоящее время на обработку данных в информационной системе затрачивается порядка 4 часов вместо 8.

3. Разработаны алгоритмы по расчету агрегированных показателей, способствующих оценке текущего состояния процесса материально-технического обеспечения производства, используемые для анализа текущих бизнес-процессов при принятии ответственными специалистами управленческих решений в части корректировки и изменения. Также значения агрегированных показателей используются для прогнозирования динамики изменения текущего процесса материально-технического обеспечения в среднесрочной перспективе.

4. Получен перечень рекомендаций по принятию управленческих решений направленных на изменение процесса материально-технического обеспечения производства. Полученный перечень рекомендаций используется с момента внедрения информационной системы в промышленную эксплуатацию.

Разработанная модель и принципы ее построения являются универсальными (приложение 7) и при необходимости могут быть аппроксимированы на другие информационные системы предприятия, работающие с большими массивами данных (приложение 8).

1. Амербаев, В.М. Распределение регулярных потоков сообщений в информационных системах / В.М. Амербаев, В.И. Васильев. Алма-Ата : Наука, 1980. - 144 с.

2. Арлазаров, В.Л. От баз данных к базам знаний (объекты, формы, содержание) / В.Л. Арлазаров, Н.Е. Емельянов // Труды Института системного анализа Российской академии наук. Системный подход к управлению информацией. М. : КомКнига, 2006. - Т.23. - С. 6-18.

3. Ахо, A.B. Структуры данных и алгоритмы / A.B. Ахо, Д.Э. Хопкрофт, Д.Д. Ульман. М. : Издательский дом «Вильяме», 2000. - 384 с.

4. Барский, А.Б. Параллельные информационные технологии / А.Б. Барский. М. : Изд-во «Интернет-университет информационных технологий», «БИНОМ. Лаборатория знаний», 2007. - 503 с.

5. Бобровский, С.И. Delphi 7 / С.И. Бобровский. СПб. : Питер, 2005.736 с.

6. Бройдо, В.Л. Вычислительные системы, сети и телекоммуникации / В.Л. Бройдо, О.П. Ильина. СПб. : Питер, 2007 - 768 с.

7. Бройдо, В.Л. Вычислительные системы, сети и телекоммуникации : Учебник для вузов / В.Л. Бройдо. 2-е изд., испр. и доп. - СПб. : Питер, 2004. -703 с.

8. Вирт, Н. Алгоритмы и структура данных: Пер. с англ. / Н. Вирт. 2-е изд., испр. - СПб. : Невский Диалект, 2008. - 352 с.

9. Воеводин, В.В. Параллельные вычисления / В.В. Воеводин, Вл.В. Воеводин. СПб. : БХВ-Петербург, 2004. - 608 с.

10. Воеводин, Вл.В. Численные методы, параллельные вычисления и информационные технологии / Вл.В. Воеводин. М.: МГУ, 2008. - 320 с.

11. Гергель, В.П. Теория и практика параллельных вычислений / В.П. Гергель. М. : Изд-во «Интернет-университет информационных технологий», «БИНОМ. Лаборатория знаний», 2007. - 423 с.

12. Главин, А.Н. Анализ стандартных механизмов сортировки больших массивов данных / А.Н. Главин, Ф.Ф. Иванов // Системы управления и информационные технологии. 2009. - №2.1(36). - С. 110-113.

13. Главин, А.Н. Кластер как альтернативная параллельная система / А.Н. Главин, Ф.Ф. Иванов // Сборник научных трудов: физико-математические и технические науки. Сургут : СурГу, 2007. - № 28. - С. 27-32.

14. Главин, А.Н. Граф гетерогенной вычислительной сети по сортировке данных / А.Н. Главин // Информационные технологии в науке, экономике и образовании: Всероссийская научная конференция, Бийск, 2009. Ч. 1. - С. 8284.v S ,1. I >1Оft .1 ,f ''iк