автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Разработка методов и алгоритмов интеллектуального кэширования информационных объектов в системах управления промышленными предприятиями

кандидата технических наук
Кудухов, Алан Нодарович
город
Владикавказ
год
2014
специальность ВАК РФ
05.13.01
Диссертация по информатике, вычислительной технике и управлению на тему «Разработка методов и алгоритмов интеллектуального кэширования информационных объектов в системах управления промышленными предприятиями»

Автореферат диссертации по теме "Разработка методов и алгоритмов интеллектуального кэширования информационных объектов в системах управления промышленными предприятиями"

На правах рукописи

КУДУХОВ АЛАН НОДАРОВИЧ

РАЗРАБОТКА МЕТОДОВ И АЛГОРИТМОВ ИНТЕЛЛЕКТУАЛЬНОГО КЭШИРОВАНИЯ ИНФОРМАЦИОННЫХ ОБЪЕКТОВ В СИСТЕМАХ УПРАВЛЕНИЯ ПРОМЫШЛЕННЫМИ ПРЕДПРИЯТИЯМИ

Специальность: 05.13.01 - Системный анализ, управление и обработка информации (промышленность)

АВТОРЕФЕРАТ

диссертации на соискание учёной степени кандидата технических наук

1 7 ИЮЛ 2014 ШШМ4

005550573

Владикавказ — 2014

005550573

Работа выполнена в ФГБОУ ВПО «Северо-Кавказский горнометаллургический институт (государственный технологический университет)»

Научный руководитель: доктор технических наук, профессор

Кумаритов Алан Мелитонович

Официальные оппоненты: Ошхунов Муаед Музофаровнч,

доктор технических наук, профессор ФГБОУ ВПО «Кабардино-балкарский государственный университет им. Х.М. Бербеко-ва» (г. Нальчик), профессор кафедры «Вычислительная математика»

Сапронов Павел Викторович,

кандидат технических наук, Федеральное государственное бюджетное учреждение науки Институт проблем управления им. В.А. Трапезникова Российской академии наук (г. Москва), научный сотрудник

Ведущая организация: ФГБОУ ВПО «Южно-Российский государ-

ственный политехнический университет (НПИ) имени М.И. Платова» (г. Новочеркасск)

Защита диссертации состоится «19» сентября 2014 г. в 1500 часов на заседании диссертационного совета Д212.246.01 при ФГБОУ ВПО «СевероКавказский горно-металлургический институт (государственный технологический университет)» по адресу: 362021, г. Владикавказ, ул. Николаева, 44, СКГМИ (ГТУ). Факс: (8672) 407-203. E-mail: info@skgmi-gtu.ru.

С диссертацией можно ознакомиться в библиотеке и на сайте www.skgmi-gtu.ru ФБГОУ ВПО «СКГМИ (ГТУ)».

Автореферат разослан «10»июля 2014 г.

Ученый секретарь диссертационного совета Д 212.246.01 к.т.н., доцент

ЗР*'

с,

А. Ю. Аликов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Аетуальность работы. В настоящее время всё большую роль играют технологии обеспечивающие хранение, анализ и обработку данных. Это связано с наблюдаемым с конца прошлого века лавинообразным ростом информации, в том числе и в различных отраслях промышленности. Информационные системы промышленных предприятий представляют собой сложный комплекс взаимосвязанных компонентов, которые накапливают, обрабатывают и анализируют огромное количество разнородной технологической информации, создаваемой системами управления. Данные из этих систем являются критически важными для непосредственного управления производственными процессами и составляют необходимую базу для проведения анализа эффективности, расчета ключевых показателей производительности, определения узких производственных мест и решения других задач, требующих использования всего доступного объема производственной информации. Таким образом, промышленные предприятия это область больших данных (Big Data), где накапливаются и обрабатываются большие массивы данных.

В процессе обработки данных всегда возникает проблема обеспечения производительности информационных систем. Современные задачи крупных промышленных предприятий, связанные с хранением и обработкой данных, предъявляют особые требования к вычислительным ресурсам. Критичные для промышленных предприятий информационные системы требуют высокого уровня быстродействия, надежности и масштабируемости. Поскольку информационная система работает с базами данных, размер которых значительно превышает объем доступной оперативной памяти, что приводит к невозможности поместить всю информацию из базы данных в оперативную память, то большая часть информационных объектов во время работы системы будет оставаться на внешних носителях, что сводит производительность системы к минимуму. Практически единственным эффективным способом уменьшения количества обращений к внешним носителям является механизм буферизации данных в оперативной памяти, т.е. кэширование данных.

Основная идея кэширования заключается в сохранении часто запрашиваемой информации в промежуточную память с быстрым доступом, которая может быть запрошена в будущем. Следовательно, применение кэширования в информационных системах управления промышленными предприятиями может дать следующие преимущества:

-увеличение производительности серверов, функционирующих в рамках информационной системы, так как кэш-система будет выполнять часть запросов, в результате сервер будет обслуживать большее число запросов в единицу времени;

-уменьшение среднего значения времени ожидания пользователем запрошенных данных;

-уменьшение нагрузки на локальные и глобальные сети за счет применения кэширования на локальных уровнях.

Данные обстоятельства делают актуальным теоретическое и практическое исследование способов и методов применения интеллектуальных алгоритмов замещения объектов в кэш-памяти для повышения эффективности функционирования информационных систем управления крупными промышленными предприятиями.

В настоящее время к разработке новых алгоритмов кэширования выражается очень большой интерес. Увеличению эффективности систем кэширования посвящены работы таких исследователей, как: Aho A.V., Denning P.J., Ullman J.D., Chen Y.C., Shedler G.S., Nilson R.A., Sharieh A., Belady L.A.,Coffinan E.G., Dasarathan D., Megiddo N., Modha D., С astro M., Adya A., Liskov В., Sabeghi M., Yaghmaee M.H., Subramanian R., Smaragdakis. У.,Соколинский Л.Б., Кузнецов С.Д., Сущенко С.П. и других.

Целью диссертационной работы является разработка методов и алгоритмов интеллектуального кэширования информационных объектов для увеличения производительности и повышения эффективности функционирования систем управления промышленными предприятиями.

Поставленная цель потребовала решения следующих задач:

1. Исследование предметной области с целью выявления проблем и особенностей, учитываемых при разработке подсистемы интеллектуального кэширования;

2. Анализ существующих алгоритмов кэширования информационных объектов с целью выявления достоинств, недостатков и возможностей их применения в промышленных информационных системах;

3. Анализ возможностей применение параллельных алгоритмов в подсистемах кэширования;

4. Разработка древовидной структуры данных, с целью уменьшение времени выполнения основных операции подсистемы кэширования;

5. Разработка архитектуры искусственной нейронной сети, позволяющая определять коэффициенты значимости каждого параметра, характеризующего информационный объект в кэш-памяти;

6. Разработка основных компонентов подсистемы кэширования для повышения эффективности функционирования информационных систем управления промышленными предприятиями.

Объект исследований — системы сбора, анализа и обработки данных информационных системы управления промышленными предприятиями.

Предмет исследований — методы и алгоритмы, обеспечивающие повышение производительности информационных систем управления промышленными предприятиями.

Методы исследований. Решение поставленных задач основывается на применении комплекса методов системного анализа, теории графов, технология параллельной обработки данных, математического программирования, искусственной нейронной сети, теории вероятностей, алгебры логики и теории алгоритмов.

Научная новизна диссертационной работы:

1. На основе искусственной нейронной сети разработан метод вычисления кэш-рейтинга объекта, отличающийся от существующих возможностью одновременного учета количества обращений, временной локальности объекта и времени загрузки из базы данных в кэш-память;

2. Предложен способ хранения объектов в кэш-памяти, позволяющий уменьшить время выполнения операций добавления, удаления и поиска информационных объектов в подсистеме кэширования;

3. Разработан способ обработки множества запросов одновременно поступающих в подсистему кэширования, осуществляющий обработку каждого запроса в отдельном потоке;

4. Разработан параллельный алгоритм вычисления кэш-рейтинга информационных объектов, обеспечивающий увеличение производительности вычислений в подсистеме кэширования.

Практическая значимость диссертационной работы:

1. На основе проведенного анализа существующих систем управления промышленными предприятиями и подсистем кэширования обозначены следующие приоритетные задачи: увеличение производительности функционирования интегрированных информационных систем за счет применения высокоуровневого интеллектуального кэширования информационных объектов; увеличение производительности основных алгоритмов подсистемы кэширования.

2. Спроектирована и разработана подсистема интеллектуального кэширования, позволяющая:

- повысить эффективность функционирования информационных систем управления промышленными предприятиями;

- снизить нагрузку на базу данных, за счет выполнения части запросов подсистемой кэширования;

- увеличить пропускную способность каналов передачи данных по стандартным протоколам TCP/IP;

- уменьшить время ожидания ответа на запросы, поступающие в информационную систему.

3. На основе многофакторного анализа разработан метод вычисления кэш-рейтинга информационного объекта, основанный на применение искусственной нейронной сети.

4. Разработана архитектура искусственной нейронной сети, позволяющая вычислить коэффициенты значимости каждого параметра, характеризующего информационный объект в кэш-памяти.

Обоснованность и достоверность научных положений, выводов и результатов исследований подтверждаются соответствием результатов теоретических исследований экспериментальным данным и внедрением разработанных методов и алгоритмов интеллектуального кэширования информационных объектов в системах управления Северо-Осетинского филиала ОАО «МРСК Северного Кавказа».

Апробация диссертационной работы. Основные положения и результаты диссертационной работы докладывались и обсуждались на ежегодных НТК СКГМИ (ГТУ), научных семинарах кафедры информационных систем в экономике СКГМИ (ГТУ) (2011 -2014 гг.),а также на еженедельном научно-исследовательском семинаре по математической физике и вычислительной математике ФГБОУ ВПО «Кабардино-балкарский государственный университет им. Х.М. Бербекова». Основные результаты диссертационной работы получили апробацию на следующих международных конференциях: Международная научно-техническая конференция «Наука, техника, инновации 2014», г. Брянск 2014г., X студенческая международная заочная научно-практическая конференция «Молодежный научный форум: технические и математические науки», г. Москва 2014г.; Международная научно-практическая конференция «Приоритетные направления развития науки», г. Уфа 2014г.; XVIII Международная научно-практическая конференция «Перспективы развития информационных технологий», г. Новосибирск 2014г.; 1 Международная научно-практическая конференция «Проблемы и перспективы современной науки», г. Ставрополь 2014г.; V Международная научно-практическая конференция «Молодые ученые в решении актуальных проблем науки», г. Владикавказ 2014г.; XI Международный симпозиум «Интеллектуальные системы», г. Москва 2014г.

Личный вклад автора. Основные научные положения, выводы и рекомендации, содержащиеся в диссертационной работе, получены автором самостоятельно.

Публикации. По теме диссертации опубликовано 12 печатных работ, в т. ч. 2 работ в ведущих рецензируемых научных журналах и изданиях, определенных ВАК РФ для публикации основных научных результатов.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения и списка использованной литературы, включающего 88 наименования, и содержит 125 страниц машинописного текста, 39 рисунок, 4 таблиц.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертационной работы, сформулированы цели и задачи научных исследований, отмечены научная новизна и практическая ценность полученных научных результатов. Дана общая характеристика работы. Приводятся сведения об апробации основных положений работы и их опубликовании.

В первой главе дана характеристика объекта исследования с целью выявления особенностей, учитываемых при разработке подсистемы интеллектуального кэширования, для увеличения производительности информационных систем промышленных предприятий. Проведен анализ: основных принципов функционирования подсистем кэширования; проблем и перспектив внедрения технологий интеллектуального кэширования в информационные системы

управления промышленными предприятиями; методов и алгоритмов стратегии замещении объектов и эффективности их использования.

В настоящее время задачи связанные с анализом данных предъявляют особые требования к вычислительным ресурсам. С развитием информационных технологий увеличивается количество, размеры и сложность хранилищ и баз данных. Объем хранимой информации в существующих информационных системах может достигать миллионов и даже миллиардов записей. В целях увеличения производительности в высоконагруженных приложениях и системах используют технологию кэширования, которая применяется в качестве универсального средства, позволяющего ускорить обработку и предоставление данных конечным пользователям.

Рисунок 1 - Стандартный алгоритм кэширования

Функционирование стандартного алгоритма кэширования происходит по следующей схеме (рисунок 1): информационная система получает запрос на предоставление объекта, после чего перенаправляет данный запрос подсистеме кэширования. Подсистема кэширования определяет наличие соответству-

ющего запросу объекта в кэш-памяти и, если он найден, возвращает его информационной системе, которая, в свою очередь, предоставляет его пользователю. Основной интеллект системы кэширования заключается в алгоритме замещения объекта в кэш-памяти. Алгоритм замещения объектов является ключевой составляющей любой системы кэширования, так как определяет, какой объект необходимо удалить из кэш-памяти в случае ее переполнения, используя набор определенных правил стратегии замещения. Стратегия замещения — это формализованное представление правил, определяющих объект наименее полезный для хранения в кэш-памяти. Таким образом, основной задачей алгоритма замещения, является сохранение в кэш-памяти наиболее актуальных объектов.

Проведенный анализ основных алгоритмов кэширования (LRU, SLRU LRU-K, LFU, NRO, FIFO, MRU, Size, PC) выявил следующие недостатки:

1. Вычисление кэш-рейтинга объекта на основе временной локальности или количества обращений, не учитывая другие важные характеристики объекта;

2. Кэширование объектов, размер которых не превосходит некоторый установленный параметр 5;

3. Удаление актуальных объектов из кэш-памяти;

4. Сложность реализации некоторых алгоритмов кэширования.

Таким образом, существующие алгоритмы кэширования являются малоэффективными при применении в высоконагруженных информационных системах управления крупными промышленными предприятиями.

Во второй главе в соответствии с поставленной задачей исследования проведен анализ основных параметров объекта для оценки его кэш-рейтинга, разработана искусственная нейронная сеть, позволяющая определять коэффициент полезности каждого параметра, разработан параллельный алгоритм вычисления кэш-рейтинга, а также предложена функция вычисления кэш-рейтинга объекта.

В подсистеме кэширования основным механизмом, позволяющим определять какой объект необходимо удалить в случае ее переполнения, является алгоритм замещения. Эффективность подсистемы кэширования зависит от того, насколько алгоритм замещения прогнозирует будущее состояние запросов. Интеллектуальность алгоритма определяется количеством кэш-попаданий, т.е. чем больше запросов обслуживает кэш-система, тем меньше происходит обращения в базу данных, и тем выше производительность информационной системы.

Математически коэффициент, отражающий интеллектуализацию алгоритма кэширования, можно представить следующим образом:

где Q — коэффициент, определяющий количество запросов обрабатываемых кэш-системой; S — количество запросов за определенное время; К - количество кэш-попаданий.

В разработанной подсистеме кэширования каждый объект характеризуется тремя параметрами для вычисления его кэш-рейтинга. Целесообразность предложенных в данной работе параметров обусловлена их влиянием на производительность кэш-системы и обоснованно многочисленными экспериментальными исследованиями, проведенными в процессе решения поставленной задачи.

Для достижения поставленной цели предлагается использовать следующие параметры, характеризующие объект в кэш-памяти:

1. Временная локальность, которая описывается выражением:

Т = Тс - Tt, (2)

где Т - время пассивности объекта, Тс - текущее время, Т~ определяет последнее время доступа к /'-ому объекту.

2. Количество обращений к объекту, за определенный промежуток времени, которое описывается выражением:

Frt=Y.r, (3)

где Frt— суммарное количество обращений к £-ому объекту за определенный промежуток времени;г-обращение к объекту.

3. Время загрузки объекта из базы данных в кэш-память, которую можно представить в следующем виде:

Ti = Te- Ts, (4)

где Г[ - время загрузки объекта из базы данных в кэш-память; Те - время окончания загрузки объекта; Ts - время начала загрузки объекта.

Пусть L - размер кэш-памяти, S — общее число объектов в кэш-памяти (5 ^ L), у - вероятность того, что полученный запрос относиться к кэшпамяти, /?, — кэш-рейтинг объекта.

Тогда вероятность обращения к /-ому объекту можно определить следующим образом:

Pi=Y*ls*Ri. (5)

Таким образом, вероятности Р; зависит также от кэш-рейтинга объекта. В идеале параметр Гдолжен стремиться к minT, minT е [1 ...5], где S значение, зависящее от постановки задачи; Fr - должен стремиться к maxF, maxF 6 [1... L], где L — также зависит от постановки задачи; параметр Г( — должен стремиться maxTl, maxT[ Е [1 ...С], где G - максимально время загрузки объекта из базы данных в кэш-память, так как чем больше времени занимает загрузка, тем лучший рейтинг объекта.

Представим рейтинг объекта в виде суммы:

Я = fi(T) + /2 (Fr) + f3(Ti), (6)

где fvf2,f3 - нелинейные функции, причем должно выполнятся:

f/i max r/2 -> max (f3 -> max

17" -* min ' l-Fr max' l.T£ -» max ^ '

Тогда, идеальный кэш-рейтинг объекта можно представить в следующем виде:

R ' f(T -> minT, Fr -> maxFr, Tt maxTl) (8)

Значения каждого параметра необходимо привести к безразмерным величинам в диапазоне от [0,1], для этого используется функция нормирования, которая имеет следующий вид:

Нр(х) = , (9)

р тахх- minx

где р — выбранный параметр [Т, Fr, Гг]; minx — минимальное значение; тахх — максимальное значение.

Тогда функцию вычисления кэш-рейтинга можно представить следующим образом:

Ri=f(H(T) + H(Fr) + H{Ti)), (10)

где R( — рейтинг объекта i. Ошибочность данной функции заключается в том, что каждый параметр вкладывает в выходное значение одинаковый коэффициент значимости, т.е. если к объекту не обращались длительное время, то параметр Т-* тахТ и данный объект является кандидатом на замещение, даже если остальные параметры идеальны относительно параметра Т.

Таким образом, не все параметры должны вкладывать одинаковый коэффициент значимости в выходное значение. Каждый параметр должен определить свой коэффициент значимости.

Тогда функцию (10), представим в следующем виде: (Rt = f(H (ТУ + H(Fry + Я(Г,)г)

I Vt, 1 < t < L ' U U

где x,y,z- коэффициент значимости каждого параметра. Решение поставленной задачи сводится к нахождению коэффициентов функции (11), при которых кэш-рейтинг объекта, стремиться к оптимальному результату, учитывающий значимость каждого параметра:

[Rt = f{T,Fr,Ti)]^<o. (12)

Для решения поставленной задачи предлагается использовать двухслойную нейронную сеть прямого распространения. Необходимость применение нейронной сети обусловлена сложностью выявления скрытых закономерностей запросов, поступающих в подсистему кэширования.

Структура разработанной нейронной сети представлена на рисунке 2.

Рисунок 2 — Нейронная сеть для вычисления коэффициентов значимости

Входной слой нейронной сети, состоит из трех нейронов, так как кэш-рейтинг объекта характеризуется тремя параметрами [Т, ¥т, Т,], выходной слой также содержит три нейрона, которые отражающий результат произведенных вычислений. Процесс обучения проходит по способу «обучение без учителя», так как целевая функция неизвестна.

Алгоритмически процесс обучения представлен на рисункеЗ.

Обучив нейронную сеть определять коэффициенты значимости (х\у\г) каждого параметра, вычисление кэш-рейтинга объекта сводиться к применению функции (11). Стоит отметить, что объекты в разработанной подсистеме кэширования хранятся в виде «двоичного дерева поиска», что уменьшает время выполнения операций поиска, добавления и удаления объекта из кэшпамяти за время 0(1од2 Л/).

Алгоритм замещения объектов в кэш-памяти на основе искусственной нейронной сети, представлен на рисунке 4.

Приведенный алгоритм разработан в среде с последовательной обработкой данных, которая подразумевает последовательный перебор каждого узла и вычисление кэш-рейтинг объекта. Так как доступ к каждому узлу происхо-

дит с помощью указателей, то процесс перебора и вычисление кэш-рейтинга занимает определенное время, что недопустимо в подсистеме кэширования. Следовательно, актуализируется задача преобразования алгоритма замещения (рисунок 4) в эквивалентный алгоритм с возможностью параллельного вычисления.

Идея распараллеливания вычислений основана на том, что большинство задач может быть разбито на набор меньших задач, которые могут быть решены одновременно.

Параллельный алгоритм вычисления кэш-рейтинга представлен на рисунке 5.

Рисунок 5 - Параллельный алгоритм вычисления кэш-рейтинга объектов

Алгоритм вычисления кэш-рейтинга объектов разбит на две независимые задачи. Каждая задача выполняется не зависимо от другой и в процессе вы-

полнения добавляет вычисленный кэш-рейтинг и указатель на объект в массив данных. После чего происходит поиск в массиве наименьшего кэш-рейтинга и удаление объекта из кэш-памяти.

Максимальное ускорение, которое можно получить от распараллеливания на N процессоров, представлено законом Амдала:

5 = -4=7. (13)

где N — количество процессоров; V— объем вычислений, который может быть получен последовательными вычислениями; (1 — V) - объем вычислений, который может быть распараллелено идеально.

Из чего можно заключить, что если размер кэш-памяти а время вычисления одного кэш-рейтинга С, то время вычисления всех объектов в кэшпамяти:

Т = 1*С. (14)

Следовательно, если воспользоваться возможностями параллельного программирования, то время вычисления всех рейтингов можно уменьшить в N — раз:

Т = 1Г- 05)

Таким образом, разработан новый способ вычисления кэш-рейтинга объекта, позволяющий по трем параметрам [Т, Рг, 7^] определить актуальность выбранного объекта, а также разработан параллельный алгоритм вычисления кэш-рейтинга объектов.

В третьей главе представлены основные компоненты и выявлены основные информационные связи разработанной подсистемы кэширования, которые представлены на рисунке 6.

Входящий поток информации Внутренний поток информации

Рисунок 6 - Основные компоненты системы кэширования

14

Разрабатываемая система интеллектуального кэширования состоит из следующих основных компонентов: планировщик запросов; диспетчер потоков; диспетчер кэш-памяти; пул подключений.

Для более детального анализа рассмотрены алгоритмы функционирования основных компонентов в подсистеме кэширования.

Планировщик запросов - компонент, позволяющий подсистеме кэширования обслуживать множество запросов и добавлять каждый запрос в очередь на обработку. Обработка множества запросов возможна благодаря выполнению каждого запроса в отдельном потоке.

На рисунке 7 приведен алгоритм функционирования планировщика запросов.

Рисунок 7 - Алгоритм функционирования компонента «Планировщик запросов»

Диспетчер кэш-памяти — ядро подсистемы кэширования, позволяющая сохранять объекты в кэш-памяти, запускать параллельный алгоритм вычис-

ления кэш-рейтинга объектов в случае переполнения кэш-памяти. Также, в тесном взаимодействии с диспетчером потоков позволяет обрабатывать запросы на поиск, удаление и обновление данных в разных потоках. В свою очередь диспетчер потоков — представляет собой сложный компонент, который позволят запускать, удалять и прерывать процесс выполнения потока и позволяет синхронизировать доступ к кэш-памяти.

Алгоритм функционирование компонента «Диспетчер кэш-памяти» приведен на рисунке 8.

Рисунок 8 — Алгоритм функционирования компонентов «Диспетчер кэшпамяти»

Таким образом, к основным возможностям предложенной в данной работе подсистеме кэширования относятся:

1. обработка каждого запроса в отдельном потоке вычислений;

2. параллельное вычисление кэш-рейтинга объектов;

3. обработка результатов выполнения в разных потоках.

В четвертой главе приведена архитектура подсистемы кэширования, а также разработан параллельный алгоритм обработки множества запросов.

Разработанная подсистема интеллектуального кэширования имеет клиент-серверную архитектуру, которая позволяет организовать децентрализованное хранение и параллельную обработку данных (рисунок 9).

-Запрос— -Запрос-

О S

R с i 2 b API

Логика доступа к данным

^ База данных

База данных

База данньк

Информационная система

Протокол взаимодействия с кэш-системой

Интерфейс взаимодействия API

Диспетчер потоков

Планировщик запросов

Диспетчер кэшпамяти

Пул подключений

Подсистема кэширования

Рисунок 9 - Общая архитектура взаимодействия подсистемы кэширования с информационной системой предприятия

Взаимодействие с подсистемой кэширования происходит, как через специальную библиотеку, так и на основе стандартных протоколов передачи данных (TCP/IP), поверх которых функционирует разработанный протокол, для получения и передачи объектов и команд выполнения. Система проектировалась с помощью объектно-ориентированной парадигмы, вследствие чего каждый компонент выступает, как автономный объект, что позволит при необходимости вносить изменение в проект, без перекомпиляции целого проекта.

Рассматриваемая архитектура построена на основе принципа открытости-закрытости, которая предполагает, что программные сущности (классы, мо-

дули, функции и т.п.) должны быть открыты для расширения, но закрыты для изменения. Это означает, что такие сущности могут позволять менять свое поведение без изменения их исходного кода.

Данная архитектура также включает шаблон проектирования Singleton, который позволяет создать один объект, для взаимодействия с кэш-памятью. Каждый уровень содержит особую функциональность и взаимодействует с остальными посредством контрактов. Последний уровень включает в себя шаблон проектирования Facade, позволяющий скрывать всю сложность и зависимость, и предоставляет единый удобный интерфейс.

Основой частью подсистемы интеллектуального кэширования является определение коэффициентов значимости каждого параметра, реализуемое с помощью нейронной сети. Основу нейронной сети составляют три класса (рисунок 10), которые содержат всю необходимую функциональность для определения кэш-рейтинга объекта.

Neuron

Sealed Класс

.-.itc-h

' ч. ее и с res

J" vVeig:H ' Метсдь О Дс'Ке^ипс

Ccrrec'.VYeig'.h

О Neuron

NeuronLayer

Sealed Масс

cache

func

neurens Свсйстм

> Neor-onCoon'JriLej Mrrcie;

id CcrrputeLeyer Ф Ccr»'p!_T.eValue Ф Ccrrec:Wieg:h О Ce:Neursn Ъ Inr.layer

О NeurcnLeyer • •* 1 г

О Neuron Си:

О NeurcnvVeighi

Ф Se-Jnpu layer

NeuronNet Л

Sealed Класс

Геля

ч>. Ег-а<

'ипг_ссгг

inc step

layers

step

- MiTCit

Ч CheckOi??

CheckSu птЕггсг

<9. Ч Corpu'tError Compute Vector

Ч Ч С с l i e сVVi eg • h ErrcrResult

О InitNeurcnNet

ф NeuronNet

Ч Processiearn

о Prcgncz

о SetSiep

1» StaitL cam

о Sur^CcrrectWiegth

о SurrrSfroe

Ч TargstVectcr

Рисунок 10 - Основные классы нейронной сети на языке программирования С#

Разработанные классы позволяют создавать многослойную нейронную сеть прямого распространения различной архитектуры, а также обучать сеть, как по способу обучения «без учителя», так и «с учителем».

Для повышения эффективности функционирования подсистемы кэширования предлагается обрабатывать поступающие запросы в разных потоках. Каждый запрос, поступающий в кэш-систему, будет обрабатываться в отдельном потоке, что влечет увеличение, как производительности, так и пропускной способности подсистемы кэширования. Также для увеличения производительности подсистемы кэширования в процессе обработки множества

запросов используются легковесные объекты (Task), которые позволяют обрабатывать множество запросов в одном потоке.

Алгоритм обработки множества запросов приведен на рисунке 11.

_Конец_)

Рисунок 11 - Параллельный алгоритм обработки множества запросов

19

На основе проведенных анализов и исследований в СОф ОАО «МРСК Северного Кавказа» были проведены эксперименты при обработке информации системой управления с применением существующих алгоритмов замещения объектов в кэш-памяти и алгоритма ART-CACHE, предложенного в данной работе. Подсистемой кэширования было обработано 1000 запросов, и наилучший результат кэш-попаданий показал разработанный в данной работе алгоритм замещения ART-CACHE (рисунок 12).

шКэш-попадания ■ Кэш-промох

Рисунок 12 -Результаты кэш-попаданий при обработке 1000 запросов

Также в процессе проведенных экспериментов было выявлено, что время обработки одного запроса информационной системой СОф ОАО «МРСК Северного Кавказа» составляет 5 секунд.

Таким образом, при применении разработанной подсистемы кэширования в процессе обработки 1000 запросов информационной системой выявлено 876 кэш-попаданий, а суммарное время ожидание ответа от подсистемы кэширования составляет 620 секунд, что свидетельствует об эффективности предложенных методов и алгоритмов кэширования.

Планируемый экономический эффект от внедрения за три года составит 1 млн. 285 тыс. руб.

ЗАКЛЮЧЕНИЕ

На основе проведенного в диссертационной работе исследования по разработке методов и алгоритмов вычисления кэш-рейтинга и параллельного алгоритма замещения объекта в кэш-памяти, можно сформулировать следующие выводы:

1. Проведен системный анализ проблем и особенностей вычисления кэш-рейтинга объекта, методов реализации кэш-систем и способов хранения объектов в основной памяти информационных систем управления промышленными предприятиями, позволяющий сделать вывод о необходимости совершенствования существующих алгоритмов замещения объектов в кэш-памяти и методов вычисления кэш-рейтинга.

2. Разработан метод вычисления кэш-рейтинга объекта на основе нейронной сети, позволяющий определить степень актуальности информационного объекта в кэш-памяти путем одновременного учета количества обращений, временной локальности объекта и времени загрузки из базы данных в кэш-память.

3. Предложен способ хранения информационных объектов в кэш-памяти в виде «двоичного дерево поиска», позволяющий уменьшить время выполнения операций добавления, удаления и поиска объекта.

4. Разработаны алгоритмы параллельного вычисления кэш-рейтинга объектов и обработки множества запросов в единицу времени, обеспечивающие увеличение производительности кэш-системы.

5. Разработана структура подсистемы интеллектуального кэширования в рамках информационных систем управления промышленными предприятиями на основе методологии системного анализа и объектно-ориентированного проектирования;

6. Спроектирована архитектура и разработана подсистема высокоуровневого интеллектуального кэширования, позволяющая увеличивать производительность интегрированных информационных систем управления промышленными предприятиями.

7. Ожидаемый экономический эффект от внедрения разработанного программного обеспечения в СОф ОАО «МРСК СК» за три года составит 1 млн. 285 тыс. руб., за счет снижения общесистемных затрат на техническое обслуживание и обновление информационно-телекоммуникационной инфраструктуры и повышения эффективности функционирования системы управления.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Публикации в ведущих рецензируемых научных журналах, включенных в перечень ВАК:

1. Кумаритов A.M., Кудухов А.Н. Разработка нового метода вычисления кэш-рейтинга объектов в подсистемах кэширования информационных систем промышленных предприятий // Аудит и финансовый анализ. - М.: 2014. Т. 3. С. 447-449.

2. Кудухов А.Н. Разработка параллельного алгоритма вычисления кэш-рейтинга в системах кэширования // Науковедение (электронный журнал). 2014 №2 (21) [Электронный ресурс]. - М.: 2014. — Режим доступа: http://naukovedenie.ru/PDF/81tvn514.pdf, свободный — Загл. с экрана.

Публикации в других изданиях:

3. Кудухов А.Н. Анализ методов и технологий параллельных вычислений для обработки информации // Электронный научный журнал APRIORI. Серия: Естественные и технические науки [Электронный ресурс]. — Краснодар: 2014, №1. - Режим доступа: http://www.apriori-journal.ru/seria2/l-2014/Kuduhov. pdf (доступ свободный) — Загл. с экрана.

4. Кудухов А.Н. Особенности кэширования данных в информационных системах // Наука, Техника, Инновации 2014: сборник статей Международной научно-технической конференции (25-27 марта 2014 г., г. Брянск). -Брянск: НДМ, 2014. С. 226-232.

5. Кудухов А.Н. Кумаритов A.M. Анализ алгоритма обратного распространения ошибки нейронной сети // Молодежный научный форум: Технические и математические науки. Электронный сборник статей по материалам VIII студенческой международной заочной научно-практической конференции [Электронный ресурс]. — Москва: Изд. «МЦНО», 2014. — №1 (8). — Режим доступа: http://www.nauchforum.ru/ archive/MNF_tech/l(8).pdf. С. 33 - 39.

6. Кудухов А.Н. Аппроксимация функции е — хЛ2 с помощью нейронных сетей // Труды молодых ученых. - Владикавказ: Изд-во «Терек», 2013, Т.4 - С. 91-96.

7. Кудухов А.Н. Анализ структуры организации нейронных сетей И Труды молодых ученых. - Владикавказ: Изд-во «Терек», 2013, Т.4. С. 96101.

8. Кудухов А.Н. Аппроксимация функции cos х с помощью нейронной сети // Международная научно-практическая конференция «Приоритетные направления развития науки». - Уфа: 2014. С. 96-102.

9. Кудухов А.Н. К вопросу о применении алгоритмов замещения LRU в подсистемах кэширования информационных систем промышленных предприятий // XVIII Международная научно-практическая конференция «Перспективы развития информационных технологий». - Новосибирск: 2014. С.149-154.

10. Кудухов А.Н. Гаглоева И.Э. Анализ особенностей обучения нейронных сетей //1 Международная научно-практическая конференция «Проблемы и перспективы современной науки». — Ставрополь: 2014. С. 162-167.

11. Кудухов А.Н., Гаглоева И.Э. Анализ основных задач и принципов функционирования систем кэширования // Молодые ученые в решении актуальных проблем науки: сборник работ V Международной научно-практической конференции. - Владикавказ: 2014. С. 28-31.

12. Кудухов А.Н. Гаглоева И.Э. Разработка архитектуры подсистемы интеллектуального кэширования данных // Сборник докладов XI международного симпозиума «Интеллектуальные системы». — М.: 2014. С. 433-438.

Подписано в печать 08.07.2014. Усл.печ.л. 1,4. Тираж 100 экз. Заказ № 75.

Отпечатано ИП Цопановой А.Ю. 362002, г. Владикавказ, пер. Павловский, 3.

Текст работы Кудухов, Алан Нодарович, диссертация по теме Системный анализ, управление и обработка информации (по отраслям)

СЕВЕРО-КАВКАЗСКИЙ ГОРНО-МЕТАЛЛУРГИЧЕСКИЙ ИНСТИТУТ (ГОСУДАРСТВЕННЫЙ ТЕХНОЛОГИЧЕСКИЙ УНИВЕРСИТЕТ)

На правах рукописи

04201460796

КУДУХОВ АЛАН НОДАРОВИЧ

РАЗРАБОТКА МЕТОДОВ И АЛГОРИТМОВ ИНТЕЛЛЕКТУАЛЬНОГО КЭШИРОВАНИЯ ИНФОРМАЦИОННЫХ ОБЪЕКТОВ В СИСТЕМАХ УПРАВЛЕНИЯ ПРОМЫШЛЕННЫМИ ПРЕДПРИЯТИЯМИ

Специальность:05.13.01- «Системный анализ, управление и обработка информации (промышленность)»

Диссертация

на соискание учёной степени кандидата технических наук

Научный руководитель: д.т.н. профессор Кумаритов Алан Мелитонович

Владикавказ - 2014

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ.............................................................................................................4

ГЛАВА 1. АНАЛИЗ ОСОБЕННОСТЕЙ КЭШИРОВАНИЯ ДАННЫХ В ИНФОРМАЦИОННЫХ СИСТЕМАХ............................................................10

1.1 Анализ принципов функционирования систем кэширования.................10

1.2. Особенности и основные проблемы реализации кэш-систем................21

1.3 Анализ методов и алгоритмов стратегий замещения объектов в...........26

кэш-памяти..........................................................................................................26

1.3.1 Идеальное кэширование........................................................................27

1.3.2 Алгоритм замещения LRU....................................................................28

1.3.3 Алгоритм замещения SLRU..................................................................29

1.3.4 Алгоритм замещения LRU-K................................................................30

1.3.5 Алгоритм замещения LRU-SIZE..........................................................31

1.3.6 Алгоритм замещения NRU...................................................................34

1.3.7 Алгоритм замещения FIFO...................................................................35

1.3.8 Специальные стратегии замещения.....................................................36

1.3.9 Стратегия замещения LFU....................................................................37

1.3.10 Комбинационные стратегии замещения............................................39

1.3.11 Адаптивные алгоритмы кэширования...............................................41

1.5 Выводы по первой главе и постановка задачи исследования.................45

ГЛАВА 2. РАЗРАБОТКА НЕЙРОСЕТЕВОГО МЕТОДА ВЫЧИСЛЕНИЯ КЭШ-РЕЙТИНГА И АЛГОРИТМА ЗАМЕЩЕНИЯ ОБЪЕКТОВ В ПОДСИСТЕМЕ КЭШИРОВАНИЯ.....................................47

2.1 Основные задачи функционирования подсистемы интеллектуального кэширования.......................................................................................................47

2.2 Применение искусственных нейронных сетей в анализе данных..........49

2.3 Разработка нейросетевого метода вычисления кэш-рейтинга объекта и алгоритма замещение объектов в кэш-памяти................................................57

2.4 Разработка параллельного алгоритма вычисления кэш-рейтинга..........64

объектов в подсистеме кэширования...............................................................64

2.5 Результаты экспериментальных исследований........................................69

2.6 Выводы по второй главе..............................................................................71

ГЛАВА 3. РАЗРАБОТКА СТРУКТУРЫ И АЛГОРИТМОВ ФУНКЦИОНИРОВАНИЯ ПОДСИСТЕМЫ ИНТЕЛЛЕКТУАЛЬНОГО КЭШИРОВАНИЯ................................................................................................72

3.1 Структура основных компонентов подсистемы интеллектуального кэширования.......................................................................................................72

3.2 Разработка структуры хранения объектов в кэш - памяти......................78

3.3 Разработка параллельного алгоритма обработки множества..................83

запросов...............................................................................................................83

3.4 Выводы по третьей главе............................................................................85

ГЛАВА 4. АРХИТЕКТУРА ПОДСИСТЕМЫ ИТЕЛЛЕКТУАЛЬНОГО КЭШИРОВАНИЯ................................................................................................87

4.1 Основные принципы и особенности подсистемы интеллектуального кэширования.......................................................................................................87

4.2 Проектирование архитектуры подсистемы интеллектуального.............90

кэширования.......................................................................................................90

4.3 Реализация пользовательского интерфейса ART-CACHING..................97

4.4 Выводы по четветрой главе........................................................................99

ЗАКЛЮЧЕНИЕ.................................................................................................100

СПИСОК ЛИТЕРАТУРЫ...............................................................................102

Приложение А (информационное) акт о внедрении результатов

кандидатской диссертационной работы...........................................................111

Приложение Б (информационное) Таблица Б1 - обучающая выборка искусственной нейронной сети для определения коэффициентов значимости

каждого параметра..............................................................................................114

Приложение В (информационное) Исходный код компонента, имитирующего работу искусственной нейронной сети.................................117

ВВЕДЕНИЕ

Актуальность работы. В настоящее время всё большую роль играют технологии, обеспечивающие хранение, анализ и обработку данных. Это связано с наблюдаемым с конца прошлого века лавинообразным ростом информации, в том числе и в различных отраслях промышленности. Информационные системы промышленных предприятий представляют собой сложный комплекс взаимосвязанных компонентов, которые накапливают, обрабатывают и анализируют огромное количество разнородной технологической информации, создаваемой системами управления. Данные из этих систем являются критически важными не только для непосредственного управления производственными процессами, но и представляют собой необходимую базу для проведения анализа эффективности использования оборудования, расчета ключевых показателей производительности, определения узких производственных мест и решения других задач, требующие использования всего доступного объема производственной информации [1]. Таким образом, промышленные предприятия это область больших данных (Big Data), где накапливаются и обрабатываются большие массивы данных.

В процессе обработки данных всегда возникает проблема обеспечения производительности информационных систем. Современные задачи крупных промышленных предприятий, связанные с хранением и обработкой данных, предъявляют особые требования к вычислительным ресурсам. Критичные для промышленных предприятий информационные системы требуют высокого уровня быстродействия, надежности и масштабируемости [1]. Поскольку информационная система работает с базами данных, размер которых значительно превышает объем доступной оперативной памяти, что приводит к невозможности поместить всю информацию из базы данных в оперативную память, то большая часть информационных объектов во время работы системы будет оставаться на внешних носителях, что сводит производительность системы к минимуму. Практически единственным эффективным способом

уменьшения количества обращений к внешним носителям является механизм буферизации данных в оперативной памяти, т.е. кэширование данных.

Кэширование — это универсальное средство, позволяющее ускорить обработку и предоставление данных конечным пользователям. Основная идея кэширования заключается в сохранении часто запрашиваемой информации в промежуточную память с быстрым доступом, которая может быть запрошена в будущем [1, 2, 3]. Следовательно, использование кэширования в информационных системах может дать следующие преимущества:

увеличение производительности серверов, функционирующих в рамках информационной системы, так как система кэширования будет выполнять часть запросов, в результате сервер будет обслуживать большее число запросов в единицу времени; уменьшение среднего значения времени ожидания пользователем запрошенных данных;

уменьшение нагрузки на локальные и глобальные сети за счет применения кэширования на локальных уровнях.

Данные обстоятельства делают актуальным теоретическое и практическое исследование применения интеллектуальных алгоритмов замещения объектов в кэш-памяти для повышения эффективности функционирования информационных систем управления крупными промышленными предприятиями.

В настоящее время к разработке новых алгоритмов кэширования выражается очень большой интерес. Повышению эффективности систем кэширования посвящены работы таких исследователей, как: Aho A.V., Denning P.J., Ullman J.D., Chen Y.C., Shedler G.S., Nilson R.A., Sharieh A., Belady L.A., Cof-finan E.G., Dasarathan D., Megiddo N., Modha D., Castro M., Adya A., Liskov В., Sabeghi M., Yaghmaee M.H., Subramanian R., Smaragdakis Y., Соколинский Л.Б., Кузнецов С.Д., Сущенко С.П. и других.

Целью диссертационной работы является разработка методов и алгоритмов интеллектуального кэширования информационных объектов для уве-

личения производительности и повышения эффективности функционирования систем управления промышленными предприятиями.

Поставленная цель потребовала решения следующих задач:

1. Исследование предметной области с целью выявления проблем и особенностей, учитываемых при разработке подсистемы интеллектуального кэширования;

2. Анализ существующих алгоритмов кэширования информационных объектов с целью выявления достоинств, недостатков и возможностей их применения в промышленных информационных системах;

3. Анализ возможностей применение параллельных алгоритмов в подсистемах кэширования;

4. Разработка древовидной структуры данных, с целью уменьшение времени выполнения основных операции подсистемы кэширования;

5. Разработка архитектуры искусственной нейронной сети, позволяющая определять коэффициенты значимости каждого параметра, характеризующего информационный объект в кэш-памяти.

6. Разработка основных компонентов подсистемы кэширования для повышения эффективности функционирования информационных систем управления промышленными предприятиями.

Объект исследований - системы сбора, анализа и обработки данных информационных системы управления промышленными предприятиями.

Предмет исследований - методы и алгоритмы, обеспечивающие повышение производительности информационных систем управления промышленными предприятиями.

Методы исследований. Решение поставленных задач основывается на применении комплекса методов системного анализа, теории графов, технология параллельной обработки данных, математического программирования, нейронных сетей, теории вероятностей, алгебры логики и теории алгоритмов.

Научная новизна диссертационной работы:

1. На основе искусственной нейронной сети разработан метод вычис-

ления кэш-рейтинга объекта, отличающийся от существующих возможностью одновременного учета количества обращений, временной локальности объекта и времени загрузки из базы данных в кэш-память;

2. Предложен способ хранения объектов в кэш-памяти, позволяющий уменьшить время выполнения операций добавления, удаления и поиска информационных объектов в подсистеме кэширования;

3. Разработан способ обработки множества запросов, одновременно поступающих в подсистему интеллектуального кэширования, осуществляющий обработку каждого запроса в отдельном потоке;

4. Разработан параллельный алгоритм вычисления кэш-рейтинга информационных объектов, обеспечивающий увеличение производительности вычислений в системе кэширования.

Практическая значимость диссертационной работы заключается в следующем:

1. На основе проведенного анализа существующих систем управления промышленными предприятиями и подсистем кэширования обозначены следующие приоритетные задачи: увеличение производительности функционирования интегрированных информационных систем, за счет применения высокоуровневого интеллектуального кэширования информационных объектов; увеличение производительности основных алгоритмов подсистемы кэширования.

2. Спроектирована и разработана высокоуровневая подсистема интеллектуального кэширования, позволяющая:

- повысить эффективность функционирования информационных систем управления промышленными предприятиями;

- снизить нагрузку на базу данных, за счет выполнения части запросов подсистемой кэширования;

- увеличить пропускную способность каналов передачи данных по стандартным протоколам TCP/IP;

- уменьшить время ожидания ответа на запросы, поступающие в информационную систему.

3. На основе многофакторного анализа разработан метод вычисления кэш-рейтинга информационного объекта, основанный на применение искусственной нейронной сети.

4. Разработана архитектура искусственной нейронной сети, позволяющая вычислить коэффициенты значимости каждого параметра, характеризующего информационный объект в кэш-памяти;

Обоснованность и достоверность научных положений, выводов и результатов исследований подтверждаются соответствием результатов теоретических исследований экспериментальным данным и внедрением разработанных методов и алгоритмов интеллектуального кэширования информационных объектов в системах управления СОф ОАО «МРСК СК».

Апробация диссертационной работы. Основные положения и результаты диссертационной работы докладывались и обсуждались на ежегодных НТК СКГМИ (ГТУ), научных семинарах кафедры информационных систем в экономике СКГМИ (ГТУ) (2011 - 2014 гг.), а также на еженедельном научно-исследовательском семинаре по математической физике и вычислительной математике ФГБОУ ВПО «Кабардино-балкарский государственный университет им. Х.М. Бербекова». Основные результаты диссертационной работы получили апробацию на следующих международных конференциях: Международная научно-техническая конференция «Наука, техника, инновации 2014», г. Брянск 2014г., X студенческая международная заочная научно-практическая конференция «Молодежный научный форум: технические и математические науки», г. Москва 2014г.; Международная научно-практическая конференция «Приоритетные направления развития науки», г. Уфа 2014г.; XVIII Международная научно-практическая конференция «Перспективы развития информационных технологий», г. Новосибирск 2014г.; I Международная научно-практическая конференция «Проблемы и перспективы современной науки», г. Ставрополь 2014г.; V Международная научно-

практическая конференция «Молодые ученые в решении актуальных проблем науки», г. Владикавказ 2014г.; XI Международный симпозиум «Интеллектуальные системы», г. Москва 2014г.

Личный вклад автора. Основные научные положения, выводы и рекомендации, содержащиеся в диссертационной работе, получены автором самостоятельно.

Публикации. По теме диссертации опубликовано 12 печатных работ, в т. ч. 2 работ в ведущих рецензируемых научных журналах и изданиях, определенных ВАК РФ для публикации основных научных результатов.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения и списка использованной литературы, включающего 88 наименования, и содержит 125 страниц машинописного текста, 39 рисунок, 4 таблицы и 3 приложения.

ГЛАВА 1. АНАЛИЗ ОСОБЕННОСТЕЙ КЭШИРОВАНИЯ ДАННЫХ В ИНФОРМАЦИОННЫХ СИСТЕМАХ

1.1 Анализ принципов функционирования систем кэширования

С каждым годом наблюдается экспоненциальный рост объемов информации, поступающей практически со всех производственных процессов различных отраслей промышленности. Можно отметить практически тот же экспоненциальный рост результатов обработки и анализа этих данных. К результатам аналитических работ добавляются также результаты имитационного моделирования. При функционировании и эксплуатации промышленных объектов наблюдается значительное возрастание количества данных, поступающих с различных датчиков, систем мониторинга и управления.

Развитие промышленного сегмента и информационных технологий привело к появлению нескончаемого потока информации из различных источников. Отсюда вытекает ряд сложностей с обработкой и анализом большого массива информации из множества источников:

- большое количество источников генерирует пласт разрозненных и неструктурированных сведений, обладающих разной степенью достоверности;

- процесс поиска информации из разных источников ресурсоемок и неэффективен, что губительно влияет на успешность всего бизнес-процесса;

- невозможность централизации контроля за использованием информации без централизации ее источников;

- многообразие форм представления информации и способов доступа: программные интерфейсы, сервисы, подключения, приложения, модели данных;

- множество создаваемых версий данных при обработке;

- множество созданных моделей в приложениях;

- прием и хранение результатов работ подрядчиков: разнообразие

форматов и средств представления информации [4]. По результатам исследования «Big Data, Bigger Digital Shadows, and Biggest Grow thin the Far East», проведенного IDC (International Data Corporation) при поддержке компании EMC (NYSE: EMC) в настоящее время наблюдается беспрецедентный рост информации в мире (рисунок 1.1), только 0, 4% которой, по оценкам IDC, анализируется [5].

2000

1800

1600

из 1400

го

о 1200

н и 1000

41

¡Г В 800

о 600

400

200

0

.■lililí

1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 ■ Количество обрабатываемой информации

Рисунок 1.1- Мировой рост обрабатываемой информации за период

с 1996 по 2013гг.

Повсеместное распространение технологий и доступа к интернету привели к удвоению объема информации за последние 2 года. По итогам исследования объем сгенерированных данных в 2012 году составил 2,8 зеттабайт и прогнозируется к 2020 г. увеличение объема до