автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Модели и методы повышения эффективности предоставления информационных услуг в центрах обработки данных

На правах рукописи

Воробьёв Андрей Игоревич

МОДЕЛИ И МЕТОДЫ ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ ПРЕДОСТАВЛЕНИЯ ИНФОРМАЦИОННЫХ УСЛУГ В ЦЕНТРАХ ОБРАБОТКИ ДАННЫХ

Специальность: 05.13.01 -Системный анализ, управление и обработка информации (технические системы)

АВТОРЕФЕРАТ диссертация на соискание ученой степени кандидата технических наук

2 О ДЕК 2012

Санкт-Петербург - 2012

005047734

Работа выполнена на кафедре автоматизированных систем обработки информации и управления Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" им. В.И.Ульянова (Ленина)

Научный руководитель:

Академик Российской академии образования доктор технических наук, профессор Советов Борис Яковлевич

Официальные оппоненты: доктор технических наук, профессор

Водяхо Александр Иванович

Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И.Ульянова (Ленина), профессор кафедры вычислительной техники

кандидат технических наук Васильев Николай Владимирович ОАО «Информационные телекоммуникационные технологии», начальник сектора 01211

Ведущая организация:

Федеральное государственное автономное образовательное учрсаденне высшего профессионального образования "Санкт-Петербургский государственный университет аэрокосмического приборостроения"

Защита диссертации состоится 24 декабря 2012 г. в 15:00 на заседании совета по защите докторских и кандидатских диссертаций Д 212.238.07 Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" им.В.И.Ульянова (Ленина)" по адресу: 197376, Россия, Санкт-Петербург, улица Профессора Попова, дом 5.

С диссертацией можно ознакомится в библиотеке Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" им.В.И.Ульянова (Ленина)".

Автореферат разослан 23 ноября 2012 г.

Ученый секретарь диссертационного совета, к.т.н.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы диссертации. Фундаментом построения ИТ-инфраструктуры является Центр обработки данных (ЦОД). Предназначение ЦОД - обеспечение безотказной работы бизнес-процессов, надежное хранение данных и гарантированный доступ к ним, предоставление информационных услуг.

Центры обработки данных востребованы государственными службами (электронное правительство, госуслуги), крупными организациями, такими как, банки, страховые и торговые корпорации, предприятия добывающей отрасли, телекоммуникационные компании (биллинговые системы, хостинг, всевозможные №еЬ-сервисы и социальные службы). Все они используют сложные бизнес-приложения, и их деятельность зависит от надежности функционирования ИТ-инфраструктуры.

Важнейшими преимуществами создания ЦОД являются консолидация вычислительных мощностей и систем хранения. В тоже время растущие потребности бизнеса необходимо удовлетворить в условиях ограниченных ресурсов: надо хранить больше данных в выделенном пространстве, быстрее производить вычисления, не потребляя и не выделяя слишком много энергии, передавать больше информации по имеющимся каналам связи, обеспечивать максимальную степень готовности эксплуатируемых ИТ-систем. И всё это с ограниченным финансированием. В таких условиях грамотное проектирование ЦОД является ключевым звеном для достижения эффективной работы предприятия, а указанные ограничения определяют выбор используемых технологий и оборудования.

Известно, что в области ИТ-систем высокой доступности ситуация постоянно и стремительно меняется. Отсутствие единого подхода к организации ЦОД, стандартов проектирования и эксплуатации различных серверных помещений и центров обработки ставят проблему выработки системного подхода к реализации инфраструктуры, а также разработки моделей и методов повышения эффективности предоставления информационных услуг в ЦОД. Появление опыта в виде стандартов, моделей и методов позволит унифицировать реализацию ЦОД и упростить внесение изменений в его инфраструктуру, способствовать тиражируемое™ и масштабируемости решений. Очевидно, что рациональным является выбор такой инфраструктуры, которая обеспечивала бы долгосрочную защиту инвестиций и позволяла компании выполнять текущие задачи и развиваться.

Особенное значение данная проблема приобретает в условиях экономического кризиса, который усилил дефицит ресурсов. Предприятия сокращают бюджеты на ИТ, меньше вкладывают в долговременные проекты вообще и в ЦОД в частности. Первостепенной становится задача создания легких, недорогих и в то же время эффективных решений, отвечающих требованиям бизнес-заказчиков. Основная проблема состоит в том, как в условиях постоянного увеличения стоимости ресурсов получать максимальную отдачу от их эксплуатации. Отсюда возникают ключевые вопросы, которые необходимо решать при реализации ЦОД, - каким образом добиться увеличения основных показателей (производительности, надежности и т.д.) при минимизации затрат (энергопотребление, администрирование), учесть возможный рост нагрузки, предусмотреть восстановление после сбоев и высокую доступность критически важных приложений и сервисов.

Сказанное говорит об актуальности разработки моделей и методов повышения эффективности предоставления информационных услуг в центрах обработки данных. Важно также учитывать технологии, базирующиеся на открытых отраслевых стандартах, минимизирующие проблемы взаимодействия по мере расширения ЦОД.

При оценке характеристик ЦОД большое значение имеют математическое моделирование и вычислительный эксперимент на модели.

Теория моделирования сложных систем и их элементов развита такими отечественными учеными, как В.А. Ершов, Г.П. Захаров, А.П. Кулешов, О.И. Кутузов, В.Г. Лазарев, И.А. Мизин, Ю.И. Рыжиков, Б.Я. Советов, С.А. Яковлев. Оценка вероятностно-временных характеристик систем, оптимизация и распределение ресурсов рассматривались в работах зарубежных ученых: Л. Клейнрок, Д. Мартин, У. Столлингс, Э. Таненбаум, М. Шварц и другие. Работы этих и ряда

других ученых составляют теоретическую базу моделирования систем, в том числе отдельных узлов, кластеров, центров обработки данных, сетей хранения данных и их элементов.

Сказанное говорит о важности научной задачи разработки моделей и методов повышения эффективности функционирования ЦОД при предоставлении информационных услуг, имеющей большое значение для экономики страны.

Целью работы является повышение эффективности функционирования центров обработки данных, предоставляющих информационные услуги.

Для достижения названной цели необходимо решение следующих задач:

1. Разработать структурно-функциональную модель центра обработки данных.

2. Разработать комплекс моделей оценки качества предоставления информационных услуг в центрах обработки данных.

3. Разработать методы повышения эффективности предоставления информационных услуг в центрах обработки данных.

Объектом исследования являются центры обработки данных, выполненные в виде консолидации кластеров и систем хранения данных.

Предметом исследования являются процессы функционирования центров обработки данных при предоставлении информационных услуг.

Методы исследования. Для решения поставленных задач, в работе используются математические методы системного анализа, теории вероятности и математической статистики, эволюционных алгоритмов и теории массового обслуживания.

Научная новизна работы состоит в разработке моделей и методов повышения эффективности предоставления информационных услуг в ЦОД, позволяющих обеспечить соглашение о качестве обслуживания клиентов. Новые научные результаты:

1. Структурно-функциональная модель центра обработки данных отличается выделением набора структурных элементов и их функционального назначения, присущих большинству современных ЦОД, что позволяет более полно описывать процессы предоставления информационных услуг.

2. Комплекс моделей оценки качества предоставления информационных услуг в центрах обработки данных отличается учетом многоэтапности обработки клиентского запроса, что дает возможность оценить необходимые требования к производительности ЦОД.

3. Методы повышения эффективности предоставления информационных услуг в центрах обработай данных учитывают зависимость показателей эффективности от характеристик ЦОД, что позволяет обеспечивать необходимое качество обслуживания клиентов.

Научные положения, выносимые на защиту:

1. Структурно-функциональная модель центра обработки данных.

2. Комплекс моделей оценки качества предоставления информационных услуг в центрах обработки данных.

3. Методы повышения эффективности предоставления информационных услуг в центрах обработки данных.

Достоверность научных результатов и выводов подтверждается: корректностью математических выкладок, обоснованностью используемых ограничений, корректностью интерпретации в предметной области, результатами моделирования.

Научная и практическая ценность диссертационной работы заключается в том, что модели и методы повышения эффективности предоставления услуг в ЦОД можно рассматривать как единую технологию обеспечения необходимого качества обслуживания клиентов. Полученные результаты моделирования представляют практическую ценность при выборе архитектуры центров обработки данных.

Результаты работы внедрены в учебный процесс СПбГЭТУ (ЛЭТИ) и используются при проведении лабораторных работ, а также в курсовом и дипломном проектировании по темам, связанным с функционированием ИТ-систем, на кафедре автоматизированных систем обработай информации и управления.

Апробация результатов работы. Основные положения и результаты диссертационной работы представлялись на XII международной конференции «Информатика: проблема, методология, технологии» (Воронеж, 9-12 февраля 2012 г.); ХШ международной конференции «Региональная информатика (РИ-2012)» (Санкт-Петербург, 24-26 октября 2012 г.); международной конференции «Региональная информатика», (Санкт-Петербург, 1-3 марта 2005 г.); второй всероссийской конференции «Абонентский доступ в сетях следующего поколения» (Санкт-Петербург, 2005 г.) и на научно-технических конференциях профессорско-преподавательского состава научных сотрудников и аспирантов СПбГУТ им. проф. М.А. Бонч-Бруевича в 2006 -2012 гг.

Публикации. По теме диссертационной работы опубликовано 12 научных работ, из них -3 статьи из перечня изданий, рекомендованных ВАК, и 9 - работ в научных трудах международных и всероссийских конференций.

Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения, списка литературы, включающего 57 наименований. Основная часть работы изложена на 142 страницах машинописного текста. Работа содержит 41 рисунок, 12 таблиц.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы диссертации, формулируется цель исследования и решаемые задачи, определена научная новизна и практическая ценность основных результатов работы.

В первой главе рассмотрена организация ИТ-инфраструктуры центра обработки данных. Предложена структурно-функциональная модель ЦОД, которая представлена на трех уровнях иерархии: структурные модули ЦОД, назначение и выполняемые функции модулей ЦОД, взаимодействие элементов ЦОД в единой системе и с внешней средой (1):

СМ=ЛП,Ф,С,СЮП). (1)

где П - структурные модули ЦОД, Ф - множество функций, выполняемых ЦОД, й - множество характеристик ЦОД, й доп - параметры внешней среды.

Современный ЦОД состоит из следующих функциональных модулей:

- Серверного комплекса (СК), включающего различные группы кластеров. Кластер рассматривается как совокупность однотипных серверов, объединенных коммутационной системой. Каждый сервер имеет один процессор и память ограниченного объема. Обозначим СК как множество М1={ СК. ^ . ¡"д •'- 4111:110 серверов в кластере_/'-й группы}.

- Системы хранения данных (СХД), предназначенной для организации надежного хранения информационных ресурсов и предоставления к ним доступа со стороны серверов. Обозначим как множество , I - число СХД у-го типа}.

- Сетевой инфраструктуры, включающей оборудование маршрутизации и коммутации, оборудование организации оптических каналов связи; оборудование подключения пользователей; средства обеспечения информационной безопасности. Обозначим как множество М3={ СО,-1~7 у=Г!7''- наименований сетевого оборудования (СО) ]-то типа}.

- Инженерных систем, отвечающих за предоставление необходимых условий для надежной эксплуатации вычислительного оборудования. Обозначим как множество М4.

- Системы управления, обеспечивающей контроль и администрирование всех функциональных модулей ЦОД. Обозначим как множество М5.

Таким образом, структурно-функциональная модель ИТ-инфраструктуры ЦОД представлена в виде следующего кортежа элементов:

/ \i.j=A,B ) (i,j=N,M ) \i,j=I.J ] ЦОД-Uflj f|CKy|,M2| Псхдг4,мз| ПСОгЛл/4,М5

ЦОД структурируется из функциональных модулей в зависимости от масштаба корпоративной сети, поступающей нагрузки, особенностей запросов и бизнес-приложений. С увеличением нагрузки по определенному классу запросов производительность ЦОД обеспечивается расширением серверного комплекса через добавление одного или нескольких серверов, появление новых бизнес-приложений может привести к появлению нового вычислительного кластера. При необходимости резервного копирования, зеркалирования и других процессов, требующих значительных объемов памяти все системы хранения являются съемными и взаимозаменяемыми. При необходимости можно добавлять дополнительные типы систем хранения - более современные или объемные.

С точки зрения качества предоставляемых ЦОД информационных услуг интерес вызывают подсистемы АЛ и Ml.

Основными показателями качества ЦОД являются следующие его характеристики: пропускная способность, время ответа на клиентский запрос, надежность функционирования, управляемость и эффективность.

Пропускная способность Л отражает объем данных, обработанных ЦОД в единицу времени (2) и характеризует качество выполнения основной функции ЦОД - обработки запросов пользователей.

Л - г

Л = lim - запросов /с, (2)

т-»оо Т-

где N(r) — число запросов, обслуживаемых ЦОД за интервал времени (0, г).

Время ответа Готв ~ длительность промежутка времени от момента поступления запроса пользователя в ЦОД до момента окончания его выполнения. В общем случае время ответа - случайная величина и чаще всего оценивается средним значением (3):

iOTB = MlTOTB]c, (3)

где м{т0гв\ - математическое ожидание случайной величины 70тв •

Надежность - свойство системы выполнять возложенные на нее функции в заданных условиях эксплуатирования с заданными показателями качества. Показано, что у сложных систем, типа ЦОД основной характеристикой надежности является отказоустойчивость -способность ЦОД работать в условиях отказа некоторых его элементов.

Управляемость ЦОД подразумевает возможность централизованно контролировать состояние функциональных модулей, входящих в состав ЦОД, выявлять и разрешать проблемы, возникающие при их работе, выполнять анализ производительности и планировать развитие ЦОД. Задача анализа производительности ЦОД сводится к частным задачам: оценке интегральных и дифференциальных характеристик ЦОД и исследованию характера зависимости этих характеристик от входной нагрузки, внешних условий и внутренних параметров ЦОД. Решению вопросов развития инфраструктуры ЦОД и выявления элементов, нуждающихся в модернизации, способствует оценка использования ресурсов ЦОД, основанная на оценке коэффициента эффективности использования ресурсов и коэффициента дисбаланса с последующей интерпретацией результатов в виде гистограмм и графов. По результатам анализа представляется возможным сделать. выводы относительно степени влияния негативных

факторов на эффективность функционирования ЦОД; доли неэффективно используемых средств, вложенных в различные модули ЦОД; «узких» и потенциально «узких» мест ЦОД; необходимости дозагрузки или перераспределение ресурсов между серверами, кластерами и системами хранения ЦОД. Данный подход может применяться не только для оценки эффективности использования различных модулей ЦОД, но и характер этой задачи является ресурсосберегающим и создающим источник дополнительных инвестиций.

Эффективность - основной показатель качества работы ЦОД, характеризующий степень его способности выполнять свои функции по назначению. Данный показатель используется как для сравнения процессов самого ЦОД, с целью выбора его оптимальных параметров, так и для сравнительной оценки с другими ЦОД.

Процесс предоставления услуг центром обработки данных характеризуется появлением соглашений о качестве обслуживания (Service Level Agreement - SLA). SLA-соглашение - это часть договора между провайдером и клиентом, в котором описывается упорядоченная система показателей для контроля качества предоставляемых услуг, а также штрафы за нарушение соглашения и вознаграждения в случае успешного его выполнения. Наиболее распространенными показателями качества, задаваемыми в SLA-соглашениях, являются среднее время ответа на запрос и максимальное время ответа для заданной доли запросов.

Клиентский запрос информационной услуги ЦОД представляет собой задание, состоящее из последовательности задач и времени на обдумывание между этими задачами, т.е. временем, прошедшим между завершением выполнения задачи на каком-либо узле, например сервере кластера и поступлением следующей задачи на другой узел ЦОД, например системы хранения данных, в пределах одного задания. Таким образом, задание пользователя можно описать тройкой Zj={U, Alt Ti}, где ti - момент инициирования задания, А/ - атрибуты задания, определяющие имена источника, инициировавшего задание, пользователя задания, режим обработки задания, приоритет и др., и Т, - трасса задания. Трасса выполнения задания -последовательность задач (событий), связанных с изменением состояния задания. Трасса

представляется в виде упорядоченного множества событий Т, - {Si, S2.....SM) , имевших место в

моменты времени tu h.....tu, причем й ti S...< tM. К событиям относятся моменты старта задания,

начала и завершения обработки отдельных задач, начала и окончания выполнения процессов в системах хранения данных ЦОД начала использования и освобождения ресурсов ЦОД предоставляемых заданию, и др.

Задача диссертационного исследования сформулирована как многопараметрическая и многокритериальная экстремальная задача с ограничениями: при заданных значениях элементов множества параметров 0, задающих технические характеристики элементов ЦОД, найти необходимое множество параметров П, описывающих структуру ЦОД (число серверов в кластере, число кластеров, систем хранения и т.п.), такое, чтобы выполнялись условия:

где ф - аддитивная функция стоимости ЦОД, включающая стоимость технических средств и программного обеспечения.

О - вектор показателей качества ЦОД;

g¡|m - допустимое значение ¡'-го показателя качества, определенное в SLA-coглaшeнии.

Решение сформулированной задачи распадается на два этапа: на первом - на

соответствующих моделях находятся зависимости показателей качества ё, на втором - решается задача, определяемая выражениями (4)-(5).

Определены подсистемы ЦОД и процессы предоставления информационных услуг, оказывающие существенное виляние на показатели качества. К ним относятся:

1) Подсистема М\ - серверный комплекс. Чтобы учесть влияние серверного комплекса на

ф ->min/(0,n)

(4)

(5)

показатели качества необходимо разработать:

Модель оценки характеристик производительности ЦОД и запасов по пропускным способностям:

t О ТВ

где Я, - нагрузка, поступающая в ЦОД, [запросов/с]; Гобс - время обслуживания клиентского запроса в ЦОД, [с]; Готв ~ время ответа на запрос пользователя; D - запас по пропускным способностям ЦОД.

Модель балансировки нагрузки в кластере ЦОД.

mep(kuk2,...,kfi) - вероятность распределения запросов пользователей по серверам кластера; К- число запросов пользователей к i-му серверу кластера; N- количество серверов в кластере; Ц/ - производительность 1-го сервера кластера, [запросов/с]. Модель оценки надежности ЦОД.

где Рцод - вероятность безотказного функционирования ЦОД;

Pi - вероятности безотказного функционирования ¡'-го модуля ЦОД в процессе решения заданий клиентов ЦОД.

0 - множество всех возможных состояний ЦОД в момент времени t.

2) Подсистема А/2 - хранилища данных. Чтобы учесть влияние систем хранения данных на показатели качества ЦОД необходимо разработать:

Модель размещения ресурсов в системах хранения данных

где tm - время ответа на запрос пользователя; X - интенсивность заданий, поступающих к ресурсу, [заданий/с]; С - пропускная способность ресурса, [операций/с]; ц - среднее число операций, необходимых для выполнения задания; m - количество ресурсов.

Во второй главе предложен комплекс моделей оценки качества предоставления информационных услуг в центрах обработки данных.

Математическим аппаратом для оценки качества предоставления информационных услуг в центрах обработки данных выбраны безприоритетные разомкнутые экспоненциальные сети массового обслуживания (СеМО). Переход заявок между узлами СеМО (кластерами ЦОД)

происходит мгновенно в соответствии с переходными вероятностями Pjj, ij = l,N, Pjj-

вероятность того, что заявка после обслуживания в кластере i перейдет в кластер j. СеМО

задается следующими параметрами: числом N СМО - кластеров ЦОД; числом К........ каналов

в каждой z-й СМО, i =1.....N\ матрицей Р = || p.ß вероятностей передач, i = 1 ,...,N\j =0,..., N;

интенсивностями Ii..... IN входных потоков заявок; средними временами обслуживания

2"обс1.....T06cN заявок в каждой СМО (кластере ЦОД).

С точки зрения выполняемых ЦОД функций наиболее важными характеристиками СеМО являются системные характеристики, т.к. они отражают свойства СеМО в целом, т.е. ЦОД рассматривается как единая, неделимая на части система. Важными системными характеристиками СеМО являются.

1) Среднее время хпр пребывания в сети. Временем пребывания в сета называется время

между приходом заявки в сеть и ее уходом из сети. В случае обработки задачи клиента, это среднее время ответа /отв

- _ 1 V. -

'отв — 2 ] Упру • (б)

^«/ = /1+.....+/*;

Тпру - среднее время пребывания заявки в у-й СМО, т.е. обработки запроса в у-м звене (кластере) ЦОД.

2) Передаточные коэффициенты а,у, /,7 = 1,?/. Пусть заявка входит в сеть из г'-го входного потока. Е8 маршрут в сети случаен, поэтому случайно и число приходов ву-ю СМО за время пребывания в СеМО. Среднее значение а у этого числа приходов называют

передаточным коэффициентом. Он однозначно определяется для любых у, матрицей Р вероятностей передач.

3) Входовые средние времена Ей пребывания в сети. Величина /7 определяется как среднее время пребывания в СеМО заявки, поступающей из у-го входного потока

В случае ЦОД, с учетом разных видов заданий клиентов эта характеристика позволит определить среднее время ответа для разных категорий (классов) запросов, к которым могут предъявляться разные требования по качеству обслуживания.

4) Абсолютные пропускные способности А,. Предположим, что в заданной СеМО интенсивности всех входных потоков, кроме у-го, заменены на нулевые, а // заменена на предельное значение, при котором сеть ещё стационарна. Это значение А, называется абсолютной пропускной способностью поу-му входу.

5)Условные пропускные способности В\.....Вм- Предположим, что в заданной СеМО

значение интенсивности заменено на максимальное значение, при котором сеть ещё стационарна. Это значение В} называется условной пропускной. способностью по входу у. Данная характеристика имеет большее значение для развития планирования ЦОД. Если реальная пропускная способность стремительно приближается к условной, то необходимо планировать меры по масштабированию ЦОД.

6) Запасы по пропускным способностям. Запас Д, показывает, насколько может быть увеличена интенсивность прихода заявок на у-м входе (при заданных остальных) без нарушения условия стационарности. Запас ^ = Ц] - Jj,j ~ ■

Названные характеристики могут дать ценную информацию о свойствах ЦОД. Например, среднее время пребывания 7"пр характеризует среднее время обработки клиентского запроса, а

запасы X) выражают готовность ЦОД продолжать устойчивое функционирование при увеличении нагрузки (интенсивности запросов) по тому или иному входу.

Поскольку в ЗЬА-соглашепиях задаются ограничения на качество обслуживания для запросов различных видов, в работе предлагается модель ЦОД которая учитывает современную структуру входного потока заявок. Поведение пользователей характеризуется их сессиями. Сессия пользователя состоит из последовательности заданий, а также времени на обдумывание, т.е. временем, прошедшим с момента отправки ответа сервером какого-либо кластера и до поступления нового задания в

9

систему в рамках одной сессии. Типичная сессия может длться несколько минут. Поэтому в модели необходимо учитывать длительное время жизни сессий. Для моделирования процесса обдумывания в

ЦОД имеющего с = 1.....С кластеров введен виртуальный сервер (с=0) с бесконечным числом

параллельных независимых каналов обслуживания, позволяющий отразить в модели независимость времени на обдумывание пользователей от времени обработки задания в ЦОД.

Предлагается оценивать время ответа Ть на запрос класса к по формуле (7), как суммарное время прохождения запроса через все звенья ЦОД

- среднее число посещении кластера с запросом класса к за время его нахождения в ЦОД.

Предложена модель сервиса балансировки нагрузки в ЦОД. Предполагается, что имеется поток заданий к ЦОД и все задания ведут себя статистически одинаково, причем каждое из них требует некоторого числа операций от приложения, вычислительных ресурсов (серверов) и ресурсов хранения (систем хранения данных), обслуживающих М пользователей. Формально постановка задачи балансировки нагрузки проведена с использованием модели замкнутой СеМО с центральным обслуживающим прибором, которая описывает работу мультипрограммной вычислительной системы с фиксированным числом узлов, в которую допускается точно К заданий. Эти задания циркулируют в системе, коллективно используя N ресурсов. Центральный обслуживающий прибор представляет собой корневой узел кластера с сервисом балансировки нагрузки, а остальные (Л-1) узлов - периферийные узлы, собственно выполняющие обработку клиентских запросов. Исследование данной системы с точки зрения пользователя позволило найти решение, выражаемое через параметры (1/ - производительность /-го узла кластера невероятность перехода заявки на 1-й узел кластера. Для частного случая замкнутой Марковской сети с центральным обслуживающим прибором решение по распределению задач пользователей по серверам кластера представлено формулами (8) и (9).

(7)

(8)

где

(9)

ЫА 1=2^ Ц,

Если А, - стационарная вероятность того, что 1-й узел не пуст. Тогда

Из (10) получено, То) Л^рМц, (>2), т.е. интенсивность, с которой задания поступают в ;-й узел, равна интенсивносш, с которой они покидают этот узел. Таким образом, установлено что сбалансированная система - это такая система, для которой выполняется равенство (11), которое показывает, что мера, определяющая, насколько узкое место создается в йи узле, пропорциональна скорости изменения производительности в зависимости от роста интенсивности обслуживания в этом

Рост объемов данных, расширение спектра задач, связанных с их обработкой, критичность доступа к данным приводят к необходимости выбора модели эффективного размещения ресурсов в системах хранения данных ЦОД. В связи с этим, рассмотрена работа некоторой системы хранения, при чем среднее время ответа Г для нее больше, чем требуется и имеются некоторые возможности изменения параметров системы, приводящие к снижению Т. Исследованы следующие случаи:

- совокупность m ресурсов, каждый из которых имеет пропускную способность Ctm [операций/с], что характерно для случая «новая задача - новый сервер» или систем хранения типа DAS. Моделируется набором из m СМО G|G|1 с суммарной пропускной способностью С;

- одна очередь ко всему набору m ресурсов с суммарной интенсивностью X. Моделируется СМО G\G\m. Подобный случай характерен для использования систем хранения типа NAS (консолидация систем хранения без виртуальных сред);

- система с объединенной очередью и объединенными ресурсами. Моделируется СМО G|G|1 с интенсивностью потока на входе тпХ и пропускной способностью ресурса тС. Такая система может быть реализована путем использования кластера вычислительных устройств с развернутыми виртуальными средами или системой хранения типа SAN.

В третьей главе предложены методы повышения эффективности предоставления информационных услуг в центрах обработки данных: метод управления нагрузкой, поступающей на ЦОД, метод отказоустойчивого размещения задач в кластере серверного комплекса ЦОД метод распределения памяти в ЦОД.

Эффективность ЦОД £/цод представлена функцией (12).

где Л - пропускная способность ЦОД;

ЛгсК - вероятность безотказного функционирования (отказоустойчивость ЦОД); /¿ю-время ответа на запрос пользователя; Лют - вероятность ПОТерЬ ЦОД.

Предложен метод управления нагрузкой, поступающей на ЦОД, который позволяет увеличить Л и уменьшить -Рпот

узле.

(11)

■ЕУцод=ЯЛЛгк, tarn Pan),

(12)

пот

где Лупр

- пропускная способность ЦОД при использовании механизма управления, Л^Л;

И

Х - интенсивность поступления нагрузки на вход ЦОД;

Рулр - вероятность потерь ЦОД при использовании управления, Рупр < Р„„. пот пот

Нагрузка на ЦОД с течением времени меняется и если выделять необходимые для решения задач пользователей ресурсы только на основании значения пиковой интенсивности, то часть ресурса не будет востребована в процессе выполнения запроса. Следовательно, используя статистические свойства нагрузки, администрация ЦОД может без потери качества осуществить статистическое мультиплексирование нагрузки, что позволяет предоставить суммарный общий кредит всем клиентам, превышающий общую пропускную способность ЦОД. Для обеспечения выполнения БЬА-соглашения предлагается выдавать клиентам ЦОД так называемый «кредит», т.е. разрешение на передачу данных со скоростью, не превышающей заданную таким «кредитом». Для уменьшения числа потерянных заявок введен буфер ограниченного объема, куда будут помещаться заявки в случае превышения порогового значения счетчика. Эти ячейки будут повторно поставлены на передачу, когда нагрузка на вход ЦОД уменьшится. Тогда потеря заявок будет происходить только в случае переполнения буфера. Для осуществления такого управления потоками заявок был применен игровой метод, когда управляющее устройство состоит из коллектива вероятностных автоматов, закрепленных за виртуальными каналами, по которым передаются заявки от соответствующего пользователя. Работа автомата задается действиями уі,..., у„. Действие означает выбор і-го приращения к заданному кредиту с вероятностью ти(. из п возможных при поступлении соответствующей заявки. Выбор действия заявки задается вектором-строкой

М=(гп\,";ТПп), гдет/>0 и

I>,- = 1. (14)

/=1

Изменение структуры автомата М происходит следующим образом. При поступлении клиентских запросов автомат сравнивает значение трафика с пропускной способностью ЦОД. Если трафик не превышает пропускную способность или превышение такое, что заявки записываются в буфер без потерь, то действие у, автомата считается успешным, автомат поощряется, элемент т; увеличивается умножением на коэффициент р>1 и вся строка нормируется. Если буфер переполнен и поступающие заявки теряются, то автомат штрафуется, при этом элемент ш,'. уменьшается умножением на 0 < а < 1 и вся строка нормируется. Если совершено действие у,-, то новое значение элементов автомата

~-----(15)

' ,1 + (г-1)'

где 2=а при штрафе и г=р при поощрении.

Поощрение или штраф соответствуют передаче источнику заявок сигнала об увеличении или снижении скорости обработки.

Предложен метод отказоустойчивого размещения задач в кластере ЦОД который позволяет снизить Результатом является получение отказоустойчивого плана размещения задач по серверам кластера ЦОД

Лтс =АР.Ш О^ли, Р-ЛГ, о-ЛО, (16)

где Ртк - вероятность безотказного функционирования ЦОД;

Р/ - вероятность исправного состояния г'-го сервера в кластере ЦОД;

О/ - вероятность неисправного состояния_/-го сервера в кластере ЦОД;

D - план размещения задач по серверам кластера ЦОД; U-число задач, решаемых в кластере ЦОД одновременно; р-N- количество работоспособных серверов кластера ЦОД; о-N- количество отказавших серверов кластера ЦОД.

Кластер выполняет фиксированное задание Г, которое представляет собой известное множество задач Г-fC/i, Uj, ... , ОД с заданными требованиями к порядку их выполнения и взаимосвязями. Каждая задача Ц характеризуется следующими показателями: bj - вес задачи (величина, определяющая важность задачи Ц для системы); у, - объем оперативной памяти, требуемый для хранения и выполнения задачи; x¡ - время выполнения задачи.

Впроцессе работы кластера возможны отказы серверов. Состояние кластера определяется

как Sy -а...... а„, где а,=0, если М, - работоспособный сервер (р-Сервер) и o¡=l, если М, -

отказавший сервер (о-Сервер); s -00...0 - начальное состояние кластера; все состояния sv Ф s° называются искаженными.

Постановка задачи отказоустойчивого размещения следующая: для каждого искаженного

работоспособного состояния SaeSa найти такой план Da распределения задач, при

котором достигается максимальное значение функциональной мощности серверного комплекса ЦОД в состоянии Jra

EÍ>= Z Е ¿®6y-»max, (17)

U jea¿Mi€Ha

где n¿ - множество собственных задача отказавших серверов; На ~ множество р-Серверов для состояния sa, при ограничениях:

-на суммарное время выполнения сервером М, всех задач, назначенных ему в состоянии Sfa (ограничение 1) и

-на объем памяти каждого р-Сервера M¡, доступный для размещения копий задач, дополнительно назначаемых этому серверу для выполнения в искаженном состоянии sa (ограничение 2).

Задача (17) относится к классу задач дискретной оптимизации с булевыми переменными, для решения которых могут применяться точные методы математического программирования. Поскольку для многих задач практической сложности применение таких методов затруднено ввиду их чрезвычайно большой трудоемкости, то предложено использовать эвристические методы, дающие не точное, а некоторое «хорошее» решение. К ним относятся различные модели эволюционных вычислений, в частности генетические алгоритмы.

Предложен генетический алгоритм, формирующий план Последовательность выполнения генетического алгоритма, состоит из следующих шагов.

1. Создание начальной популяции Р° состоит в выполнении операции инициализации для каждой особи из ее No хромосом, т.е. случайного распределения задач по работоспособным серверам р-N некоторого данного состояния с одновременной проверкой заданных ограничений на объем памяти сервера и на максимальное суммарное время выполнения задач на каждом сервере. No задается пользователем. Алгоритм инициализации одной хромосомы:

- формирование случайного списка задач;

-выбор очередной задачи из списка, если он не пуст, в противном случае окончание работы алгоритма;

-попытка размещения выбранной задачи в í-й р-Сервер данного состояния (í=l,...,g, g -число р-Серверов), начиная с í=l при проверке ограничений I и 2. Данная задача назначается для

решения в 1-й сервер, если ограничения 1 и 2 для него не нарушены, иначе - попытка поместить задачу в (¿+1)-й сервер; процедура продолжается до наибольшего номера р-Сервера;

- если данную задачу не удается разместить ни на один сервер - отбрасывание этой задачи и переход к шагу 2.

2. Селекция (отбор) хромосом для скрещивания. В данной реализации алгоритма выбираем метод пропорциональной селекции хромосом непосредственно из предшествующей популяции (на первой итерации селекция осуществляется из начальной популяции). Из них случайным образом формируются пары различных хромосом, и над каждой из этих пар с заданной вероятностью выполняется операция кроссинговера.

3. Выполнение операторов генетического алгоритма. Над данной парой хромосом с заданной вероятностью Ркр выполняется операция кроссинговера. Реализуется операция следующим образом. Если случайно сгенерированное число г < РКр, то над данной парой выполняется кроссинговер. Потомки проверяются на ограничения и сравниваются с родительскими хромосомами. Если потомок не удовлетворяет ограничениям или если полезность потомка меньше полезности родительской хромосомы, то потомок отбрасывается и ищется новая родительская пара для кроссинговера. Если г>Ркр, то над данной парой кроссинговер не выполняется, а «несостоявшиеся родители» переходят в следующий родительский пул Я для выполнения следующего генетического оператора - мутации. Если потомок удовлетворяет ограничениям и полезность потомка больше полезности родителя, то потомок переходит в промежуточный родительский пул Л, а родители отбрасываются. В данной реализации генетического алгоритма используется одноточечный кроссинговер. Операция одноточечной мутации выполняется для каждого элемента (бита) каждой хромосомы из популяции Л с заданной вероятностью Рмут

Пусть Р( - дочерняя популяция, полученная из популяции Р, в результате кроссинговера её особей и последующей мутации. В следующую (новую) популяцию Рм могут попасть как особи только дочерней популяции , так И лучшие особи из дочерней Р( и родительской Р, популяций.

4. Создание новой популяции хромосомы, полученные в результате операций отбора, кроссинговера и мутации над хромосомами текущей популяции Р,, переходят в

5. Вычисление качества популяции. Данный этап необходим для ведения статистики и для определения значения критерия останова: после каждого шага генетического алгоритма вычисляется полезность р(Акаждой хромосомы и полезность всей популяции, как сумма всех ) при к=1...М.

6. Замена предыдущей популяции на новую и проверка критерия останова. В реализации генетического алгоритма для данной задачи использованы следующие критерии останова:

а) заданное максимальное количество популяций;

б) заданное максимальное значение полезности хромосомы - заданный процент от суммы весов всех задач начального множества.

Самая полезная хромосома в популяции, полученная перед остановом, является решением задачи.

Предложен метод распределения памяти в ЦОД который позволяет сократить число запросов к часто используемым ресурсам и тем самым уменьшить /отв. Результатом является план распределения памяти с ресурсами по серверам кластера ЦОД

=/0; 0=ли,р, >.(/), (18)

где 2 - план распределения памяти по серверам кластера ЦОД;

и - количество задач, решаемых ЦОД;

Хц - интенсивность запроса /-го ресурса для выполненияу'-й задачи.

Задача распределения памяти в кластере ЦОД сведена к задаче математического программирования (19).

~51ajUijici,i=\,-..,n, (19)

7=1

где а} - объем (в битах) j -го блока информации,у = 1,..., га;

Щ - двоичная переменная, выражающая наличие (uf= 1) или отсутствие (и„=0) в памяти і-го сервера данных ./'-го блока информации;

с,- - объем собственной памяти ¡'-го сервера і - ],....... п.

Определена вероятность попадания задачи /-го потока на i-й сервер обработки (20) при следующей дисциплине обслуживания: «направлять задачу туда, где больше необходимой информации».

т

Y^uijPij

Р'піи) = Щ-. (20)

LuijPy

и

Определить вероятность того, что задача 1-го потока, направленная на і-й сервер обработки (21), найдет там необходимую для решения информацию, т.е. не придется обращаться к хранилищу данных.

P"H = PU(U). (21)

Располагая интенсивностями потоков решаемых задач Хь ..., Хк

и производительностями каждого сервера ц,..... ц„, сформулирована задача определения

оптимального расположения блоков информации по серверам кластера ЦОД, минимизирующая обращаемость к хранилищу данных в процессе функционирования ЦОД:

Q(U) = І Ы - P"n(U)]p'u(U) min(22) i'=l/=l UeS

где S:

1=1

Haiti у.

(=1

и- двоичный вектор, определяющий распределение блоков памяти по кластерам ЦОД {/=(«,,.....

«л...........

Четвертая глава посвящена апробации предложенных в диссертационной работе моделей и методов повышения эффективности предоставления информационных услуг в ЦОД.

Выполнен вычислительный эксперимент по оценке производительности ЦОД и запасов по пропускным способностям. Результаты эксперимента показали, что разные классы запросов требуют разного времени обслуживания в ЦОД. Модель оценки производительности ЦОД учитывает структуру входного потока заявок и соответствует реальным БЬА-соглашениям, в которых задаются ограничения на качество обслуживания для каждой информационной услуги.

Приведена оценка влияния балансировки нагрузки на производительность ЦОД. Результаты вычислительного эксперимента показывают, что для устранения возможности появления узкого места необходим сервис балансировки нагрузки:

-с ростом нагрузки наличие узкого места не позволяет кластеру в целом справиться с поступающими запросами пользователя, в то время как кластер с сервисом балансировки нагрузки продолжает функционировать;

Эксперимент по сравнению вариантов размещения ресурсов в системах хранения данных ЦОД показал, что:

-система типа DAS эффективна только для офисных ЦОД;

-системы типа NAS эффективнее систем типа DAS, но не позволяют использовать мощности свободных ресурсов для ускорения работы остальных занятых ресурсов;

-система хранения данных типа SAN позволяет эффективно разделять имеющиеся ресурсы путем использования кластера с развернутыми виртуальными средами.

Представлена оценка влияния механизма управления обработкой запросов пользователей на пропускную способность ЦОД и на вероятность потерь заявок пользователей ЦОД. Исследования показали, что применение механизма управления позволяет увеличить пропускную способность ЦОД на 15-20%. При большем числе входящих виртуальных каналов, можно получить большее увеличение пропускной способности.

Приводится описание программного обеспечения, разработанного на языке С++, которое реализует генетический алгоритм, предложенный для решения задачи отказоустойчивости кластера ЦОД. Машинный эксперимент по оценке отказоустойчивости ЦОД выполнен для двух вариантов: без учета приоритета задач пользователя и обработка с приоритетом. Результатом эксперимента является:

а) количество серверов в кластере, необходимое для выполнения заданий пользователя с обеспечением оптимального времени обслуживания заданий;

б) план отказоустойчивого размещения задач пользователя.

Результаты проведенных экспериментов свидетельствуют о высокой степени доверия к предложенным моделям и методам повышения эффективности предоставления информационных услуг в ЦОД.

В заключении сформулированы основные результаты исследования, представленные в диссертационной работе.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

В рамках диссертационной работы проведено исследование и получено решение важной научно-технической задачи разработки моделей и методов повышения эффективности предоставления информационных услуг в центрах обработки данных. Основные результаты работы заключаются в следующем.

1) Предложена структурно-функциональная модель центра обработки данных, включающая описания:

инфраструктуры ЦОД на уровне структур организации серверного комплекса и технологий организации хранения данных;

характеристик качества обслуживания клиентов ЦОД; вариантов применения ЦОД;

2) Разработан комплекс моделей оценки качества предоставления информационных услуг в центрах обработки данных, включающий:

модель оценки характеристик производительности ЦОД и запасов по пропускным способностям, в том числе с разделением запросов на классы;

модель балансировки нагрузки в кластере серверного комплекса ЦОД; модель размещения ресурсов в системах хранения данных ЦОД.

3) Предложены методы повышения эффективности предоставления информационных услуг в центрах обработки данных:

метод управления нагрузкой, поступающей на ЦОД;

метод обеспечения отказоустойчивости серверного комплекса ЦОД;

метод распределения памяти в кластере ЦОД.

4) Полученные экспериментальные соотношения вероятностно-временных характеристик показывают, влияние различных внешних и внутренних факторов на эффективность предоставления информационных услуг в ЦОД. Эти соотношения подтверждают теоретические положения, выносимые на защиту.

СПИСОК ОПУБЛИКОВАННЫХ РАБОТ ПО ТЕМЕ ДИССЕРТАЦИИ

Публикации в изданиях, рекомендованных ВАК России:

1. Воробьёв А.И., Колбанёв М.О., Нестеренко В.Д. Анализ характеристик инфокоммуникационной системы с неординарным потоком заявок на обслуживание// Труды учебных заведений связи, 2006. № 175. С.31-36.

2. Воробьёв А.И., Колбанёв М.О., Татарникова Т.М. Модель балансировки нагрузки в вычислительном кластере центра обработки данных// Информационно-управляющие системы,

20I2i О« 37-41.

3. Советов Б.Я., Воробьёв А.И. Применение методов оптимизации в задачах структуризации корпоративного центра обработки данных// Известия СПбГЭТУ "ЛЭТИ" №8 2012. С. 41-46. '

Другие статьи и материалы конференций:

4. Воробьёв А.И., Колбанёв М.О„ Матяшов П.А. Обзор технологий абонентского доступа инфокоммуникационных сетей// Санкт-Петербургская международная конференция «Региональная информатика», 1-3 марта 2005. - СПб, 2005.

5' ВоР°бьёв А.И. Оценка вероятностей блокировки заявок в мультисервисных сетях// 59-я НТК студентов, аспирантов и молодых специалистов СПбГУТ им. проф. М.А. Бонч-Бруевича.

23 - 27 мая 2005 г. - СПб., 2005.

6. Воробьёв А.И., Колбанёв М.О., Матяшов П.А. Модель в мультисервисной сети абонентского доступа//. Вторая всероссийская конференция «Абонентский доступ в сетях следующего поколения», 2005. - СПб., 2005

7. Воробьёв А.И., Колбанёв М.О., Матяшов П.А. Анализ характеристик инфокоммуникационной системы с неординарным потоком заявок на обслуживание// 58-я НТК профессорско-преподавательского состава научных сотрудников и аспирантов СПбГУТ им проф. М.А. Бонч-Бруевича, 23 - 27 января 2006 г. - СПб., 2006.

8. Воробьёв А.И. Метод расчёта запаса по пропускным способностям центра обработки данных// ХП международная конференция «Информатика: проблема, методология технологии», Воронеж, 9-12 февраля 2012 г.

9. Воробьёв А.И., Татарникова Т.М. Реализация сервиса балансировки нагрузки в центре обработки данных// ХП международная конференция «Информатика: проблема, методология, технологии», Воронеж, 9-12 февраля 2012 г.

10. Воробьёв А.И., Татарникова Т.М., Яготинцева Н.В. Применение генетического алгоритма для решения задачи обеспечения отказоустойчивости вычислительного кластера// Межвузовский сборник научных трудов: Управлений экономика, транспорт, право. №1(9), 2011

11. Воробьёв А.И., Колбанёв М.О., Коршунов И.Л., Омельян A.B. Предложения по развитию ИТ-инфраструктуры образовательной среды СПбГУСЭ// ХШ международная конференция «Региональная информатика (РИ-2012)». Санкт-Петербург, 24-26 октября СПб • СПОИСУ, 2012. С. 303.

12. Воробьёв А.И., Колбанёв М.О., Омельян A.B. Современный подход к организации учебного процесса в вузе// ХШ международная конференция «Региональная информатика (РИ-2012)». Санкт-Петербург, 24-26 октября. СПб.: СПОИСУ, 2012. С. 303-304

Подписано в печать 22.11.2012. Формат 60x84/16 Отпечатано с готового оригинал-макета в типографии ЗАО «КопиСервис». Печать ризографическая. Заказ № 1/1122. П. л. 1.0. Уч.-изд. л. 1.0. Тираж 100 экз.

ЗАО «КопиСервис» Адрес: 197376, Санкт-Петербург, ул. Проф. Попова, д. 3. тел.: (812) 327 5098

Введение.

ГЛАВА 1. РАЗРАБОТКА СТРУКТУРНО-ФУНКЦИОНАЛЬНОЙ

МОДЕЛИ ЦЕНТРА ОБРАБОТКИ ДАННЫХ.

1.1 Инфраструктура центра обработки данных.

1.2 Технологии и структуры обработки и хранения данных ЦОД.

1.3 Варианты применения ЦОД.

1.4 Характеристики ЦОД.

1.5 Соглашение о качестве обслуживания ЦОД.

1.6 Постановка задачи исследования.

Выводы по первой главе.

ГЛАВА 2. РАЗРАБОТКА МОДЕЛЕЙ ОЦЕНКИ КАЧЕСТВА ПРЕДОСТАВЛЕНИЯ ИНФОРМАЦИОННЫХ УСЛУГ В ЦОД.

2.1 Модель оценки производительности ЦОД и запасов по пропускным способностям.

2.2 Модель распределения нагрузки в ЦОД.

2.3 Модели размещения ресурсов в системах хранения данных ЦОД.

2.4 Оценка надежности ЦОД.

Выводы по второй главе.

ГЛАВА 3. РАЗРАБОТКА МЕТОДОВ ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ ПРЕДОСТАВЛЕНИЯ ИНФОРМАЦИОННЫХ

УСЛУГ В ЦОД.

3.1 Понятие и определение эффективности ЦОД.

3.2 Метод управления нагрузкой, поступающей на ЦОД.

3.3 Обеспечение отказоустойчивости серверного комплекса ЦОД.

3.4 Метод отказоустойчивого размещения задач в кластере ЦОД.

3.5 Метод распределения памяти в кластере ЦОД.

Выводы по третьей главе.

ГЛАВА 4. ЭКСПЕРИМЕНТ НА МОДЕЛЯХ И МЕТОДАХ ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ ПРЕДОСТАВЛЕНИЯ ИНФОРМАЦИОННЫХ УСЛУГ В ЦОД.

4.1 Оценка производительности ЦОД и запасов по пропускным способностям.

4.2 Оценка влияния балансировки нагрузки на производительность

4.3 Сравнение вариантов размещения ресурсов в системах хранения данных ЦОД.

4.4 Оценка пропускной способности и вероятности потерь ЦОД.

4.5 Оценка отказоустойчивости ЦОД.

Выводы по четвертой главе.

Успешная деятельность предприятия в условиях динамичного рынка и конкуренции во многом определяется возможностью быстрого принятия решений. Своевременное и качественное принятие решений возможно только при условии надежной и производительной работы ИТ-инфраструктуры компании. В свою очередь современные ИТ-системы динамично развиваются: появляется все больше различных бизнес-приложений и автоматизированных рабочих мест, увеличиваются объемы информации, требуется непрерывность предоставления ИТ-сервисов [28,29].

Основой построения ИТ-инфраструктуры компании является Центр обработки данных (ЦОД). Основная задача ЦОД - обеспечение гарантированной безотказной работы ИТ-инфраструктуры предприятия. В данном случае речь идет не только об автоматизации бизнес-процессов, но и о максимально надежном хранении данных, о гарантированном постоянном доступе к ним. ЦОД можно модернизировать, добавляя вычислительные ресурсы при внедрении новых бизнес-приложений, а также увеличивать объем под хранение данных, что означает возможность быстрой адаптации к изменяющимся требованиям бизнеса [41].

В первую очередь центры обработки данных востребованы крупными организациями, такими как (электронное правительство, госуслуги), крупными организациями, такими как, банки, страховые и торговые корпорации, предприятия добывающей отрасли, телекоммуникационные компании (биллинговые системы, хостинг, всевозможные \УеЬ-сервисы и социальные службы). Все они используют сложные бизнес-приложения, и их деятельность зависит от надежности функционирования ИТ-инфраструктуры [12,15].

Важнейшими преимуществами создания ЦОД являются консолидация вычислительных мощностей и систем хранения. Известно, что централизованное управление ИТ-инфраструктурой и информационными системами эффективнее, чем в случае распределенного неоднородного решения. К тому же проще обеспечить наблюдение за единым комплексом и защиту от возможных сбоев [28].

В тоже время растущие потребности бизнеса необходимо удовлетворить в условиях ограниченных ресурсов: надо хранить больше данных в выделенном пространстве, быстрее производить вычисления, не потребляя и не выделяя слишком много энергии, передавать больше информации по имеющимся каналам связи, обеспечивать максимальную степень готовности эксплуатируемых ИТ-систем. И всё это с ограниченным финансированием. В таких условиях грамотное проектирование ЦОД является ключевым звеном для достижения эффективной работы предприятия, а указанные ограничения определяют выбор используемых технологий и оборудования [63].

Известно, что в области ИТ-систем высокой доступности ситуация постоянно и стремительно меняется. Отсутствие единого подхода к организации ЦОД, стандартов проектирования и эксплуатации различных центров обработки и северных помещений ставят проблему выработки системного подхода к реализации инфраструктуры, а также разработки методов и моделей функционирования ЦОД на новый уровень. Появление опыта в виде стандартов, моделей и методов позволит унифицировать реализацию ЦОД и упростить внесение изменений в его инфраструктуру тем самым способствовать тиражируемости и масштабируемости решений [12,15].

В отсутствии такого опыта легко поддаться искушению и предпочесть самые последние разработки. Очевидно, что рациональным является выбор, оправданный с экономической и технологической точек зрения той инфраструктуры, которая обеспечивала бы долгосрочную защиту инвестиций и позволяла компании выполнять текущие задачи и развиваться. Объемы информации в будущем будут только расти. Продолжающийся рост таких секторов Интернет, связанных с бизнесприложениями, как электронная коммерция, платежи, коммуникации требуют соответствующей инфраструктуры. Необходимо убедиться, что в будущем есть возможность обеспечить экономически эффективное наращивание и расширение

ЦОД, потому что перебои в электронных услугах могут иметь существенные 5 экономические последствия, как для отдельных предприятий, так и для государственных структур и секторов экономики [28,29,63].

Особенное значение данная проблема приобретает в условиях экономического кризиса, который усилил дефицит ресурсов. Предприятия сокращают бюджеты на ИТ, меньше вкладывают в долговременные проекты вообще и в ЦОД в частности. Первостепенной становится задача создания легких, недорогих и в то же время эффективных решений, отвечающих требованиям бизнес-заказчиков. Основная проблема состоит в том, как в условиях постоянного увеличения стоимости ресурсов получать максимальную отдачу от их эксплуатации. Отсюда возникают ключевые вопросы, которые необходимо решать при реализации ЦОД, - каким образом добиться увеличения основных показателей (надежности, производительности и т.д.) при минимизации затрат (энергопотребление, администрирование), учесть возможный рост нагрузки, предусмотреть восстановление после сбоев и высокую доступность критически важных приложений и сервисов [44,62].

Сказанное говорит об актуальности разработки моделей и методов повышения эффективности предоставления информационных услуг в центрах обработки данных, учитывающих открытые стандарты, что способствует минимизации проблем взаимодействия при масштабировании ЦОД.

Теория моделирования сложных систем и их элементов развита такими отечественными учеными, как В.А. Ершов, Г.П. Захаров, Ю.Ф. Кожанов, М.О. Колбанев, А.П. Кулешов, О.И. Кутузов, В.Г. Лазарев, И.А. Мизин, H.H. Мошака, Ю.И. Рыжиков, Б.Я. Советов, Т.М. Татарникова, О.С. Чугреев, С.А. Яковлев. Оценка вероятностно-временных характеристик систем, оптимизация и распределение ресурсов рассматривались в работах зарубежных ученых: JI. Клейнрок, Д. Мартин, У. Столлингс, Э. Таненбаум, М. Шварц и другие. Работы этих и ряда других ученых составляют теоретическую базу моделирования систем, в том числе отдельных узлов, кластеров, центров обработки данных, сетей хранения данных и их элементов [3,5,7,18,19,21,22,36, 46,51,52,53,61,64,65].

Стохастический характер задач, обрабатываемых в ЦОД (транзакции, запросы, пользовательские сессии, заявки) предопределяют использование моделей теории сетей массового обслуживания (СеМО) для оценки их вероятностно-временных характеристик (ВВХ) [18,21,51].

Модели СеМО не в состоянии полностью отразить сложные и многообразные информационные процессы, выполняющиеся в ЦОД. Наиболее разработана теория экспоненциальных СеМО, получены выражения для расчета их ВВХ. Вместе с тем для возможности использования аналитических моделей СеМО необходимым является предположение о независимости (Клейнрок Л. Вычислительные системы с очередями: Пер. с англ. - М.: Мир, 1979. - 600 е.), суть которого состоит в том, что времена передачи заявок по разным каналам связи предполагаются независимыми случайными величинами. В то же время, очевидно, что длительности обслуживания заявки пропорциональны длине этой заявки и, значит, зависимы. Эти особенности следует учитывать при выборе альтернативных вариантов расчета и оценки характеристик ЦОД.

Сказанное говорит о важности научной задачи разработки моделей и методов эффективности функционирования ЦОД при предоставлении информационных услуг, имеющей большое значение для экономики страны.

Цель работы и задачи исследования. Целью работы является повышение эффективности функционирования центров обработки данных, предоставляющих информационные услуги.

Для достижения названной цели необходимо решение следующих задач:

1. Разработать структурно-функциональную модель центра обработки данных.

2. Разработать комплекс моделей оценки качества предоставления информационных услуг в центрах обработки данных.

3. Разработать методы повышения эффективности предоставления информационных услуг в центрах обработки данных.

Объектом исследования являются центры обработки данных, выполненные в виде консолидации кластеров обработки и систем хранения данных.

Предметом исследования являются закономерности процессов 7 функционирования центров обработки данных при предоставлении информационных услуг.

Методы исследования. Для решения поставленных задач, в работе используются математические методы системного анализа, теории вероятности и математической статистики, эволюционных алгоритмов и теории массового обслуживания.

Научная новизна работы состоит в разработке моделей и методов повышения эффективности предоставления информационных услуг в ЦОД, позволяющих обеспечить соглашение о качестве обслуживания клиентов.

Новые научные результаты:

1. Структурно-функциональная модель центра обработки данных отличается выделением набора структурных элементов и их функционального назначения, присущих большинству современных ЦОД, что позволяет более полно описывать процессы предоставления информационных услуг.

2. Комплекс моделей оценки качества предоставления информационных услуг в центрах обработки данных отличается учетом многоэтапности обработки клиентского запроса, что дает возможность оценить необходимые требования к производительности ЦОД.

3. Методы повышения эффективности предоставления информационных услуг в центрах обработки данных учитывают зависимость показателей эффективности от характеристик ЦОД, что позволяет обеспечивать необходимое качество обслуживания клиентов.

Научные положения, выносимые на защиту:

1. Структурно-функциональная модель центра обработки данных.

2. Комплекс моделей оценки качества предоставления информационных услуг в центрах обработки данных.

3. Методы повышения эффективности предоставления информационных услуг в центрах обработки данных.

Достоверность научных результатов и выводов подтверждается: корректностью математических выкладок, обоснованностью используемых 8 ограничений, корректностью интерпретации в предметной области, результатами моделирования.

Научная и практическая ценность диссертационной работы заключается в том, что модели и методы повышения эффективности предоставления услуг в ЦОД можно рассматривать как единую технологию обеспечения необходимого качества обслуживания клиентов. Полученные результаты моделирования представляют практическую ценность при выборе архитектуры центров обработки данных.

Результаты работы внедрены в учебный процесс СПбГЭТУ (ЛЭТИ), СПбГУСЭ, СПбНИУ ИТМО и используются при проведении лабораторных работ, а также в курсовом и дипломном проектировании по темам, связанным с функционированием ИТ-систем, на кафедре Автоматизированных систем обработки информации и управления.

Апробация результатов работы. Основные положения и результаты диссертационной работы представлялись на XII международной конференции «Информатика: проблема, методология, технологии» (Воронеж, 9-12 февраля 2012 г.); XIII международной конференции «Региональная информатика (РИ-2012)» (Санкт-Петербург, 24-26 октября 2012 г.); международной конференции «Региональная информатика», (Санкт-Петербург, 1-3 марта 2005 г.); второй всероссийской конференции «Абонентский доступ в сетях следующего поколения» (Санкт-Петербург, 2005 г.) и на научно-технических конференциях профессорско-преподавательского состава научных сотрудников и аспирантов СПбГУТ им. проф. М.А. Бонч-Бруевича в 2006 - 2012 гг.

Публикации. По теме диссертационной работы опубликовано 12 научных работ, из них - 3 статьи из перечня изданий, рекомендованных ВАК, и 7 -работы в научных трудах международных и всероссийских конференций.

Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения, списка литературы, включающего 77 наименований. Основная часть работы изложена на 140 страницах машинописного текста.

Основные результаты работы заключаются в следующем.

1) Предложена структурно-функциональная модель центра обработки данных, включающая описания:

- инфраструктуры ЦОД на уровне структур организации серверного комплекса и технологий организации хранения данных;

- характеристик качества обслуживания клиентов ЦОД;

- моделей услуг, предоставляемых ЦОД;

2) Разработан комплекс моделей процессов предоставления информационных услуг центрами обработки данных, включающий:

- модель оценки характеристик производительности ЦОД и запасов по пропускным способностям, в том числе с разделением запросов на классы;

- модель балансировки нагрузки в серверном комплексе ЦОД;

- модель размещения ресурсов в системах хранения данных ЦОД;

3) Предложены методы, позволяющие повысить эффективность функционирования центров обработки данных:

- метод управления нагрузкой, поступающей на ЦОД;

- метод обеспечения отказоустойчивости серверного комплекса ЦОД;

- метод распределения памяти в кластере ЦОД.

4) Получены экспериментальные соотношения вероятностно-временных характеристик, показывающие влияние различных внешних и внутренних факторов на эффективность функционирования ЦОД.

Заключение

В рамках диссертационной исследования получено решение важной научно-технической задачи, заключающейся в разработке моделей для оценки эффективности функционирования центров обработки данных и методов, позволяющих повысить эффективность ЦОД.

Применение разработанных моделей и методов позволяет улучшить характеристики качества обслуживания проектируемого ЦОД.

1. Авен О. И. , Гурин Н. Н., Коган Я. А. Оценка качества и оптимизация вычислительных систем. - М.: Наука , 1992. - 464 с.

2. Баранова С.С. «Динамическая оптимизация распределения данных по узлам вычислительной сети» http://www.masters.donntu.edu.ua/2007/ kita/baranova/library/index.htm Донецкий национальный технический университет.

3. Бендерская E.H., Колесников Д.Н. и др. Моделирование систем с использованием теории массового обслуживания. Учебное пособие под ред. д.т.н. Д.Н. Колесникова. СПб.: СПб ГПУ, 2003. 180 с.

4. Богданов A.B., Корхов В.В., Мареев В.В., Станкова E.H. Архитектуры и топологии многопроцессорных вычислительных систем. М. :ИНТУИТ.РУ, 2004.- 176 с.

5. Бочаров П.П. Сеть массового обслуживания с сигналами со случайной задержкой//Автоматика и телемеханика. 2002. - №9. - С.90-101.

6. Бройдо B.JI. Вычислительные системы, сети и телекоммуникации. Учебник для вузов. СПб.: Питер, 2002г.- 688 с.

7. Вишневский В.М. Теоретические основы проектирования компьютерных сетей. М.: Техносфера, 2003. 512 с.

8. Воеводин В.В., Воеводин Вл. В. Параллельные вычисления. СПб.: БХВ, 2002. 608 с.

9. Воробьёв А.И. Оценка вероятностей блокировки заявок в мультисервисных сетях. 59-я НТК студентов, аспирантов и молодых специалистов СПбГУТ им. проф. М.А. Бонч-Бруевича, 23 27 мая 2005 г. Тезисы доклада. - СПб., 2005.

10. Воробьёв А.И. Метод расчёта запаса по пропускным способностям центра обработки данных. XII международная конференция «Информатика: проблема, методология, технологии, Воронеж, 9-12 февраля 2012 г.

11. Гергель В.П., Стронгин Р.Г. Основы параллельных вычислений для многопроцессорных вычислительных систем. Учебное пособие 2-е издание, дополненное. Новгород: НГУ, 2003

12. Голубев Д., Сети хранения 20.03.2003. http://www.citforum.idknet.com/ nets/articles/nethran.shtml

13. Дубинин В. Проектирование и реализация распределенных систем на основе ЛВС. Автореферат на соискание ученой степени кандидата технических наук. Пензенский государственный университет, 2005.

14. Информационные материалы рабочей группы IEEE по кластерным вычислениям (http://www.ieeetfcc.org )

15. Как хранить данные: SAN, NAS или DAS http://www.bcc.ru/ press/articles/howtostoredata.html

16. JI. Кассел, Р. Остинг Компьютерные сети и открытые системы. М.: Техносфера, 2003. 592 с.

17. Кен Сен-Сир Серверная роль клиентского доступа Exchange Server: балансировка нагрузки серверов/ Windows IT Pro» , № 02 , 2011

18. Клейнрок Л. Вычислительные системы с очередями: Пер. с англ. -М.:Мир, 1979.-600 с.

19. Клейнрок Л. Теория массового обслуживания Пер. с англ. М.: Машиностроение, 1979. - 430 с.

20. Кожанов Ю.Ф., Колбанев М.О. Технология инфокоммуникации. -Курск: Науком, 2011. 260 с.

21. Колбанев М.О., Яковлев С.А. Модели и методы оценки характеристик обработки информации в интеллектуальных сетях связи. СПб.: изд-во СПбГУ, 2002. 230 с.

22. СПбГЭТУ «ЛЭТИ». СПб., 2003. - 32 е.136

23. Колбанёв М.О., Воробьёв А.И., Матяшов П.А. Обзор технологий абонентского доступа инфокоммуникационных сетей. Санкт-Петербургская международная конференция «Региональная информатика», 1-3 марта 2005. Тезисы доклада. СПб, 2005.

24. Кобанёв М.О., Воробьёв А.И. Матяшов П.А. Модель в мультисервисной сети абонентского доступа. Вторая всероссийская конференция «Абонентский доступ в сетях следующего поколения», 2005. Тезисы доклада. СПб., 2005

25. Кобанёв М.О., Нестеренко В.Д., Воробьёв А.И. Анализ характеристик инфокоммуникационной системы с неординарным потоком заявок на обслуживание. Труды учебных заведений связи, 2006. № 175

26. Колбанёв М.О., Татарникова Т.М., Воробьёв А.И., Модель балансировки нагрузки в вычислительном кластере центра обработки данных//Информационно-управляющие системы, №3, 2012. С. 37-41.

27. Кормильцев А.И. Как построить оптимальную систему хранения данных//Сети и системы связи. №11, 2002. С. 52-58.

28. Корпоративные системы хранения данных. Источник: Компьютер Пресс, Октябрь 27, 2006.

29. Крухмалев В.В., Гордиенко В.Н., Моченов А.Д., Иванов В.И., Бурдин В.А., Крыжановский A.B., Марыкова JI.A. Основы построения телекоммуникационных систем и сетей. М.: Горячая линия - Телеком, 2004. -510 с.

30. Крюков В.А. Коммуникации в распределенных системах Лаборатория Параллельных Информационных Технологий, НИВЦ МГУ на сайте http://www.mpi-forum.org.

31. Дж. Куроуз, К.Росс Компьютерные сети. СПб.: Питер, 2004. 765 с.137

32. Кутузов О.И., Татарникова Т.М., Петров К.О. Распределенные информационные системы управления: Учебное пособие по курсовому проектированию. СПб: СПбГУТ, 2003. 42 с.

33. Ледяев А.Ю. Использование кластеров распределения нагрузки в обслуживании системы визуализации ГИС/Труды ГУ "ВНИИГМИ-МЦД" вып. 174, 2010.

34. Мошак H.H., Рудинская С.Р. Основы построения транспортной системы сети телекоммуникаций. Минск: ФУАинформ, 2006. 109 с.

35. Миков А.И., Замятина Е.Б. Распределенные системы и алгоритмы. Электронный ресурс http://www.intuit.rU/department/algorithms/distrsa/9/

36. Олифер В.Г., Олифер H.A. Компьютерные сети: принципы, технологии, протоколы: Учебник для вузов. 4-е изд. СПб.: Питер, 2010. - 943 с.

37. Олифер В.Г., Олифер H.A. Сетевые операционные системы Учебник для вузов. СПб.: Питер, 2001. 415 с.

38. С. Орлов ЦОД от и до: Автоматизация управления ЦОД//Журнал сетевых решений LAN. №5, 2010.

39. От хранения данных к управлению информацией/EMC- СПб.: Питер, 2010.-544 с.

40. Палмер М., Синклер Р. Проектирование и внедрение компьютерных сетей. СПб-БХВ-Петербург-2004.

41. Рузайкин Г.И. Философия ЦОД//Мир ПК, №11, 2008.138

42. Рутковская Д., Пилиньский М., Рутковский JI. Нейронные сети, генетические алгоритмы и нечеткие системы 2-е изд. - М: Горячая линия-Телеком, 2008. - С. 452

43. Рыжиков Ю.И. Теория очередей и управление запасами. СПб.: Изд-во «Питер», 2001.-376 с.

44. Советов Б .Я, Воробьёв А.И. Применение методов оптимизации в задачах структуризации корпоративного центра обработки данных// Известия СПбГЭТУ "ЛЭТИ" №8, 2012. С. 41-46.

45. Советов Б.Я., Цехановский В.В. Информационные технологии. М: Высшая школа, 2006, 263 с.

46. Советов Б.Я., Цехановский В.В., Чертовский В.Д. Базы данных: теория и практика. М: Юрайт-Издат, 2012. 464 с.

47. Советов Б.Я., Цехановский В.В. Теоретические основы автоматизированного управления. М: Высшая школа, 2006. 464 с.

48. Советов Б.Я., Яковлев С.А. Моделирование систем. М: Юрайт-Издат, 2012.-343 с.

49. Советов Б.Я., Яковлев С.А. Моделирование систем. Практикум. М.: Высшая школа, 2005. - 296 с.

50. Суздалев A.B., Чугреев О.С. Передача данных в локальных сетях связи. Мю: Радио и связи, 1987. 168 с.

51. Уильям Столлингс Компьютерные системы передачи данных. Перевод с англ. М.: Издательский дом «Вильяме», 2002. - 896 с.

52. Уильям Столлингс Структурная организация и архитектура компьютерных систем. Перевод с англ. М.: Издательский дом «Вильяме», 2002. - 896 с.

53. В. Столлингс Современные компьютерные сети. СПб: Питер, 2003.

54. Э. Таненбаум Компьютерные сети /Пер.с англ. -СПб.Литер,2003.-877с

55. Э. Таненбаум Распределенные системы. Принципы и парадигмы /Пер.с англ. -СПб. Литер,2003.-877с.

56. Татарникова Т.М. Воробьёв А.И., Реализация сервиса балансировки нагрузки в центре обработки данных. XII международная конференция «Информатика: проблема, методология, технологии, Воронеж, 9-12 февраля 2012 г.

57. Технология NAS: сетевые хранилища данных http://www.ci.ru/ inform2203/p07-1 .htm

58. Центры обработки данных: актуальные проблемы и подходы/ «BYTE/Россия», №3 (123), март 2009.

59. Чугреев О.С., Зефиров С.Л. Модели локальных сетей передачи данных. Учебное пособие. Изд. ППИ, Пенза, 1988. - 45 с.

60. Шварц М. Сети связи: протоколы, моделирование и анализ. М.: Наука, 1992.-4.1. - 335 с.

61. Greyson Mitchem The Definitive Guide to Windows Server 2003 Terminal Services. Источник: http://www.tricerat.com/ebook/

62. A. Patel Security management for OSI networks//Computer Communications. 1992. Vol. 17, №7. P. 544-553.

63. Chakrvarthy S. The batch markovian arrival process: a review and future work//Advances in probability theory and stochastic processes. 2001/ - Р/ 21-39.

64. R.S. Engelschall Load balancing your web site: Practical approaches for distributing http traffic//Web Techniques Magazine, 3(5), May 1998.

65. Diagnosing SNA Gateways//Data Communications. March 21, 1992.

66. Hosting Service Providing Platform System and Method, 10/005,590/ October 26. 2001.

67. Dedication of Administrative Servers to Management of Server Function in a Multi-Server Environment, 10/826,280; April 19, 2004.

68. System, Computer Program Product and Method for Online Data Migration with Minimum Down-Time, 10/837,618; May 4, 2004.

69. System, method and computer program product for group scheduling of computer recourse, 10/793,881 08 Mar, 2004.

70. Virtual private server with isolation of system components, 10/703,594 10 Nov, 2003.

71. Configuration of a network of computer recourse, 10/304, 294 26 Nov, 2002.

72. Andrews G.R. Foundations of Multithreading, Parallel and Distributed Programming. Addison-Wesley, 2000 (русский перевод Эндрюс Г.Р. Основы многопоточного, параллельного и распределенного программирования. М.: Издательский дом "Вильяме", 2003)