автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Модели процессов функционирования корпоративных центров обработки данных

На правах рукописи

Аль-Хаками Али Мохаммед Омар

МОДЕЛИ ПРОЦЕССОВ ФУНКЦИОНИРОВАНИЯ КОРПОРАТИВНЫХ ЦЕНТРОВ ОБРАБОТКИ ДАННЫХ

Специальность: 05.13.01 - Системный анализ, управление и обработка информации

(технические науки)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

2 5 МАР 2010

Санкт-Петербург - 2010

004599738

Работа выполнена в Санкт-Петербургском государственном электротехническом университете «ЛЭТИ» им. В.И. Ульянова (Ленина).

Научный руководитель -

кандидат технических наук, доцент Дубенецкий Владислав Алексеевич

Официальные оппоненты:

доктор технических наук, профессор Водяхо Александр Иванович кандидат технических наук, доцент Петриева Оксана Владимировна

Ведущая организация - Санкт-Петербургский государственный университет телекоммуникаций им. проф. М.А. Бонч-Бруевича.

о*

Защита диссертации состоится 2010 г. в/и часов на заседании совета

по защите докторских и кандидатских диссертаций Д 212.238.07 Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» им. В.И. Ульянова (Ленина) по адресу: 197376, г. Санкт-Петербург, ул. проф. Попова, 5.

С диссертацией можно ознакомиться в библиотеке университета.

Автореферат разослан «Л? » ¡/С01#7а 2010 г.

Ученый секретарь

совета по защите докторских и

кандидатских диссертаций

Цехановский В. В.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Движущей силой современного бизнеса считается информация, являющаяся наиболее ценным стратегическим активом любого предприятия. Объем баз данных предприятий растет в геометрической прогрессии вместе с ростом глобальных сетей и развитием электронной коммерции. Приобретенные всего пару лет назад компьютеры перестают справляться с новыми приложениями. Модернизация корпоративных серверов, призванных обрабатывать и хранить данные предприятия перерастает в дорогостоящую и трудоемкую проблему.

Управление ресурсами хранения данных становится одной из самых важных проблем предприятия. Кроме обеспечения возможности постоянного увеличения объема хранимой информации, не менее остро стоит задача обеспечения постоянного к ней доступа. Для многих компаний формула доступа к данным «24 часа в сутки» стала нормой жизни.

Потерю доступа к важной информации можно оценить количественно, так как она влияет на результат деятельности предприятия. Однако, существуют организации, которые обязаны планировать непрерывность своей деятельности по закону. Это федеральные агентства, здравоохранение, финансовые институты и прочие. Разрушительность последствий при возможной потере доступа к информации, диктует искать пути снижения такого риска и его влияния на бизнес. Одним из наиболее эффективных механизмов решения этой проблемы является построение центров обработки данных. Центр обработки данных - это физическое местоположение, в котором собраны важные вычислительные и информационные ресурсы, поддерживающие работу бизнес-приложений. Такой подход обеспечивает высокую технологическую и экономическую эффективность использования систем хранения, а также открывает возможности построения масштабируемых распределенных решений.

Как и в любом деле, в области сетевого хранения ситуация постоянно и стремительно меняется. Здесь легко поддаться искушению и предпочесть самые последние разработки. Но наиболее рациональным является выбор, оправданный с экономической и технологической точек зрения, системы, которая обеспечивала бы долгосрочную защиту инвестиций и позволяла компании выполнять текущие задачи и развиваться. Объемы информации в будущем будут только расти. Необходимо убедиться, что в будущем инфраструктура хранения способна обеспечить экономически эффективное наращивание и расширение. Продолжающийся же рост таких секторов Интернет, связанных с сетевым хранением, как электронная коммерция, платежи, коммуникации требуют соответствующей инфраструктуры, потому что перебои в электронных услугах могут иметь существенные экономические последствия, как для отдельных предприятий, так и для государственных структур и секторов экономики.

Сказанное говорит об актуальности разработки методов и моделей оценивания характеристик ЦОД на соответствие требуемому качеству обслуживания при заданном либо прогнозируемом трафике. Важно также учитывать технологии, базирующиеся на открытых отраслевых стандартах, минимизирующие проблемы взаимодействия по мере расширения ЦОД.

Особое значение при анализе работы и оценке характеристик ЦОД приобретают математическое моделирование и вычислительный эксперимент на модели. По вопросам моделирования сетей и ее элементов опубликовано большое число работ,

среди которых отметим работы В.А. Ершова, Г.П. Захарова, А.П. Кулешова, О.И. Кутузова, В.Г. Лазарева, И.А. Мизина, Ю.Г. Поляка, Б.Я. Советова, С.А. Яковлева, Л. Клейнрока, Д. Мартина, М. Шварца. Работы этих ученых и ряда других составляют теоретическую базу моделирования сетей, в том числе сетей хранения данных и центров обработки данных и их элементов.

Сказанное позволяет сделать вывод о том, что разработка моделей функционирования и оценки вероятностно-временных характеристик центров обработки данных представляет собой важную научную задачу, имеющую большое значение для экономики страны.

Объектом исследования являются корпоративные центры обработки данных, выполненные в виде кластерных вычислительных систем.

Предметом исследования являются закономерности процессов функционирования корпоративных центров обработки данных при выполнении запросов пользователей.

Цель работы и задачи исследования. Целью работы является повышение качества проектирования и сопровождения корпоративных центров обработки данных за счет учета основных особенностей их функционирования при оценке характеристик производительности.

Для достижения названной цели необходимо решение следующих задач:

1. Анализ особенностей построения и процессов функционирования корпоративных центров обработки данных.

2. Разработка системной модели корпоративного центра обработки данных.

3. Моделирование процессов функционирования ЦОД.

4. Разработка модели предоставления услуг по размещению ресурсов в корпоративных центрах обработки данных, позволяющая определить эффективную архитектуру системы.

Методы исследования. Для решения сформулированных в работе задач, в работе используются математические методы системного анализа, теории вероятности, случайных процессов и математической статистики, теории алгоритмов и теории массового обслуживания.

Основные положения, выносимые на защиту:

1. Системная модель корпоративного центра обработки данных.

2. Комплекс моделей процессов функционирования ЦОД.

3. Модель предоставления услуг по размещению ресурсов в корпоративных центрах обработки данных, позволяющая определить эффективную архитектуру системы.

Научная новизна работы.

Научная новизна работы состоит в разработке моделей процессов функционирования корпоративных центров обработки данных, позволяющих оценить основные характеристики производительности и определить эффективную архитектуру системы, обеспечивающую минимальное время отклика на клиагтские запросы с учетом характеристик потоков запросов к предоставляемым сервисам.

Новые научные результаты:

1. Системная модель корпоративного центра обработки данных отличается выделением набора структурных элементов и их назначения, присущих большинству современных ЦОД, что позволяет более полно описывать процессы их функционирования.

2. Комплекс моделей процессов функционирования центров обработки данных отличается учетом всех этапов прохождения клиентского запроса, что дает возможность оценить необходимые требования к характеристикам ЦОД.

3. Модель предоставления услуг по размещению ресурсов в корпоративных центрах обработки данных учитывает различные варианты консолидации вычислительных ресурсов, что позволяет определить эффективную по времени отклика архитектуру системы обслуживания заявок клиентов.

Достоверность научных результатов и выводов подтверждается: корректностью математических выкладок, обоснованностью используемых ограничений, корректностью интерпретации в предметной области, результатами моделирования.

Научная и практическая ценность диссертационной работы заключается в том, что разработанные комплексы моделей и способы получения аналитических зависимостей можно рассматривать как единую технологию оценки производительности корпоративных центров обработки данных. Полученные результаты анализа данных аналитического моделирования и рекомендации по выбору структуры и параметров корпоративных ЦОД представляют практическую ценность при выборе архитектуры корпоративных центров обработки данных.

Результаты работы внедрены в учебный процесс СПбГЭТУ (ЛЭТИ) и используются в курсовом и дипломном проектировании по темам, связанным с проектированием корпоративных информационно-управляющих систем.

Апробация работы. Предлагаемые решения и результаты диссертационной работы докладывались и обсуждались на одной международной, одной всероссийской НТК и на НТК профессорско-преподавательского состава СПбГЭТУ и ГУТ в 2007 -2009 гг.

Публикации. По теме диссертационной работы опубликовано 10 научных работ, из них - 2 статьи из перечня изданий, рекомендованных ВАК, и 8 работ - в научных трудах международных и всероссийских конференций.

Структура н объем диссертации. Диссертация состоит из введения, четырех глав, заключения, списка литературы, включающего 62 наименований. Основная часть работы изложена на 103 страницах машинописного текста. Работа содержит 37 рисунков, 4 таблицы.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность исследуемой проблемы, формулируется цель и направление диссертационной работы, приводятся результаты, выносимые на защиту и определяющие научную новизну и практическую ценность результатов исследований.

В первой главе анализируются вопросы организации процесса корпоративной обработки и хранения информации. Показано, что особенности организации заключаются в том, что вычислительные мощности реализуются в виде кластерных систем, а для хранения создаются специализированные системы. Кластерные системы архитектурно концентрируются вокруг систем хранения данных, образуя фундамент для постройки корпоративных центров обработки данных.

Показано, что кластерные вычислительные системы в корпоративных центрах обработки данных (ЦОД) реализуются в виде многопроцессорных систем и являются идеальной схемой для повышения надежности ЦОД. Благодаря единому представлению, отдельные узлы или компоненты многопроцессорной вычислительной системы могут незаметно для пользователя заменять неисправные элементы, обеспечивая непрерывность и безотказную работу даже таких сложных приложений как базы данных.

Рассмотрено разнообразие технологий хранения данных. Выявлены основные достоинства и недостатки рассмотренных технологий хранения, анализ которых показывает, что каждая из них лучше всего подходит д ля конкретных целей:

- Direct Attached Storage (DAS) - непосредственно подключаемые системы хранения, когда система хранения (обычно дисковая или ленточная) подключается непосредственно к серверу - оптимизирована для одиночных изолированных серверов и имеет низкую начальную стоимость капиталовложений;

-Network Attached Storage (NAS) - устройства сетевого хранения. Подключение системы хранения, роль которой часто выполняет обычный сервер, осуществляется непосредственно к корпоративной сети - оптимизирована по простоте управления и по совместному доступу к файлам с использованием недорогих сетей на основе Ethernet;

-Storage Area Network (SAN) - сеть хранения данных - комплексное решение, представляющее собой специализированную сетевую инфраструктуру для хранения данных - оптимизирована по производительности (большой объем передаваемых данных), по масштабируемости (несколько ленточных и дисковых накопителей управляются из одного центра) и по надежности (специализированные средства резервного копирования могут снизить загрузку серверов и локальной сети).

Таким образом, при выборе системы хранения данных наиболее рациональным является решение, оправданное с экономической и технологической точек зрения, которое обеспечивало бы долгосрочную защиту инвестиций и позволяло компании выполнять текущие задачи и развиваться.

Показаны назначение, функции и компоненты корпоративных центров обработки данных.

Под функциональностью ЦОД понимается его способность централизованно обеспечивать заданный набор сервисов по приему, обработке, хранению и предоставлению запрашиваемой информации пользователям.

Центр обработки данных, как правило, выделяется в отдельную организационную структуру компании и предоставляет ей услуги по доступу к информационным сервисам. ЦОД, может также быть отдельной компанией, которая предоставляет услуги профессионального аутсортинга.

Функции ЦОД обеспечиваются соответствующими компонентами. Обязательные компоненты, входящие в состав ЦОД, можно разделить на технические и программные.

Технические компоненты создают условия для эффективной работы центра. К таковым относятся: серверный комплекс, система хранения данных и резервного копирования - ядро ЦОД, сетевая инфраструктура, инженерная система эксплуатации ЦОД система безопасности.

К программному обеспечению относятся сервисы инфраструктуры ЦОД и программного обеспечения для корректной работы бизнес-процессов, необходимых предприятию.

Установлены компоненты, из которых строится ЦОД: адаптеры для подключения серверов к сети Fibre Channel - Host Bus Adapters (HBA); ресурсы хранения данных (например, дисковые массивы, ленточные библиотеки); устройства, реализующие инфраструктуру (например, коммутаторы - FC-switch); программное обеспечение (например, драйверы устройств, менеджер томов - Volume Manager и другие).

Все компоненты ЦОД тесно интегрированы между собой и объединены высокопроизводительной ЛВС.

Определены исследуемые характеристики ЦОД. Показано, что основными характеристиками центра обработки данных являются производительность, время ответа и стоимость.

Производительность системы - характеристика мощности системы, определяющая количество вычислительной работы, выполняемой системой в единицу времени; оценивается в виде:

д= ]jm запросов (задач) пользователей в секунду, (1)

где N(t) - число запросов, обслуживаемых ЦОД за интервал времени (0,т).

Время ответа - длительность промежутка времени от момента поступления запроса пользователя в ЦОД до момента окончания его выполнения. В общем случае время ответа - случайная величина

T=tmu, с. (2)

Время ответа слагается из двух составляющих: времени выполнения и времени ожидания. Время выполнения задачи при отсутствии параллельных процессов равно суммарной длительности всех этапов процесса - ввода, обращения к памяти, процессорной обработки и вывода.

Время ожидания - сумма промежутков времени, в течение которых задача находилась в состоянии ожидания требуемых ресурсов.

Стоимость ЦОД - это суммарная стоимость закупки и эксплуатации компонентов

ЦОД

Сцод = Сз + Сэ, (3)

где Сз - стоимость закупки компонентов ЦОД;

Сэ - стоимость эксплуатации ЦОД.

Поскольку ЦОД представляет собой комплекс из N компонентов, и каждый компонент / характеризуется двумя ресурсами:

- производительность К,- (опер./с);

- память {/¿(байт),

то стоимость закупки составит

Сз,= СзГ,+ Сзм, (4)

где С3|/, - часть стоимости компонента /, отнесенная на производительность;

Сзс/, - часть стоимости компонента /, отнесенная на память.

Стоимость сопровождения и эксплуатации ЦОД составит

С) = 7ЧЦЭ(, + ЦЭи). (5)

где Г-время эксплуатации ЦОД;

ЦЭ),, - часть цены эксплуатации компонента /, отнесенная на производительность;

ЦЭЫ - часть цены эксплуатации компонента г, отнесенная на память.

Соответственно стоимость любого из ресурсов производительности и памяти определится как

С г; = Сз 17 + Сэ п, Сц, = Сз;/; + Сэ№ (6)

Функционирование центра обработки данных представлено в виде процессов. Процессы подразделяются на прикладные и системные. Прикладные реализуют основные функции, заданные программами или обрабатывающими программами операционной системы и инициируются заданиями пользователей или сигналами, поступающими в систему из внешней среды.

Процесс Р, описывается тройкой />,={;„ А„ Т,}, где (,- момент инициирования процесса, А, - атрибуты процесса, определяющие вычислительную сложность, объем обрабатываемых данных, требования к времени отклика, частоту поступления запросов и Т-,- трасса процесса.

Трасса характеризует динамику процесса - развитие процесса во времени и пространстве и представляется в виде упорядоченного множества событий Т1 - {Л'ь , имевших место в моменты времени , причем < 12 <...< 1м- К

событиям относятся моменты старта процесса, начала и завершения обработки отдельных заданий, начала и окончания выполнения процессов во внешних устройствах центра обработки данных, начала использования и освобождения разделов памяти, предоставляемых процессу в запоминающих устройствах, и др.

В рассматриваемой проблемной области наибольший интерес представляет потребность заданий в ресурсах: оперативной и внешней памяти (дисковой, ленточной и других), процессорном времени. Поэтому рабочая нагрузка, относящаяся к времени Т, определена в виде множества характеристик заданий:

Л.= {А/} = {4,в|1,...,®да}, (7)

где Хг описание /-го задания, устанавливающее его атрибуты А1 и потребность задания в ресурсах ©л,..., 0/^, 1..М

Сформулирована задача диссертационного исследования как задача оптимизации функционирования кластера ЦОД: максимизация производительности ЦОД при стоимости,

не превосходящей заданную, или минимизации стоимости ЦОД при производительности не ниже заданной.

Кластер ЦОД формализуется замкнутой сетью с общим числом К=М требований, каждое из которых генерирует исходящее от пользователя задание с интенсивностью X (рис. 1). Каждое генерируемое требование поступает затем в ЦОД и перемещается ог ресурса к ресурсу в соответствии с переходными вероятностями г1р и возвращаясь на терминал пользователя. В этот момент рассматриваемое требование (пользователь) переходит к генерированию нового задания.

Рис. 1. Представление ЦОД в виде сети СМО

Рассмотрим насыщенный узел, или узкое место в ЦОД (узел 5), в котором частота его посещений принимает наибольшее значение из всех узлов в системе.

Чтобы найти число x¡ посещений /-го узла кластера ЦОД необходимо решить систему уравнений:

N

^ =!>,*/>, (8)

где дх, интерпретировано как относительное число посещений г-го узла при циркуляции требований в сети. Для рассматриваемого случая ц^ц^ - среднее число посещений узкого места на каждое поступление требований в кластер.

Чтобы найти число насыщающих требований М*, оно должно быть равно максимальному числу идеально спланированных заданий, не дающих никаких взаимных помех. Для каждого из т$ обслуживающих приборов в насыщенном узле можно спланировать максимальное число заданий, равное необходимому времени обслуживания задания в одном цикле, деленному на время обслуживания задания в насыщенном узле за цикл. Общее время обслуживания за цикл равно

N

то есть сумме по всем узлам произведений числа посещений узла на

/=г

цикл, на среднее время обслуживания на посещение. Время пребывания в насыщенном узле равно х, /){1///(). Так как имеется т„ таких обслуживающих приборов, отношение общего времени обслуживания за цикл ко времени пребывания в насыщенном узле за цикл может быть умножено на т„ что в итоге дает:

(9)

-т, ы

Можно предположить, что в результат е устранения узкого места путем увеличения интенсивности обслуживания в насыщенном узле какой-нибудь другой узел, например, Я' станет узким местом системы.

Данная характеристика имеет важное значение для определения эффективности функционирования ЦОД, так как позволяет оценить выигрыш в улучшении характеристик ЦОД при использовании более мощных аппаратных средств и/или совершенных методов управления потоками информации.

Во второй главе предложена системная модель центров обработки данных, отражающая принципы их проектирования, уровни функционирования, характеристики и варианты структур ЦОД.

Методологической базой для разработки модели ЦОД служит системный анализ. Будем рассматривать системную модель на трех уровнях иерархии: структурные модули ЦОД, их назначение и выполняемые функции, взаимодействие элементов в единой системе и с внешней средой (10):

СМ=ЛП,Ф,С,СЛ0Я), (10)

где П - элементы ЦОД,

Ф - множество функций, выполняемых ЦОД,

в - множество характеристик ЦОД, 6={Л, 7},

Одоп - параметры внешней среды, С-"" ={ Ал"", Тлт }.

Проведен анализ характеристик функциональных задач, составляющих нагрузку

ЦОД.

По характеру обработки данных задачи сгруппированы по следующим признакам:

- вычислительная сложность (признак ц);

- объем обрабатываемых данных (признак Ц);

- требования к времени ответа (признак Т);

- частота поступления запросов (признак А.),

Выделенные пять признаков для отнесения каждой задачи к определенной группе позволяют провести анализ предполагаемой нагрузки ЦОД дифференцированно с учетом индивидуальных характеристик каждой задачи (таблица 1).

Таблица 1

Группа ц - время U - количество Т- время X - интенсивность

задач обработки записеи ответа, [с] запросов, fl/c]

Очень (j.1^1 час Ul> 10s 71<0,1 XI>100

высокая

Высокая 1 час >ц2>10 мин. 108>Ш>107 0,1<П<1 100>Х2>10

Средняя 10 мин.>рЗ>,1 мин. 107>Ш>106 1 <73<10 10>А.З>1

Низкая 1 мин >ц4>1 с ю6>г/4>ю5 10<Г4<100 1>Я4>0,01

Очень 1с >ц5 105>i/5 100 < Т5 0,01 >Х.5

низкая

Как правило, каждая группа задач Z, {Ф„ р„ {/„ Т„ X,,} в разной степени влияет на выбор архитектурных решений ЦОД. Наибольшее влияние на проектные решения оказывают задачи с критическими параметрами (очень высокая вычислительная сложность, очень высокий объем данных, очень высокие требования к времени отклика и т.д.). Таким образом, функциональные задачи могут быть упорядочены в соответствии с вектором своих характеристик. Принимая проектные решения необходимо последовательно обеспечивать требования каждой группы задач.

Выявлены четыре ключевых принципа, определяющих подробности архитектуры ЦОД: масштабируемость, надежность, защищенность и управляемость.

Представлена архитектура центра обработки данных на уровнях: агрегирования, внешнем, приложений, внутреннем, хранилищ и оптического канала. Каждый уровень архитектуры содержит описание функций и оборудования ЦОД.

Выполнен структурно-функциональный анализ ЦОД, позволивший выделить особые функциональные модули, составляющие базисный набор, на котором строится структура системной модели ЦОД:

1) Серверный комплекс (СК), включающий, следующие группы серверов:

- Серверы информационных ресурсов (ресурсные серверы). Отвечают за сохранение и предоставление данных серверам приложений. Ресурсными серверами являются, например, серверы СУБД и файл-серверы.

- Северы приложений. Выполняют обработку данных в соответствии с бизнес-логикой системы. К примеру, серверами приложений являются серверы, выполняющие модули SAP R/3 или Oracle Applications.

• Северы представления информации. Осуществляют интерфейс между пользователями и серверами приложений. Терминальные серверы и web-серверы служат примером серверов представления информации.

- Служебные серверы. Обеспечивают работу других подсистем ЦОД. Так, служебными серверами являются серверы управления системой резервного копирования.

Обозначим СК как множество М\={ СК ¡^¡.j-fg, /-номер сервера, j- й группы}.

2) Хранилища данных (ХД), предназначенного для организации надёжного хранения информационных ресурсов и предоставления доступа к ним серверов; обозначим как множество М1={ ХД¡=щ • ^, i - номер ХД, j-ro типа}.

3) Сети передачи данных (СПД), являющиеся составной частью корпоративно! сети передачи данных и включающей в свой состав: оборудование маршрутизации \ коммутации; оборудование организации оптических каналов связи; оборудован» подключения пользователей; средства обеспечения информационной безопасности обозначим как множество Mi;

4) Инфраструктуры ЦОД - отдельного помещения со следующими составляющими: система энергоснабжения и бесперебойного электропитания; структурированная кабельная сеть; система кондиционирования и вентиляции; система охранно-пожарной сигнализации; система газового пожаротушения и дымоудаления; система контроля доступа в помещения. Обозначим как множество М4.

5) Система управления ЦОД, которая должна быть интегрирована в централизованную систему управления предприятия и должна обеспечивать: централизованное управление всеми компонентами ЦОД и контроль их состояния в реальном . времени; дистанционную реконфигурацию оборудования; дистанционную загрузку программного обеспечения; сквозной контроль и тестирование компонент ЦОД; предоставление отчетности о состоянии оборудования, используемых ресурсах и загрузке; сбор статистики но функционированию систем. Обозначим как множество А/5.

ЦОД структурируется из готовых функциональных модулей в зависимости от масштаба корпоративной сети и собственно самого центра, нагрузки, особенностей запросов. С увеличением нагрузки наращивается производительность ЦОД расширением серверного комплекса через добавление одного или нескольких серверов. При необходимости локального резервного копирования, зеркалирования и других процессов, требующих значительных объемов памяти, все системы хранения являются съемными и взаимозаменяемыми. При необходимости можно добавлять дополнительные типы систем хранения - более современные или объемные.

Таким образом, системная модель ЦОД запишется в виде следующего кортежа элементов, характеристик и связей:

ЦОД=<М1{ },М2{ ХД;=щу=щ }, Mi, MA,MS, G{A, Jora }>.

Показано, что существенное виляние на производительность ЦОД оказывают следующие компоненты и процессы функционирования:

1. Компонент Ml - кластерные серверы. Чтобы учесть влияние кластерных серверов на производительность ЦОД необходимо разработать:

- Модели балансировки нагрузки в кластере.

2. Компонент М2 - хранилища данных. Чтобы учесть влияние хранилищ данных на производительность ЦОД необходимо разработать:

- Модели предоставления услуг по размещению ресурсов в корпоративных центрах обработки данных.

3. Компонент Mi - оптический коммутатор. Чтобы учесть влияние оптического коммутатора на производительность ЦОД необходимо разработать две модели:

- Модель fibre channel коммутации.

- Модель обработки запросов пользователей.

Для цели дальнейшего исследования требуется построить соответствующие модели.

Третья глава посвящена моделированию процессов функционирования ЦОД, включающих коммутацию серверов и хранилищ данных, обработку запросов пользователей и предоставление услуг по размещению ресурсов.

Предложенная модель fibre channel коммутации включает блок-схему, структуру и логику работы оптического коммутатора, оценку времени ожидания в очереди и длину очереди коммутатора.

Оптический коммутатор состоит из трех частей: портов входа/выхода -комплектов, оптической коммутационной сети и сети управления. Назначение портов входа/выхода - контролировать статистические данные об их занятиях; коммутационной сети с сетыо управления - решать задачи установления соединения входных комплектов с выходными комплектами.

Коммутатор должен обладать функцией буферирования пакетов информации. Если два пакета информации, поступившие на два входа модуля, адресуются к одному выходу, то один из пакетов информации будет поставлен в очередь.

Вероятность того, что i пакетов поступит за один временной слот в определенную очередь составляет:

(—Уа-—)

V N'

(И)

Производящая функция (2) случайной величины X может быть использована для получения выражения ПФ числа пакетов в очереди в виде

Q(Z) =

(l-p)(l-Z) X(Z)-Z

(12)

Средняя длина очереди £> может быть определена дифференцированием выражения (12) по Ъ при 2=1

Q'(Z)

.(JV-1)

N, 2(1 -р)

(13)

Средняя длина очереди £7 для системы массового обслуживания М|0|1 с пуассоновским входным потоком известна из теоремы очередей:

е'=

2(1 -р)

(14)

На основе данного выражения получено выражение средней длины очередей системы коммутационной фабрики с пуассоновским входным потоком, которая сходится к средней длине, полученной для системы Мр|1 при N стремящейся к да.

Q'-^iQ'P).

(15)

Это выражение справедливо также для функции распределения длины очереди.

lim X(Z) = e'p<-l'z)

N-* oo

Подставляя (16) в (12) получаем

(Г

Выражение (17) совпадает с ПФ системы М|0|1 в установившемся режим Используя теорему Литтла, можно вычислить среднее время ожидания в очереди:

N

-^-JI^-Wp

2(1-р) N

(Ü

Предложена аналитическая модель обработки запросов пользователе позволяющая оценивать производительность этого процесса и среднее время задерж! запросов при заданных параметрах входного потока.

Серверы и ресурсы хранения данных соединены между собой через Р( коммутатор. Сеть управления оптического коммутатора управляет доступом разрешает конфликты. При поступлении запроса на/от входного комплекта се-управления анализирует затребованный адрес и по кабелю отсылает запрос соответствующему ресурсу хранения данных или серверу по выходному комплекту. 1 рис. 2. приведена схема, демонстрирующая логику обработки запросов пользователей.

Производительность процесса обработки запросов в большей степени определяет! тем, насколько пересекаются запросы в буферной памяти от разных пользователе подключенных к комплектам коммутатора.

Рис. 2. Схема обработки запросов пользователей

При разработке аналитической модели обработки запросов пользователей предполагалось, что нее процессы системы одинаково обращаются к буферной памяти. Параллельность их выполнения в коммутаторе задается произведением логических показателей работы модулей или временных отрезков. Математическим аппаратом для оценки временных составляющих, связанных с ожиданием доступа в очереди буферной памяти, через которую осуществляется коммутация пакетов, выбран аппарат бесприоритетных замкнутых сетей массового обслуживший (ЗСеМО) с экспоненциальными многоканальными узлами и рекуррентная процедура оценки характеристик ЗСеМО. Для

(

и*(/-1)1]

(19)

а к

/(;)= еГ [/); (20)

т-^-. о»

И*(/)=Л(/Ы*0'). (22)

где I к Ь ) ~ среднее время обслуживания пакета в к-ом приборе при наличии в ЗСеМО У пакетов, Т'(/)= [X

J *=1,ЛГ

л(у) - пропускная способность ЗСеМО при наличии в ней/ заявок; вектор е = \ек\к=Ух является решением системы линейных уравнений

е=еР, (23)

которая определяет стационарное распределение цепи Маркова, управляющей переходами заявок в ЗСеМО с матрицей вероятностей переходов

К

Система (23) решается при дополнительном ограничении

К

/=1

Решение процедуры (19) - (22) начинается с П; (0)=0, для к = 1,К.

В структуре имеется 5 комплектов и М очередей к буферной памяти, что означает, что в системе одновременно могут быть активны 25 процессов.

Составляющие среднего времени выполнения процессов обработки запросов пользователей включают время выполнения процессов приема и время выполнения процессов передачи, которые предложено определять с использованием двухфазной ЗСеМО с конечным числом источников. В каждом конкретном случае определяется число источников, обслуживающих приборов, строится матрица вероятностей перехода заявок между источниками и приборами. С помощью процедуры (19)-(22) находится соответствующая временная составляющая.

Предложена модель балансировки нагрузки в кластере в виде замкнутой сет массового обслуживания с центральным обслуживающим прибором, в которо выведено тождество, которому должна удовлетворять сбалансированная система, t.i система, без узких мест. Для того, чтобы запросы, направляемые на адрес сервер; могли обрабатываться кластером, должен быть запущен сервис балансировки нагрузю Сервис балансировки нагрузки предназначен для последовательного выполнени следующих задач: прием запросов от клиентов; выбор сервера в кластере, которы будет обрабатывать запрос клиента; перенаправление запроса на выбранный серве] прием отвега от сервера на клиентский запрос; перенаправление ответа сервера г запрос клиенту.

Разработана модель предоставления услуг по размещению ресурсов корпоративных центрах обработки данных, позволяющая определить эффекгивну! архитектуру системы (обеспечивающей минимальное время отклика) с помощы анализа соотношений между временем ответа, производительностью, показателе использования ресурса и пропускной способностью системы.

В четвертой главе сформулированы задачи и представлены результат аналитического моделирования для оценки производительности ЦОД.

Получены зависимость средней длины очередей системы коммутационно фабрики с пуассоновским входным потоком от коэффициента использования и средне время ожидания в очереди коммутатора fibre channel.

Результаты показывают, что средняя длина очереди сходится к средней длин' полученной для системы M[D|1 при числе комплектов стремящейся к со. Эт утверждение справедливо также для функции распределения длины очереди.

Выполнена оценка влияния длины запросов пользователей L, числа буферов обще памяти М и коэффициента использования комплектов р на характеристик производительности коммутатора.

Анализ результатов показывает, что наибольшее влияние на задержку производительность обработки запросов пользователей оказывают длина запроса, цик обращения к общей буферной памяти. Скорость и коэффициент использования канат оказывают слабое влияние на изменение производительности. Это объясняет« архитектурной особенностью коммутатора: время обращения к памяти является однс из главных характеристик, так как конкуренция потоков происходит именно : обращение к памяти.

Выполнен сравнительный анализ систем с различных вариантами консолидаци вычислительных ресурсов.

Рассмотрены следующие случаи:

- совокупность т ресурсов, каждый из которых имеет пропускную способное] С/т, что характерно для случая «новая задача - новый сервер». На каждый из этт ресурсов поступает поток заданий на выполнение работы с интенсивностью потока ХЛ Данная схема соответствует набору т систем массового обслуживания G|G|1 суммарной пропускной способностью С;

- одна очередь ко всему набору т ресурсов с суммарной интенсивностью X. Эп система массового обслуживания G|G|m. Подобный случай характерен дг использования кластера компьютеров без виртуальных сред;

- объединение потока заданий и потока ресурсов. Это система G|G|1 с интенсивностью потока на входе X и пропускной способностью ресурса С.

- каждый ресурс получает поток в т раз большей интенсивности и обладает в т раз большей пропускной способностью, что соответствует набору из т систем массового обслуживания G|G|1 с суммарной пропускной способностью тС;

- объединенный поток заданий с интенсивностью тХ, что соответствует системе G|G|m с суммарной интенсивностью тХ\

- система с объединенной очередью и объединенными ресурсами, что соответствует системе G|G|1 с интенсивностью потока на входе тХ и пропускной способностью ресурса тС. Такая система может быть реализована путем использования кластера вычислительных устройств с развернутыми виртуальными средами, позволяющими максимально эффективно использовать имеющиеся ресурсы.

- Показано, что улучшение среднего времени ответа системы можно получить при использовании большой системы коллективного использования с единым ресурсом.

В заключении сформулированы основные результаты исследования, представленные в диссертационной работе.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

В рамках диссертационной работы проведено исследование и получено решение важной научно-технической задачи разработки моделей функционирования и оценки вероятностно-временных характеристик корпоративных центров обработки данных.

Применение разработанных математических моделей позволяет оценить время ответа в проектируемой системе для различных групп запросов и устранить возможные «узкие места» в архитектуре ЦОД.

Основные результаты работы заключаются в следующем.

- Системная модель, представляющая центр обработки данных как кластерную систему, состоящую из структурно-функциональных модулей, обеспечивающих требуемую функциональную полноту. Модель отражает многоэтапность и многофункциональность процессов обработки клиентских запросов.

- Комплекс моделей процессов функционирования ЦОД, включающий:

• модель fibre channel коммутации клиентских запросов,

• модель обработки запросов пользователей, позволяющая оценить время отклика кластерной системы ЦОД,

• модель балансировки нагрузки в кластере,

- Модель предоставления услуг по размещению ресурсов в корпоративных центрах обработки данных, позволяющая определить эффективную архитектуру кластерной системы ЦОД.

- Результаты анализа данных аналитического моделирования и рекомендации по выбору структуры и параметров ЦОД.

ПУБЛИКАЦИЙ ПО ТЕМЕ ДИССЕРТАЦИИ

Публикации в изданиях, рекомендованных ВАК России

1. Аль-Хаками Али Мохаммед Омар. Модель предоставления услуг п размещению ресурсов в корпоративных центрах обработки данных [Текст] Информационно-управляющие системы, Санкт-Петербург, 6(43)/2009. С. 72-74.

2. Аль-Хаками Али Мохаммед Омар Оценка вероятностно-гаеменны характеристик сетей хранения данных SAN [Текст]/ Аль-Хаками Али Мохаммед Ома] Татарникова Т.М. // Программные продукты и системы, г. Тверь, №4, декабрь 2009. С 177-179.

Другие публикации

Статьи:

3. Аль-Хаками Али Мохаммед Омар Математическое обеспечение расчет вероятностно-временных характеристик узлов коммутации [Текст]/Аль-Хаками Ал Мохаммед Омар, Татарникова Т.М., Молчанова Е. Д. //Третий международный научны конгресс «Нейробиотелеком-2008», 2008. С. 7-10.

4. Аль-Хаками Али Мохаммед Омар Модель коммутируемой архитектур] технологии Fibre Channel [Текст]/ Аль-Хаками Али Мохаммед Омар, Татарникова Т.№ // Третий международный научный конгресс «Нейробиотелеком-2008», 2008. С. 18-23.

5. Аль-Хаками Али Мохаммед Омар Аналитическая модель оценки вероятностно временных характеристик сетей хранения данных SAN [Текст]/ Аль-Хаками Ал Мохаммед Омар, Татарникова Т.М. //Вестник ТУИТ, №3, 2008. С. 15-19.

6. Аль-Хаками Али Мохаммед Омар Резервное копирование данных п технологии SAN[TeKcr]/ Аль-Хаками Али Мохаммед Омар, Татарникова T.M//IV Санкт Петербургская научно-практическая конференция «Проблемы подготовки кадров сфере инфокоммуникационных технологий», Санкт-Петербург, 14 - 17 апреля 2008 г. С 102-103.

7. Аль-Хаками Али Мохаммед Омар Модели повышения эффективност архитектуры центра данных [Текст] // XV международная конференция "Современно образование: содержание, технологии, качество", 22 апреля 2009 г. С. 111-113.

8. Аль-Хаками Али Мохаммед Омар, Подход к расчету коммутатора с доступо: портов к общей шине по прерываниям [Текст]// VIII Международная научнс техническая конференция «Физика и технические приложения волновых процессов) Санкт-Петербург, 15-18 сентября 2009. С. 276-277.

Материалы конференций:

9. Аль-Хаками Али Мохаммед Омар Модель коммутатор Fibre Channel [Текст Аль-Хаками Али Мохаммед Омар, Татарникова Т.М. // 61 научно-техническая конференция «Профессорско-преподавательского состава Научных сотрудников аспирантов», 19-23 январь 2009 г. С. 217-218.

Ю.Аль-Хаками Али Мохаммед Омар Возможности решения задачи резервного копирования больших объемов данных по технологии SAN [Текст]/ Аль-Хаками Али Мохаммед Омар, Татарникова Т.М// 61 научно-техническая конференция «Профессорско-преподавательского состава Научных сотрудников и аспирантов», 19-23 январь 2009 г. С. 218-219.

Подписано в печать 24.02.10. Формат 60x84 1/16. Бумага офсетная. Печать офсетная. Печ. л. 1,0. Тираж 100 экз. Заказ 9.

Отпечатано с готового оригинал-макета в типографии Издательства СПбГЭТУ «ЛЭТИ»

Издательство СПбГЭТУ «ЛЭТИ» 197376, С.-Петербург, ул. Проф. Попова, 5

Введение.

1 Особенности организации процесса корпоративной обработки и хранения информации.

1.1 Организация кластерных систем обработки корпоративных данных.

1.2 Технологии организации систем хранения корпоративных данных.

1.3 Корпоративные центры обработки данных: функции и компоненты.

1.4 Характеристики ЦОД.

1.5 Постановка задачи исследования.

Выводы по первой главе.

2 Разработка системной модели ЦОД.

2.1 Анализ характеристик функциональных задач, составляющих нагрузку ЦОД.

2.2 Анализ архитектурных вариантов ЦОД.

2.3 Структурно-функциональный анализ центра обработки данных и выбор процессов и компонентов для оценки его производительности.

Выводы по второй главе.

3 Разрабо тка моделей отдельных процессов для оценки производительности ЦОД.

3.1 Модель fibre channel коммутации.

3.2 Модель обработки запросов пользователей.

3.3 Модель балансировки нагрузки в кластере.

3.4 Модель предоставления услуг по размещению ресурсов в корпоративных центрах обработки данных.

Выводы по третьей главе.

4 Аналитическое моделирование для оценки производительности ЦОД.

4.1 Оценка средней длины очередей и времени ожидания системы коммутационной фабрики.

4.2 Оценка характеристики производительности коммутатора.

4.3 Сравнение различных вариантов услуг по размещению ресурсов в корпоративных центрах обработки данных.

Выводы по четвертой главе.

Движущей силой современного бизнеса считается информация, являющаяся наиболее ценным стратегическим активом любого предприятия. Объем баз данных предприятий растет в геометрической прогрессии вместе с ростом глобальных сетей и развитием электронной коммерции. Приобретенные всего пару лет назад компьютеры перестают справляться с новыми приложениями. Модернизация корпоративных серверов, призванных обрабатывать и хранить данные предприятия перерастает в дорогостоящую и трудоемкую проблему [22].

Управление ресурсами хранения данных становится одной из самых важных проблем предприятия. Кроме обеспечения возможности постоянного увеличения объема хранимой информации, не менее остро стоит задача обеспечения постоянного к ней доступа. Для многих компаний формула доступа к данным «24 часа в сутки» стала нормой жизни [25].

Потерю доступа к важной информации можно оценить количественно, гак как она влияет на результат деятельности предприятия. Однако, существуют организации, которые обязаны планировать непрерывность своей деятельности по закону. Это федеральные агентства, здравоохранение, финансовые институты и прочие. Разрушительность последствий при возможной потере доступа к информации диктует искать пути снижения такого риска и его влияния на бизнес. Одним из наиболее эффективных механизмов решения этой проблемы является построение центров обработки данных. Центр обработки данных - это физическое местоположение, в котором собраны важные вычислительные и информационные ресурсы, поддерживающие работу бизнес-приложений. Такой подход обеспечивает высокую технологическую и экономическую эффективность использования систем хранения, а также открывает возможности построения масштабируемых распределенных решений [40].

Благодаря наличию доступных глобальных коммуникаций хранение данных можно приобрести как услугу без необходимости затрат на разработку собственной информационной инфраструктуры. Такой вид аутсорсинга означает, что центр обработки данных располагается у поставщика услуги, а потребитель приобретает в единоличное пользование информационное пространство, к которому получает полностью прозрачный доступ.

Концепция создания подобных центров обработки данных развита среди гигантов индустрии IBM, Oracle, Microsoft и т.п. Концентрация вычислительных мощностей и больших массивов для хранения данных обеспечивает постоянный спрос на их продукцию и услуги [40].

Технология распределения данных существует уже около двух десятилетий, в ней использованы главные идеи поддержки взаимодействия распределенных и запрашиваемых данных. Но и в настоящий момент, в связи с распространением мультимедиа и гипермедиа информации, которые обладают большими объемами и/или свойством распределенности, проблема своевременной и надежной доставки данных не утрачивает своей актуальности [49].

Как и в любом деле, в области сетевого хранения ситуация постоянно и стремительно меняется. Здесь легко поддаться искушению и предпочесть самые последние разработки. Но наиболее рациональным является выбор, оправданный с экономической и технологической точек зрения, системы, которая обеспечивала бы долгосрочную защиту инвестиций и позволяла компании выполнять текущие задачи и развиваться. Объемы информации в будущем будут только расти. Необходимо убедиться, что в будущем инфраструктура хранения способна обеспечить экономически эффективное наращивание и расширение. Продолжающийся же рост таких секторов Интернет, связанных с сетевым хранением, как электронная коммерция, платежи, коммуникации требуют соответствующей инфраструктуры, потому что перебои в электронных услугах могут иметь существенные экономические последствия, как для отдельных предприятий, так и для государственных структур и секторов экономики [29,51].

Сказанное говорит об актуальности разработки методов и моделей оценивания характеристик ЦОД на соответствие требуемому качеству обслуживания при заданном, либо прогнозируемом трафике. Важно также учитывать технологии, базирующиеся на открытых отраслевых стандартах, минимизирующие проблемы взаимодействия по мере расширения ЦОД.

Особое значение при анализе работы и оценке характеристик ЦОД приобретают математическое моделирование и вычислительный эксперимент на модели [13,15,17,18,20].

По вопросам моделирования сетей и ее элементов опубликовано большое число работ, среди которых отметим работы В.А. Ершова, Г.П. Захарова, А.П. Кулешова, О.И. Кутузова, В .Г. Лазарева, И.А. Мизина, Ю.Г. Поляка, Б.Я. Советова, С.А. Яковлева, JI. Клейнрока, Д. Мартина, М. Шварца. Работы этих ученых и ряда других составляют теоретическую базу моделирования сетей, в том числе сетей хранения данных и центров обработки данных и их элементов [27,33,44,52].

При разработке сложных вычислительных систем параллельного типа, какими являются центры обработки данных (ЦОД), практически отсутствует возможность использования физических моделей и натурного эксперимента. Стохастический характер поступления и обработки запросов в ЦОД предопределяют использование моделей теории сетей массового обслуживания (СеМО) для оценки их вероятностно-временных характеристик (ВВХ) [54].

Модели СеМО, как и любые математические модели, не в состоянии полностью отразить сложные и многообразные информационные процессы в компьютерных сетях или узлах сети. Наиболее разработана теория экспоненциальных СеМО, получены выражения для расчета их ВВХ. Однако для возможности использования аналитических моделей СеМО необходимым является предположение о независимости (Клейнрок JI. Вычислительные системы с очередями: Пер. с англ. — М.: Мир, 1979. — 600 е.), суть которого состоит в том, что времена передачи заявок по разным каналам связи предполагаются независимыми случайными величинами. В то же время, очевидно, что длительности обслуживания заявки в разных каналах пропорциональны длине этой заявки и, следовательно, зависимы. Эти особенности следует учитывать при выборе альтернативных вариантов расчета и оценки характеристик ЦОД.

Сказанное позволяет сделать вывод о том, что разработка моделей функционирования и оценки вероятностно-временных характеристик центров обработки данных представляет собой важную научную задачу, имеющую большое значение для экономики страны.

Цель работы и задачи исследования. Целью работы является повышение качества проектирования и сопровождения корпоративных центров обработки данных за счет учета основных особенностей их функционирования при оценке характеристик производительности.

Для достижения названной цели необходимо решение следующих задач:

1. Анализ особенностей построения и процессов функционирования корпоративных центров обработки данных.

2. Разработка системной модели корпоративного центра обработки данных.

3. Моделирование процессов функционирования ЦОД.

4. Разработка модели предоставления услуг по размещению ресурсов в корпоративных центрах обработки данных, позволяющая определить эффективную архитектуру системы.

Объектом исследования являются корпоративные центры обработки данных, выполненные в виде кластерных вычислительных систем.

Предметом исследования являются закономерности процессов функционирования корпоративных центров обработки данных при выполнении запросов пользователей.

Методы исследования. Для решения сформулированных в работе задач, в работе используются математические методы системного анализа, теории вероятности, случайных процессов и математической статистики, теории алгоритмов и теории массового обслуживания.

Научная новизна работы.

Научная новизна работы состоит в разработке моделей процессов функционирования корпоративных центров обработки данных, позволяющих оценить основные характеристики производительности и определить эффективную архитектуру системы, обеспечивающую минимальное время отклика на клиентские запросы с учетом характеристик потоков запросов к предоставляемым сервисам.

Новые научные результаты:

1. Системная модель корпоративного центра обработки данных отличается выделением набора структурных элементов и их назначения, присущих большинству современных ЦОД, что позволяет более полно описывать процессы их функционирования.

2. Комплекс моделей процессов функционирования центров обработки данных отличается учетом всех этапов прохождения клиентского запроса, что дает возможность оценить необходимые требования к характеристикам ЦОД.

3. Модель предоставления услуг по размещению ресурсов в корпоративных центрах обработки данных учитывает различные варианты консолидации вычислительных ресурсов, что позволяет определить эффективную по времени отклика архитектуру системы обслуживания заявок клиентов.

Основные результаты, полученные в работе и выносимые на защиту:

1. Системная модель корпоративного центра обработки данных.

2. Комплекс моделей процессов функционирования ЦОД.

3. Модель предоставления услуг по размещению ресурсов в корпоративных центрах обработки данных, позволяющая определить эффективную архитектуру системы.

Достоверность научных результатов и выводов подтверждается: корректностью математических выкладок, обоснованностью используемых ограничений, корректностью интерпретации в предметной области, результатами моделирования.

Научная и практическая ценность диссертационной работы заключается в том, что разработанные комплексы моделей и способы получения аналитических зависимостей можно рассматривать как единую технологию оценки производительности корпоративных центров обработки данных. Полученные результаты анализа данных аналитического моделирования и рекомендации по выбору структуры и параметров корпоративных ЦОД представляют практическую ценность при выборе архитектуры корпоративных центров обработки данных.

Результаты работы внедрены в учебный процесс СПбГЭТУ (ЛЭТИ) и используются в курсовом и дипломном проектировании по темам, связанным с проектированием корпоративных информационно-управляющих систем.

Апробация работы. Предлагаемые решения и результаты диссертационной работы докладывались и обсуждались на одной международной, одной всероссийской НТК и на НТК профессорско-преподавательского состава СПбГЭТУ и ГУТ в 2007 - 2009 гг.

Публикации. По теме диссертационной работы опубликовано 10 научных работ, из них - 2 статьи из перечня изданий, рекомендованных ВАК, и 8 работ - в научных трудах международных и всероссийских конференций.

Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения, списка литературы, включающего 62 наименований. Основная часть работы изложена на 103 страницах машинописного текста. Работа содержит 37 рисунков, 4 таблицы.

Основные результаты работы заключаются в следующем.

- Принципы и уровни проектирования центров обработки данных, включающие описания:

• сравнительного анализа технологий организации хранения корпоративных данных,

• технологий и структур обработки данных,

• структурно-функционального анализа центров обработки данных.

• анализа требований к качеству обслуживания клиентов.

- Комплекс моделей процессов функционирования ЦОД, включающий:

• модель fibre channel коммутации клиентских запросов,

• модель обработки запросов пользователей, позволяющая оценить время отклика кластерной системы ЦОД,

• модель балансировки нагрузки в кластере,

- Модель предоставления услуг по размещению ресурсов в корпоративных центрах обработки данных, позволяющая определить эффективную архитектуру кластерной системы ЦОД.

Экспериментальные соотношения вероятностно-временных характеристик, отражающие зависимость от различных внешних и внутренних влияющих факторов.

Заключение

В рамках диссертационной работы проведено исследование и получено решение важной научно-технической задачи разработки моделей функционирования и оценки вероятностно-временных характеристик корпоративных центров обработки данных.

Применение разработанных математических моделей позволяет сократить время ответа в проектируемой системе для различных групп запросов и устранить возможные «узкие места» в ее архитектуре.

1. Авен О. И., Турин Н. Н., Коган Я. А. Оценка качества и оптимизация вычислительных систем Текст. М.: Наука , 1992. - 464 с.

2. Аль-Хаками Али Мохаммед Омар. Модель предоставления услуг по размещению ресурсов в корпоративных центрах обработки данных Текст.// Информационно-управляющие системы, Санкт-Петербург, 6(43)/2009. С. 72-74.

3. Аль-Хаками Али Мохаммед Омар, Татарникова Т.М. Оценка вероятностно-временных характеристик сетей хранения данных SAN Текст.// Программные продукты и системы, г. Тверь, №4, декабрь 2009. С. 177-179.

4. Аль-Хаками Али Мохаммед Омар, Татарникова Т.М., Молчанова Е. Д. Математическое обеспечение расчета вероятностно-временных характеристик узлов коммутации Текст.//Третий международный научный конгресс «Нейробиотелеком-2008», 2008. С. 7-10.

5. Аль-Хаками Али Мохаммед Омар, Татарникова Т.М. Модель коммутируемой архитектуры технологии Fibre Channel Текст. // Третий международный научный конгресс «Нейробиотелеком-2008», 2008. С. 18-23.

6. Аль-Хаками Али Мохаммед Омар, Татарникова Т.М. Аналитическая модель оценки вероятностно-временных характеристик сетей хранения данных SAN Текст.//Вестник ТУИТ, №3, 2008. С. 15-19.

7. Аль-Хаками Али Мохаммед Омар Модели повышения эффективности архитектуры центра данных Текст. // XV международная конференция "Современное образование: содержание, технологии, качество", 22 апреля 2009 г. С. 111-113.

8. Аль-Хаками Али Мохаммед Омар, Татарникова Т.М. Модель коммутатор Fibre Channel Текст.// 61 научно-техническая конференция «Профессорско-преподавательского состава Научных сотрудников и аспирантов», 19-23 январь 2009 г. С. 217-218.

9. Баранова С.С. «Динамическая оптимизация распределения данных по узлам вычислительной сети» http://www.masters.donntu.edu.ua/2007/ kita/baranova/library/index.htm Текст. Донецкий национальный технический университет.

10. Е.Н. Бендерская, Д.Н. Колесников и др. Моделирование систем с использованием теории массового обслуживания Текст. : Учебное пособие под ред. д.т.н. Д.Н. Колесникова. СПб.: СПб ГПУ, 2003. 180 с.

11. Д. Бертсекас, Р. Галлагер Сети передачи данных. Текст. М.: Мир, 1989.-544 с.

12. Блэк Ю. Сети ЭВМ: протоколы, стандарты и интерфейсы Текст./ Пер. с англ. М.: Мир , 1990. - 506 с.

13. Богданов А.В., Корхов В.В., Мареев В.В., Станкова Е.Н. Архитектуры и топологии многопроцессорных вычислительных систем. Текст. -М.:ИНТУИТ.РУ, 2004. 176 с.

14. П.П. Бочаров Сеть массового обслуживания с сигналами со случайной задержкой Текст.//Автоматика и телемеханика. 2002. - №9. - С.90-101.

15. B.JI. Бройдо Вычислительные системы, сети и телекоммуникации Текст.: Учебник для вузов. СПб.: Питер, 2002г.- 688 с.

16. К. Вейцман Распределенные системы мини- и микро-ЭВМ Текст./Пер. с англ. М.: Финансы и статистика, 1983. - 382 с.

17. В.М. Вишневский Теоретические основы проектирования компьютерных сетей. Текст. — М.: Техносфера, 2003. 512 с.

18. В.В. Воеводин, Вл. В. Воеводин Параллельные вычисления. Текст. СПб.: БХВ, 2002.-608 с.

19. Голубев Д., Сети хранения 20.03.2003. Текст. http://www.citforum.idknet.com/ nets/articles/nethran.shtml.

20. M. Гук Аппаратные средства локальных сетей. Энциклопедия Текст.- СПб.: Питер, 2000 г.- 576 с.

21. В. Дубинин Проектирование и реализация распределенных систем на основе ЛВС. Текст. Автореферат на соискание ученой степени кандидата технических наук. Пензенский государственный университет, 2005.

22. Как хранить данные: SAN, NAS или DAS Текст. http://www.bcc.ru/ press/articles/howtostoredata.html.

23. Л. Кассел, Р. Остинг Компьютерные сети и открытые системы. Текст.- М.: Техносфера, 2003. 592 с.

24. Л. Клейнрок Вычислительные системы с очередями: Пер. с англ. Текст. -М.:Мир, 1979. 600 с.

25. А.И. Кормильцев Как построить оптимальную систему хранения данныхТекст. //Сети и системы связи. №11, 2002. С. 52-58.

26. Корпоративные системы хранения данных. Источник: Компьютер Пресс Текст. Октябрь 27, 2006.

27. В.В. Крухмалев, В.Н. Гордиенко, А.Д. Моченов, В.И. Иванов, В.А. Бурдин, А.В. Крыжановский, Л. А. Марыкова Основы построения телекоммуникационных систем и сетей. Текст. М.: Горячая линия - Телеком, 2004.-510 с.

28. В.А. Крюков Коммуникации в распределенных системах Лаборатория Параллельных Информационных Технологий Текст., НИВЦ МГУ на сайте http://www.mpi-forum.org.

29. Дж. Куроуз, К.Росс Компьютерные сети. Текст. СПб.: Питер, 2004.765 с.

30. Кутузов О.И., Сергеев В.Г., Татарниова Т.М. Коммутаторы в корпоративных сетях. Моделирование и расчет. Текст. СПб: Судостроение, 2003.

31. А.Н. Назаров Модели и методы расчета структурно-сетевых параметров сетей ATM. Текст. М.: Издательство «Горячая лини-Телеком», 2002. -256 с.

32. В. Олифер, Н. Олифер Новые технологии и оборудование IP-сетей. Текст. СПб., 2000. - 512 с.

33. В. Олифер, Н. Олифер. Локальные сети на основе коммутаторов Web-страница Текст. : http://cf.viplast.ru/nets/lsok/contents.shtml.

34. В.Г. Олифер, Н.А. Олифер Компьютерные сети: принципы, технологии, протоколыТекст. : Учебник для вузов. 2-е изд. СПб.: Питер, 2005. - 864 с.

35. В.Г. Олифер, Н.А. Олифер Сетевые операционные системы Текст. : Учебник для вузов. СПб.: Питер, 2001. 415 с.

36. Палмер М., Синклер Р. Проектирование и внедрение компьютерных сетей. Текст. СПб-БХВ-Петербург-2004.

37. Протасов С.С. Математические модели и методы повышения эффективности функционирования кластера компьютеров в центрах обработки данных. Текст. Автореферат диссертации на соискание ученой степени кандидата физико-математических наук, М., 2004.

38. Ю.И. Рыжиков Теория очередей и управление запасами. Текст. -СПб.: Изд-во «Питер», 2001.-376 с.

39. Б. Л. Сатовский Создание мультисервисных сетей: задачи и перспективыТекст. //Сети и системы связи №12, 2003. С. 82-87.

40. Системы хранения данных и резервного копирования Текст. -http://www.xnets.ru/plugins/content/content.php7content.72.

41. Б .Я. Советов, С.А. Яковлев Моделирование систем. Учебник. 4-е издание. Текст. М.: Высшая школа, 2005.

42. Уильям Столлингс Компьютерные системы передачи данных. Текст. Перевод с англ. - М.: Издательский дом «Вильяме», 2002. — 896 с.

43. Уильям Столлингс Структурная организация и архитектура компьютерных систем. Текст. Перевод с англ. - М.: Издательский дом «Вильяме», 2002. - 896 с.

44. В. Столлингс Современные компьютерные сети. Текст. СПб: Питер, 2003.

45. Э. Таненбаум Компьютерные сети Текст. /Пер.с англ. СПб. Литер,2003.-877с

46. Э. Таненбаум Распределенные системы. Принципы и парадигмы Текст. /Пер. с англ. -СПб. Литер,2003.-877с.

47. Татарникова Т.М. Модели и методы структурного синтеза центров сопряжения корпоративных информационных сетей. Текст. — Автореферат диссертации на соискание ученой степени доктора технических наук СПб, 2007.

48. Технология NAS: сетевые хранилища данныхТексг. — http://www.ci.rn/ inform2203/p07-1 .htm.

49. Шварц М. Сети связи: протоколы, моделирование и анализ. Текст. -М.: Наука, 1992.- 4.1. 335 с.

50. A. Patel Security management for OSI networks Текст. //Computer Communications. 1992. Vol. 17, №7. P. 544-553.

51. Chakrvarthy S. The batch markovian arrival process: a review and future workTeKCT. //Advances in probability theory and stochastic processes. 2001/ - Р/ 21-39.

52. R.S. Engelschall Load balancing your web site: Practical approaches for distributing http traffic Текст. //Web Techniques Magazine, 3(5), May 1998.

53. Diagnosing SNA Gateways Текст. //Data Communications. March 21,1992.

54. Hosting Service Providing Platform System and Method Текст., 10/005,590/ October 2001.

55. Dedication of Administrative Servers to Management of Server Function in a Multi-Server Environment Текст., 10/826,280; April 19, 2004.

56. System, Computer Program Product and Method for Online Data Migration with Minimum Down-Time Текст., 10/837,618; May 4, 2004.

57. System, method and computer program product for group scheduling of computer recourse Текст., 10/793,881 08 Mar, 2004.

58. Virtual private server with isolation of system components Текст., 10/703,594 10 Nov, 2003.

59. Configuration of a network of computer recourse Текст. , 10/304, 294 26 Nov, 2002.