автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Математические модели и методы повышения эффективности функционирования кластера компьютеров в центрах обработки данных

На правахрукописи

Протасов Станислав Станиславович

МАТЕМАТИЧЕСКИЕ МОДЕЛИ И МЕТОДЫ ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ ФУНКЦИОНИРОВАНИЯ КЛАСТЕРА КОМПЬЮТЕРОВ В ЦЕНТРАХ ОБРАБОТКИ ДАННЫХ

Специальность 05.13.18 - математическое моделирование, численны* методы и комплексы программ

Автореферат диссертации на соискание ученой степени кандидата физико-математических наук

Москва - 2004

Работа выполнена на кафедре информатики Московского физико-технического института (Государственного университета)

Научный руководитель:

кандидат физико-математических наук Тормасрв Александр Геннадиевич Официальные оппоненты:

кандидат физико-математических наук Аветисян Арутюн Ишханович доктор технических наук, профессор Семенихин Сергей Владимирович

Ведущая организация: Институт Автоматизации Проектирования РАН

Защита состоится <с*г» 2б04 года в Т^часов на заседании

диссертационного совета

КЙШ56.0 ^при Московском физико-техническом

институте (Государственном университете) по адресу: 141700, г.Долгопрудный. Московской обл.. Институтский пер. д.6., ауд. 903 КПМ.

С диссертацией можно ознакомиться в библиотеке МФТИ

Автореферат разослан

Ученый секретарь диссертационного совета К 212.156.02

ОБЩЕЕ ОПИСАНИЕ РАБОТЫ

Актуальность темы

В последнее десятилетие децентрализованный подход к управлению производством вместе с удешевлением техники и достаточно крупными капиталовложениями в индустрию информационных технологий привели к стремительному развитию информационной инфраструктуры компаний. Но при этом зачастую используется принцип «новая задача - новый сервер». В итоге многие оказываются привязанными к тяжелой, медленной инфраструктуре и утрачивают одно из главных преимуществ горизонтального роста - малое время реагирования на рыночные изменения. Возникающие проблемы управления и сопровождения аппаратно-программного комплекса частично решаются путем унификации решений, использования единого программного обеспечения для управления рабочими станциями и т. п.

Однако если управлять, допустим, несколькими тысячами рабочих станций с единым программным обеспечением еще реально, то обслуживать десятки разнотипных серверов, выполняющих абсолютно разные задачи, практически невозможно. Исследования показывают, что значительная часть связанных с этой проблемой задач может быть решено путем использования специального подхода к организации вычислительного процесса на базе виртуализации ресурсов вычислительной системы. Это обуславливает актуальность научных исследований в области виртуализации ресурсов ЭВМ.

Цель работы, объект и предмет исследования

Цель диссертационной работы - разработка математических моделей и методов повышения эффективности функционирования кластера компьютеров при предоставлении услуг по размещению ресурсов в глобальной сети в центрах обработки данных.

Задачи исследования'.

• Разработка математической модели функционирования центров обработки данных, выявление узких мест в системах такого класса при предоставлении услуг по размещению ресурсов в глобальной сети.

• Разработка математической модели виртуализации ресурсов с использованием виртуальных сред.

• Разработка математической модели и метода использования кластера компьютеров для предоставления услуг по размещению ресурсов в глобальной сети.

• Разработка математической модели и метода балансировки нагрузки между серверами ассиметричной фер\»лРОС' национальная

БИБЛИОТЕКА

СО

оа

• Разработка математической модели и метода переноса сервисов с одного узла кластера на другой без их остановки.

Объект исследования - процессы функционирования центров обработки данных в глобальной информационной сети Internet при предоставлении услуг по размещению ресурсов в глобальной сети.

Предмет исследования - модель виртуализации на основе виртуальных сред и методы повышения эффективности функционирования многомашинных комплексов (кластеров) в центрах обработки данных.

В ходе выполнения научных исследований автором была проведена серия экспериментов, результаты которых позволили численно оценить преимущества разработанных методов в результате сравнительного анализа с наиболее распространенными системами виртуализации.

Методы исследования

В ходе научных исследований по разработке математической модели виртуальной среды и методов повышения эффективности функционирования кластера при оказании услуг по размещению ресурсов в глобальной сети использовались аналитические методы теории массового обслуживания, методы имитационного моделирования, методы теории операционных систем и системного программирования, математические методы анализа функционирования глобальных телекоммуникационных сетей.

Научная новизна

Научная новизна работы заключается в том, что автором предложена математическая модель виртуализации ресурсов вычислительных систем и комплексов при предоставлении различных видов сервиса в глобальных сетях, основанная на формировании виртуальной среды пользователя. В отличие от ранее существовавших моделей виртуализации, разработанные в ходе диссертационного исследования математические модели и методы позволяют существенно повысить утилизацию ресурсов системы, повысить ее надежность и масштабируемость.

Разработанная математическая модель виртуализации ресурсов является новым вкладом в развитие теории операционных систем.

Практическаязначимость

Разработанные математические модели могут быть использованы при создании новых программных продуктов, предназначенных для обеспечения решения задач виртуализации с целью достижения максимального уровня утилизации ресурсов, масштабируемости систем и обеспечения их высокой надежности.

Кроме того, все разработанные математические модели и методы могут быть использованы в качестве самостоятельных решений различных задач, возникающих в ходе предоставления различных видов сервиса в глобальных и локальных сетях.

Так, математическая модель и метод балансировки нагрузки и переноса сервисов позволяют решить ряд технических проблем, связанных с обеспечением высокого значения показателя доступности сервиса, который наиболее важен для обеспечения стабильной работы критических приложений, электронной торговли и межбанковского взаимодействия.

На сегодняшний день разработанные математические модели виртуализации ресурсов на основе виртуальных сред использованы при создании коммерческого программного продукта Virtuozzo. По ряду оценок независимых экспертов (Отчеты Gartner Group: «Hype Cycle for Real-Time Infrastructure 2004», 16 June 2004, ID Number: G00 120918; «Hype Cycle for Real-Time Infrastructure 2003», 30 May 2003, ID Number: R-20-0815; «Logical and Software Partitioning in Server Consolidation», 7 May 2002, ID Number: T-16-1893), сегодня система Virtuozzo одна из наиболее популярных платформ для создания виртуальных выделенных серверов. Это единственное решение, обеспечивающее высокий уровень надежности и масштабируемости систем, что доказано десятками тысяч уже работающих в различных компаниях виртуальных выделенных серверов. Практическая значимость полученных результатов подтверждается и высокой экономической эффективностью разработанных решений.

Кроме того, практическая значимость результатов настоящего исследования подтверждается положительным решением по ряду заявок на изобретения.

Апробация и реализация результатов работы

По выполненным диссертационным исследованиям опубликовано 12 работ. В опубликованных работах автору принадлежит более 40% материала, связанного с изложением математической модели виртуализации ресурсов с использованием виртуальных сред.

Результаты диссертационного исследования докладывались, обсуждались и получили одобрение специалистов на научных семинарах и конференциях (в том числе, международных): SofTool (2002 г, Москва), Интерполитех (2003 г, Москва), «Научно-практические аспекты совершенствования управления космическими аппаратами и информационного обеспечения запусков космических аппаратов» (г. Краснознаменск, 2004), «Ottawa Linux Symposium» (г. Оттава, Канада, 2000г.), «ASP World Asia 2000» (Сингапур, 2000 г.) и др.

Получено свидетельство о регистрации в Российском Агентстве по патентам и товарным знакам № 2001611530 от 13.11.2001 г. на программный продукт HSPcomplete, основанный на технологии ViItuozzo.

Получен сертификат соответствия Министерства по связи и информатизации № RU.00007.01ЭC00, № ОС/1 - СПД - 463 на программно-аппаратный комплекс телематических служб.

По итогам научной работы по теме диссертации подано 24 заявки на изобретение, получено 1 положительное решение.

Результаты работы реализованы при создании программного комплекса ViItuozzo. В настоящее время этот программный комплекс занимает лидирующее положение в сегменте рынка средств и технологий виртуализации ресурсов для предоставления услуг по размещению ресурсов в глобальной сети.

Положения, выносимые на защиту

На защиту выносятся следующие основные положения:

1. Математическая модель виртуальной вычислительной среды.

2. Математическая модель и метод использования кластера компьютеров с автоматической конфигурацией и системой виртуальных сред, интегрированной с распределенной файловой системой, для предоставления услуг по размещению ресурсов в глобальной сети.

3. Математическая модель и метод построения сервиса балансирования нагрузки между серверами асимметричной серверной фермы.

4. Математическая модель и метод онлайнового переноса данных с минимизацией времени недоступности сервиса.

КРАТКОЕ СОДЕРЖАН И Е РАБОТЫ

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения и двух приложений. Работа изложена на 127 страницах, содержит 47 рисунков и список литературы из 86 наименований в алфавитном порядке.

Во введении обосновывается актуальность темы, дается исторический обзор исследований, посвященных решаемым в диссертации задачам, формулируются цели исследования и основные результаты, которые выносятся на защиту, обосновывается научная и практическая значимость выполненного исследования.

В главе 1 кратко рассмотрены подходы к построению центров обработки данных как объекта исследования диссертационной работы. Рассмотрены особенности архитектуры и организации процессов предоставления сервисов различных уровней. Приведены уровни управления в центрах обработки данных, физическая и логическая инфраструктуры таких центров. Описаны достоинства и недостатки применения центров обработки данных для решения информационных и вычислительных задач. В частности, отмечено, что пользователю, работающему в среде на основе виртуальных машин, удавалось использовать лишь незначительную долю ресурсов и соответствующей им производительности, которую он мог получить от эмулятора. Недостаточная специализация аппаратного обеспечения не давала возможности эффективно реализовывать подобные решения в архитектуре IBM PC.

Кроме того, в главе описаны основные задачи, с которыми приходится сталкиваться при внедрении технологии центров обработки данных. К ним относятся проблемы с версиями используемых для работы интерпретаторов, проблемы с версией веб-сервера, проблемы в конфигурации веб-сервера, проблемы некорректно написанных приложений, вызывающих отказ в работе сервера, а также проблемы с безопасностью и возможностью получения несанкционированного доступа к данным других пользователей.

В главе 2 приведены основные понятия и подходы к оценке эффективности функционирования вычислительной системы при предоставлении услуги по размещению ресурсов в глобальной сети, а также приведена модель вычислительной системы в терминах теории сетей массового обслуживания.

Задача научного исследования в диссертации ставится как задача оптимизации функционирования сети массового обслуживания. Основными показателями оценки эффективности системы массового обслуживания является время ответа системы.

Для формализации постановки научной задачи была использована модель, аналогичная модели Гордона и Ньюэлла, с тем отличием, что в ней допускаются произвольные распределения времени обслуживания в узлах (со средним значением I/fit для каждого из обслуживающих приборов в узле /). Предположим, что все требования ведут себя статистически одинаково. Принято допущение, что имеется вычислительная система, обслуживающая М пользователей. Подход, использованный в работе, состоит в исследовании системы с точки зрения пользователя, как показано на Рис. 1.

Анализ характеристик проводился с использованием модели массового

обслуживания замкнутой сети для системы коллективного пользования со i

многими ресурсами .

1. Клейнрок Л. Вычислительные системы с очередями: Пер. с англ. - М.: Мир, 1979. - 600 с.

Рис. 1 Вычислительная система и ее обобщенное представление в виде

сети СМО

Предполагается, что имеется замкнутая сеть с общим числом К=М требований, каждое из которых генерирует исходящее от пользователя требование с интенсивностью X требований в секунду всякий раз, когда требование находится у пользователя (т. е. все требования характеризуются средним временем размышления \Гк секунд, которое получается из произвольного закона распределения). Каждое таким образом генерируемое требование поступает затем в кластер (остальную часть сети с многими ресурсами, так как терминалы пользователей также являются ресурсами сети) и перемещается по ней от ресурса к ресурсу в соответствии с переходными вероятностями г„, в конце концов возвращаясь в терминал пользователя. В этот момент рассматриваемое требование (пользователь) переходит к генерированию (в результате размышления) нового требования.

Обозначим через Г среднее время прохождения через остальную часть сети и через 1Л, — среднее время пребывания у пользователя. Таким образом, среднее время цикла равно Т+1/Х, а средняя пропускная способность системы составляет требований в секунду.

Аналогично пусть N =Е [число требований в остальной части сети] и М =Е [число требований в терминальном узле]. На основании формулы Литтла имеем

Учитывая, что Ы-И + М, получаем

Кроме того, если применить формулу Литтла к терминальному узлу, будем иметь и, таким образом,

(1.1)

Рассмотрим теперь насыщенный узел, или узкое место (на рисунке он заштрихован и обозначен буквой S), в остальной части сети. Как указывалось выше, это такой узел, в котором отношение х/т, принимает наибольшее значение из всех х/т, в системе.

Чтобы найти х„ необходимо решить систему уравнений

где /грс, может быть интерпретировано как относительное число посещений i-го узла при циркуляции требований в сети. Для нашего случая HJc/fitfXH — среднее число посещений узкого места на каждое поступление требования в кластер (или на каждое поступление к пользователю).

Положим, что подстрочный индекс N соответствует терминалу пользователя, и, следовательно, будем иметь тождество Л.=//аг- Заметим также, что, если , выходная интенсивность из насыщенного узла

должна быть приближенно равна ц jns. Таким образом, выходная интенсивность требований из остальной части сети составляет и это равно

V, т е \'=msfi¡iXtf/xs Подставив последнее выражение в равенство (1.1), окончательно получим Г, т е. асимптотическое значение Г (на Рис. 2 показана эта асимптота)

Чтобы найти число насыщающих требований М', предположим, что должно быть равно максимальному числу идеально

спланированных заданий, не дающих никаких взаимных помех. Для каждого из обслуживающих приборов в насыщенном узле можно спланировать максимальное число заданий, равное необходимому времени обслуживания задания в одном цикле, деленному на время обслуживания задания в насыщенном узле за цикл. Общее время

обслуживания за цикл равно т. е. сумме (по

всем узлам) произведений числа посещений узла за цикл, на среднее время обслуживания за посещение. Время пребывания в насыщенном узле за цикл равно Так как имеется

ms таких обслуживающих приборов, отношение общего времени обслуживания за цикл ко времени пребывания в насыщенном узле за цикл может быть умножено на m¡, что в итоге дает

(1.4)

Мхгтх, т.!1ых,

о

1 УК м

Рис. 2 Асимптотическое поведение задержки в замкнутых сетях

Учитывая полученные данные, зададимся целью выяснить, как улучшается характеристика системы в целом, если устранить узкое место путем увеличения интенсивности обслуживания в насыщенном узле. Легко предположить, что в результате какой-нибудь другой узел, например 5', станет узким местом системы, и асимптотические свойства опять будут подобны описываемым

формулой (1.3), но с другим наклоном ——— и другой величиной

ГПгЦнХ«

насыщения М*

Если продолжать эту процедуру устранения узких мест, всегда можно ожидать появления нового узкого места как

показано на Рис. 3, где М должно быть приведено в соответствие с новыми интенсивностями обслуживания.

Характеристика, показанная на этом рисунке, имеет важное значение для определения эффективности функционирования информационной системы, так как позволяет оценить выигрыш в улучшении характеристик системы при использовании более мощных аппаратных средств и/или совершенных методов управления потоками информации. Например, если асимптоты первого и второго узких мест расположены близко друг от друга, выигрыш от устранения только первого узкого места (а это может быть связано со значительными затратами) может быть очень небольшим. Очевидно, что такой экономически невыгодной переделки можно избежать. В этом и состоит суть настоящей работы - путем разработки необходимых методов управления информационными потоками в кластере, добиться улучшения характеристик системы в целом, избежав при этом неоправданных расходов.

Рис. 3 Последовательность асимптотических узких мест в архитектуре

системы

На основе предложенной модели поставлена задача диссертационного исследования как оптимизационная задача минимизации времени ответа информационной системы при заданном ограничении на ресурсы.

Формализация модели вычислительной системы в терминах теории массового обслуживания позволяет использовать практический опыт, накопленный автором, в области оценки эффективности функционирования систем с очередями.

В главе 3 описаны математические модели и методы решения частных задач исследования.

В подразделе 3.1 описывается математическая модель и метод использования кластера компьютеров с автоматической конфигурацией и системой виртуальных сред, интегрированной с распределенной файловой системой, для предоставления сервиса по размещению ресурсов в глобальной сети.

Показано, что оптимальной архитектурой для центра данных является архитектура системы с единой очередью, а не системы с т разделенными средствами.

Также показано, что улучшение среднего времени ответа системы можно получить при использовании большой

мс МС(\-Р)

системы коллективного пользования с единым ресурсом.

Выделяют два типа консолидации: физическую и логическую. При выполнении физической консолидации серверы физически перемещаются в

единый информационный центр, при этом их представление в компьютерной сети может оставаться прежним, то есть за одним физическим сервером может быть закреплено несколько сетевых сервисов. Логическая консолидация - это объединение вычислительных ресурсов серверов возможно без их физического перемещения в единый сетевой ресурс

Основный приложения

_Слой Virtuaao __]

, ■« Основная операционная система !

[ ..... ............Аппаратное обеспеченна_' j

[ Сеть ' "" j

Рис. 4 Архитектура системы с использованием виртуальных сред

Основное отличие предложенного автором метода использования кластера компьютеров заключается в подходе к виртуализации ресурсов. В отличие от традиционных подходов в предложенном автором методе используется понятие «виртуальной среды». Использование виртуальных сред вместо традиционных виртуальных машин с полной эмуляцией основных ресурсов физического сервера позволяет достичь высоких показателей утилизации ресурсов, масштабируемости и надежности системы.

В отличие от программного обеспечения фирм IBM, VMware и подобных им систем виртуальная среда не эмулирует работу аппаратного обеспечения. Каждая виртуальная среда - это персональная защищенная «машина» с операционной системой, работающая как независимая рабочая станция или сервер (см. Рис. 4). На одном компьютере может работать одновременно множество виртуальных сред. Для конечного же пользователя виртуальная среда выглядит как его личный сервер, на котором он имеет права суперпользователя, может устанавливать любые программы, заводить дополнительных пользователей и т.п. Виртуальные среды на одном компьютере полностью изолированы друг от друга. Пользователь в одной

виртуальной среде не знает о других работающих виртуальных средах и процессах в них.

Вследствие высокого уровня унификации оказывается возможным создание высокоэффективных средств управления, которые в состоянии контролировать большое количество подобных виртуальных сред. С точки зрения пользователя упрощаются как время обучения работе в подобных условиях, так и его собственные рутинные операции по управлению виртуальной средой.

При наличии нескольких компьютеров (кластера) с запущенными на них наборами виртуальных сред мы получаем некую стандартизированную среду, с помощью которой можно предоставлять услуги по размещению ресурсов в глобальной сети посредством выделения конечным пользователям виртуальной среды в монопольное распоряжение.

Математическая модель и разработанный метод использования кластера компьютеров с автоматической конфигурацией и системой виртуальных сред, интегрированной с распределенной файловой системой, для предоставления сервиса по размещению ресурсов в глобальной сети позволяет более чем на 50% повысить уровень утилизации ресурсов серверной фермы, снизить затраты на ее обслуживание и поддержку.

С использованием виртуализации упрощается перенос приложений с одного сервера другой. Этот процесс, как правило, • можно выполнить безостановочно — штатной операцией перемещения виртуальной среды. В результате, появляется возможность физически передвигать приложения к месту их оптимального использования. Например, если компания имеет центры обработки данных по всему миру, то с помощью виртуализации она сможет перемещать приложения туда, где они наиболее востребованы.

В подразделе 3.2 описывается математическая модель и метод построения сервиса балансирования нагрузки между серверами асимметричной фермы. Сущность предложенного автором метода состоит в том, что клиентский запрос и ответ на него формируются клиентом и web-сервером с помощью одного из широко известных высокоуровневых протоколов (например, HTTP, FTP, POP3). Это значит, что запрос и ответ представляют собой синтаксически корректную с точки зрения правил, установленных протоколом, последовательность байт.

Формальная постановка задачи балансировки нагрузки проведена с использованием модели замкнутой сети массового обслуживания с центральным обслуживающим прибором. Она позволяет описать работу мультипрограммной вычислительной системы (с фиксированным числом частей), в которую допускается точно К заданий. Эти задания циркулируют в системе бесконечно долго, коллективно используя N ее ресурсов. Центральный обслуживающий прибор представляет собой корневой узел кластера, а остальные N-1 узлов — периферийные узлы кластера. В такой системе задания циркулируют между узлами кластера, требуя обращения сначала к корневому

узлу, а затем к некоторому периферийному узлу кластера, после этого опять требуя обслуживания в центральном узле, а затем вновь обращения к какому-нибудь периферийному узлу кластера и т. д. Следовательно, все время задания возвращаются в корневой узел кластера. Переходные вероятности г} опять представляют собой вероятности перехода задания в узел } из узла ц в рассматриваемой модели с центральным обслуживающим прибором имеем

где,

N

Ър>

. В реальной мультипрограммной ситуации большинство

заданий в конце концов покидают систему, и в моменты их ухода в систему по одному входят новые задания. Это учтено в модели путем разрешения заданию прямого возвращения в корневой узел (с вероятностью р/), что означает уход старого задания и поступление вместо него нового задания, причем новое требование на обслуживание в корневом узле является заявкой супервизорной системы на замену задания. Таким образом, число заданий в системе остается постоянным и равным К. В модели с центральным обслуживающим прибором в каждом узле находится один обслуживающий прибор (т,=/), а время обслуживания в i-M узле распределено по показательному закону с параметром (I,. Пусть матрица R является матрицей переходных вероятностей К между узлами сети. Тогда случай с центральным обслуживающим прибором можно описать следующей простой матрицей:

Задача сводится к решению уравнения Я,= ХЛ; для рассматриваемой матрицы решение имеет вид

Общее решение для любой замкнутой марковской сети массового обслуживания с однолинейными СМО в узлах дается равенством

Р(к„кг.....кн,) =

1

Ш'.

включающим х,. В частном случае рассматриваемой модели с центральным обслуживающим прибором получаем

Следовательно, имеем явное решение, выражаемое через параметры системы /х, И р,. Пусть теперь А, — стационарная вероятность того, что 1-й узел не пуст. Можно показать [26], что:

Отсюда получаем A\fí¡pi = Ají, (í>2), Т. е. интенсивность, с которой задания поступают в i-й узел, равна интенсивности, с которой они покидают этот узел. Это равенство показывает, что мера, определяющая, насколько узкое место создается в i-м узле, пропорциональна скорости изменения производительности в зависимости от роста интенсивности обслуживания в этом узле. При этом производительность определяется как среднее число заданий, обслуживаемых за единицу времени. Она равна Aiflip¡. Следовательно, сбалансированная система (система без узких мест) — это такая система, для которой:

Разработанный метод построения сервиса для балансирования нагрузки между серверами асимметричной фермы позволяет избежать возникновения перегрузки отдельных узлов кластера компьютеров в случае нестабильного роста информационного потока, что дает возможность соблюдать приведенное выше равенство, благодаря чему система является сбалансированной. Как показывают результаты проведенных экспериментов, применение этого метода вместе с методом использования кластера компьютеров с автоматической конфигурацией и системой виртуальных сред позволяет достичь уровня утилизации ресурсов кластера в 90%.

Использование виртуальных сред вместо традиционных виртуальных машин позволяет сократить ресурсы, используемые для администрирования самой системы и перенаправить их для решения целевых задач системы по предоставлению услуг по размещению ресурсов в глобальной сети.

Кроме того, схема с распределенной файловой системой позволяет осуществлять эффективно обслуживание аппаратной части компьютеров посредством того, что любая виртуальная среда может быть перенесена с одного компьютера на другой эффективным образом, то есть с требующего планового обслуживания компьютера можно переместить все запущенные там виртуальные среды эффективным и практически незаметным для пользователя образом.

Виртуализация среды исполнения позволяет запускать в виртуальной среде только приложения одной определенной операционной системы. Виртуальная среда имеет свою файловую систему, а также доступ к части, процессорного времени, памяти и периферийных устройств, такой как сетевая плата. Виртуальных сред на одном компьютере может работать несколько; они тем или иным образом распределяются по всем процессорам, памяти и дискам. Кроме виртуальных сред есть базовая операционная система, которая объемлет все виртуальные среды. Именно она скрывает подробности аппаратуры и занимается управлением реальными ресурсами компьютера.

Эмуляторами компьютеров, как правило, не эффективно используют ресурсы сервера, поскольку значительные их часть тратится на преобразование форматов данных и переключение контекста различных операционных систем. Так виртуализация компьютера позволяет запустить на одном физическом сервере всего несколько виртуальных машин. С помощью виртуальных сред исполнения можно добиться большей эффективности и расслоить один сервер на тысячи отдельных виртуальных сред.

В подразделе 3.3 описывается математическая модель и метод переноса данных между узлами кластера с минимизацией времени недоступности сервиса.

Как показывает практика, значительное число отказов в работе центров обработки данных приходится на отказы программного обеспечения., Это связано, в первую очередь, с несовершенством процесса разработки последнего. Поэтому администратору постоянно приходится обновлять программное обеспечение, следить за его актуализацией. Использование кластера компьютеров позволяет организовать вычислительный процесс таким образом, что часть вычислительных ресурсов будет находиться в резерве, который может быть использован в случае выхода из строя узлов кластера. Именно высокая надежность является одним из ключевых факторов использования кластеров в центрах обработки данных.

В подразделе 3.2 отмечено, что значение Л/ (стационарная вероятность того, что 1-й узел не пуст), имеет вид:

Также показано, что А^р/ = А^ (/>2), т. е. интенсивность, с которой задания поступают в 1-й узел, равна интенсивности, с которой они покидают этот узел. При этом производительность определяется как среднее число заданий, обслуживаемых за единицу времени. Она равна Ахцр!. Выше было показано, что сбалансированная система (система без узких мест) — это такая система, для которой:

Если учесть, что в результате различных неисправностей как программного, так и аппаратного обеспечения снижается производительность узла кластера, то важнейшим становится вопрос обеспечения высокой надежности функционирования каждого узла сети.

Важнейшей характеристикой надежности является интенсивность отказов, определяющая среднее число отказов за единицу времени.

Будем считать, что любой отказ носит катастрофический характер, т. е. приводит к нарушению работоспособности системы. В этом случае

интенсивность отказов в системе равна интенсивность

отказов /-го элемента или соединения и п - число элементов и соединений в системе.

Работоспособность системы, нарушенная в результате отказа, восстанавливается путем ремонта системы. Ремонт сострит в выявлении причины нарушений работоспособности - диагностике системы и в восстановлении работоспособности путем замены неисправного элемента или восстановления программного обеспечения. Длительность промежутка времени, затрачиваемого на восстановление работоспособности системы, зависит от сложности системы, степени совершенства средств диагностики и уровня ремонтопригодности системы. Во многих случаях затраты времени на подготовку к устранению неисправности превышают временные затраты собственно на устранение неисправности, поэтому часто необходимо в кратчайшие сроки обеспечить функционирование сервиса путем их перевода на рабочие узлы кластера и только после этого заниматься восстановлением работоспособности и поиском неисправностей.

С учетом средней наработки на отказ Т0 и среднего времени восстановления Тв надежность системы характеризуется коэффициентом готовности, определяющим долю времени, в течение которого система работоспособна:

кг=т0/(тй+т,)

Значение представляет собой долю времени, в течение которого система неработоспособна. Надежность системы может быть повышена за счет резервирования ее элементов. Однако резервирование приводит к существенному увеличению стоимости системы. Практика показывает, что при использовании кластерной архитектуры центров обработки данных существенное время тратиться на перенос виртуальных сред с одного узла, подлежащего техническому обслуживанию или ремонту, на другой узел.

Сама проблема переноса сервисов с одного компьютера на другой возникает достаточно часто. Ее возникновение обусловлено необходимостью плановых и внеплановых остановок сервера, возникающих в силу потребности в обновлении программного и аппаратного обеспечения и просто реорганизации сервисов. Кроме того, в конфигурации кластерного типа, когда больше число компьютеров обслуживают большое количество клиентов, часто возникает потребность в переносе какого-либо из сервисов на другой компьютер, например, по причине перегрузки того, с которого сервис стартовал изначально.

Предложенный автором подход к переносу сервиса с одного компьютера на другой основывается на использовании временных характеристик процесса переноса: так как не все компоненты сервиса задействованы в каждый момент времени, то существует возможность переноса программ и данных конкретного сервиса, не используемых в данный момент времени, на другой компьютер с последующей передачей управления вновь порожденному сервису.

Предложенная математическая модель и разработанный метод позволяет существенно сократить время недоступности сервиса, что особенно важно для работы критических приложений, систем электронной торговли и ряда других приложений, в которых особое внимание уделяется обеспечению доступности сервиса.

Как правило, перенос сервисов включает в себя два этапа: подготовку к переносу и, собственно, перенос сервиса. Именно время выполнения второго этапа и является временем недоступности сервиса для его клиентов, поскольку на первом компьютере он уже остановлен, а на втором не может быть запущен до окончания копирования.

Таким образом, предложенная автором двухступенчатая организация процесса переноса позволяет существенно уменьшить время недоступности сервиса в том довольно частом случае, когда велик размер файлов, которые процесс или сервис не трогает непосредственно в момент работы. Сокращение времени недоступности происходит за счет времени, которое необходимо затратить на передачу данных первого этапа.

Разработанный метод онлайнового переноса данных с минимизацией времени недоступности сервиса существенно (более чем на 60%) повышает

показатель доступности сервиса, что в современных условиях электронной экономики является одним из важнейших показателей.

В главе 4 приведены основные результаты экспериментов по анализу эффективности функционирования системы виртуальных сред и методов, разработанных автором, при решении практических задач предоставления услуг по размещению ресурсов в глобальной сети.

В качестве основного метода анализа эффективности разработанных автором методов был выбран метод сравнительного анализа с наиболее распространенными решениями, используемыми для решения сходных задач.

В заключении зафиксированы основные результаты диссертации. Приведены основные направления дальнейших исследований по совершенствованию предложенного подхода к виртуализации ресурсов.

В качестве основных направлений дальнейших исследований предлагаются:

• дальнейшее совершенствование математической модели виртуальной среды;

• отработка вопросов использования предложенного подхода к виртуализации ресурсов при создании приложений, призванных работать в распределенной вычислительной среде типа GRID.

В приложениях приведены основные характеристики системы Virtuozzo и описание ряда проектов в области виртуализации ресурсов, использующие результаты диссертации.

ЗАКЛЮЧЕНИЕ

Таким образом, поставленная в диссертационной работе задача решена полностью.

Автором получены следующие основные результаты.

1. Разработана математическая модель виртуальной среды в терминах теории массового обслуживания;

2. Разработана математическая модель и метод использования кластера компьютеров с автоматической конфигурацией и системой виртуальных сред, интегрированной с распределенной файловой системой, для предоставления услуг по размещению ресурсов в глобальной сети;

3. Разработана математическая модель и метод построения сервиса балансирования нагрузки между серверами асимметричной серверной фермы;

4. Разработана математическая модель и метод онлайнового переноса данных с минимизацией времени недоступности сервиса.

Применение разработанных автором математических моделей и методов позволяет существенно сократить время ответа системы и устранить возможные «узкие места» в архитектуре системы.

СПИСОК ОСНОВНЫХ ОПУБЛИКОВАННЫХ РАБОТ

1. Протасов С. С. Использование виртуальных сред для предоставления услуг по размещению ресурсов в глобальной сети [Текст] / Протасов С. С, Белоусов С. М., Тормасов А. Г. // «Объединенный научный журнал». - 2004. - № 24 (116).- С. 74-78.

2. Протасов С. С. Архитектура и особенности функционирования современных операционных систем [Текст] / Протасов С. С, Белоусов С. М., Тормасов А. Г. // «Объединенный научный журнал» - 2004 г., 24 (116), С. 78-83.

3. Протасов С. С. Прошлое, настоящее и будущее: развитие архитектуры и принципов создания операционных систем [Текст] / Протасов С. С, Белоусов С. М., Тормасов А. Г. // «Объединенный научный журнал» - 2004 г., №24 (116), С. 83-86.

4. Протасов С. С.' Математическая модель и метод построения сервиса балансирования нагрузки между серверами асимметричной фермы. [Текст] / Протасов С. С, Белоусов С. М., Тормасов А. Г. // Электронный журнал "Исследовано в России" - 2004 г., 204, стр. 2166-2177. http://zhumal.ape.relarn.ru/articles/2004/204.pdf

5. Протасов С. С. Современное состояние, проблемы и перспективы развития общесистемного программного обеспечения комплексов управления космическими аппаратами [Текст] / Протасов С. С, Белоусов С. М. // Материалы научно-практической конференции «Научно-практические аспекты совершенствования управления.КА и информационного обеспечения запусков КА» проведенной в ГИЦИУ КС им. Г.С.Титова 17 декабря 2003 г. Научно-информационный сборник, выпуск № 11. г. Краснознаменск 2004. С,216-217.

6. Протасов С.С. Организация распределенного хранения информации в наземном комплексе управления космическими аппаратами [Текст] / Протасов С.С, Белоусов СМ. //Материалы научно-практической конференции «Научно-практические аспекты совершенствования управления КА и информационного обеспечения запусков КА» проведенной в ГИЦИУ КС им. Г.С.Титова 17 декабря 2003 г. Научно-информационный сборник, выпуск № 11. г. Краснознаменск 2004. С/218-220.

7. Программный продукт Viruozzo. Свидетельство о регистрации в Российском Агентстве по патентам и товарным знакам № 2001611530 от 13.11.2001 г. / Заявитель Протасов С.С.и др. - М: 2001.

8. Программно-аппаратный комплекс телематических служб. Сертификат соответствия Министерства по связи и информатизации № RU.00007.01ЭС00, № ОС/1 -СПД - 463. / Заявитель Протасов С.С и др. - М: 2001.

9. Protassov Stanislav, Tormasov Alexander, Khassine Mikhail, Beloussov Serguei, Fault tolerant storage system and method. - US PA # 20020116659, August 22,2002.

10. Protassov Stanislav, Tormasov Alexander, Lunev Dennis, Beloussov Serguei, Pudgorodsky Yuri. Virtual computing environment. - US PA # 20020124072, September 5,2002

11. Protassov Stanislav, Tormasov Alexander, Lunev Dennis, Beloussov Serguei Pudgorodsky Yuri. Hosting service providing platform system and method. - US PA # 20020143906, October 3,2002.

12. Protassov Stanislav, Tormasov Alexander, Beloussov Sergei, Pudgorodsky Yuri. Distributed network data storage system and method. - US PA # 20020147815, October 10,2002.

Протасов Станислав Станиславович

МАТЕМАТИЧЕСКИЕ МОДЕЛИ И МЕТОДЫ ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ ФУНКЦИОНИРОВАНИЯ КЛАСТЕРА КОМПЬЮТЕРОВ В ЦЕНТРАХ ОБРАБОТКИ ДАННЫХ

Автореферат

Подписано в печать 22.11.04. Формат 60x90/16 Усл печ л 1.0. Тираж 70 экз. Заказ No 390. Московский физико-технический институт (государственный университет)

Печать на аппарате Rex-Rotary Copy Printer 1280. НИЧ МФТИ.

141700, г Долгопрудный Московской обл, Институтский пер, 9, тел.: (095) 4088430, факс (095) 5766582

123432-

ПРИНЯТЫЕ СОКРАЩЕНИЯ.

ВВЕДЕНИЕ.

Актуальность темы.

Цель работы, объект и предмет исследования.

Методы исследования.

Научная новизна.

Практическая значимость.

Апробация и реализация результатов работы.

Положения, выносимые на защиту.

Краткое описание диссертации.

Исторический анализ предметной области.

ГЛАВА 1. ИССЛЕДОВАНИЕ ВОПРОСОВ ОРГАНИЗАЦИИ И ФУНКЦИОНИРОВАНИЯ ЦЕНТРОВ ОБРАБОТКИ ДАННЫХ. ОСОБЕННОСТИ ОРГАНИЗАЦИИ ЦЕНТРОВ ОБРАБОТКИ ДАННЫХ ДЛЯ ПРЕДОСТАВЛЕНИЯ УСЛУГ ПО РАЗМЕЩЕНИЮ РЕСУРСОВ В ГЛОБАЛЬНОЙ СЕТИ.

1.1. Центры обработки данных предприятия.

1.1.1 Назначение центра обработки данных.

1.1.2 Ы-уровневая модель.

1.1 3 Возможности центра обработки данных.

1.14 Преимущества создан ия центров обработки данных.

1.2. Основные сервисы ЦОД.

1.2.1. Сервисы инфраструктуры.

1.2.2. Сервисы групп серверов.

12 3. Сервисы хранения.

1 2 4 Сервисы защиты.

1 2 5 Сервисы управления.

1.3. Группы серверов в центрах обработки данных.

1.3 1 Группа интранет-серверов.

1.3 2 Группа серверов Интернет.

1 3 3 Группа экстранет-серверов.

1.4. Архитектура центра обработки данных.

14 1. Уровни центра обработки данных.

1.5. Топологии центра обработки данных.

1.5.1. Логическая топология.

1.5 2. Физическая топология.

ВЫВОДЫ ПО ГЛАВЕ 1.

ГЛАВА 2. ЭФФЕКТИВНОСТЬ ФУНКЦИОНИРОВАНИЯ И МОДЕЛЬ ВИРТУАЛЬНОЙ ВЫЧИСЛИТЕЛЬНОЙ СРЕДЫ ЦЕНТРА ДАННЫХ. ПОСТАНОВКА ЗАДАЧИ ИССЛЕДОВАНИЯ.

2.1. Общие сведения. Определение эффективности предоставления услуг по размещению ресурсов в глобальной сети в центрах обработки данных.

2.2. Постановка задачи исследования.

ВЫВОДЫ ПО ГЛАВЕ 2.

ГЛАВА 3. МАТЕМАТИЧЕСКИЕ МОДЕЛИ И МЕТОДЫ ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ ИСПОЛЬЗОВАНИЯ КЛАСТЕРА КОМПЬЮТЕРОВ ДЛЯ» ПРЕДОСТАВЛЕНИЯ УСЛУГ ПО РАЗМЕЩЕНИЮ РЕСУРСОВ В ГЛОБАЛЬНОЙ СЕТИ В ЦЕНТРАХ ДАННЫХ.

3.1. Математическая модель и метод использования кластера компьютеров с автоматической конфигурацией и системой виртуальных сред, интегрированной с распределенной файловой системой

3.1.1. Общие сведения. Постановка задачи исследования.

3.1.2. Существующие подходы к консолидации серверов.

3.1.3. Технологи» виртуализации.

3.1.4. Су щность метода.

3.2. Математическая модель и метод построения сервиса балансирования нагрузки меэдау серверами асимметричной фермы.

3.2.1. Постановка задачи исследования.

3.2.2. Сущность метода.

3.3. Математическая модель и метод онлайнового переноса данных с минимизацией времени недоступности сервиса.

3.3.1. Постановка задачи исследования.

3.3.2. Сущность метода.

ВЫВОДЫ ПО ГЛАВЕ 3.

ГЛАВА 4. РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТОВ ПО ОЦЕНКЕ ЭФФЕКТИВНОСТИ ИСПОЛЬЗОВАНИЯ КЛАСТЕРА КОМПЬЮТЕРОВ В ЦЕНТРАХ ОБРАБОТКИ ДАННЫХ НА ПРИМЕРЕ СИСТЕМЫ УПШЮггО.

ВЫВОДЫ ПО ГЛАВЕ 4.

Диссертация посвящена решению ряда научных задач, возникающих при использовании кластера компьютеров для предоставления услуг по размещению ресурсов в глобальной сети в центрах обработки данных.

Актуальность темы

Индустрия высоких технологий переживает в последние годы не лучшие времена, однако это никак не сказывается на росте объемов бизнес-информации. Базы данных предприятий увеличиваются подчас неконтролируемо, а приобретенные всего пару лет назад компьютеры перестают справляться с новыми приложениями.

Ситуация с корпоративными серверами еще серьезнее - их модернизировать и дорого, и хлопотно. Одно из технологически возможных, благодаря наличию доступных глобальных коммуникаций, решений - SAN (Storage Area Network, сеть хранения данных). Предприятие может приобрести решение проблемы хранения данных как услугу, без необходимости затрат на собственную информационную инфраструктуру.

Преимуществ у такого вида аутсорсинга много. Во-первых, отказоустойчивое серверное оборудование, климатические установки, блоки резервного нитания, аварийные электрогенераторы и прочие непременные атрибуты качественного центра обработки данных (называемых сегодня «дата-центрами») размещаются у поставщика услуги и не являются объектом тревоги для потребителя. Во-вторых, вместе с услугой хранения данных можно получить в виртуальную аренду лицензионно чистые программы, приобретение которых для ведения «единоличного» информационного хозяйства желательно, но нерентабельно.

Задача предоставления услуг по размещению ресурсов в глобальной сети (хостинг) для компьютеров возникла практически сразу с появлением возможности соединения вычислительных машин между собой. Определив сервис по размещению ресурсов в глобальной сети как возможность предоставления услуг какого-либо сервера внешним пользователям, можно говорить о том, что подобного рода сервис появился с появлением центров коллективного доступа в конце 70-х годов XX века. Обычно в них устанавливались компьютеры класса мейнфрейм, и их пользователи могли использовать предоставленный кем-либо сервис. Например, так были устроены системы продажи билетов, предназначенные для использования во внешних кассах.

Гораздо большее развитие получил этот класс сервисов с появлением и началом активного использования Интернет как глобальной среды доступа к различным информационным серверам. Растущие потребности в качественном обслуживании и поддержании в работоспособном состоянии как канала доступа в Интернет, так и собственно компьютера, на котором соответствующий сервис запущен, определили резкий рост числа центров данных и уровня предоставляемых ими услуг.

Система предоставления удаленных услуг базируется на концепции клиент-сервер. Так, задача разделения доступа к файлам — одна из тех, которые эффективно решаются подобным способом. Решалась она методом организации соответствующего сервиса на одной из участвующих в сети машин - то есть организацией файлового сервера, сервера баз данных и др. В этом случае на других участвующих в сети машинах устанавливалось такое програ*ммное обеспечение, которое позволяло работать с файлами, расположенными на соответствующих серверах, например, копируя их локально или имитируя боле удобным для пользователя способом доступ к сетевым файлам как доступ к файлам расположенным на неком виртуальном локальном диске. Таким образом, например, было устроено программное обеспечение, которое разрабатывалось для операционной системы персональных IBM-совместимых компьютеров DOS. В этом случае надо было установить клиентское программное обеспечение, которое в случае правильного подключения к сети и соответствующему файловому серверу давало возможность увидеть так называемый «сетевой драйв», файлы на котором реально располагались на удаленном файловом сервере, а с точки зрения программ, запущенных локально на клиенте выглядели как полностью локальные.

По данным Gartner Group, доля услуг аутсорсинга и обслуживания корпоративных информационных систем к 2004 году увеличилась до 57% по сравнению с 53% от общего объема услуг в сфере информационных технологий, оказанных в 2000 году.

Размер рынка аутсорсинга в США, где он имел объем в $25,7 млрд в прошлом году, к 2005 году, по оценкам IDC, достигнет $44 млрд. Среди японских компаний, до недавнего времени исполнявших все IT-задачи почти исключительно собственными силами, расходы на аутсорсинг достигли в прошлом году $8 млрд, а к 2005 году эта цифра должна вырасти до $15 млрд.

В России, по данным USB Brunswick Warburg, потенциальный рынок аутсорсинга IT-инфраструктуры составляет $25 млн., с перспективой роста в ближайший год на 50-70%. Рынок аутсорсинга приложений оценивается в $5 млн., с ростом в ближайшие годы на те же 50-70%.

Особенность архитектуры SAN - объединение в общую сеть обработки информации практически любого количества серверов и внешних устройств хранения данных и программного обеспечения. Для клиента системы все это многокомпонентное хранилище данных совершенно прозрачно и выглядит как обычные разделы на жестком диске. Серверы взаимодействуют друг с другом и внешними накопителями по скоростным оптоволоконным линиям связи, причем любой сервер (или несколько серверов одновременно) может обращаться к любому накопителю независимо от установленной на нем операционной системы.

Работой внешних накопителей нижнего уровня, которые представляют собой RAID-массивы дисков (дублирующих друг друга), управляют специальные компьютеры. Концепция создания корпоративных центров обработки данных (ЦОД) чрезвычайно популярна среди гигантов индустрии (Microsoft, IBM, HP, Oracle и т.д.), что понятно: концентрация вычислительных мощностей и больших массивов для хранения данных обеспечивает постоянный высокий спрос на их продукцию и услуги. Однако эта мощь является в то же время и слабым местом этой концепции. Чем сложнее система, тем она уязвимее и дороже в обслуживании. Концентрация ресурсов выгодна для больших предприятий или больших групп пользователей. Это может быть не обязательно только крупная корпорация, но и добровольное объединение небольших и средних предприятий, отдавших хранение своих данных на аутсорсинг.

Более сложные задачи возникают в случае, если сервер и сервисы разнесены в пространстве и соединены с помощью глобальной сети Интернет. Типичной ситуацией является один сервер, содержащий в себе некоторые данные (файлы), доступ к которым обеспечивается с помощью специальных сетевых протоколов, например, протоколом сервисов World Wide Web под названием http. Эти протоколы ориентированы на работу в распределенной сети клиентов и серверов, которая не столь связана как локальная сеть в первом примере, в которой точки обеспечения сервиса значительно удалены от клиента.

Для обслуживания этого протокола необходимо установить www-сервер, обеспечить его устойчивую связь с Интернет и бесперебойность работы самого компьютера с сервисом. Чаще всего подобные сервисы удается обеспечить в центрах данных, поскольку выделенные и надежные линии доступа в Интернет, избыточное электропитание, охлаждение, защита от пожара и физических воздействий требуют достаточно больших капиталовложений и специализации в этом бизнесе. Обычно центры обработки данных предоставляют следующие возможности для своих клиентов:

• выделенный компьютер центра данных с сетевым подключением с полным управлением пользователем;

• установка компьютера пользователя в помещение центра данных;

• предоставление небольшой части компьютера для использования клиентом предустановленного центром данных компьютерного сервиса.

Последний пункт требует от центра данных наличия соответствующего персонала и программного обеспечения, что обычно подразумевает, что этой задачей занимается специально выделенное подразделение или компания, а сам центр данных просто продает ей соответствующее оборудование. Чаще всего такие компании предоставляют услуги, так называемого, веб-по размещению ресурсов в глобальной сети - возможности использования вебсервера провайдера со своим контентом.

Традиционно компании-веб-хостеры предоставляют возможность использовать их собственный веб-сервер без каких либо модификаций в том виде, в каком он установлен. Отдельной проблемой является запуск так называемых «скриптов» - исполняемых так называемых CGI файлов, обычно написанных на каком-либо интерпретируемом языке {например, типа Perl), которые должны быть выполнены на сервере с аргументами, получаемыми из запросов пользователей. Обычно такие скрипты используют для динамической генерации содержимого веб-страниц серверов. По статистике уже давно большинство активных серверов практически все страницы генерируют «на лету» с помощью подобной техники. user user user user user

Hardware it -t—' a Ф E a О Ш а ш

LU

Application Software 0 Operating System

CN it

CD E tz о 5

CO it

Q) E ф £

Eo to

CD E о -t—' m

ZJ О щ о о

Network

Рис. 1 Традиционная архитектура, используемая при организапии работы пользователей и компьютеров

Вместе с тем существует множество проблем, которые возникают при использовании подобного рода приложений. К ним относятся проблемы с версиями используемых для работы интерпретаторов, проблемы с версией самого веб-сервера, проблемы в конфигурации веб-сервера, проблемы некорректно написанных приложений, вызывающих отказ в работе сервера, а также проблемы с безопасностью и возможностью получения несанкционированного доступа к данным других пользователей.

Указанные, а также многие другие проблемы возникают в силу того, что в подобной схеме пользователь получает доступ к общему серверу, который он не может модифицировать под свои потребности (см. Рис. 1). Скрипты в этом случае запускаются в общем для всех пользователей адресном пространстве, и любая проблема, возникшая с ними, влияет на всю систему сразу.

Веб-хостингом не исчерпывается набор запрашиваемых пользователями сервисов. Другим примером общеупотребительных сервисов является сервисы e-mail и ftp - почтовых услуг и доступа к файлам. Проблемы, возникающие при предоставлении подобных сервисов, сходны с уже описанными выше проблемами для www-сервиса. Кроме того, часто возникают потребности у пользователей просто получить доступ к компьютеру, у которого есть подключение к Интернет, например, по протоколу telnet.

Еще одним классом хостинг-сервисов, потребность в которых все чаще возникает на рынке, являются Поставщики Прикладных Услуг (ASP -Application Service Providers). Они обычно предоставляют совместный доступ к разделяемому приложению (например, базе данных) установленному и поддерживаемому администратором поставщика. Доступ пользователей ограничен исключительно доступом только к базе данных. Доступ к приложениям (например, офисные пакеты) в этом случае практически невозможен, поскольку они предполагают при установке, что на машине есть только один пользователь. Отдельно возникает еще и проблема с обеспечением безопасного доступа к данным.

Тем не менее, сегодня практически ни одна компания таких возможностей не предоставляет. Имеющиеся сервисы обычно ограничены или конкретно web/email/ftp-cepBepaMH или предлагают осуществить самостоятельную установку выделенной машины, администрирование которой ложится на плечи пользователя.

Для предоставления собственного удаленного компьютера потенциально могут быть использованы приложения-эмуляторы операционной системы, появившиеся впервые в системном программном обеспечении фирмы IBM -OS/390. При их использовании пользователь получает в распоряжение полноразмерный компьютер с эмулируемым аппаратным обеспечением, на которое может установить свою собственную версию операционной системы. Существенной проблемой подобного рода реализации является высокий уровень требований к аппаратному и программному обеспечению подобных решений, который и определяет их чрезвычайно высокую цену. Такого рода решения характерны для компаний, способных содержать штат высококвалифицированного персонала и высокую входную плату при начальной установке системы.

Аналогичные системы, реализованные на базе много более дешевой архитектуре IBM PC-совместимых компьютеров, до последнего времени не обладали требуемыми свойствами. Подход, связанный с практически полной эмуляцией аппаратного обеспечения на программном уровне и работе на одном компьютере двух ядер операционной системы поверх друг друга приводил к тому, что масштабируемость подобного рода решений оказывалась низкой, а накладные расходы на обслуживание оказывались весьма существенными.

Такая ситуация приводила к тому, что пользователю, работающему в подобной среде, удавалось использовать лишь незначительную долю ресурсов и соответствующей им производительности, которую он мог получить от эмулятора. Недостаточная специализация аппаратного обеспечения не давала возможности эффективно реализовывать подобные решения в архитектуре IBM PC.

Наряду с этим, одно из качеств таких решений, которое оказывается весьма привлекательно как для пользователей, так и для администраторов, является повышенная унификация и управляемость. Для облегчения эмуляции аппаратного обеспечения ЭВМ, обычно для простоты выбирается достаточно небольшой набор опций, которые доступны для расположенной внутри эмулятора операционной системы. В этом случае упрощается процедура инсталляции и дальнейшей поддержки системы - как самого эмулятора (не так много опций однотипного оборудования, которые ему необходимо поддерживать), так и сопровождения и администрирования нижележащей операционной системы (одинаковое и небольшое количество «доступной аппаратуры»).

Такая ситуация приводит к тому, что, в отличие от реального состояния аппаратуры центра обработки данных, виртуальная аппаратура соответствующего уровня виртуализации оказывается намного менее разнообразной и не требующей сложного обслуживания. Таким образом, оказывается возможным осуществлять поддержку только высоко унифицированных конфигураций, что существенно уменьшает нагрузку на системных инженеров и администраторов, а так же позволяет создать высокоэффективное управляющее и следящее программное обеспечение всего комплекса.

Еще одной проблемой для центров обработки данных является проблема минимизации физического доступа клиентов к сетевому и аппаратному обеспечению. В настоящее время организация обслуживания клиентов в центрах данных подразумевает, что им необходим частый физический доступ к их собственным компьютерам. Это означает, что администрации центров приходится привлекать сложные технические средства контроля и обеспечения доступа, подразумевающие обычно дорогие и не всегда эффективные меры защиты от физических воздействий — шлюзы доступа, средства предотвращения доступа к аппаратуре центра данных и компьютерам других клиентов центра.

Тем не менее, потребность в частом доступе к аппаратуре во многом вызвана устаревшей методикой организации работы. Скажем, при повреждении программного обеспечения, препятствующей загрузке компьютера, предполагается, что необходим доступ клиента, который обычно осуществляет загрузку со специальных починочных дисков, и делает это в непосредственном физическом контакте с аппаратурой. При более эффективной организации такого рода процедуры можно не просто свести к минимуму, но и вообще устранить, оставив вмешательство в аппаратную часть системы только за персоналом центра.

В ряде научных работ [11, 23] установлено, что большинство из перечисленных выше проблем может быть решено путем использования специального подхода к организации вычислительного процесса на базе виртуализации ресурсов вычислительной системы. Однако технические сложности реализации такого подхода, а также существовавшие до настоящего времени структурные ограничения разработанных подходов к виртуализации ресурсов не позволяли эффективно организовать работу центров обработки данных при высоком уровне нагрузки и добиться при этом высокой степени утилизации аппаратного обеспечения. Именно отсутствие приемлемых подходов к решению выявленных проблемных вопросов позволяет со всей определенностью говорить об актуальности научных исследований в области виртуализации ресурсов ЭВМ. Потребность в подобного рода решениях существовала и, по мнению ряда экспертов, будет существовать в ближайшие годы.

Цель работы, объект и предмет исследования

Цель диссертационной работы — разработка математических моделей и методов повышения эффективности функционирования кластера компьютеров при предоставлении услуг по размещению ресурсов в глобальной сети в центрах обработки данных.

Задачи исследования:

• Разработка математической модели организации и функционирования центров обработки данных, выявление узких мест в функционировании систем такого класса при предоставлении услуг по размещению ресурсов в глобальной сети.

• Разработка математической модели виртуализации ресурсов с использованием виртуальных сред.

• Разработка математической модели и метода использования кластера компьютеров для предоставления услуг по размещению ресурсов в глобальной сети.

• Разработка математической модели и метода балансировки нагрузки между компьютерами кластера.

• Разработка модели и метода переноса сервисов с одного узла кластера на другой без их остановки.

Объект исследования - математические модели процессов функционирования центров обработки данных в глобальной информационной сети Internet при предоставлении услуг по размещению ресурсов в глобальной сети.

Предмет исследования - модель виртуализации на основе виртуальных сред и методы повышения эффективности функционирования многомашинных комплексов (кластеров) в центрах обработки данных.

В ходе выполнения научных исследований автором была проведена серия экспериментов, результаты которых позволили численно оценить преимущества разработанных методов в результате сравнительного анализа с наиболее распространенными системами виртуализации.

Методы исследования

В ходе научных исследований по разработке математической модели виртуальной среды и методов повышения эффективности функционирования кластера при оказании услуг по размещению ресурсов в глобальной сети использовались аналитические методы теории массового обслуживания, методы имитационного моделирования, методы теории операционных систем и системного программирования, методы анализа функционирования глобальных телекоммуникационных сетей.

Научная новизна

Научная новизна работы заключается в том, что автором предложена математическая модель виртуализации ресурсов вычислительных систем и комплексов при предоставлении различных видов сервиса в глобальных сетях, основанная на формировании виртуальной среды пользователя. В отличие от ранее существовавших моделей виртуализации, разработанные в ходе диссертационного исследования математические модели и методы позволяют существенно повысить утилизацию ресурсов системы, повысить ее надежность и масштабируемость.

Разработанная математическая модель виртуализации ресурсов является новым вкладом в развитие теории операционных систем и системного программирования.

Практическая значимость

Разработанные математические модели могут быть использованы при создании новых программных продуктов, предназначенных для обеспечения решения задач виртуализации с целью достижения максимального уровня утилизации ресурсов, масштабируемости систем и обеспечения их высокой надежности.

Кроме того, все разработанные математические модели и методы могут быть использованы в качестве самостоятельных решений различных задач, возникающих в ходе предоставления различных видов сервиса в глобальных и локальных сетях.

Так, математическая модель и метод балансировки нагрузки и переноса сервисов позволяют решить ряд технических проблем, связанных с обеспечением высокого значения показателя доступности сервиса, который наиболее важен для обеспечения стабильной работы критических приложений, электронной торговли и межбанковского взаимодействия.

На сегодняшний день разработанные математические модели виртуализации ресурсов на основе виртуальных сред использованы при создании коммерческого программного продукта Virtuozzo. По ряду оценок независимых экспертов (Отчеты Gartner Group: «Hype Cycle for Real-Time Infrastructure 2004», 16 June 2004, ID Number: GOO 120918; «Hype Cycle for Real-Time Infrastructure 2003», 30 May 2003, ID Number: R-20-0815; «Logical and Software Partitioning in Server Consolidation», 7 May 2002, ID Number: T-16-1893), сегодня система Virtuozzo одна из наиболее популярных платформ для создания виртуальных выделенных серверов. Это единственное решение, обеспечивающее высокий уровень надежности и масштабируемости систем, что доказано десятками тысяч уже работающих в различных компаниях виртуальных выделенных серверов. Практическая значимость полученных результатов подтверждается и высокой экономической эффективностью разработанных решений.

Кроме того, практическая значимость результатов настоящего исследования подтверждается положительным решением по ряду заявок на изобретения.

Апробация и реализация результатов работы

По выполненным диссертационным исследованиям опубликовано 7 работ. В опубликованных работах автору принадлежит более 40% материала, связанного с изложением основ магматической модели виртуализации ресурсов с использованием виртуальных сред.

Результаты диссертационного исследования докладывались, обсуждались и получили одобрение на нескольких конференциях: SoftTool 2002 г, Москва, Интерполитех, 2003 г, Москва, «Научно-практические аспекты совершенствования управления КЛ и информационного обеспечения запусков КЛ», г. Краснознаменск, 2004, «Ottawa Linux Symposium», Оттава, Канада, 2000, «ASP World Asia 2000», Сингапур 2000 и ДР.

Получено свидетельство о регистрации в Российском Агентстве по патентам и товарным знакам № 2001611530 от 13.11.2001 г. на программный продукт HSPcomplete, основанный на технологии Virtuozzo.

Получен сертификат соответствия Министерства по связи и информатизации № К.и.00007.01ЭС00, № ОС/1 -СПД - 463 на программно-аппаратный комплекс телематических служб.

По итогам научной работы по теме диссертации подано 24 заявки на изобретение, получено 1 положительных решений [87-105].

Результаты работы реализованы при создании программного комплекса У1гШ0г70. В настоящее время этот программный комплекс занимает лидирующее положение в сегменте рынка средств и технологий виртуализации ресурсов для предоставления услуг по размещению ресурсов в глобальной сети.

Положения, выносимые на защиту

На защиту выносятся следующие основные положения:

1. Математическая модель виртуальной вычислительной среды.

2. Математическая модель и метод использования кластера компьютеров с автоматической конфигурацией и системой виртуальных сред, интегрированной с распределенной файловой системой, для предоставления услуг по размещению ресурсов в глобальной сети.

3. Математическая модель и метод построения сервиса балансирования нагрузки между серверами асимметричной серверной фермы.

4. Математическая модель и метод онлайнового переноса данных с минимизацией времени недоступности сервиса.

Краткое описание диссертации

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения и двух приложений. Работа изложена на 128 страницах, содержит 45 рисунок и список литературы из 86 наименования в алфавитном порядке.

Выводы по Главе 4

В настоящей главе приведены результаты экспериментальной проверки эффективности разработанных методов. Показано, что применение подхода на основе виртуальных сред позволяет существенно повысить производительность системы в целом, снизить затраты на сопровождение и восстановление системы после сбоев.

Показаны и результаты экспериментов по отработке разработанных методов в составе программного комплекса УнШотго. Приведены результаты статических и динамических тестов производительности системы.

Общий вывод по результатам экспериментов, приведенных в этой главе: применение виртуальных сред для оптимального распределения ресурсов в многомашинных вычислительных системах (кластерах) позволяет существенно увеличить эффективность функционирования всего комплекса.

В целом проведенные эксперименты позволили сделать вывод о том, что улучшение отдельных характеристик вычислительной системы при условии не ухудшения значения всех остальных ее параметров ведет к существенному росту производительности всего вычислительного комплекса. Особую роль в этих процессах играет надежность системы и ее способность к восстановлению после аварий. Разработанный метод в четыре раза позволяет улучшить такой показатель системы, как время восстановления работоспособности сервиса после его переноса на другой компьютер. Это существенно влияет на рост общего коэффициента готовности системы в целом.

Заключение

Таким образом, поставленная в диссертационной работе задача решена полностью.

Применение разработанных автором математических моделей и методов позволяет существенно сократить время ответа системы и устранить возможные «узкие места» в архитектуре системы.

В работе автором решены следующие задачи:

• разработана математическая модель виртуальной среды в терминах теории массового обслуживания;

• разработана математическая модель и метод использования кластера компьютеров с автоматической конфигурацией и системой виртуальных сред, интегрированной с распределенной файловой систехМой, для предоставления услуг по размещению ресурсов в глобальной сети;

• разработана математическая модель и метод построения сервиса балансирования нагрузки между серверами асимметричной серверной фермы;

• разработана математическая модель и метод онлайнового переноса данных с минимизацией времени недоступности сервиса.

Разработанная математическая модель и метод использования кластера компьютеров с автоматической конфигурацией и системой виртуальных сред, интегрированной с распределенной файловой системой, для предоставления сервиса по размещению ресурсов в глобальной сети позволяет более чем на 50% повысить уровень утилизации ресурсов серверной фермы, снизить затраты на ее обслуживание и поддержку.

Разработанная математическая модель и метод построения сервиса для балансирования нагрузки между серверами асимметричной фермы позволяет избежать возникновения перегрузки отдельных узлов кластера компьютеров в случае нестабильного роста информационного потока. Как показывают результаты проведенных экспериментов, применение этого метода вместе с методом использования кластера компьютеров с автоматической конфигурацией и системой виртуальных сред позволяет достичь уровня утилизации ресурсов кластера в 90%.

Использование виртуальных сред вместо традиционных виртуальных машин позволяет сократить ресурсы, используемые для администрирования самой системы и перенаправить их для решения целевых задач системы по предоставлению услуг по размещению ресурсов в глобальной сети .

Кроме того, схема с распределенной файловой системой позволяет осуществлять эффективно обслуживание аппаратной части компьютеров посредством того, что любая виртуальная среда может быть перенесена с одного компьютера на другой эффективным образом, то есть с требующего планового обслуживания компьютера можно переместить все запущенные там виртуальные среды эффективным и практически незаметным для пользователя образом.

В случае же неработоспособности виртуальной среды можно создать новую виртуальную среду, в ней осуществить доступ (монтирование) файлов неработоспособной виртуальной среды и предоставить доступ пользователю для восстановления программной конфигурации системы. Это оказывается возможным потому, что подобные сбои в работе программного обеспечения не влияют на функционирование как других виртуальных сред, так и базовой операционной системы.

Виртуализация среды исполнения позволяет запускать в виртуальной среде только приложения одной определенной операционной системы. Виртуальная среда имеет свою файловую систему, а также доступ к части процессорного времени, памяти и периферийных устройств, такой как сетевая плата. Виртуальных сред на одно,м компьютере может работать несколько; они тем или иным образом распределяются по всем процессорам, памяти и дискам. Поэтому виртуальные среды, как правило, не зависят от аппаратуры и могут легко перемещаться с одного компьютера на другой. Кроме виртуальных сред есть базовая операционная система, которая объемлет все виртуальные среды. Именно она скрывает подробности аппаратуры и занимается управлением реальными ресурсами компьютера.

Эмуляторами компьютеров, как правило, не эффективно используют ресурсы сервера, поскольку значительные их часть тратится на преобразование форматов данных и переключение контекста различных операционных систем. Так виртуализация компьютера позволяет запустить на одном физическом сервере всего несколько виртуальных машин. С помощью виртуальных сред исполнения можно добиться большей эффективности и расслоить один сервер на тысячи отдельных виртуальных сред.

С использованием виртуализации упрощается перенос приложений с одного сервера другой. Этот процесс, как правило, можно выполнить безостановочно — штатной операцией перемещения виртуальной среды. В результате, появляется возможность физически передвигать приложения к месту их оптимального использования. Например, если компания имеет центры обработки данных по всему миру, то с помощью виртуализации она сможет перемещать приложения туда, где они наиболее востребованы.

Как правило, перенос сервисов включает в себя два этапа: подготовку к переносу и, собственно, перенос сервиса. Именно время выполнения второго этапа и является временем недоступности сервиса для его клиентов, поскольку на первом компьютере он уже остановлен, а на втором не может быть запущен до окончания копирования.

Таким образом, предложенная автором двухступенчатая организация процесса переноса позволяет существенно уменьшить время недоступности сервиса в том довольно частом случае, когда велик размер файлов, которые процесс или сервис не трогает непосредственно в момент работы. Сокращение времени недоступности происходит за счет времени, которое необходимо затратить на передачу данных первого этапа.

Разработанная математическая модель и метод онлайнового переноса данных с минимизацией времени недоступности сервиса существенно (более чем на 60%) повышает показатель доступности сервиса, что в современных условиях электронной экономики является одним из важнейших показателей.

Вместе с тем в ходе исследований были выявлены и некоторые недостатки. Так, например, использование виртуальных сред не позволяет пользователям применять различные операционные системы для обеспечения по размещению ресурсов в глобальной сети приложений с различными требованиями к организации ресурсов.

Однако этот недостаток не снижает ценности использования виртуальных сред, что было показано практикой внедрения системы Virtuozzo.

Вместе с тем для консолидации серверов все же целесообразно использовать оба подхода: и виртуальные среды и виртуальные машины, поскольку в некоторых случаях важна работа приложений, предназначенных для различных платформ, а в некоторых — эффективность решения.

В качестве основных направлений дальнейших исследований предлагаются:

• дальнейшее совершенствование математической модели виртуальной среды;

• отработка вопросов использования предложенного подхода к виртуализации ресурсов при создании приложений, призванных работать в распределенной вычислительной среде типа GRID.

1. Лвен О.И., Турин H.H., Коган Я.А. Оценка качества и оптимизация вычислительных систем. М.: Наука, 1982.

2. Боккер П. Передача данных (Техника связи в системах телеобработки данных); Пер. с нем. М.; Радио и связь, 1981. Т. 1,2.

3. Вейцман К. Распределенные системы мини и микро-ЭВМ; Пер. с англ. М.: Финансы и статистика, 1982.

4. Вишневский В.М. Теоретические основы проектирования компьютерных сетей. М.: Техносфера, 2003. 512 С.

5. Вишневский В.М., Савинецкий А.Б. Федотов Е.В. Метод и средства построения и реализации информационно-вычислительных сетей. // Измерения, контроль, автоматизация. Москва, 1992. - № 2.

6. Вишневский В.М., Федотов Е.В. Анализ методов маршрутизации при проектировании сетей пакетной коммутации // 3-rd I.S. «Teletraffic Theory and Computing Modeling». София, 1992.

7. Вишневский B.M., Федотов Е.В. Топологическое проектирование сетей пакетной коммутации // ИППИ РАН, Москва. 1992. - С. 93-95

8. Вычислительные сети и сетевые протоколы / Д. Дэвис, Д. Барбер, У. Прайс, С. Соломонидес: Пер. с англ. М.: Мир, 1982.

9. Гнеденко Б.В. и др. Приоритетные системы обслуживания. -М.: Изд-во МГУ, 1973.

10. Гнеденко Б.В., Коваленко И.Н. Введение в теорию массового обслуживания. М.: Наука, 1987. - 336 с.

11. Головкин Б.А. Параллельные вычислительные системы. М.Наука, 1980.

12. Джейсуол Н. Очереди с приоритетами. М.: Мир, 1973.

13. Довженок Т.С. Инвариантность стационарного распределения сетей с обходами и «отрицательными» заявками // Автоматика и телемеханика. -2002. № 9.

14. Дроздов Е.А., Комарницкий В.А., Пятибратов А.П. Электронные вычислительные машины Единой системы. — 2-е изд. М.: Машиностроение, 1981.

15. Дудин А.Н., Клименок В.И. Системы массового обслуживания с коррелированными потоками. Мн.: Изд-во Белорус, ун-та, 2000.

16. Дэвис Д., Барбер Д., Прайс У., Соломонидес С. Вычислительные сети и сетевые протоколы: Пер. с англ. М.: Мир, 1981. -563с.

17. Евдокимов В.П., Маловицкий В.И., Семинишин Ю.А. и др. Моделирование систем сбора и обработки данных М.: Наука, 1983. -128 с.182122,2324,25,2627,28