автореферат диссертации по строительству, 05.23.03, диссертация на тему:Повышение эффективности работы кондиционеров, охлаждающих оборудование в центрах обработки данных

005016206

Чернов Андрей Николаевич

на правах рукописи

ПОВЫШЕНИЕ ЭФФЕКТИВНОСТИ РАБОТЫ КОНДИЦИОНЕРОВ, ОХЛАЖДАЮЩИХ ОБОРУДОВАНИЕ В ЦЕНТРАХ ОБРАБОТКИ ДАННЫХ

Специальность: 05.23.03 «Теплоснабжение, вентиляция, кондиционирование воздуха, газоснабжение и освещение»

АВТОРЕФЕРАТ Диссертации на соискателя ученой степени кандидата технических наук

3 МАП Ш

Тюмень 2012

005016206

Работа выполнена на кафедре теплотехнических и энергетических систем Магнитогорского государственного технического университета им. Г.И. Носова

Научный руководитель:

МГТУ им. Г.И. Носова, заведующий кафедрой ТиЭС,

кандидат технических наук, профессор Агапитов Евгений Борисович Официальные оппоненты:

Защита диссертации состоится «25» мая 2012г. в 10:00 часов на заседании диссертационного совета Д212.272.01 при Тюменском государственном архитектурно-строительном университете по адресу: 625001, г. Тюмень, ул. Луначарского, 2. тел./факс (3452) 43-39-27.

С диссертацией можно ознакомиться в библиотеке Тюменского государственного архитектурно-строительного университета.

Автореферат разослан: «20» апреля 2012г.

ННГАСУ

заведующий кафедрой ОВиКВ,

доктор технических наук, профессор Бодров Валерий Иосифович

МГТУ им. Г.И. Носова, кафедра ТГСВ и ВВ,

кандидат технических наук, доцент Старкова Лариса Геннадьевна

Ведущая организация:

НПО «Надежность»

Ученый секретарь Диссертационного совета Д212.272.01 к.т.н., доцент

Пронозин Я.А.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы

На Центры обработки данных (ЦОД) предприятий обычно возлагается выполнение основных финансовых, корпоративных и управленческих функций. Промышленность имеет тенденцию к повышению требований в части скорости обработки данных, поэтому увеличение с каждым годом объемов обрабатываемой и передаваемой информации требует введения дополнительных мощностей вычислительных машин в ЦОД. Соответственно это приводит к повышению выделяемой удельной тепловой мощности ИТ-оборудования (информационного).

В ЦОД современных предприятий системы кондиционирования воздуха должны обеспечивать работу в режиме 24 часа в сутки, 7 дней в неделю на протяжении 365 дней в году.

Традиционные центры обработки данных тратят на охлаждение оборудования более 60% энергии. Затраты на электропитание и охлаждение ИТ-систем в мире в прошлом году достигли 30 млрд. долларов. В настоящее время на оплату электроэнергии уходит примерно 50% расходов на вычислительное оборудование, а в течение следующих четырех лет, согласно прогнозам, этот показатель увеличится до 70%.

К 2008 г. половина ЦОД, имеющих архитектуру охлаждения на «уровне зала» (подача охлаждающего воздуха по всему объему помещения), столкнулась с проблемой нехватки энергии и недостаточной эффективности систем охлаждения, отвечающих требованиям оборудования высокой плотности. Если в прошлом тепловая нагрузка вычислительного центра составляла 1-2 кВт/м2, то сегодня шкаф с шестью блейд-серверами выделяет 5-5,5 кВт/м2. Теплоотвод для оборудования с высокой плотностью компоновки требует новых решений в области способа охлаждения. Выделяемые тепловые потоки требуется своевременно и правильно отводить, для того чтобы обеспечить целостное охлаждение электронного оборудования и повысить энергетическую эффективность систем кондиционирования. По статистике до 60% охлаждающей мощности ЦОД теряется из-за неэффективного охлаждения оборудования. Это не только повышает расходы на электроэнергию, но и увеличивает капитальные затраты на приобретение дополнительных охлаждающих систем.

По оценкам аналитиков, в ближайшие годы будет наблюдаться перевооружение ИТ-компаний (компании специализирующиеся на информационных технологиях) на новое вычислительное оборудование с существенно возросшим удельным энергопотреблением, именно поэтому уже, сегодня 70% заказчиков считают своей главной задачей обеспечение оптимального энергопотребления и эффективного охлаждения.

Учитывая тенденции дальнейшего роста удельного энергопотребления по мере прогнозируемого совершенствования средств вычислительной техники, а также неэффективность работы систем кондиционирования, особенно при компоновке на «уровне зала», проблема организации энергоэффективного охлаждения ИТ-оборудования в отраслевых ЦОД является весьма актуальной.

Целью работы является разработка научно-обоснованных энергосберегающих технических решений и методик расчетов систем охлаждения электронного оборудования в ЦОД. Повышение эффективности использования охлаждающих модулей.

Для достижения указанной цели были поставлены следующие основные задачи:

- исследование причин неравномерности температур потоков воздуха во входных зонах шкафов с ИТ-оборудованием (далее шкафов) в зависимости от расположения охлаждающих модулей. Выявление условий, при которых аэродинамика помещения оказывает существенное влияние на энергопотребление системы кондиционирования;

- исследование влияния расположения кондиционеров на потокораспреде-ление в помещении и разработка оценочных критериев, характеризующих эффективность охлаждения;

- исследование полей скоростей и температур в активных зонах шкафов при изменении холодопроизводительности системы кондиционирования и расстояния между шкафами и блоком кондиционера;

- разработка научно-обоснованной методики построения энергоэффективной системы кондиционирования помещения ЦОД с высокими теплотехническими показателями.

Научная новизна

1. Впервые исследованы теплообменные процессы в помещении с ИТ-оборудованием при условии организации охлаждения на «уровне зала» и определена связь появления зон с заданными параметрами воздуха перед шкафами с ИТ-оборудованием с местоположением кондиционера.

2. Впервые предложен критерий, позволяющий количественно оценить загроможденность помещения ИТ-оборудованием в виде коэффициента сложности, который адаптирует стандартную методику расчета гидродинамики воздушных потоков к заданным условиям, что позволяет обеспечить эффективность охлаждения.

3. Создана экспериментальная гидродинамическая модель помещения с ИТ-оборудованием, на которой исследована связь местонахождения кондиционера с эффективностью охлаждения оборудования. Обнаружено, что существует контрольная точка, в которую нужно вводить поток холодного воздуха для обеспечения максимальной эффективности охлаждения. Предложена зависимость для нахождения координат этой точки.

4. Получена экспериментальная зависимость для определения координат установки кондиционера по контрольной точке и коэффициенту сложности размещения ИТ-оборудования, обеспечивающая наилучший охлаждающий эффект при данной мощности кондиционеров.

Практическая ценность работы заключается:

- в возможности использования полученных экспериментальных и теоретических результатов и разработанной методики проектирования расположения охлаждающих модулей для построения оптимальной архитектуры зала ЦОД;

- в разработанных технических решениях по построению энергосберегающей системы, обеспечивающей эффективное охлаждение ИТ-оборудования, которые внедрены в ЦОД ОАО «ММК» и могут быть использованы при проектировании аналогичных ЦОД на других промышленных предприятиях;

- в практическом использовании разработанной методики при выполнении студентами лабораторного практикума.

Достоверность и обоснованность

Достоверность результатов исследований обоснована применением современных контрольно-измерительных приборов. Результаты экспериментов неоднократно проверялись на повторяемость и адекватность. Адекватность численной модели подтверждена сравнением с экспериментальными исследованиями. Все полученные материалы не противоречат известным физическим закономерностям и базируются на современных фундаментальных положениях и законах.

Апробация работы

Основные результаты работы были представлены на:

• конференции молодых специалистов ОАО «ММК»-2008, г. Магнитогорск;

• «У.М.Н.И.К.-2008», проходящей в рамках 66-й научно-технической конференции МГТУ, г. Магнитогорск;

• 67-й научно-технической конференции МГТУ, г. Магнитогорск;

• конференции молодых специалистов ОАО «ММК»-2009, г. Магнитогорск;

• конференции молодых специалистов ОАО «ММК»-2010, г. Магнитогорск.

• всероссийской научно-технической конференции «Системы обеспечения тепловых режимов преобразователей энергии и системы транспортировки теплоты», г. Махачкала 2009г.

• международной научно-практической конференции «Энергосбережение в теплоэлектроэнергетике и теплоэлектротехнологиях», г. Омск, 2010г.

• международной научно-технической конференции студентов, магистров, аспирантов «Энергоэффективность и энергобезопасность производственных процессов», г. Тольятти, 2009г.

• 12-ой всероссийской научно-практической конференция студентов, аспирантов, специалистов. МГТУ, г. Магнитогорск, 2011г.

• семинаре «Микроклимат ИТ-шкафов и корпусов», Москва, 2011г.

Публикации

Основные научные положения и выводы изложены в 10 опубликованных работах, в том числе в двух изданиях рекомендованных ВАК.

Структура и объем работы

Диссертация объемом 123 страницы состоит из введения, четырех глав, заключения, списка литературы из 110 источников.

СОДЕРЖАНИЕ РАБОТЫ

Во введении отмечена актуальность работы, сформулированы цель и задачи исследования, дана общая характеристика работы.

В первой главе проведен обзор теории струйных потоков, анализ теоретических и экспериментальных работ, рассматривающих методы и способы охлаждения ИТ-оборудования в центрах обработки данных; рассмотрены тенденции развития систем кондиционирования для технологических процессов, вопросы оценки эффективности систем кондиционирования по коэффициенту полезного действия ЦОД.

Проблему эффективного охлаждения ИТ-оборудования с минимальными затратами на энергетические ресурсы в условиях архитектуры кондиционирования воздуха на «уровне зала» необходимо рассматривать с точки зрения оптимального размещения блоков систем кондиционирования, поскольку в действующих ЦОД нет возможности изменять местоположение ИТ-оборудования. Анализ литературных источников показал, что эта проблема до сих пор не получила должной научной оценки.

Разработка и совершенствование систем кондиционирования и охлаждения, обусловленная фундаментальным вкладом в теорию и практику ведущих специалистов отрасли, таких как Батурин В.В., Клячко JI.C., Карпис Е.Е., Богословский В.Н., Бахарев В.А., Эльтерман В.М., Участкин Г.В., Стефанов Е.В., Барканов Б.В., Максимов Г.А., Титов В.П., Шепелев И.А., Гримитлин М.И., и базируется, главным образом, на изучении процессов тепломассопереноса и аэродинамики струйных течений в ограниченном объеме. Развитие системного подхода в решении проблем оптимизации и эффективности теплоснабжения и кондиционирования рассмотрено в трудах Мелентьева Л.А., Рымкевич A.A., Креслинь А.Я., Богословского В.Н., Копо-нович Ю.В., Пекер Я.Д., Поз М.Я. и др. При этом - при проектировании и реконструкции таких объектов, как ЦОД - не удается пользоваться их теоретическими выкладками, что приводит на практике к температурной асимметрии по помещению.

Наиболее полно проблемы охлаждения электронного оборудования рассмотрены в работах Ловцова В.В. и Хомутецкой Ю.Н., однако и они описывают теплообмен в помещении без учета сложности расположения оборудования.

Вопросы учета характера движения воздуха при решении практических задач вентиляции и кондиционирования освещены в работах Максимова Г.А., где рассмотрены закономерности движения воздуха у вытяжных отверстий и их влияние на общую картину распределения потоков в помещении. Однако эти зависимости имеют ограниченное применение при расчете способов подачи охлаждающего воздуха в помещениях ЦОД. При решении задачи энергоэффективного кондиционирования приходится учитывать факторы, формирующие тепловой режим в помещении, такие как: стесненность, вызванная взаимодействием различных струй, наличием ограждений, архитектурой расположения оборудования; неизотермичность обстановки в помещении. В результате взаимовлияния всех перечисленных факторов в помещении возникает циркуляция воздуха, включающая струйную область и область обратных потоков.

Для поддержания требуемого температурного режима в ЦОД при недостаточном холодообеспечении вводятся в эксплуатацию дополнительные кондиционеры и затрачивается дополнительная электроэнергия. Проблема организации сбалансированного размещения систем кондиционирования с определенной холодопроиз-водительностью имеет место, поскольку в небольших и средних ЦОД промышленных предприятий шкафы с ИТ-оборудованием располагают без какого-либо плана и учета средств управления циркуляцией воздуха.

Во второй главе приведены аналитические исследования традиционных методик оценки источников тепловыделений ЦОД, анализ неравномерности распределения охлаждающих потоков в объеме помещения, исследована связь параметров охлажденного воздуха в помещении с холодопроизводительностью системы кондиционирования. Приводятся описание теплообменных процессов в помещение ЦОД, результаты исследования действующего (базового) ЦОД ОАО «Магнитогорский металлургический комбинат» и численное моделирование его теплового режима при кондиционировании на «уровне зала».

Архитектура охлаждения на «уровне зала» является наиболее простым способом охлаждения с точки зрения конструктивных особенностей инфраструктуры, и в то же время наиболее проблемной с точки зрения тепломассопереноса. Этот подход предполагает наличие одной или нескольких параллельно работающих систем кондиционирования воздуха, которые не только обеспечивают охлаждение оборудования, но и выступают в качестве большого смесителя, который перемешивает воздух в зале, чтобы придать ему единую среднюю температуру и не допустить возникновения локальных зон перегрева. В таких условиях струи в основном истекают из плоских и прямоугольных отверстий.

Для плоских струй Шепелев А.И. предлагает определить параметры воздушного потока в любой точки струи по следующим зависимостям.

- скорость движения воздуха в любой точке плоской струи:

чения воздуха, определяемая как частное от деления секундного объема истекающего воздуха ¿в на площадь приточного отверстия 10 - средняя избыточная температура воздуха в начале истечения, = Т„ - Т,\ 2В- ширина отверстия, м; х- расстояние от начала истечения до произвольного поперечного сечения струи, м; у -расстояние от произвольной точки пространства до плоскости симметрии струи, м; г - расстояние от произвольной точки пространства до плоскости симметрии струи по оси г, м; с - экспериментальная постоянная, вероятное значение которой равно 0,082; а - экспериментальная постоянная, вероятное значение которого равно 0,8; <р -коэффициент, учитывающий неравномерность распределения скорости движения воздуха по площади отверстия, в случае равномерного скорости истечения по пло-

- избыточная температура воздуха в произвольной точке плоской струи:

1 = Ш0Ф(2)

где п

щади отверстия, равно 1; в - поправочный множитель, учитывающий различие в плотности или температуры истекающего и окружающего воздуха, в = ч(Т.,/Т()); Т, - температура воздуха вне струи; Т0 - средняя абсолютная температура воздуха в начале истечения; erf - эрфункция.

Фактическая температура воздуха в произвольной точке плоской струи определяется:

(ф=* + Тх. (3)

Избыточная температура воздуха в произвольной точке прямоугольной

струи:

0,25 uj0 t =-

у-А

л1 2 сх J\ 2 сх )_(4)

и

Приведенные зависимости имеют ограниченное применение для решения задач обеспечения температурного режима в активных зонах, так как каждое помещение ЦОД отличается своими габаритами, предельным насыщением автоматизированной коммутационной аппаратурой, серверами, расположенными в вертикальных шкафах, при произвольном распределении мощности теплоисточников и их многорядно-секционной компоновке.

Для расчета стесненных струй авторы Пеклов A.A. и Степанова Т.А. предлагают для определения экстремальных скоростей и избыточных температур следующие зависимости:

на основном участке всех видов струй:

vx=v0kcJk~-, (5) Atx =M<:jkcrfi~,\ (6)

на основном участке компактных, веерных струй:

Vx=Ü^KkckBkH, (7) (8)

х hp кц

и в частности на основном участке плоских струй:

-¡гаЬл*.:« дm

л/х V х кск

с"-н

где т, п - коэффициенты затухания скорости и избыточной температуры; Ь0, Р0 -расчетные площади, м2, и размер, м, воздухораспределителей; у„ - скорость воздуха в выпускном отверстии воздухораспределителя, м/с; М„ - разность между температурой воздуха при выходе из воздухораспределителя и температурой в обслуживаемой зоне, град; х - полная длина струи, м; кс - коэффициент стеснения струи; кв -коэффициент взаимодействия струи с плоскостью; кн - коэффициент неизотермич-ности струи; кжс - коэффициент живого сечения воздухораспределителя.

По предложенным методикам произведен расчет избыточной и фактической температуры воздуха в различных точках помещения ЦОД ОАО «ММК». По зависимости (4), (3) рассчитана фактическая температура в трех точках по длине струи воздуха прецизионного кондиционера ЫеЬеП Нитке холодопроизводительно-

стью 23 кВт: xl=l,6, х2=1, хЗ=0,5, у=0,2, z=0,l; размеры приточного отверстия: А=0,3м, В=0,3м.

По методике Пеклова A.A. (8) рассчитана избыточная и фактическая температура на основном участке струи в тех же точках. Определена температура по результатам реальных замеров и численного моделирования.

На рисунке 1 представлены результаты расчетов определения температуры воздуха в точках струи по различным методикам, численного моделирования и реальных замеров.

20 . . 19

И I

- Результаты замеров и численного моделирования

- Расчет по зависимости (4)

- Расчет по зависимости (8)

О 0.2 0.4 Ofi 0.8 1 1.2 1.4 1.6 1.8

Расстояние отнэчала истечения до произвольного поперечного сечения струи,м

Рисунок 1. Результаты расчетов определения температуры воздуха в точках плоскости поперечного сечения струи по различным методикам, реальных замеров и численного моделирования гидродинамики.

Анализ рисунка 1 показывает, что существует расхождение в расчетах определения температуры воздуха в точках струи по различным методикам и численного моделирования.

По предложенным классическим методикам, возможно производить расчет параметров воздуха только на начальном и основном участках струи. В современных условиях архитектур расположения ИТ-оборудования и систем кондиционирования в помещениях ЦОД скорости движения воздушного потока очень малы и находятся за пределами точности приборов. Параметры воздушного потока, проходящего вдоль шкафов с ИТ-оборудованием, определить по стандартным методикам не представляется возможным.

Поэтому, исследование эффективности работы системы кондиционирования действующего ЦОД ОАО «ММК» было выполнено с помощью численного моделирования (рисунок 2). Для этого были рассмотрены теплообменные процессы в помещениях ЦОД.

На тепловую обстановку в помещении ЦОД влияет ряд факторов: температура, подвижность воздуха, наличие струйных течений, различные параметры воздуха в плане и по высоте помещения, теплопередача, а также лучистые потоки тепла, зависящие от температуры, размеров, расположения и радиационных свойств поверхностей, обращенных в помещении.

Мощность, рассеиваемая элементами ИТ-оборудования:

е = (11)

где Q - рассеиваемая элементом электрическая мощность, Вт; а - коэффициент теплоотдачи, Вт/м2-К; 5 - площадь поверхности элемента, м2; ?эл - температура элемента °С; /с - температура окружающей среды °С.

Локальное значение коэффициента конвективного теплообмена по направлению движения струи описываться по критериальному уравнению:

0 8 „л ЫиЛ

Ыих = 0,104 (а/х)0А\ (12) ак =-(13)

л:

где Иих, Яех - соответствующие критерии, определенные для характерного размера х; Я - коэффициент теплопроводности; а - ширина приточного отверстия.

Обтекание поверхностей воздухом в помещение ЦОД сопровождается конвективным теплообменном, выражающимся законом Ньютона:

0 = аР{1„- О; (14) (15)

где /„ - температура поверхности; Г - площадь поверхности.

В помещениях ЦОД тепловыми источниками служат нагретые вертикальные поверхности шкафов с ИТ-оборудованием. Температура воздуха внутри шкафа с ИТ-оборудованием достигает +50 °С. Тепловой поток от воздуха к стенке шкафа определяется уравнением:

= Об)

где /1ср - температура воздуха внутри шкафа; - температура внутренней поверхности шкафа; (2 - тепловой поток; а/ - коэффициент теплоотдачи на внутренней поверхности шкафа.

Затем от стенки к менее нагретой среде:

= 2^2 )> (17)

где ?2ср - температура воздуха снаружи шкафа; Ь - температура наружной поверхности шкафа; а2 - коэффициент теплоотдачи на наружной поверхности шкафа;

Уравнение теплового потока проходящего через плоскую стенку шкафа имеет вид:

2 = (18) К^О/^+Я/Л + иа,)-1, (19)

где К - коэффициент теплопередачи; 5- толщина стенки шкафа.

Конвективная теплопроизводительность источника описывается выражением:

а = (2яс2)/(1 +о)сРртсог12г\ (20)

где с, о - экспериментальные постоянные (с = 0,082, а = 0,8); р,, - плотность воздуха вне струи, кг/м3; со, - скорость нагретого воздуха на оси конвективного потока, м/с;

- абсолютная температура на оси конвективного потока, °С; 1 - высота конвективного потока, м.

В общем обмене тепла в помещении ЦОД наряду с конвекцией существенную роль играет излучение. В процессе работы ИТ-оборудования в помещение выбрасывается нагретый воздух, в результате чего происходит теплообмен излучением между газом (воздухом) и окружающими его стенками. Плотность потока результирующего излучения описывается зависимостью:

Q = -

С0

*Al00j l.iooj _

(21)

где С0 - коэффициент излучения а.ч.т.; е - степень черноты; Т, - температура газа; Тс-температура стенки; /<"с - площадь поверхности стенки.

Баланс лучистого теплообмена Л„ произвольной поверхности в помещение ЦОД со всеми поверхностями выражается равенством:

Л« ~ Епогл - (Еэф Епад)Fn,

(22)

где Епогл - поглощенное излучение поверхностью; Еэф - общий поток лучистого тепла, покидающий поверхность (эффективное излучение); Епа() - лучистый поток, приходящий на поверхность; F„ - площадь поверхности.

Уравнение теплового баланса воздуха в помещение ЦОД имеет вид:

-fe)F(±eB=0, (23)

где ак - коэффициент конвективного теплообмена; г - температура поверхности; tB -температура окружающего воздуха; F - площадь поверхности; Qfi - количество конвективного тепла, которое непосредственно передается воздуху помещения или забирается из него.

Параметры и характеристики исследуемого объекта:

- архитектура охлаждения на «уровне зала».

- электрическая мощность ИТ-оборудования: 25 кВА, тепловыделение 20 кВт.

ИТ-оборудование, размещенное в данном ЦОД отвечает за работу электронной почты предприятия, обеспечивает доступ в корпоративную информационную систему ОАО «ММК», ведет учет отгрузки готовой продукции.

Система охлаждения состоит из следующих кондиционеров: системы кондиционирования типа Split (настенного варианта) Daikin холодопроизводительно-стью 5 кВт; системы кондиционирования напольного типа General холодопроизво-дительностью 12 кВт; система прецизионного кондиционирования Liebert Hiross холодопроизводительностью 23 кВт.

шкафы с ИТ-оборудованием

кондиционеры

N, = 2 кВА N2 = 3 кВА N, = 5,5 кВА N4 = 5 кВА N5 = 4,5 кВА Nfi = 5 кВА

Рисунок 2. Помещение действующего ЦОД ОАО «ММК» с установленным ИТ-оборудованием и системами кондиционирования.

В условиях установившегося температурного режима производились замеры скорости и температуры воздуха на выходе из систем кондиционирования и ИТ-оборудования. Скорость воздуха измерялась с помощью термоанемометра А11-1816. Температура воздуха измерялась термопарой ТХА-11-31 (ТУ 4211-530-1711316898) с помощью термоэлектрического преобразователя ТПР-2085 (класс точности по ГОСТ 6616-94 - 2). Термоанемометр АЯ-1816 был проверен с погрешностью ±(0,01+5%) м/с при температуре воздуха от 15 до 60 °С.

Эффективность охлаждения воздуха помещения оценивалась при помощи трехмерного моделирования движения воздушных потоков с использованием программного комплекса Р1о\уУ1зюп, позволяющего выполнять численное моделирование стационарных и нестационарных течений жидкости и газа.

Введенная в Р1о\у\^зюп трехмерная модель воздушного потока в помещении обрабатывалась с учетом граничных условий, и на выходе программы формировалось поле изотерм и поле скоростей воздуха.

Математическая модель движения жидкости рассматривалась в приближении несжимаемой жидкости, включающей закон сохранения массы, уравнение На-вье-Стокса, к-е-модель турбулентности (рисунок 3).

Уравнение для массовой плотности турбулентной энергии к имеет вид:

^1 + у{рУк)=У

(г

8*1

Ук

+ р,С-ре'

(24)

уравнение для скорости диссипации турбулентной энергии е:

Уе

„2

М,=С„р£, (26)

Е

где р- плотность, кг/м3; к - турбулентная энергия, м2/с2; V - скорость, м/с; ¡л, - турбулентная динамическая вязкость, кг/мс; - молекулярная динамическая вязкость, кг/мс; е - скорость диссипации турбулентной энергии, м2/с3; С - объемный расход, м3/с; С/, С2, ёп З/с, С,, - постоянные коэффициенты.

Тепловые условия — граничные условия третьего рода:

дп

а.

где

8п

X " с>

— градиент температуры у поверхности и по нормали к ней;

/„ - температура поверхности; /с - температура окружающей среды.

В условии (27) заданы коэффициент теплоотдачи а = 14,8 Вт/м2К (расчет по формуле (13)) и температура окружающей тело среды /с.

Математическая модель движения кондиционируемого воздуха рассматривалась как динамика вход-кондиционер-выхода и вход-ИТ оборудование-выход с определенными параметрами на каждом этапе.

Кондиционер выход: Т= 15 °С, V = 3,5 м/с (данные замеров). ИТ-оборудование выход: Г= 36 °С, V = 0,5 м/с.

При построении расчетной модели на границах расчетной области уу были использованы следующие граничные условия:

значение на стенке (температура) «кондиционер-выход» задано фиксированное значение 7„:

7|„,=7„,; (28) на границе области задана нормальная компонента вектора скорости УП№:

VI (29)

если у > 0, то граничное условие трактуется как «вход»; если V < 0, то граничное условие трактуется как «выход».

Рассматривались зоны с высоким энергетическим потенциалом в области воздухозаборников электронного оборудования. Для этого было введено понятие «активная зона», под которым понималась плоскость на расстоянии 100 мм от лицевой стороны шкафа, имеющая размеры: Ь,ь.^И[|1кафа, Ьа/3=Ьшкафа, где - высота активной зоны; Ьшкафа - высота шкафа; Ь^ - ширина активной зоны; Ьшкафа - ширина шкафа.

Количественная оценка неравномерности распределения температуры воздуха в активных зонах проводилась с помощью коэффициента неравномерности -К„, который определялся по значениям температуры в центрах и узлах расчетной сетки в активных зонах.

Коэффициент неравномерности имел вид:

Кн = Ы/п, (30)

Результаты численного моделирования движения воздушных потоков в помещении ЦОД. уровень 0,5 метра; уровень 1,5 метра.

Рисунок 3. а -6-

где N - общее количество температурных точек в активных зонах; п - количество точек, значение которых входит в температурный диапазон, указанный в технических требованиях для ЦОД (20±2 °С).

Температурная неравномерность активных зон в графическом виде представлена на рисунке 4. Значения температуры фиксировались в узлах расчетной сетки активных зон. В расчетной модели была принята 651 точка.

Рисунок 4.Температурная неравномерность в активной зоне.

В рассматриваемом случае коэффициент неравномерности равен: Кн = N/n = 652/369 = 1,76 •

Таким образом, существующая система кондиционирования воздуха обеспечивает требуемый температурный режим в активной зоне лишь на 56%.

Ассиметричное и несбалансированное расположение блоков систем кондиционирования влияет на вероятность образования активных зон с проектным температурным градиентом. Исследования изменения температуры воздуха в активных зонах на трех объектах ОАО «ММК», имеющих системы кондиционирования различной мощности - от 6 до 18 кВт и расположенные на различном расстоянии до активной зоны подтвердили влияние местоположения кондиционеров на эффективность охлаждения. Температурные датчики располагались в пяти активных зонах (зонах воздухозабора). Замеры температуры в активных зонах ЦОД осуществлялись каждые 5 минут в течение 24 часов.

По полученным данным была определена вероятность появления проектной температуры (Т = от 18 до 22 °С) в активных зонах в зависимости от мощности системы кондиционирования и расстояния от точки замера до выхода охлаждающего [ потока из кондиционера (рисунок 5).

зоне от мощности систем кондиционирования и расстояния до выхода охлаждающего потока.

Вероятность наличия «проектной» температуры в активной зоне определялась по зависимости: Ра/3 = т/п, (31)

где т - число благоприятствующих событий; п - число всех возможных исходов испытания, равное 289.

По результатам исследования были построены зависимости изменения плотности вероятности Р в характерных точках активных зон (рисунок 6).

Рай

Ашпп(1, li-.fi!) 0.2 4ктп(|,щаЗ) 0,

/ / / 1 Ч \ \

/ 1 V

- <>-18 Квт

----- 0=10 КВт

--0=6 кВт

Рисунок 6. График плотности вероятности появления проектных значений температуры в активных зонах. I - температура (значение случайной величины);

ц - математическое ожидание (среднее значение температуры), равное 21; <5 - среднеквадратическое отклонение, равное 6|=1,84, 62=1,71, 53=1,9.

Вероятность того, что в любой момент времени температура воздуха в активных зонах при существующей компоновке оборудования будет равна 21 С, составляет от 0,2 до 0,23.

Влияние расстояния от блока подачи охлаждающего воздуха до шкафа на температурный режим в активной зоне подтверждается тепловизионным анализом, рисунок 7.

о

а " /х Г\ - А

1 " -1=2,8 м

5 --1_=4,1 м

Г'

X К 17 -

15 12 20 28 36 44 52 60 68 76 84 92 100 Температурные точки по высоте активной зоны

Рисунок 7. Влияние расстояния от блока подачи охлаждающего воздуха до шкафов с ИТ-оборудованием на температурный режим. а - расстояние Ь=2,8 м; б - расстояние Ь=4,1 м; в - изменение температуры воздуха по высоте активной зоны.

Для исследования асимметрии температур потоков воздуха в помещении и закономерностей связи размещения кондиционеров с температурной неравномерно-

стью в активных зонах было предложено воспользоваться методом физического моделирования.

В третьей главе приводится описание экспериментальной установки по изучению влияния месторасположения кондиционера на температурные неравномерности в активных зонах, методики проведения эксперимента и полученных результатов.

Для проведения исследований была создана экспериментальная установка, моделирующая процесс охлаждения ИТ-оборудования в центрах обработки данных. В состав установки входили блоки, моделирующие шкафы с ИТ-оборудованием, блок подачи охлаждающего воздуха с возможностью изменения местоположения, аппаратура для измерения и регистрации температуры воздуха. На рисунке 8 представлена схема экспериментальной установки. Установка была создана на основе классической теории моделирования. Соблюдались геометрическое и гидродинамическое подобие. Были определены основные пять критериев подобия: число Рейнольдса (Яе=50000); число Прандтля (Рг=0,703); число Архимеда (Аг=0,14); геометрические критерии подобия (кс=0,03 - коэффициент стеснения струи, Ку=0,007 - коэффициент отношения объема шкафа с ИТ-оборудованием к объему помещения).

В измерительную базу установки входили: система измерения координат подвижных блоков, анемометр ЛК-1816, термометры сопротивления класса точности 0,5.

Рисунок 8. Схема и пространственная компоновка оборудования в экспериментальной установке.

В качестве устройства подачи охлаждающего воздуха использовался моноблочный кондиционер оконного типа. В качестве модельных шкафов с ИТ-оборудованием использовались блоки с перфорированной стенкой и встроенными компьютерными вентиляторами. Источники тепловыделения моделировались лампами накаливания, мощностью 21 Вт. Общие технические характеристики установки: электрическая мощность активного оборудования - 225,6 ВА, тепловыделение -200 Вт, холодопроизводительность — 220-180 Вт.

Измерения температуры воздушного потока в активных зонах проводились после изменения координат расположения блока подачи охлаждающего воздуха при заданном расположении шкафов (активных зон) (рисунок 9). Площадь пола модельного помещения ЦОД была разделена на условные единицы. Одна условная единица была равна 1 дм. В таблице 1 приведены изменяемые координаты ввода охлаж-

Направление 1ро<озденив воздушного

дающего потока. За координаты активных зон шкафов принимались координаты проекции центров активных зон на плоскость пола.

Таблица 1 - Изменяемые координаты точек ввода охлаждающего потока.

Зона подачи охлаждающего поп

Координаты по Координаты по

№ оси X оси V

1 0 2

2 0 4

3 2 6

4 4 6

5 6 6

6 8 4

7 8 2

8 6 0

9 4 0

10 2 0

□ □

□ □О

п

□

Рисунок 9. Варианты расположения зон подачи охлаждающего потока.

Каждому шкафу была присвоен порядковый номер от 1 до 10. Для обобщения результатов была оценена связь факторов и откликов эксперимента. Факторы эксперимента:

- координаты расположения блока кондиционера, (х;у)',

- координаты активных зон (расположение шкафа с ИТ-оборудованием) (х;у).

Отклики эксперимента:

- температура в активных зонах (в центральной точке);

- температура в контрольной точке центральной области помещения.

Температура в активных зонах и центре помещения фиксировалась одиннадцатью цифровыми термометрами, десять из которых были подсоединены к шкафам.

Поскольку рассматривался процесс охлаждения на «уровне зала», то контролировался температурный режим в контрольной точке центральной области помещения ЦОД. Для этого было предложено определить координаты контрольной точки по значениям координат активных зон шкафов с ИТ-оборудованием:

СКП.=(Х;Г), (32)

где X = /„- сРеДнее значение координат центров активных зон по оси х;

у _ у1 у11>г ' сРеДнее значение координат центров активных зон по оси у.

При заданном расположении шкафов рассматривались десять вариантов расположения блока подачи воздуха (рисунок 9). Для поиска зависимости, между координатами блока подачи охлаждающего потока и температурой в центрах активных зонах определяли величину:

(33)

^ = л](х2-х1)2 +(у2-у,)2 ,

где х,, у! - координаты положения контрольной точки; х2, у? - координаты расположения блока подачи охлаждающего воздуха.

Нестандартное и ассиметричное размещение шкафов с ИТ-оборудованием и блока подачи воздуха приводит к неравномерности температуры воздуха в активных зонах. Для оценки неравномерности было предложено определять значения среднеквадратического отклонения температуры по активным зонам при заданном расположении блока:

3 = Щ(Т,~Тср)21п, (34)

где Т, - температура воздуха в активной зоне ¡-го шкафа, °С; Тср - среднее значение температуры, °С; п - объем выборки.

Таблица 2 - Результаты обработки данных по влиянию координат блока подачи охлаждающего воздуха на температурную асимметрию в активных зонах.

№ Фактор Отклик Результаты обработки данных

Расположение блока кондиционера (х у) Координаты активных зон (х.у) Температура в активных зонах, "С Температура в центре помещения, "С Среднеквадратн-ческое отклонение, 6 Расстояние, А

X У

1 0,4 6.5 4.4 18.1 188 1.25

6.5 1.2 19.4

5.3 4.4 18.6

2.8 4.4 19.1

1.2 4.9 20.6 3.7

12 3.9 21.7

1.2 2.9 204

1.2 1 21.9

3.2 14 20.2

6.5 22 19.5

2 2;б 5.8 4.4 20.7 17.4 1.44

6.5 Е 17.8 3.2

4.8 4.4 19.9

3.8 4 4 16.6

2.8 4.4 16.9

1.3 4.з 19.2

1.3 3.3 20.2

1.6 I4 18.5

3.3 1.4 18.4

6.5 & 20.2

Анализ полученных результатов показал, что при каждой конфигурации расположения шкафов с ИТ-оборудованием существует положение блока подачи охлаждающего воздуха, обеспечивающее минимальный разброс значений температуры воздуха в активных зонах от проектных.

В четвертой главе приведено описание разработанной методики размещения охлаждающих модулей в центрах обработки данных для энергоэффективного обеспечения заданных температурных параметров воздуха в активных зонах, созданной на основе результатов физического моделирования; результаты проверки на адекватность разработанной методики в промышленных условиях.

Компоновка шкафов в помещении оценивалась с помощью коэффициента сложности, за который принималось значение корня квадратного из суммы квадратов средних квадратических отклонений величин координат центров активных зон X, У (одна из характеристик рассеивания):

Kc=yfc

(35)

где ^ _ )2/и " среднеквадратическое отклонение величин координат

центров активных зон по оси X; - - Ур)2 /п ~ среднеквадратическое

от-

клонение величин координат центров активных зон по оси У; Л^ - координата активной зоны по осих ¡'-го шкафа; К, - координата активной зоны по оси у /-го шкафа; п - количество активных зон. Тогда

Кс=\

—-+ -Ы-

(36)

По результатам эксперимента были отобраны случаи расположения шкафов и блока подачи охлаждающего воздуха, при которых значение среднеквадратиче-ского отклонения температуры по активным зонам было минимальным. Расстояние между контрольной точкой центральной области Ск/Т и точкой подачи воздуха для выбранных архитектур рассчитывалось по формуле (33).

По рассчитанным данным была построена зависимость (рисунок 10) связи расстояния между контрольной точкой и рекомендуемой точкой подачи воздуха от коэффициента сложности распределения шкафов с ИТ-оборудованием (значения координат переведены с учетом масштаба моделирования в единицы измерения -метры).

Алгоритм методики размещения блока (блоков) подачи воздуха на заданном объекте имеющего архитектуру охлаждения на уровне зала состоит из следующих этапов:

1. Координирование пола помещения, на котором размещены шкафы с ИТ-оборудованием по осям X, У (в метрах).

2. Расчет коэффициента сложности размещения шкафов с ИТ-оборудованием по формуле (36).

3. Расчет координат контрольной точки центральной области помещения по формуле (32).

4. Определение положения блока подачи охлаждающего воздуха по графику зависимости (рисунок 10) по рассчитанному коэффициенту Кг.

У -

Коэффициент сложности, Кс

Рисунок 10. Зависимость расстояния между контрольной точкой среднего значения координат и точкой подачи воздуха от степени сложности распределения шкафов с ИТ-оборудованием.

Проверка на адекватность разработанной методики была выполнена для серверного помещения (рисунок 11) центрального комплекса ОАО «ММК». Мощность электронного оборудования составляла 17,8 кВт. В помещении было расположено шесть шкафов с ИТ-оборудованием. Центры активных зон имели следующие координаты (таблица 3):

Таблица 3 - Координаты активных зон серверного помещения ОАО «ММК».

Шкафы

с ИТ-оборудованием ' /Г?

№ активной Координаты по Координаты по

зоны оси X (м) ОСИ \ (М)

1 3 9 1.7

2 3.7 2.3

3 3.7 3.0

4 3.7 3.7

5 1.9 2.3

6 1.9 2.9

Блоки кощиционвров

Рисунок 11. Схема расположения шкафов с ИТ-оборудованием и блоков кондиционеров в серверном помещении ОАО «ММК».

Системы кондиционирования имели общую холодопроизводительность 27 кВт. Блоки систем кондиционирования первоначально располагались без учета архитектуры расположения ИТ-оборудования и характера циркуляции воздушных потоков.

Первоначальные значения температур воздуха в центрах активных зон представлены в таблице 4.

Коэффициент полезного действия серверного помещения был равен:

Таблица 4 — Значения темпера-

№ активной зоны Температура, "С

1 24.1

2 24 3

3 24.5

4 24.5

5 25.8

6 25.5

Кцод ~ N ит ! ^ цод'

(37)

где - мощность, потребляемая ИТ-

оборудованием, кВт; Мцоц ' общая мощность ЦОД, кВт; Кцод - коэффициент полезного действия ЦОД или серверного помещения; Кцод = (17,8 /26,8) х 100 = 66% .

Для определения энергоэффективного размещения блока систем кондиционирования по разработанной методике использовался предложенный алгоритм. Координаты контрольной точки центральной области помещения:

СК1Т=(Х;¥), Скп = (3.2;2.6)■ Коэффициент сложности распределения шкафов с ИТ-оборудованием определялся по формуле (36):

Кс = 0,7.

Холодопроизводительность системы кондиционирования рассчитывалась по стандартной методике:

= Щ, (38)

где Ып - полезная выходная мощность ИТ-оборудования, Вт;

<2ит= 17,8 кВт.

Был выбран кондиционер УеЬег! Нкозв НРМ 820 холодопроизводительно-стью 19 кВт. По графику (рисунок 10) было определено положение блока подачи охлаждающего воздуха. Расстояние от контрольной точки до блока подачи охлаждающего воздуха составило 2 м. Значения температуры воздуха в активных зонах при новом расположении блока кондиционера представлены в таблице 5.

В результате построения новой архитектуры охлаждения мощность системы кондиционирования удалось уменьшить на 8 кВт (27-19).

Коэффициент полезного действия серверного помещения составил:

Кцод = (17,8/24,1)х 100 = 74%.

Таким образом, практическое применение разработанной методики доказало, что данная инженерная методика расчета энергоэффективной технологии охлаждения позволяет максимально использовать энергетический потенциал систем кондиционирования и обеспечить требуемый температурный режим для ИТ-оборудования.

ВЫВОДЫ

1. Проведенные исследования в промышленных условиях ЦОД, позволили определить факторы, влияющие на температурную асимметрию по залу. Обнаружено, что расположение блоков подачи охлаждающего воздуха относительно шкафов с ИТ-оборудованием является более значимым фактором для температурной асимметрии, чем их холодопроизводительность. Выявлено, что при неравномерном и несбалансированном расположение блоков систем кондиционирования в помещениях ЦОД имеющих архитектуру охлаждения на «уровне зала» вероятность того, что в любой момент времени температура воздуха в активных зонах будет равна проектному значению (20±2 °С), составляет около 0,2.

2. Разработаны численные модели исследования гидродинамики ЦОД, позволяющие оценивать эффективность охлаждения ИТ-оборудования при его размещении в произвольной конфигурации.

3. Создана экспериментальная физическая модель для изучения гидродинамики ЦОД и на основе её исследования разработаны критерии оценки эффективности охлаждения ИТ-оборудования при различном местоположении выхода охлаждающего потока воздуха. Разработанные критерии позволяют оценивать эффективность охлаждения ИТ-оборудования в действующих ЦОД имеющих архитектуру охлаждения на «уровне зала».

4. Разработана инженерная методика расчета энергоэффективной технологии охлаждения оборудования, позволяющая максимально использовать энергетический потенциал систем кондиционирования и обеспечить требуемый температурный режим для ИТ-оборудования, при использовании понятия «контрольной точки». Загроможденность помещения ЦОД ИТ-оборудованием предложено оценивать коэффициентом сложности, численного значения от 0,7 до 4,5.

5. Адекватность предложенной методики подтверждена успешным внедрением в промышленных условиях в одном из серверных помещениях ОАО «ММК». Применение методики позволило уменьшить мощность системы кондиционирования 30%.

Таблица 5 - Значения температуры воздуха в активных зонах.

№ астнвной зоны Температура, "С

1 19 6

2 18.8

3 18.6

4 19 5

5 19.4

6 19 3

6. С учетом планов реконструкции в ближайшие 2-3 года нескольких сотен

ЦОД в России, разработанная методика позволит по предварительным оценкам значительно снизить энергетические затраты на их эксплуатацию, что согласовывается

с программой энергосбережения до 2020 года.

ОСНОВНЫЕ ПУБЛИКАЦИИ

1. Чернов А.Н. Охлаждение масштабируемого ЦОД. Журнал Технологии и средства связи// №2 2010 г. С.22-26 (издание перечня ВАК).

2. Чернов А.Н., Агапитов Е.Б. Методика размещения кондиционеров в центрах обработки данных для обеспечения эффективного охлаждения ИТ-оборудования. Журнал Естественные и технические науки. Строительство и архитектура// №6 2011 г. - С.611-613 (издание перечня ВАК).

3. Чернов А.Н. Разработка энергоэффективной системы обеспечения заданного температурного режима в серверном помещении с помощью охлаждающих моделей// Сборник докладов 66-й научно-технической конференции МГТУ, г. Магнитогорск, 2008 г. - С.124-128.

4. Чернов А.Н. Совершенствование системы управления кондиционирования воздуха в машинных залах на примере главного вычислительного центра ОАО «ММК»// Тезисы докладов международной научно-технической конференции молодых специалистов, г. Магнитогорск, 2008 г. - С. 141-142.

5. Чернов А.Н., Агапитов Е.Б. Оценка эффективности тепломассообмена при кондиционировании воздуха в помещениях центров обработки данных// Труды всероссийской научно-технической конференции, г. Махачкала, 2009 г. - С.66-68.

6. Чернов А.Н., Агапитов Е.Б. Разработка энергоэффективной системы обеспечения заданного температурного режима в серверном помещении с помощью охлаждающих моделей// Материалы 67-й научно-технической конференции МГТУ, г. Магнитогорск, 2009 г. - С.80-81.

7. Чернов А.Н. Разработка энергоэффективной системы обеспечения заданного температурного режима в центрах обработки данных// Материалы Международной научно-практической конференции, г. Омск, 2010 г. -С.146-147.

8. Чернов А.Н. Проблема поддержания температурного режима в центрах обработки данных при расширении состава оборудования// Международная научно-техническая конференция студентов, магистров, аспирантов «Энергоэффективность и энергобезопасность производственных процессов», г. Тольятти, 2009 г. - С.90-91.

9. Чернов А.Н. Проблема эффективности охлаждения ИТ-оборудования в центрах обработки данных. Журнал Энерго-В1оск// №1 (01)-2010.

10. Чернов А.Н., Павлов Г.А. Моделирование температурного режима центра обработки данных// Материалы 12-й Всероссийской научно-практической конференции студентов, аспирантов и специалистов, г. Магнитогорск, 2011 г. - С. 120121.

Подписано в печать 16.04.2012 г. Формат 62 х 92 '/, Печать цифровая. Гарнитура Times New Roman. Бумага ColoiCopy, пл. 90 г. Заказ № 1778. Тираж 100.

IS МАГНИТОГОРСКИЙ ДОМ ПЕЧАТИ

455023, Челябинская обл., г. Магнитогорск, пр-т Карла Маркса, 69. Тел. 8 (3519) 26-14-95. Факс 8 (3519) 26-15-01. E-mail: po@mdp.mgn.ru • www.print.mgn.ru

61 12-5/3875

МАГНИТОГОРСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИСТЕТ ИМ. Г.И. НОСОВА

на правах рукописи

Чернов Андрей Николаевич

ПОВЫШЕНИЕ ЭФФЕКТИВНОСТИ РАБОТЫ КОНДИЦИОНЕРОВ, ОХЛАЖДАЮЩИХ ОБОРУДОВАНИЕ В ЦЕНТРАХ ОБРАБОТКИ ДАННЫХ

Специальность: 05.23.03 «Теплоснабжение, вентиляция, кондиционирование

воздуха, газоснабжение и освещение»

Диссертации на соискателя ученой степени кандидата технических наук

Научный руководитель: кандидат технических наук, профессор

Агапитов Е.Б.

Тюмень 2012

СОДЕРЖАНИЕ

ВВЕДЕНИЕ..................................................................................................................4

ГЛАВА 1. АНАЛИТИЧЕСКОЕ ИССЛЕДОВАНИЕ МЕТОДОВ КОНДИЦИОНИРОВАНИЯ ВОЗДУХА В ТЕХНОЛОГИЧЕСКИХ ПОМЕЩЕНИЯХ........................................................................................................10

1.1. Проблема кондиционирования воздуха в технологических помещениях ДО

1.2. Применение теории струйных потоков для задач гидродинамики охлаждаемого помещения.....................................................................................11

1.3. Тенденции развития систем кондиционирования для технологических процессов. Охлаждение электронного оборудования........................................19

1.4. Обеспечение температурного режима для электронного оборудования ..24

1.5. Анализ эффективности применения различных способов охлаждения и

типов кондиционеров воздуха для ИТ-оборудования.......................................30

1.5.1. Влияние типа системы охлаждения на её эффективность..................32

1.6. Эффективность использования высокоточных систем кондиционирования воздуха.................................................................................35

1.7. Оценка эффективности систем кондиционирования по коэффициенту полезного действия ЦОД......................................................................................40

1.8. Вывод...............................................................................................................44

ГЛАВА 2. ИССЛЕДОВАНИЕ ПРОЦЕССОВ ТЕПЛОМАССООБМЕНА ПРИ КОНДИЦИОНИРОВАНИИ ВОЗДУХА В ПОМЕЩЕНИИЯХ ЦОД..................45

2.1. Оценка мощности источников тепловыделений ЦОД................................49

2.1.1. Оценка корректности расчета параметров кондиционируемого воздуха ЦОД по различным методикам.........................................................50

2.2. Исследование и моделирование теплового режима действующего (базового) ЦОД ОАО «ММК» при кондиционировании на «уровне зала».....57

2.3. Исследование связи параметров воздуха в «активной зоне» с

холодопроизводительностью системы кондиционирования............................78

2

2.4. Вывод.................................................................................................................

ГЛАВА 3. ИССЛЕДОВАНИЕ ТЕПЛОВОГО РЕЖИМА В ПОМЕЩЕНИИ ЦОД НА ФИЗИЧЕСКОЙ МОДЕЛИ...................................................................................

3.1. Исследование теплового режима помещения на экспериментальной модели ЦОД..............................................................................................................

3.1.1. Описание экспериментальной установки.....................................84

3.1.2. Описание методики проведение эксперимента по исследованию связи расположения охлаждающего блока системы кондиционирования с температурным режимом в активных зонах.....................................................97

3.2. Вывод....................................................................................

ГЛАВА 4. РАЗРАБОТКА МЕТОДИКИ ПРОЕКТИРОВАНИЯ СИСТЕМЫ КОНДИЦИОНИРОВАНИЯ В УСЛОВИЯХ РАЗМЕЩЕНИЯ ОБОРУДОВАНИЯ НА «УРОВНЕ ЗАЛА».............................................................................................. 05

4.1. Описание зависимостей по результатам эксперимента............................105

4.2. Описание методики размещения охлаждающих модулей в центрах обработки данных для энергоэффективного обеспечения заданных температурных параметров воздуха..................................................................107

4.3. Проверка на адекватность разработанной методики в промышленных условиях...................................................................................................... 108

ВЫВОДЫ..................................................................................................................

ПРИЛОЖЕНИЯ..............................................................................из

СПИСОК ЛИТЕРАТУРЫ..........................................................................................

ВВЕДЕНИЕ

На сегодняшний день рост вычислительной мощности приводит к росту энергопотребления и, соответственно, к образованию дополнительного тепла, которое требуется своевременно и правильно отводить во избежание выхода из строя перегревшегося ИТ-оборудования. Новые ЦОД в настоящее время изначально строятся с учетом проблемы аэродинамики помещения и подвода охлаждающего воздуха к ИТ-оборудованию. Значительно сложнее решать эти задачи в существующих ЦОД, где в последнее время стала актуальной не только проблема совершенствования систем охлаждения, но и снижения энергозатрат на эти системы в связи ростом цен на энергоносители.

Действующие ЦОД, построенные на заре компьютеризации страны, имеют архитектуру охлаждения по принципу большого смесителя воздушных потоков, когда блоки систем кондиционирования располагаются по периметру помещения (архитектура охлаждения на «уровне зала»). Около 50% всей потребляемой электроэнергии на таких объектах тратится на электропитание систем кондиционирования, и при этом требуемый температурный режим в большинстве случаях не обеспечивается. Статистика показывает, что 60% охлаждающей мощности типовых ЦОД теряется из-за того, что потоки воздуха проходят мимо оборудования. Это не только повышает расходы электроэнергии, но и увеличивает капитальные затраты на приобретение дополнительного охлаждающего оборудования.

Ведущие производители систем кондиционирования для ЦОД не предлагают технических решений для охлаждения оборудования на «уровне зала» в условиях нестандартного размещения. Поэтому при многообразии систем охлаждения и вариантов расположения оборудования в ЦОД относительно друг друга нет закономерностей и методик расчета расположения блоков охлаждающих систем, позволяющих дать четкие рекомендации для конкретных условий. Управление неравномерностью охлаждения полностью зависит от интуиции инженеров и менеджеров ЦОД. Проблема осложняется тем, что в дейст-

вующих ЦОД практически нет возможностей изменять место положения ИТ-оборудования, в противном случае будет нарушаться бизнес-процесс.

Таким образом, проблема эффективного охлаждения ИТ-оборудования в условиях архитектуры кондиционирования воздуха на «уровне зала» является весьма значимой.

Актуальность работы

На Центры обработки данных (ЦОД) предприятий обычно возлагается выполнение основных финансовых, корпоративных и управленческих функций. Промышленность имеет тенденцию к повышению требований в части скорости обработки данных, поэтому увеличение с каждым годом объемов обрабатываемой и передаваемой информации требует введения дополнительных мощностей вычислительных машин в ЦОД. Соответственно это приводит к повышению выделяемой удельной тепловой мощности ИТ-оборудования.

В ЦОД современных предприятий системы кондиционирования воздуха должны обеспечивать работу в режиме 24 часа в сутки, 7 дней в неделю на протяжении 365 дней в году.

Традиционные центры обработки данных тратят более 60% энергии только на охлаждение оборудования. Затраты на электропитание и охлаждение ИТ-систем в мире в прошлом году достигли 30 млрд. долларов. В настоящее время на оплату электроэнергии уходит примерно 50% каждого доллара расходов на вычислительное оборудование, а в течение следующих четырех лет, согласно прогнозам, этот показатель увеличится до 70%.

К 2008 г. половина ЦОД, имеющих архитектуру охлаждения на «уровне зала», столкнулась с проблемой нехватки энергии и недостаточной эффективности систем охлаждения, отвечающих требованиям оборудования высокой плотности. Если в прошлом тепловая нагрузка вычислительного центра составляла 1-2 кВт/м2, то сегодня стойка с шестью блейд-серверами выделяет 5-5,5 кВт/м . Теплоотвод для оборудования с высокой плотностью компоновки требует новых решений в области способа охлаждения. Выделяемые тепловые по-

токи требуется своевременно и правильно отводить с целью целостного охлаждения электронного оборудования и повышения энергетической эффективности систем кондиционирования. По статистике, до 60% охлаждающей мощности ЦОД теряется из-за неэффективного охлаждения оборудования. Это не только повышает расходы на электроэнергию, но и увеличивает капитальные затраты на приобретение дополнительных охлаждающих систем.

По оценкам аналитиков, в ближайшие годы будет наблюдаться перевооружение ИТ-компаний на новое вычислительное оборудование с существенно возросшим удельным энергопотреблением, именно поэтому уже сегодня 70% заказчиков считают своей главной задачей обеспечение оптимального энергопотребления и эффективного охлаждения.

Учитывая тенденции дальнейшего роста удельного энергопотребления по мере прогнозируемого совершенствования средств вычислительной техники, а также неэффективность работы систем кондиционирования, особенно при компоновке на «уровне зала», проблема организации энергоэффективного охлаждения ИТ-оборудования в отраслевых ЦОД является весьма актуальной.

Целью работы является разработка научно-обоснованных энергосберегающих технических решений и методик расчетов систем охлаждения электронного оборудования в ЦОД. Повышение эффективности использования охлаждающих модулей.

Для достижения указанной цели были поставлены следующие основные задачи:

- исследование причин неравномерности температур потоков воздуха во входных зонах шкафов с ИТ-оборудованием (далее шкафов) в зависимости от расположения охлаждающих модулей. Выявление условий, при которых аэродинамика помещения оказывает существенное влияние на энергопотребление системы кондиционирования;

- исследование влияния расположения кондиционеров на потокораспре-деление в помещении и разработка оценочных критериев, характеризующих эффективность охлаждения;

- исследование полей скоростей и температур в активных зонах шкафов при изменении холодопроизводительности системы кондиционирования и расстояния между шкафами и блоком кондиционера;

- разработка научно-обоснованной методики построения энергоэффективной системы кондиционирования помещения ЦОД с высокими теплотехническими показателями.

Научная новизна

1. Впервые исследованы теплообменные процессы в помещении с ИТ-оборудованием при условии организации охлаждения на «уровне зала» и определена связь появления зон с заданными параметрами воздуха перед шкафами с ИТ-оборудованием с местоположением кондиционера.

2. Впервые предложен критерий, позволяющий количественно оценить загроможденность помещения ИТ-оборудованием в виде коэффициента сложности, который адаптирует стандартную методику расчета гидродинамики воздушных потоков к заданным условиям, что позволяет обеспечить эффективность охлаждения.

3. Создана экспериментальная гидродинамическая модель помещения с ИТ-оборудованием, на которой исследована связь местонахождения кондиционера с эффективностью охлаждения оборудования. Обнаружено, что существует контрольная точка, в которую нужно вводить поток холодного воздуха для обеспечения максимальной эффективности охлаждения. Предложена зависимость для нахождения координат этой точки.

4. Получена экспериментальная зависимость для определения координат установки кондиционера по контрольной точке и коэффициенту сложности размещения ИТ-оборудования, обеспечивающая наилучший охлаждающий эффект при данной мощности кондиционеров.

Практическая ценность работы заключается:

- в возможности использования полученных экспериментальных и теоретических результатов и разработанной методики проектирования расположения охлаждающих модулей для построения оптимальной архитектуры зала ЦОД;

- в разработанных технических решениях по построению энергосберегающей системы, обеспечивающей эффективное охлаждение ИТ-оборудования, которые внедрены в ЦОД ОАО «ММК» и могут быть использованы при проектировании аналогичных ЦОД на других промышленных предприятиях;

- в практическом использовании разработанной методики при выполнении студентами лабораторного практикума.

Достоверность и обоснованность

Достоверность результатов исследований обоснована применением современных контрольно-измерительных приборов. Результаты экспериментов неоднократно проверялись на повторяемость и адекватность. Адекватность численной модели подтверждена сравнением с экспериментальными исследованиями. Все полученные материалы не противоречат известным физическим закономерностям и базируются на современных фундаментальных положениях и законах.

Апробация работы

Основные результаты работы были доложены на конференциях:

- конференции молодых специалистов ОАО «ММК»-2008, г. Магнитогорск;

- «У.М.Н.И.К.-2008», проходящей в рамках 66-й научно-технической конференции МГТУ, г. Магнитогорск;

- 67-й научно-технической конференции МГТУ, г. Магнитогорск;

- конференции молодых специалистов ОАО «ММК»-2009, г. Магнитогорск;

- конференции молодых специалистов ОАО «ММК»-2010, г. Магнитогорск.

- всероссийская научно-техническая конференция «Системы обеспечения тепловых режимов преобразователей энергии и системы транспортировки теплоты», г. Махачкала, 2009г.

- международная научно-практическая конференция «Энергосбережение в теплоэлектроэнергетике и теплоэлектротехнологиях», г. Омск, 2010г.

- международная научно-техническая конференция студентов, магистров, аспирантов «Энергоэффективность и энергобезопасность производственных процессов», г. Тольятти, 2009г.

- 12 -я Всероссийская научно-практическая конференция студентов, аспирантов, специалистов. МГТУ, г. Магнитогорск, 2011г.

- Семинар «Микроклимат ИТ-шкафов и корпусов», г. Москва, 2011г.

ГЛАВА 1. АНАЛИТИЧЕСКОЕ ИССЛЕДОВАНИЕ МЕТОДОВ КОНДИЦИОНИРОВАНИЯ ВОЗДУХА В ТЕХНОЛОГИЧЕСКИХ ПОМЕЩЕНИЯХ

1.1. Проблема кондиционирования воздуха в технологических помещениях

Производства многих отраслей промышленности: электронной, приборостроительной, химической, текстильной, радиотехнической, оптической, пищевой, машиностроительной и других - предъявляют определенные требования к состоянию воздушной среды в помещениях для ведения технологических процессов.

Основными нормируемыми параметрами в помещениях являются: температура, относительная влажность и скорость движения воздуха. Для обеспечения указанных требований предназначены системы кондиционирования воздуха, задачами которых в технологических помещениях являются создание и автоматическое поддержание заданных параметров воздушной среды при изменяющихся метеорологических условиях и различных тепло- и влагопоступле-ниях. Выбор оборудования для технологического кондиционирования помещений имеет особенности. При расчете требуемой холодопроизводительности учитываются тепловыделения не только от работающего персонала, но и тепловыделения от технологического оборудования. Существует несколько специальных методик вычисления теплоты, выделяемой каждым видом технологического оборудования. Часто теплопритоки от оборудования составляют 70-90 % от общего значения.

Системы кондиционирования в помещениях в зависимости от их назначения должны обеспечивать нормальное функционирование техники, оборудования и систем, длительное хранение материалов, качественное осуществление технологических процессов. Жесткие требования предъявляются условиям хранения различной техники, особенно такой чувствительной к температурно-влажностным условиям, как радиоэлектронная аппаратура: от температуры за-

висит скорость старения материалов, применяемых для ее изготовления. Низкая относительная влажность воздуха может вызвать потерю связанной влаги из молекул многих синтетических материалов, что нарушает их физико-химические свойства. Высокая относительная влажность воздуха способствует атмосферной коррозии, ухудшает электроизоляционные свойства изоляционных материалов. Поэтому оптимальными условиями хранения такой аппаратуры являются температура 20-25 °С и относительная влажность 60-80 %. Высокие требования предъявляются к температурно-влажностным параметрам воздуха в помещениях вычислительных центров, серверных, узлов связи и т.д.

Нормативные значения технологических требований к микроклимату производственных помещений, обеспечиваемого системами кондиционирования, приводятся в ведомственных нормативных документах [77].

1.2. Применение теории струйных потоков для задач гидродинамики охлаждаемого помещения

Движение жидкости, если его рассматривать как движение системы неограниченного множества материальных частиц, представляет собой чрезвычайно сложный процесс: частицы жидкости движутся различно, каждая по своей траектории, с различными скоростями и ускорениями. Изучение этого процесса связано с большими трудностями.

Теоретически это движение описывается методами Лагранжа Эйлера [64].

В методе Лагранжа положение индивидуальной частицы жидкости описывается за