Развитие Директивы ASHRAE о микроклимате ЦОД

За последнее десятилетие крупные ЦОД (центры обработки данных) стали крупными потребителями электроэнергии. Производители ИТ-оборудования продолжают увеличивать вычислительную мощность, в то же время повышая и эффективность. С другой стороны, различные компании, включая производителей ИТ-оборудования и физической инфраструктуры, проектировщиков и операторов ЦОД сфокусированы на снижении энергопотребления «невычислительной» части суммарного энергопотребления, т.е. на снижении энергоёмкости инженерных систем – энергоснабжения и систем охлаждения.

Технический комитет (Technical Committee 9.9, TC 9.9) ASHRAE (American Society of Heating,  Refrigerating and Air-Conditioning Engineers, Aмериканское общество инженеров по отоплению, охлаждению и кондиционированию воздуха), Mission Critical Facilities, Technology Spaces and Electronic Equipment собрали воедино ранее разрозненные мнения в области технологий охлаждения дата-цетнров. Директива о микроклимате вычислительных центров помогла заложить платформу, позволяющую специалистам общаться на одном языке и лучше понимать значения требований ИТ-оборудования (ИТО) по температуре. С тех пор как ASHRAE издала первую подобную Директиву в 2004 году и обновила её в 2008 году, более высокий приоритет получил тренд повышения эффективности работы ЦОД.

Первоначальная Директива была написана представителями производителей ИТО, которые понимали критические условия функционирования компонентов ИТО. На тот момент целью было задать общие уставки параметров микроклимата, которые обеспечат достаточную надежность и производительность оборудования при разумных затратах.

Рост внимания к энергоэффективности всего оборудования в целом и систем охлаждения в частности заставляет развивать положения Директивы в направлении расширения диапазонов температуры и влажности в ЦОД.

Опыт последних лет показал, что использование экономайзеров в ЦОД при увеличенном диапазоне параметров микроклимата в машинном зале позволяет существенно сократить энергоёмкость системы охлаждения. Директива 2011 года разрешает перенести эту практику из разряда второстепенных в разряд основных.

Энергоэффективность инженерной инфраструктуры определяется коэффициентом использования энергии PUE (Power Usage Effectiveness), который вычисляется следующим образом:

PUE=Общее энергопотребление ЦОД / Энергопотребление ИТ-оборудования

Строгость параметров микроклимата для ИТО увеличивает энергопотребление ЦОД. Для достижения лучших значений PUEи общей эксплуатационной эффективности ASHRAETC 9.9 добавило 2 новых класса ИТО, которые лучше подходят для систем бесчиллерного охлаждения ЦОД, а также разработала детальное руководство о том, как определить оптимальный диапазон параметров микроклимата для данного ЦОД. Также впервые TC 9.9 разработал классификацию жидкостного охлаждения для дата-центров высокой плотности.

Директива о воздушном охлаждении

Классы оборудования и соответствующие им лимиты температуры и влажности определяют границы, для которых разработано данное ИТО. Первая Директива была создана для четкого определения диапазона параметров микроклимата и введения общности среди производителей ИТО, а также задать единые метрики для ЦОД, чтобы климатическое оборудование обеспечивало ИТО достаточным объёмом охлажденного воздуха. Как результат, появилась уверенность, что система охлаждения ЦОД справится с тепловыделением ИТО.

Исходная версия Директивы от 2004 года определяла допустимые и рекомендуемые диапазоны температур. Соответствующее ИТО разрабатывалось с условием функционирования в допустимом диапазоне, и в ЦОД должны были поддерживаться именно эти параметры. Эксплуатация ИТО вне указанного диапазона могла привести к нештатной работе ИТО, появлению ошибок в его работе, снижению производительности, отключению и необратимым поломкам.

Рекомендуемый диапазон определял границы, в которых ИТО характеризуется наивысшей надежностью. Выходы за рекомендуемый диапазон допускались, в результате чего появилась информация, на основе которой можно было оптимизировать снижение надежности с одной стороны и повышение энергоэффективности с другой. Так, в 2008 году рекомендуемый диапазон температуры и влажности был расширен, позволяя снизить длительность работы холодильного цикла (т.н. механического охлаждения) и увеличить длительность работы экономайзеров.

С 2008 года новаторы в области инфраструктуры ЦОД создали множество новых технологий охлаждения, конкурирующих с традиционными. В настоящее время исследуется возможность использования в экономайзерах наружного воздуха с целью значительного сокращения времени работы механического охлаждения и выделения площади для применения экономайзеров. Однако имеются и противники использования наружного воздуха для охлаждения ИТО.

Для оглашения этих мыслей TC 9.9 разработал «Директиву по микроклимату для ЦОД 2011 – расширенная классификация ЦОД и руководство по её использованию». Данный документ два новых класса и предлагает руководство для операторов ЦОД о выходе нормальных эксплуатационных параметров микроклимата за границы рекомендуемых и их приближении к границе допустимых значений.

Классы оборудования в зависимости от параметров микроклимата

В таблице 1 представлены определения классов согласно Директиве 2011 года, а также классификацию 2008 года. Названия классов были изменены с целью более простого определения их принадлежности дата-центрам (дата-центрам соответствует только класс «А»). Соответствие какому-либо классу требует полной работоспособности оборудования во всём указанном диапазоне параметров микроклимата.

Таблица 1. Применение ASHRAE классов параметров микроклимата в ЦОД от 2008 и 2011 гг.

2008г

2011г

Сфера

ИТ-оборудование

Контроль параметров микроклимата

1

А1

ЦОД

Серверы масштаба крупного предприятия, системы хранения данных

Точный контроль

2

А2

Сервера, системы хранения данных, персональные компьютеры, рабочие станции

Средний контроль

 

А3

Средний контроль, по возможности использование фрикулинга

А4

Средний контроль, практически постоянное использование фрикулинга

3

В

Офисные, жилые помещения, транспорт

Персональные компьютеры, рабочие станции, портативные компьютеры, принтеры

Минимальный контроль

4

С

Точки продаж, промышленность, заводы

Оборудование точек продаж, усилители, компьютеры

Без контроля

 

Рисунок 1 иллюстрирует ранее существовавшую классификацию, соответствующую нынешним классам А1 и А2, а также вновь введенные классы А3 и А4. В таблице 2 собраны соответстсующие пределы параметров микроклимата.

Рисунок 1. Границы классов параметров микроклимата, введенных ASHRAE в 2011 году для ЦОД. Зонирование дано по температуре входящего в ИТ-оборудование воздуха.

Таблица 2. Определение ASHRAE классов параметров микроклимата в ЦОД от 2011 г. Данные указаны для входящего в ИТ-оборудование воздуха.

Диапазон

Класс

Температура по сухому термометру, °С

Диапазон влажности, %

Диапазон точки росы, °С

Максимальная точка росы, °С

Рекомендуемый

Все классы

18-27

Не выше 60

5.5-15

15

Допустимый

А1

15-32

20-80

-

17

А2

10-35

20-80

-

21

А3

5-40

8-85

Не ниже -12

24

А4

5-45

8-90

Не ниже -12

24

В

5-35

8-80

-

28

С

5-40

8-80

-

28

 

Большинство потенциальных мест размещения ЦОД в мире соответствуют классам А3 и А4, что предполагает практически круглогодичное использование фрикулинга, Новые дата-центры могут работать без чиллеров, что влечет снижение капитальных затрат, в то время как другие ЦОД могут снабжаться чиллерами для обеспечения круглогодичной доступности ИТ-сервисов. Дополнительно введённые классы предоставляют различные варианты использования и приоритеты при эксплуатации ИТО. Каждый ЦОД должен быть оптимизирован  под задачи его собственника или оператора. И, несмотря на множество потенциальных преимуществ от использования классов А3 и А4, необходимо взвесить все «за» и «против», учитывая возможный ущерб.

Эксплуатационные ограничения

Рекомендуемый диапазон параметров микроклимата определяет границы, в которых, согласно данным производителей ИТО, достигается наивысшая надежность и энергоэффективность этого оборудования. Рекомендуемый диапазон не должен пониматься в качестве жёстких лимитов, установленных для температуры и влажности входящего в ИТ-стойки воздуха. Данный диапазон служит отправной точкой в процессе эксплуатации, когда у обслуживающего персонала ещё недостаточно опыта для понимания оптимальных параметров микроклимата, которые следует поддерживать в ЦОД. Предстоящая третья редакция Директивы станет руководством по их определению для всех типов ЦОД: существующих, модернизируемых или вновь возводимых.

Эксплуатация вне рекомендуемого диапазона требует поиска баланса между энергосбережением системы охлаждения и различными негативными эффектами (см. рис. 2).

Рисунок 2. Параметры, влияющие на определение классов.

 

При выборе класса конкретного дата-центра необходимо учитывать следующий ряд факторов.

Надежность. Высокая надежность ИТО несовместима с высокими температурами его эксплуатации. Однако использование экономайзеров не обязательно вызовет снижение надежности. В Директиве приводится расчет надежности ИТО в зависимости от температуры эксплуатации и длительности её превышения.

Энергопотребление ИТО. Основная цель расширения допустимых границ параметров микроклимата – это снижение общего энергопотребления ЦОД. При повышении температуры в ЦОД увеличивается и скорость вращения вентиляторов ИТ-оборудования. И чем ближе температура микросхем к предельной температуре эксплуатации, тем выше скорость вращения вентиляторов. Кроме того, их скорость зависит от загрузки серверов: она мала при низкой загрузке и становится выше по мере загрузки ИТО. Потребляемая вентиляторов мощность растет непропорционально его скорости.

При этом производители ИТО могут избежать роста скорости вращения вентиляторов при росте входящей температуры путём увеличения типоразмеров ИТО, однако это приведет к увеличению их изначальной стоимости и габаритов. Также, при росте температуры некоторые кремниевые изделия потребляют больше энергии из-за токов утечки. Директива ASHRAE оговаривает потенциальные изменения энергопотребления дата-центра при увеличении температуры на входе в ИТ-стойки.

Производительность и доступность. Многие производители ИТО оснащают свои устройства модулем управления потребляемой энергией в зависимости от температуры устройства. Также, в зависимости от заложенных изготовителем температурных параметров, некоторые системы могут лучше других в данных конкретных условиях. Системы, позволяющие управлять своей потенциальной загрузкой в сравнении с аналогичными устройствами, настроенными на определенную рабочую нагрузку, демонстрируют лучшую производительность в более широком диапазоне условий эксплуатации.

Коррозия. Увеличенный верхний предел допустимой влажности для ИТО грозит проблемами коррозии. Ещё более острой эта проблема станет в ЦОД, где присутствуют коррозионные газы. Потенциальная коррозионная активность среды зависит от места размещения ЦОД, и проектировщики ЦОД должны иметь эти данные для выбранной местности. Но даже если известно, что коррозионная активность среды низка, кратковременные переходные процессы остаются под угрозой.

Шум и воздушный поток. Как было сказано выше, увеличение температуры в ЦОД ведет к разгону встроенных в ИТО вентиляторов. Одновременно происходит и увеличение уровня шума. Соответственно, на объекте должны быть приняты меры по снижению шума до нормативных значений.

Стоимость. Для поддержания повышенной температуры в ЦОД требуется более дорогое оборудование: высокотемпературные теплоотводчики и ИТО.

Электростатические разряды. Понижение нижнего предела допустимой влажности в классах А3 и А4 увеличивает риск электростатических разрядов. Однако производители ИТО закладывают в свои устройства соответствующую защиту согласно международным стандартам. Также, хорошо продуманная защита от электростатики в ЦОД способна предотвратить большинство проблем, вызванных электростатическими разрядами.

Руководство по жидкостному охлаждению

Выпущенное в 2006 году руководство по жидкостному охлаждению в ЦОД в основном было сфокусировано на его проектных возможностях и не определяло возможные диапазоны температур охлаждающей ИТО жидкости. В 2011 году TC 9.9 обновил своё руководство по жидкостному охлаждению в ЦОД, где разработал классификацию температурных диапазонов. Также новый документ закрепляет некоторые требования по взаиморасположению ИТО и соответствующих ему жидкостных охладителей.

Фокусируясь на производительности, энегоэффективности и использовании бросовой энергии, несколько диапазонов температур были подстроены под технические и бизнес требования операторов ЦОД. С тех пор классы покрыли широкий диапазон температур подаваемой к ИТО воды, что делает возможным внедрение различных схем жидкостного охлаждения.

Благодаря введению разработанных классов, причем без строго указания, какого именно класса следует придерживаться, производители ИТО могут разрабатывать свои продукты в зависимости от нужд и пожеланий заказчика.

Жидкостное охлаждение ИТО

Увеличение тепловой плотности современной электроники увеличивает величину нагрева воздуха при охлаждении электронных компонентов серверного оборудования. Для решения этой проблемы внедряется прямое жидкостное или фреоновое охлаждение ИТО. Способность воды или хладагента отводить большее количество тепла с единицы объёма или массы дает значительные преимущества. А из-за рабочих температур, связанных с жидкостным охлаждением, в ЦОД отлично вписываются водяные экономайзеры.

В прошлом высокопроизводительные ЭВМ часто охлаждались водой, проходящей по каналами, предусмотренным производителями ИТО. Такие компоненты доступны и имеют подобные фабричные и проверенные на герметичность каналы, предназначенные для подачи воды от системы охлаждения здания с возможностью внедрения водяных экономайзеров. Ужесточенная стандартизация вариантов соединения каналов в ИТО с внешней системой охлаждения также способствует более широкому применению жидкостного охлаждения.

Сегодня могут быть внедрены несколько решений с жидкостным охлаждением, например, теплообменники, устанавливаемые в заднюю дверь ИТ-стойки, над ней или на боковой стороне. Другое решение представляет собой полностью закрытую стойку, использующую воздух в качестве рабочего вещества и водо-воздушный теплообменник для отведения тепла наружу стойки. Иное решение – использование холодных пластин внутри стойки, по которым проходит охладитель. Модуль распределения охладителя может быть как внешним относительно стойки (рис. 3а), так и располагаться внутри неё (рис. 3б).

Рисунок 3. Комбинация стоек воздушного и водяного охлаждения с модулями распределения охладителя (МРО). А – внешний МРО, Б – внутренний МРО.

На рисунках 3а и 3б представлена взаимосвязь ИТ-стойки с жидкостным охлаждением и удалённым теплоотводчиков. Интерфейс расположен на границе системы охлаждения здания и не оказывает воздействия на систему охлаждения оборудования ЦОД, управляемой и контролируемой производителями ИТО. Однако наличие интерфейса затрагивает как производителей ИТО, так и владельца здания. Как вариант, рисунок 3а может быть расширен до появления блока распределения охладителя на уровне здания, тем самым, исключая модульные блоки.

Характеристики подаваемой для ИТО жидкости

Жидкость, подаваемая к ИТО, представляет собой подготовленную воду, водный раствор, хладагент или диэлектрик. Соответствие с классом жидкостного охлаждения означает полную функциональность оборудования при работе с жидкостью с характеристиками данного класса. Тем не менее, у различных производителей ИТО какого-либо класса могут быть разные охлаждаемые точки (холодные пластины, материалы, расходы жидкости, размеры каналов и т.д.). Разработчикам ИТО, работающим с более высокими подаваемыми температурами, как указано в таблице 3, потребуется поддерживать температуру охлаждаемых жидкостью компонентов внутри заданного диапазона. В целом, чем выше температура подаваемой охлаждающей жидкости, тем выше и стоимость системы жидкостного охлаждения.

Классы W1/W2. Обычно дата-центры этих двух классов охлаждаются с помощью чиллеров и градирен, а, в зависимости от своего расположения, оснащаются опциональным водяным экономайзером (функцией фрикулинга для чиллеров – прим.переводчика) для повышения энергоэффективности (рисунок 4а).

Класс W3. В большинстве мест размещения ЦОД этого класса чиллерная система охлаждения может не использоваться. Но в некоторых регионах использование чиллеров по-прежнему необходимо..

Класс W4. ЦОДы класса W4 работают без чиллерного охлаждения, что обеспечивает преимущества по энергосбережению и снижению капитальных затрат.

Класс W5. ЦОДы класса W5 работают не только без чиллерного охлаждения, что обеспечивает преимущества по энергосбережению и снижению капитальных затрат, но и с использованием бросовой энергии: нагретая ИТ-оборудованием вода направляется на отопление офисных площадей вычислительного комплекса в зимнее время и для их кондиционирования посредством абсорбционных холодильных машин в летнее время.

Таблица 3. Классы жидкостного охлаждения ASHRAE

Класс

Концепция охлаждения

Температура подаваемой воды от системы охлаждения здания, °С

Основное оборудование для теплоотвода

Вспомогательное оборудование для теплоотвода

W1

Чиллер/градирня

Водяной экономайзер (с драйкулером или градирней)

2-17

W2

2-27

W3

Градирня

Чиллер

2-32

W4

Водяной экономайзер (с драйкулером или градирней)

-

2-45

W5

Система отопления здания

градирня

Более 45

 

Классы W1-W3 были разработаны ASHRAE совместно с Рабочей Группой по Энергоэффективности Высокопроизводительных Вычислительных Систем (Energy Efficient High Performance Computing Working Group), являющейся частью Национальной лаборатории им. Лоуренса в Беркли (штат Калифорния, США).

Рисунок 4. Схемы жидкостного охлаждения.

На данный момент ИТО класса W3-W5 не существует. Появление данных продуктов в перспективе будет продиктовано требованиями рынка. Ожидается, что производители ИТО в будущем найдут компромисс между стоимостью оборудования и его производительностью. В то же время эти классы позволят снизить стоимость инфраструктуры ЦОД при их размещении в определенных регионах. Выбор класса жидкостного охлаждения в ЦОД должен учитывать совокупную стоимость владения: как капитальные затраты, так и эксплуатационные.

Добавим, что ИТО на рисунках 4а и 4б должно включать блоки распределения охладителя, если температура получаемой от здания воды ниже точки росы.

Эксплуатационные характеристики

Для классов W1 и W2 температура охлаждаемой воды должна быть выбрана исходя из эксплуатационных требований. Желательно стремиться к оптимальным значениям между высокими температурами холодоносителя, для которых характерна высокая энергоэффективность, и низкими температурами, что снижает капитальные затраты.

Для классов W3, W4 и W5 температура охлаждаемой воды зависит от климатической зоны, в которой расположен ЦОД. При этом дата-центр может работать без чиллеров, поэтому чрезвычайно важно понять границы охлаждающей воды и вопросы интеграции системы жидкостного охлаждения с ИТО для обеспечения бесперебойной работы ЦОДа и охлаждаемого ИТО.

Согласно требованиям класса W5 инфраструктура должна позволять отводить тепло ЦОД к ближайшим зданиям. Температура отводимой воды (верхняя граница – 113F или 45C) может зависеть от многих параметров, таких как климатическая зона, требования системы отопления здания, расстояние до него, наличие зданий по соседству и т.д. При этом, безусловно, именно здание должно подстраиваться под параметры воды из ЦОДа, а не наоборот.

Выводы

Тепловое проектирование ИТО подразумевает тонкое балансирование между производительностью, надежностью, стоимостью и энергопотреблением ИТО. Кроме того, проект ЦОД должен оптимизировать энергопотребление ИТО и системы охлаждения ЦОД. Понимание этого компромисса чрезвычайно важно для получения действительно энергосберегающих решений.

На усиление акцента на оптимизацию энергопотребления ЦОД TC 9.9 ответил созданием расширенным набором классов воздухоохлаждаемого ИТО и определением классов ИТО жидкостного охлаждения. Их появления достаточно для успешного поиска компромисса между производительностью ИТО, его надежностью, стоимостью и энергопотреблением, а также энергопотреблением системы охлаждения. Оба руководства содержат информацию, которая позволит большему числу операторов ЦОД достигнуть существенного энергосбережения системы охлаждения и снижения PUE.

Теги:
#Монтаж

Оставить комментарий

Ваше имя:
E-mail:
(Не обязательно)
Текст комментария:
Введите код с картинки:  

Дополнительные материалы

ПРОФЕССИОНАЛЬНОЕ обучение проектированию систем вентиляции и кондиционирования

Можно ли зимой включать кондиционер на обогрев

Вытяжка в стену: как подобрать и правильно сделать своими руками

3 способа сделать увлажнитель воздуха для квартиры и дома своими руками

Всё самое важное про турбодефлекторы: что такое, принцип работы, внешний вид, как подобрать

Вентиляция в квартире: самое полное руководство простым языком

Встраиваемая вытяжка на кухне: важные нюансы по устройству и подключению

Вытяжка в дачном туалете: как сделать правильно своими руками