Тенденция к энергосбережению и стремление к упрощению инженерных систем при сохранении их надёжности подтолкнуло специалистов подойти к решению проблемы охлаждения центров обработки данных (ЦОД) сразу с двух сторон: использованию наружного воздуха и выработке жаростойкого серверного оборудования. В рамках данной статьи мы поговорим о первой из них, о фрикулинге – технологии свободного охлаждения.

История вопроса

Если бы 15-20 лет назад кто-либо сказал о том, чтобы охлаждать центры обработки данных без кондиционеров просто продувая через сервера наружный воздух, этого человека вряд ли восприняли серьёзно. Однако уже 10 лет назад свободно охлаждаемые дата-центры стали появляться не только на бумаге, но и в рамках конкретных воплощаемых в жизнь пилотных проектов. Сегодня фрикулинг – это реальность, которую трудно не признать.

На момент зарождения технологии активно обсуждалась перспектива её применения в России благодаря относительно холодному климату. Однако, как водится, дальше перспективы долгое время дело не двигалось, и первые ЦОДы на фрикулинге появились в Исландии, Финляндии, США. Сегодня же ни один крупный ЦОД даже в России не обходится без анализа возможности применения технологий свободного охлаждения. Более того, при выборе места строительства крупного дата-центра помимо критерия доступности каналов связи на первое место постепенно выходит критерий климатических условий региона строительства.

Наконец, футуристы настоящего времени нисколько не сомневаются в том, что в будущем дата-центры полностью откажутся от фреонового кондиционирования и перейдут на фрикулинг. Их руками всё чаще рисуются картинки, когда серверные стойки просто стоят на улице без крыши и уж конечно без кондиционеров.

Суть и разновидности технологии фрикулинга

Суть технологии фрикулинга (англ. freecooling – свободное охлаждение) заключается в использовании наружного воздуха для охлаждения внутреннего воздуха ЦОД напрямую. В зависимости от того, как именно используется наружный воздух, выделяют несколько разновидностей фрикулинга (см. рисунок 1).

Рисунок 1. Схемы различных видов фрикулинга

Прямой фрикулинг предполагает подачу наружного воздуха непосредственно внутрь машинного зала ЦОД. Естественно, воздух при этом проходит через систему фильтрации, а в зимнее время предварительно смешивается с внутренним воздухом для формирования итогового потока воздуха с оптимальной температурой.

Непрямой (косвенный) фрикулинг подразумевает охлаждение внутреннего воздуха ЦОД наружным в воздухо-воздушных теплообменниках. Ещё одна разновидность косвенного фрикулинга – охлаждение наружным воздухом потока воды, который в свою очередь охлаждает внутренний воздух ЦОД (фактически, это система свободного охлаждения на базе драйкулеров).

Очевидно, что непрямой фрикулинг менее эффективен, чем прямой. Для увеличения эффективности косвенного фрикулинга применяется метод адиабатного охлаждения наружного потока воздуха: в поток наружного воздух распыляется вода, испаряя которую он охлаждается, тем самым более эффективно охлаждая внутренний воздух ЦОД.

Сравнение указанных технологий фрикулинга по основным критериям приведено в таблице 1. Как было сказано выше, прямой фрикулинг эффективнее косвенного. При этом косвенный фрикулинг имеет два или более контура воздуха или воды, следовательно, система получается более сложной и громоздкой. С другой стороны, прямой фрикулинг предъявляет более жёсткие требования к очистке больших потоков воздуха, а, значит, потребует постоянного контроля за фильтрами и их сравнительно частую замену.

Чуть сложнее обстоит дело с оценкой надёжности того или иного вида технологии свободного охлаждения. Наличие специального внутреннего подготовленного воздушного контура повышает надёжность системы охлаждения. Но если сама система охлаждения даст сбой, замкнутый контур быстро нагреется и прекратит выполнять функцию охлаждения, а прямой фрикулинг как прогонял наружный воздух через ЦОД, так и будет его прогонять. Так как при прямом фрикулинге меньше контуров и проще система, то и надёжность её выше. Но за температурой воздуха в периоды экстремальной жары приходится следить более тщательно.

Таблица 1. Сравнение различных технологий фрикулинга по основным критериям

Фрикулинг и PUE

Энергоэффективность инженерных систем ЦОД принято измерять коэффициентом PUE (Power Usage Efficiency, коэффициент использования энергии), который равен отношению полной мощности ЦОД к мощности ИТ-оборудования. Так как мощность ЦОД равна сумме мощностей ИТ-оборудования и инженерных систем, то фактически PUE – это отношение этой суммы к мощности ИТ-оборудования.

В общем случае PUE учитывает все инженерные системы ЦОД. Для удобства оценки энергоэффективности каждой инженерной системы в отдельности PUE применяют по отношению к каждой из них. Например, «климатический PUE» равен отношению суммы потребляемых мощностей ИТ-оборудования и климатической системы к мощности, потребляемой только ИТ-оборудованием:

Очевидно, что PUE всегда больше единицы, а PUE идеального (максимально эффективного) ЦОД равен единице. PUE классического ЦОД (на базе чиллеров без фрикулинга и традиционных источников бесперебойного питания) обычно равен 1,6-1,8. Климатический PUE фреоновой системы обычно равен 1,3-1,4; климатический PUE чиллерой системы без фрикулинга обычно равен 1,4-1,5. Иными словами, потребляемая мощность чиллерной системы охлаждения ЦОД без фрикулинга равна примерно половине мощности самого ЦОД.

Внедрение фрикулинга позволяет снизить климатический PUE до 1,1-1,2, в особо эффективных проектах – до 1,05. Эти цифры наглядно показывают выгоду от использования режима свободного охлаждения.

Но в PUE кроется и рекламный потенциал, который следует своевременно выявлять. Так, производители часто указывают PUE для самого выгодного режима работы. Например, PUE=1,1 для фрикулинга характерен только для холодного времени года. Если в межсезонье параллельно с фрикулингом будут работать фреоновые кондиционеры, PUE в эти часы подрастёт до величины 1,2. В летнюю жару фрикулинг фактически будет бездействовать. За счет работы только фреоновых кондиционеров мы получим PUE=1,3-1,4, как было указано выше. Таким образом, наиболее полную картину о работе системы охлаждения предоставляет среднегодовой PUE.

Технические решения производителей

Одним из первых заводских решений в сфере технологий свободного охлаждения были «колёса» KyotoCooling. «Колёсами» их назвали потому, что они построены на роторном теплообменнике, внешне представляющем собой большое колесо. А само название «Киотокулинг» впоследствии стало нарицательным, и каждое решение на базе роторов стали называть «Киотокулингом».

Принципиально схема работы KyotoCooling соответствует второй схеме на рисунке 1 («Косвенный фрикулинг»), при этом теплообменник принят роторного типа. Кстати, диаметр этого ротора составляет несколько метров, для крупных ЦОД приходилось встречать шестиметровые роторы (см. рисунок 2). Такая система охлаждения хорошо работает при наружных температурах, не превышающих +17°С. В периоды более тёплой погоды приходится задействовать фреоновое охлаждение.

Рисунок 2. Внешний вид роторного теплообменника для системы свободного охлаждения KyotoCooling на стенде компании  

Анализ работы системы KyotoCooling, например, в ЦОД Hostex BDC даёт следующие результаты. Нагретый воздух из ЦОД с температурой +32°С в роторном теплообменнике охлаждается  до +21°С и подаётся обратно в ЦОД. При этом поток наружного воздуха с температурой до +17°С нагревается до +26°С. Максимальный PUE приходится на самые теплые летние дни и составляет 1,38. В ночные часы температура приближается к +17°С и активируется полноценный режим фрикулинга с PUE=1,07. В зимнее время и частично в межсезонье PUE=1,04. Среднегодовой PUE анонсируется на уровне 1,09. 85% времени система работает в режиме фрикулинга, 14,7% в смешанном режиме и 0,3% в режиме только фреонового охлаждения.

В компании Schneider Electric была разработана установка EcoBreeze (см. рисунок 3), предназначенная для отвода 350-400 киловатт тепла при температуре наружного воздуха +25°С.

Рисунок 3. Внешний вид и схема работы установок EcoBreeze компании Schneider Electric  

Фактически, в установке реализованы сразу три режима охлаждения. Первый заключается в охлаждении внутреннего воздуха в теплообменнике путём продувания через него наружного воздуха. При более тёплой погоде система переходит в режим орошения – на теплообменник подаётся тонкий слой воды. Это обеспечивает дополнительное снижение температуры воздушных потоков. Наконец, если и этого не достаточно (при наружных температурах +27°С и выше), активируется встроенный фреоновый контур охлаждения.

Охлаждение ЦОД компании DataPro осуществляется на базе установок EcoBreeze. По данным компании, среднегодовой PUE всего дата-центра, зафиксированный в процессе эксплуатации, составляет 1,25-1,3. При этом климатический PUE может достичь отметки 1,1.

Логическим продолжением идеи EcoBreeze является установка свободного охлаждения Ecoflair от Schneider Electric. Агрегат работает по схеме косвенного фрикулинга с адиабатикой и имеет те же три режима работы, что и EcoBreeze. Мощность устройств составляет 250 или 500 киловатт. По заявлению производителя, энергоэффективность новой установки на 9-12% выше, чем у предшественника.

Помимо заводских установок в сфере ЦОД распространено и самостоятельное проектирование системы охлаждения из наборных элементов подобно наборной вентиляции в офисе вместо готовой приточно-вытяжной системы. Такой подход применён, например, в ЦОД Сбербанка России в Сколково, охлаждение которого осуществляется по схеме прямого фрикулинга. В жаркие дни дополнительно включается чиллерная система охлаждения. Интересно отметить, что система охлаждения способна накапливать холод и расходовать его в жаркие часы. По данным компании, средний PUE дата-центра составляет 1,3, причём если летом PUE=1,4, то зимой PUE=1,1.

Некоторые конструктивные решения

В большинстве случаев наиболее удобным вариантом размещения оборудования для свободного охлаждения является кровля дата-центра – именно там обеспечивается максимальный обдув наружного оборудования, а воздух свободен от пыли, характерной для слоёв воздуха в непосредственной близости от земли.

Подача воздуха с кровли в машинный зал ЦОД осуществляется по магистральным вертикальным воздуховодам, в идеале прилегающим как к наружному оборудованию на кровле, так и к машинному залу с целью сокращения горизонтальной разводки. Далее дело за выбором способа подачи воздуха внутрь машинного зала и способов его вытяжки оттуда.

Классическая схема предусматривает подачу охлажденного воздуха сразу под фальшпол машинного зала ЦОД, а вытяжку воздуха из всего объёма помещения или из зоны подшивного потолка. Другая схема предполагает отказ от единого пространства фальшпола в пользу воздуховода, расположенного под холодным коридором для подачи воздуха. Ещё один вариант – отказ от использования фальшпола вообще и подача воздуха напрямую в холодный коридор или отдельно к каждой стойке.

Выбор той или иной схемы воздухораспределения зависит от конструктивных особенностей здания и изначальной предрасположенности заказчика или проектной организации.

Основы технико-экономического анализа фрикулинга

На основе общих показателей можно провести расчёт энергосбережения за счёт фрикулинга. Данная процедура выполняется в ходе технико-экономического обоснования при выборе концепции охлаждения ЦОД и затрагивает множество факторов.

Основным критерием, как правило, является период окупаемости дополнительных затрат на устройство фрикулинга, который в свою очередь зависит от климата региона строительства и длительности работы режима свободного охлаждения в году. В таблице 2 приведено среднестатистическое количество часов, в течение которых температура не превышает +22°С и +24°С по данным сайта WeatherArchive.  

Таблица 2. Количество часов, в течение которых температура не превышает +22°С и +24°С для некоторых городов России по данным сайта WeatherArchive.  

Так, для ЦОД с мощностью ИТ-оборудования 1 мегаватт получим, что потребляемая мощность фреоновой системы при PUE=1,4 составит 400 киловатт, а потребляемая мощность фрикулинга при PUE=1,09 – 90 киловатт. Мгновенная экономия составляет 310 киловатт.

Первым делом хочется сказать, что актуальны эти 310 киловатт не целый год, а только тот период, когда фрикулинг активен. И здесь кроется потенциальная ошибка в расчётах. Обратите внимание на коэффициент PUE, который участвует в расчётах. Если это «маркетинговый» PUE, то да, экономию нужно уточнять, учитывая климат региона. Если же это среднегодовой «честный» PUE, как в нашем случае, то экономия актуальна.

Однако эта экономия может быть рассмотрена двояко.

С одной стороны – это экономия на счетах за электричество. При стоимости одного кВт·ч в размере 4,65 рубля (данные для юридических лиц Москвы при подведённой мощности 1 мегаватт) экономия составит 310·24·365·4,65=12,6 млн. руб. Далее из этой цифры следует вычесть стоимость технического обслуживания фрикулинга и на полученную цифру разделить величину капитальных затрат на устройство фрикулинга. Итогом будет период окупаемости фрикулинга, выраженный в годах. Обычно эта цифра лежит в диапазоне от 3 до 7 лет.

С другой стороны, высвобожденные 310 киловатт электроэнергии могут рассматриваться как готовая мощность для устройства ещё одного ЦОД меньшего масштаба. Другими словами, в первоначальном проекте появляется возможность построить ЦОД с мощностью ИТ-оборудования не 1 мегаватт, а, допустим, 1,25-1,3 мегаватта. В случае коммерческого ЦОД такой прирост мощности будет означать увеличение числа стойко-мест с последующим ростом прибыльности проекта. Дальнейший расчёт периода окупаемости следует проводить, основываясь на данных бизнес-плана проекта. Полученное значение периода окупаемости, как правило, будет ниже, чем в первом случае: от 2 до 5 лет.

Особенности расчёта фрикулинга

Принципиально расчёт режимов работы фрикулинга ничем не отличается от классического расчёта системы вентиляции по удалению теплоизбытков. Расход подаваемого воздуха должен быть достаточным для удаления тепла при заранее обозначенных температурах подаваемого и удаляемого воздуха:

где G – искомый расход воздуха, м3/ч; Q – удаляемые теплоизбытки, кВт; c – теплоёмкость воздуха, с=1,005 кДж/(кг·°С); ρ – плотность воздуха, ρ=1,2 кг/м3; ΔT – разность температур между удаляемым и подаваемым потоками воздуха, °С.

Исходя из полученного расхода воздуха определяется сечение воздуховодов. Рекомендуемая скорость воздуха при этом составляет 6-8м/с.

При расчёте фрикулинга следует помнить, что данные системы оперируют очень большими расходами воздуха (десятки тысяч кубометров в час) и требуют установки вентиляторов, мощность которых достигает десятков киловатт. Очевидно, что это один из теплопритоков для рассматриваемого потока воздуха, поэтому расчётные теплоизбытки должны быть увеличены на величину потребляемой мощности вентилятора.

Для примера рассмотрим машинный зал ЦОД ИТ-мощностью 300 киловатт, прочими теплоизбытками в размере 10 киловатт и предполагаемой мощностью вентиляторов фрикулинга также в размере 10 киловатт. Приемлемой температурой в холодном коридоре является 21°С, в горячем – 29°С.

Требуемый расход воздуха в системе свободного охлаждения составит:

При скорости воздуха в канале v=8 м/с площадь сечения составит:

Если предположить, что в машинном зале ЦОД установлено 4 ряда по 15 стоек мощностью 5 киловатт каждая, то на каждый ряд стоек требуется подвести воздуховод площадью 1 квадратный метр, то есть сечением, например, 1200х800 мм.

Недостатки фрикулинга

При обсуждении недостатков системы свободного охлаждения на первый план выходят следующие два пункта – громоздкость и несамодостаточность системы.

Громоздкость фрикулинга очевидна – для отвода больших мощностей с помощью такого теплоносителя как воздух требуются огромные воздуховоды. Их сечение порой превышает один квадратный метр. Прокладка таких воздуховодов возможна далеко не в каждом здании. Именно поэтому при построении крупного ЦОД с фрикулингом обычно идут по пути нового строительства и архитектурных облик здания формируют под нужды фрикулинга.

Несамодостаточность фрикулинга объясняется тем, что его наличие не отменяет необходимости иметь чиллерную или фреоновую систему кондиционирования на случай жарких летних дней. Фактически, речь идёт об устройстве двух систем охлаждения, рассчитанных на полную мощность ЦОД.

Кроме того, важно отметить сложность автоматики режима свободного охлаждения. Управление воздушными клапанами, контроль температуры воздуха, препятствие обмерзанию теплообменника – всё это требует значительных усилий со стороны специалистов по автоматизации. И если подобные алгоритмы в классических системах отработаны годами, то в сфере фрикулинга они были недавно сформированы и требуют обкатки и постоянного контроля.

Отметим и влияние фрикулинга на архитектуру ЦОД и стоек. О том, что для прокладки воздуховодов в здании требуется много места, мы уже сказали. Но для подведения охлажденного воздуха в машинный зал к стойкам и для его отвода от стоек часто требуется внести конструктивные изменения и в сами стойки – дополнить их присоединительными элементами, воздушными коллекторами, отводящими воздуховодами.

Заключение

Тема свободного охлаждения – относительно новая в сфере ЦОД, но она активно развивается. Специалисты в один голос заверяют, что дни фреоновых кондиционеров в ЦОД сочтены, на смену им придёт фрикулинг. Более того, на конференциях, посвящённых дата-центрам, всё чаще устраиваются дискуссии на тему «ЦОД без кондиционера», «ЦОД только на фрикулинге».

Как показала практика первых лет использования фрикулинга, клиенты коммерческих ЦОД не сразу соглашаются на аренду площадей или установку оборудования в столь нестандартных ЦОД. Главным двигателем прогресса оказались крупные корпоративные заказчики, которые раз за разом решались на эксперименты с фрикулингом ради получения эксплуатационной выгоды, соглашаясь при этом на повышенный риск возникновения проблем ввиду применения неотработанных технологий.

Для нас, специалистов климатической отрасли, это означает необходимость приобретения навыков работы с технологиями свободного охлаждения, их расчёта, проектирования, монтажа, автоматизации и эксплуатации. При этом особо следует выделить именно автоматизацию фрикулинга. Как любая новая технология, она должна быть отработана на уровне алгоритмов и, далее, оптимизирована и дополнена элементами искусственного интеллекта. Удачное сочетание компоновки и алгоритма работы установки свободного охлаждения может стать успешным массовым решением для рынка ЦОД.