Технологии свободного охлаждения в центрах обработки данных применяются уже более 10 лет, и за это время накопился обширный опыт их проектирования и эксплуатации. Опираясь на него, можно избежать многих ошибок в действующих проектах. Однако далеко не всегда с этим опытом можно познакомиться в открытых источниках. Часто о нём можно узнать только при личной беседе или на экскурсиях в ЦОД. В рамках данной статьи собраны самые разные особенности и нюансы применения систем охлаждения в ЦОД.

Трехэтажные дата-центры

Внедрение технологий свободного охлаждения в жизнь внесло ряд корректив в архитектуру центров обработки данных. Причиной таких изменений стали большие габариты практически каждого из элементов в системах фрикулинга – вентиляторов, воздушных фильтров, воздуховодов и других элементов. Попытки вписать их в те или иные здания постепенно привели к формированию трехэтажной структуры крупных дата-центров.

Суть её заключается в разделении энергетического блока, серверного блока и блока охлаждения по разным этажам ЦОД – соответственно, первому, второму и третьему или первому, второму и кровле. Таким образом, сегодня системам свободного охлаждения в ЦОД традиционно отводится этаж над машинными залами.

Одна из простейших и очевидных схем размещения оборудования представлена на рисунке 1. Установки свободного охлаждения и воздуховоды внутреннего воздушного контура размещаются на кровле вдоль рядов ИТ-стоек в машинных залах этажом ниже. По торцам машинных залов выполняются вертикальные шахты для воздуховодов. С одной стороны – для охлажденного приточного воздуха, с другой стороны – для нагретого воздуха.

В масштабах здания возникает огромное циркуляционное кольцо. Внутренний воздух охлаждается за счёт наружного и по воздуховоду движется к шахте, вниз по шахте и подаётся в подфальшпольное пространство машинного зала. Через напольные перфорированные плитки поток воздуха поднимается, попадает на вход в серверные стойки и охлаждает оборудование внутри них. Нагретый воздух выходит с тыльной стороны серверных стоек, поднимается в пространство фальшпотолка, движется к шахте, по которой поднимается на уровень кровли и поступает на вход в установку свободного охлаждения.

Далее – дело за правильной геометрией машинного зала и расчётным перепадом температур.

Рисунок 1. Воздушный контур при использовании установок свободного охлаждения.

Геометрия машинного зала

При устройстве фрикулинга в ЦОД большое значение имеет правильная геометрия машинного зала и маршрут движения воздуха внутри него. Так как расход воздуха во внутреннем контуре велик, то путь воздуха должен быть однозначным: любые мощные встречные потоки способны сильно понизить эффективность системы в целом.

Движение воздуха должно подчиняться естественным силам гравитации: теплый воздух стремится наверх, холодный – вниз. Следовательно, подача холодного воздуха должна осуществляться под фальшполом, отвод горячего воздуха – за фальшпотолком. 

Отсутствие фальшпотолка и отвод горячего воздуха из объёма помещения машинного зала ЦОД, конечно, допустимы, но создают те самые неоднозначности в схеме движения воздуха, которые снижают эффективность работы системы. Более того, желательно применить герметизацию горячих коридоров. Это позволит ещё точнее структурировать потоки воздуха, избежать перетечек воздуха между холодным и горячим потоками и, как следствие, повысить эффективность системы охлаждения.

Проходные сечения каждого из участков воздушного контура должны быть достаточными для прохождения расчётного объёма воздуха. Здесь, безусловно, фрикулинг имеет некоторые преимущества перед шкафными кондиционерами. В кондиционеры встроен штатный вентилятор, как правило, низконапорный. Малый напор вентилятора требует организации воздушной трассы с малым аэродинамическим сопротивлением, то есть с большим проходным сечением.

В случае фрикулинга есть возможность выбрать более мощный вентилятор с целью понизить проходное сечение на некоторых участках сети, как правило, некоторых воздуховодов и высоту фальшпола и фальшпотолка. Скорость воздуха в воздуховодах может достигать 8 метров в секунду, в пространстве фальшпола желательно не более 3 метров в секунду.

Расчётный перепад температур

Расход воздуха в системе фрикулинга зависит не только от мощности ЦОД, но и от расчётного перепада температур. Данный перепад задаётся на этапе проектирования. Для снижения габаритов системы и её удешевления выгодно принять максимально возможный перепад температур. Однако он не может быть принят произвольно и зависит от характеристик применяемого серверного оборудования.

Так, в корпоративных ЦОД с хорошо прогнозируемым парком ИТ-оборудования расчётный перепад температур может быть принят исходя из требований производителя этого оборудования. Более того, ИТ-оборудование может быть изначально подобрано под конкретный, например, достаточно большой перепад температур (более 15, но, как правило, не более 20 градусов).

Сложнее обстоят дела в коммерческих дата-центрах, где заранее не известно, какое оборудование установит тот или иной арендатор. В этом случае приходится ориентироваться на средние значения, характерные для классических систем охлаждения. Обычно это 8-12°С.

Так как расход воздуха и габариты системы связаны с расчётным перепадом температур обратно пропорциональной зависимостью, то получаем, что одни и те же теплоизбытки в ЦОД могут быть сняты системами свободного охлаждения, расход воздуха в которых отличается в 2 и более раза. Разница лишь в том, что в одном случае расчётный перепад температур вынужденно принят на уровне 8°С, а в другом случае повышен до 20°С.

О важности водоподготовки

При проектировании систем свободного охлаждения с адиабатическим увлажнением потока наружного воздуха по ряду причин в главе угла стоит узел водоподготовки – фильтрации воды и её очистки от солей.

Подача воды низкого качества способна сильно изменить реальные условия работы фрикулинга. Соли оседают в трубопроводах, снижая проходное сечение и повышая гидравлическое сопротивление сети. Как следствие, насос выдаёт меньший расход воздуха или, при том же расходе, снижается давление воды на форсунках, то есть снижается степень распыления воды в поток воздуха. Так или иначе, существенно снижается эффективность увлажнения.

Дело в том, что эффективность увлажнения через распыление воды зависит от размеров частиц воды, с которыми контактирует воздух. Мелкие частицы воды легко испаряются в потоке. эффективность увлажнения высока. Крупные частицы испаряются гораздо сложнее. Зачастую они не успевают испариться в секции увлажнения и оседают на каплеуловителе. Таким образом, из-за недостаточного давления воды на входе в форсунку получаются более крупные капли, и воздух поглощает меньше влаги, чем мог бы поглотить.  Как следствие, эффективность системы свободного охлаждения снижается.

Далее, в секциях увлажнения со смачиваемым материалом (так называемые кассетные увлажнители, см. рисунок 2) соли оседают не только в трубопроводах, но и на этом материале. Для эффективного увлажнения в кассетах создаётся максимально возможная площадь смачиваемой поверхности. Как результат, кассеты имеют мелкоячеистую структуру. Оседая в ячейках, соли существенно снижают проходную способность этих ячеек. Увлажняющая кассета в буквальном смысле засоряется примесями, содержащимися в воде, и перестаёт функционировать.

Рисунок 2. Схема работы кассетных увлажнителей.

Очевидно, что засорение кассеты ведёт к увеличению аэродинамического сопротивления секции увлажнения и снижению расхода воздуха в наружном контуре системы фрикулинга, и его эффективность опять-таки падает.

Менее очевиден тот факт, что засоренные кассеты представляют собой почти глухую стенку, на которую постоянно давит поток воздуха. Причём поток воздуха существенный – его расход в системах свободного охлаждения измеряется десятками тысяч кубометров в час. Со временем поток воздуха деформирует кассеты, выдавливая в направлении своего движения, в отдельных случаях срывая кассеты с крепежа. Повторное использование таких кассет, вероятнее всего, будет невозможно.

Вывод один – узел водоподготовки в системах фрикулинга с адиабатикой следует предусматривать в обязательном порядке.

Кстати, в системах адиабатного увлажнения не рекомендуется делать циркуляцию воды, то есть воду, собранную на каплеуловителе вновь подмешивать в поток воды, подаваемой на форсунки. Осевшая в поддоне вода характеризуется повышенным содержанием солей и загрязненностью. Повторное её применение повлечёт за собой ускоренный выход из строя форсунок и ещё более интенсивное загрязнение кассетного увлажнителя. Для воды, собранной в поддоне секции увлажнения, должна быть предусмотрена система дренажа.

Проблемы с обслуживанием кассетных увлажнителей

Первая и, пожалуй, наименее значимая проблема с увлажняющими кассетами заключается в том, что они постоянно влажные. Постоянная влага способствует распространению микробов и бактерий, образованию плесени и ржавчины. При отключении данной установки данные процессы усугубляются, так как спасительного потока воздуха, который уносит влагу, нет. Одним из решений может быть, например, заблаговременное отключение подачи воды до отключения всей установки. Это нужно для того, чтобы увлажняющие кассеты, пока ещё обдуваемые воздухом, успели высохнуть.

Материал, из которого выполнены кассеты, сделан на основе целлюлозы и обладает высокой хрупкостью, а корпус кассеты выдерживает её вес, но может не выдержать веса накопленной воды и грязи (солей). Всё это затрудняет процессы съёма, замены и транспортировки мокрых и засоренных кассет.

Следующая потенциальная проблема – закупка аналогичной кассеты. Как показывает опыт, чистка засоренных кассет неэффективна: соли въедаются вглубь материала и не отпадают даже после химической чистки. При этом за время эксплуатации фрикулинга модельный ряд кассет производителя может поменяться, и нужного типоразмера не будет в наличии. Здесь, безусловно, могут выручить сторонние мастерские, имеющие нужный материал и оборудование для его обрамления в корпус. Однако это дополнительные трудности и проблемы с гарантией.

Особенности работы фреоновых доводчиков

Любая система  свободного охлаждения имеет определенные границы наружных температур, при которых она обеспечивает заданную температуру в ЦОД. За рамками этих границ возникают проблемы. Чаще всего они возникают летом, когда температура или влажность наружного воздуха слишком высоки, и температура внутреннего воздуха также стремится превысить верхнее допустимое значение.

На помощь приходят фреоновые доводчики – охладители испарительного типа, понижающие температуру наружного воздуха до оптимальных значений. Они устанавливаются после секции адиабатного увлажнения, то есть работают с уже увлажнённым воздухом. Именно здесь и кроется особенность их расчёта.

Как известно, холодильная мощность любого кондиционера делится на явную и скрытую. Явная идёт на явное снижение температуры воздуха, а скрытая – на вынужденное осушение этого воздуха ввиду того, что на холодной поверхности испарителя выпадает конденсат. И чем более влажный воздух поступает на вход испарителя, тем выше доля скрытой холодопроизводительности.

После секции адиабатного увлажнения воздух имеет влажность порядка 94-96%, и доля скрытой холодопроизводительности будет относительно велика. Этот фактор следует учитывать при расчёте фреонового охладителя.

В ходе наладки могут возникнуть проблемы с остановом фреонового контура по низкому давлению из-за того, что на испаритель подаётся уже охлажденный воздух. Решение возможно только при наличии доступа к сервисным настройкам контроллера – они должны быть адаптированы под потребности системы.

Как бы то ни было, с точки зрения потребляемой мощности даже при самых неблагоприятных погодных условиях схема «адиабатный увлажнитель + фреонововый охладитель» на 20-40% эффективнее фреонового охладителя в чистом виде. При благоприятных же условиях экономия от применения фрикулинга составляет 80-90%.

Кроме того, может быть внедрён следующий способ оптимизации работы фреонового охладителя. В системах косвенного фрикулинга с адиабатикой часть воды можно направить на адиабатическое увлажнение воздуха, поступающего на вход в наружный блок фреонового охладителя. Это позволит понизить температуру воздуха, обдувающего конденсатор и, как следствие, температуру конденсации, что в свою очередь ведёт к повышению холодильного коэффициента данной фреоновой системы.

Современные технологии во фрикулинге

Основными элементами фрикулинга являются вентиляторы, секции увлажнения, теплообменные аппараты и алгоритмы автоматизации – именно здесь скрыт основной потенциал энергосбережения режима свободного охлаждения. Об автоматизации будет сказано ниже, а пока остановимся на вентиляторах и адиабатных увлажнителях.

Безусловно, установки свободного увлажнения должны оснащаться электронно-коммутируемыми вентиляторами с возможностью плавного регулирования производительности. Подбор вентиляторов осуществляется исходя из расхода и напора воздуха, причем следует провести несколько расчётов для различных условий внешней среды. Чаще всего это зимний режим, летний режим без задействования адиабатики, летний режим с задействованной адиабатикой, летний режим с задействованной адиабатикой и фреоновым доводчиком и аварийный режим. Суть аварийного режима заключается в прокачивании наружного воздуха через машинный зал ЦОД в случае экстренного повышения температуры в помещении.

Современные технологии, применяемые в области адиабатного увлажнения, позволяют повысить эффективность распыления воды и снизить вероятность уноса капель в канал. Это достигается двумя методами – применением форсунок, создающих водяной туман, и установкой каплеуловителя со смачиваемой поверхностью, позволяющей доиспарить остатки влаги в поток воздуха.

Теплообменные аппараты в косвенном фрикулинге применяются для передачи тепла от внутреннего потока воздуха наружному. Наибольшее распространение получили перекрестно-точные и роторные теплообменники. Выбор конкретного вида зависит от архитектуры здания, так как габариты агрегатов обоих типов велики: диаметр ротора может достигать и превышать 6 метров (см. рисунок 3).

Рисунок 3. Диаметр роторных теплообменников в системах свободного охлаждения ЦОД соизмерим с габаритами помещения.

Очистка воздуха при прямом фрикулинге

Краеугольный камень прямого фрикулинга – очистка воздуха, подаваемого в ЦОД. Впрочем, вопрос очистки актуален, хоть и в меньшей степени, для косвенного фрикулинга, иначе теплообменники, клапаны и вентиляторы быстро засорятся.

В установках свободного охлаждения рекомендуется применять многоступенчатую очистку воздуха. Так как загрязненность воздуха зависит не только от города, но и от конкретного места размещения установки, то определить скорость загрязнения фильтров можно только опытным путем – на базе пробного образца или по итогу тестового периода эксплуатации.

Отслеживание загрязненности фильтров ведётся по показаниям дифференциального манометра. Замена фильтров должна производиться по факту удвоения изначального перепада давлений, в крайнем случае – утроения. Конструкция фильтра должна предусматривать возможность их изъятия из установки и смены фильтрующего материала. Так как этот процесс зачастую не может быть выполнен мгновенно, а подача нефильтрованного воздуха невозможна, следует предусмотреть запасную фильтрующую кассету.

Основа надёжного фрикулинга

Из всего вышесказанного красной нитью вытекает тезис, что надёжность систем свободного охлаждения во многом зависит от грамотной их автоматизации. Безусловно, термодинамические, гидравлические и аэродинамические основы проектирования систем охлаждения играют огромную роль. Однако в этой нише, как ни в какой иной важна правильная автоматизация. И речь идёт не только и не столько о проектировании систем автоматики, сколько об их отладке и модернизации алгоритмов управления в процессе эксплуатации.

Большие объёмы воздуха, высокие скорости и большое число различных элементов сильно усложняют проект. Кроме того, центры обработки данных изначально относятся к ответственным объектам повышенной важности, что предъявляет дополнительные требования к надёжности автоматики. Как результат, для автоматизации систем охлаждения часто предусматривают дублирующие системы, хранение данных в нескольких независимых базах данных, дублирование датчиков температуры, давления и других.

Выход из строя одного из контроллеров не должен выводить всю систему из строя или существенно нарушать алгоритм её работы. Выход из строя одного из датчиков не должен оставлять систему без данных о температуре или влажности воздуха в рассматриваемой точке. Отключение одного из диспетчерских компьютеров не должно оставлять инженеров по эксплуатации без детальной информации о функционировании объекта.

Следует помнить, что перегрев в ЦОД чаще всего случается не во всем помещении в целом, а в конкретной точке. Например, до одного из верхних юнитов в серверной стойке доходит недостаточное количество холодного воздуха, вследствие чего и возникает перегрев. Следовательно, датчики температуры должны быть установлены не только в воздуховодах на входе и выходе из машинного зала, но и в каждой из стоек.

Для получения полной картины рекомендуется устанавливать в каждой стойке по три датчика – в нижней, средней и верхней зонах. Такой подход позволяет детально разобраться в особенностях работы серверного оборудования ЦОД, выявить наиболее слабые узлы, выявить зоны излишнего охлаждения и отрегулировать систему точно в соответствии с потребностями объекта.

Параллельно с отладкой системы в базе данных накапливается статистика. Её анализ позволяет предугадывать проблемы и предвосхищать их решение. Так зарождается понятие «умного» фрикулинга.

«Умный» фрикулинг

Создание «умных» систем – относительно новое веяние в инженерной инфраструктуре зданий. Умных не в том смысле, что автоматизированных и способных управлять различными механизмами – этим сегодня уже никого не удивишь. Речь идёт о создании самообучающихся систем, способных предугадывать будущее и готовиться к нему, самостоятельно выбирать наиболее эффективный режим работы и выполнять другие функции.

Так как системы свободного охлаждения в значительной мере завязаны на условия окружающей среды (попросту, погоды), то усилия инженеров направляются в русло предугадывания погоды, анализа прогнозов погоды и автоматической подготовки системы к грядущей жаре или холодам.

Именно по такому принципу в современных системах происходит накопление холодоносителя в баках-аккумуляторах. Холод накапливается в то время, когда наружная температура низка и позволяет использовать режим фрикулинга (например, летними ночами). Соответственно, если днём наружная температура возрастает, то вместо активации фреоновых доводчиков задействуется запас холода из баков-аккумуляторов.

При этом система понимает, что поддержание запасов холода  требуется не всегда. Например, зимой даже днем включение фреоновых доводчиков вряд ли потребуется, следовательно, запасы холода могут быть сокращены до минимума.

Аналогичное управление возможно и в зависимости от графика изменений тепловой нагрузки внутри ЦОД. Так, в большинстве случаев серверное оборудование нагружено днем и менее нагружено ночью. На других объектах зависимость может быть обратной – зависит от предназначения ИТ-инфраструктуры ЦОД.

В любом случае «умный» фрикулинг накапливает информацию, анализирует её и делает соответствующие выводы о работе системы – открывает или перекрывает доступ к баку-аккумулятору, открывает или перекрывает часть воздуховодов, регулирует перепад температуры между холодным и горячим коридорами.

Подводя итоги

Безусловно, фрикулинг являет собой современное эффективное решение для отвода тепла в ЦОД. Но если опыт применения прецизионных кондиционеров исчисляется десятками лет, большинство сопутствующих проблем уже изучено и решения найдены, то в сфере систем свободного охлаждения этот путь ещё не пройден до конца. Каждый новый проект пока ещё является шедевром инженерной мысли и без опытных инженеров-проектировщиков и наладчиков, по сути, немыслим.

Именно поэтому особую важность приобретают тонкости и особенности проектирования систем свободного охлаждения, о многих из которых было сказано в этой статье.