Данная статья – попытка собрать наиболее частые ошибки, встречающиеся в проектах систем кондиционирования и вентиляции центров обработки данных и пояснить истинную логику рассуждений, которой следовало бы руководствоваться при ведении проекта,  расчёте мощности холодильного оборудования, его подборе и расстановке на планировке. В разные время эти ошибки были совершены автором данного обзора или обнаружены им у других исполнителей и со временем превратились в своеобразный чек-лист успешного проекта.

Ошибка №1. Экономия на проектной команде

Любой заказчик и генподрядчик стремится оптимизировать бюджет. Один из путей экономии заключается в выборе дешёвой проектной организации, у которой к тому моменту ещё нет реализованных проектов в области ЦОД.

Дело в том, что в среднем по рынку удельная стоимость проектирования ЦОД на 10-30% выше расценок на проектирование инженерных систем других объектов, поэтому выбор подрядчика из смежного сегмента позволяет понизить затраты на проектирование. Но справится ли этот подрядчик с особенностями дата-центров?

Безусловно, холодильный контур везде один, но нюансов его применения много. В коттеджах ставится цель обеспечения тишины и сохранения дизайнерского интерьера. В магазинах – зонирование и учёт технологического оборудования. В кафе – распределение воздуха и обслуживание кухонного цеха. В ЦОД – распределение воздуха, высокие теплоизбытки, совершенно другое климатическое оборудование, необходимость в резервировании, зимний режим и это далеко не полный перечень особенностей кондиционирования дата-центров.

Итак, при выборе проектной организации рекомендуется, чтобы у неё уже был успешный опыт проектирования дата-центров – слишком велика разница в подходах к проектированию ЦОД и других объектов.

Ошибка №2. Сжатые сроки

Верный способ получить плохой проект СКВ ЦОД – выделить на его разработку мало времени. Центр обработки данных – это, по сути, отдельный и почти независимый организм внутри здания. Но почему-то его рассматривают лишь как одно из помещений – офис или кладовку. Выделить на проектирование здания полгода кажется нормальным, а на проектирование ЦОД или серверной, как говорится, и месяца много.

На самом деле проектирование ЦОД подразумевает проектирование всех инженерных систем – охлаждения, электроснабжения, безопасности, автоматизации, ИТ-инфраструктуры и других. Все они должны быть взаимоувязаны между собой, соответствовать по производительности, не накладываться друг на друга, и на это требуется время.

Проектирование даже небольшой серверной занимает не менее месяца, проектирование крупного ЦОД – не менее полугода. Безусловно, речь не идёт о 100-процентной загрузке проектировщиков по системам кондиционирования на протяжении всего периода проектирования – в течение некоторого времени он будет загружен лишь частично, уделяя львиную долю времени другому проекту. Тем не менее, сроки проектирования должны позволять выработать концепцию, увязать системы, внести финальные правки, а также правки по замечаниям заказчика.

Ошибка №3. Спроектировать до завтра по новому ТЗ

Данный пункт вытекает из предыдущего – если в силу тех или иных причин сменилось техническое задание на проектирование, то соразмерно глубине изменений должен сместиться и срок выдачи проекта. Проведя анализ всех прошлых проектов, можно с уверенностью сказать, что самые простые, порой глупые ошибки возникали именно по причине изменений технического задания при сохранении старых сроков – поменять всё, но мгновенно.

Интересно отметить, что чаще всего задание на проектирование меняется на финальной стадии проекта. В тот момент, когда вырисовывается окончательный вид системы кондиционирования, у заказчика вдруг возникают новые пожелания, которые, ради сохранения хороших отношений с ним, не должны повлечь изменения сроков.

С одной стороны, заказчика можно понять. Выдавая ТЗ, он представлял себе ЦОД несколько иначе, чем специалисты, которые учитывают в ходе проектирования гораздо больше факторов. С другой стороны, новое ТЗ – это новый проект и новое время на его реализацию.

Ошибка №4. Учёт не всех теплоизбытков в помещении

При кажущейся простоте подбор кондиционеров для ЦОД таит в себе несколько опасностей. «Суммарная мощность кондиционеров должна быть равна мощности ИТ-оборудования в машинном зале» – можно услышать от начинающих инженеров. На этапе предпроекта (концептуального проектирования) такой подход, быть может, и допустим, но при подготовке рабочего проекта следует проводить гораздо более точный расчёт.

Одна из ошибок, связанных с теплоизбытками в машинных задах ЦОД, заключается в том, что инженеры могут забыть обо всех остальных теплопритоках в помещении и учесть только тепло от ИТ-оборудования. Действительно, тепло от серверов – наиболее значимое слагаемое в сумме теплоизбытков, но ведь теплопритоки через ограждающие конструкции, от вентиляции и освещения никто не отменял – их также следует учитывать в расчёте.

Величина ошибки здесь зависит не столько от мощности ЦОД, сколько от его площади, и она особенно велика в небольших серверных, так как в них доля теплопритоков, приходящаяся на серверное оборудование, не так значительная, как в крупных ЦОД. В среднем, величина ошибки составляет 2-6%.

Ошибка №5. Чистая холодопроизводительность кондиционера

Раньше в каталогах прецизионных кондиционеров для каждой модели указывали всего два значения холодопроизводительности – полную и явную. О том, что в расчёте нужно использовать не полную, не явную, а чистую холодопроизводительность, инженер-проектировщик должен был догадаться самостоятельно. В последние годы производители упростили задачу инженерам и стали указывать величину чистой холодопроизводительности отдельной строчкой.

Суть ошибки сводится к тому, что мощность системы охлаждения определяется по сумме явных холодильных мощностей. Однако мощные прецизионные кондиционеры комплектуются мощными вентиляторами (см. рисунок 1), которые, по сути, являются теплоизбытком в данном помещении, а при расчёте теплоизбытков их не учитывают.

Рисунок 1. В составе прецизионного кондиционера присутствуют мощные вентиляторы, которые являются теплоизбытком. Их мощность должна быть вычтена из явной холодопроизводительности блока.

Решения два – или учитывать мощность вентиляторов в качестве теплоизбытка, или принимать холодильную мощность кондиционера, равную явной холодопроизводительности за вычетом мощности вентилятора – это и будет так называемая чистая холодопроизводительность прецизионного кондиционера. Обычно идут по второму пути.

Величина ошибки в среднем составляет порядка 3-6% от мощности системы охлаждения. Таким образом, ЦОД мощностью 1МВт может недосчитаться 50кВт холода.

Ошибка №6. ИТ-оборудование работает на 100%

В дата-центре 300 стоек по 6 киловатт, следовательно, общая мощность объекта составляет 1,8 МВт, и именно эта цифра идёт в расчёт системы кондиционирования.

На самом деле абсолютно всё ИТ-оборудование редко бывает загруженным на 100%. Чаще бывает так, что загружена только часть оборудования, а другая часть работает на неполную мощность или же всё оборудование в ЦОД работает на неполную мощность. На величину загрузки влияет, например, время суток – днём оно нагружено сильнее, нежели ночью.

При отсутствии информации от заказчика загрузку ИТ-оборудования принимают равной 80%. Таким образом, для указанного ЦОД мощностью 1,8 МВт систему охлаждения следует рассчитывать исходя из тепловыделений от ИТ-оборудования в размере 1,8·80%=1,44МВт.

И ещё один нюанс – период выхода дата-центра на проектный режим работы. Часто этот период растягивается во времени и может составлять от полугода до полутора лет (см. рисунок 2). На это время для экономии энергоресурсов в системе охлаждения следует предусматривать режим частичной холодопроизводительности.

Рисунок 2. Процесс заполнения ЦОД ИТ-оборудованием может занимать длительное время. В это время система охлаждения работает с малой тепловой нагрузкой.

Для этого в малых серверных обычно устанавливают инверторные кондиционеры. В больших машинных залах можно запроектировать неинверторные модели. Для регулирования общей холодопроизводительности в этом случае достаточно отключить часть кондиционеров и оставить в работе ровно столько, сколько нужно в данный момент времени плюс один резервный.

Ошибка №7. Не учли ИБП

В дата-центрах высокие теплоизбытки имеет не только ИТ-оборудование, но и ИБП (источники бесперебойного питания), через которые оно запитывается. КПД современных ИБП составляет порядка 96%, а, значит, оставшиеся 4% мощности ЦОД превращается в тепло ещё до того, как эта мощность дойдет до серверов. И эти 4% представляют собой теплоизбытки, которые должны быть отведены системой кондиционирования ЦОД.

На практике данная ошибка чаще встречается на этапе концептуального проектирования. «Для ЦОД мощностью 1000 кВт нужна система охлаждения холодильной мощностью 1000 кВт» – логично думают инженеры и предусматривают 10 кондиционеров чистой холодопроизводительностью по 100 киловатт каждый. Но помимо теплоизбытков, о которых речь шла выше, следует помнить ещё о 40 киловаттах – тех, которые выделит ИБП.

Ошибка №8. Экономия на бренде

Выполнив все необходимые расчёты и определив мощность прецизионных кондиционеров, возникает соблазн выбрать дешёвое оборудование или поставщиков, предложивших наилучшую цену, без оглядки на другие факторы. На самом деле одной лишь стоимости недостаточно для выбора поставщика. Нужно, как минимум, убедиться в его компетентности, а также уточнить сроки поставок запасных изделий и комплектующих.

Суть рекомендации проста – в случае поломки одного из кондиционеров потребуется выезд специалиста, анализ неисправности, закупка нового исправного элемента. Сможет ли поставщик обеспечить быстрый ремонт прецизионных кондиционеров? Есть ли в России представительство производителя кондиционеров? Быстро ли осуществляется доставка какой бы то ни было детали, входящей в состав кондиционера? При выборе поставщика на все три вопроса должен быть получен ответ «да».

Стоит понимать, что в центрах обработки данных поломка кондиционера рассматривается не как аварийная, а как штатная ситуация, и она должна быть отработана максимально быстро. В идеале на объекте должен быть сформирован ЗИП (запчасти, инструменты, приспособления). Допустимо, чтобы ЗИП был в наличии у поставщика или производителя. И недопустимо, чтобы ремонт вышедшего из строя блока длился несколько месяцев, большую часть которых специалисты ждали доставку запчасти из Европы или Китая.

Ошибка №9. Забыли про зиму

Теплопритоки поступают и летом, и зимой в любое помещение, но на большинстве объектов теплопотери через ограждающие конструкции настолько велики, что помещение остывает, и его нужно прогревать – так возникают системы отопления. Однако в центрах обработки данных теплопритоки настолько велики, что зимой потери тепла не перекрывают их, и машинные залы ЦОД нужно охлаждать даже в холодное время года.

Это означает, что для кондиционирования ЦОД должна быть спроектирована круглогодичная система охлаждения – для фреоновых кондиционеров должны быть предусмотрены зимние комплекты, для водяных систем – режим фрикулинга. Причем подбор оборудования должен вестись не по Параметрам Б, а по наименьшей температуре или согласно заданию на проектирование. Для Москвы часто принимают минус 40°С – именно на такую температуру должен быть рассчитан низкотемпературный комплект для фреоновых кондиционеров и гликолевый раствор в чиллерной системе.

Ошибка №10. Размещение кондиционера близко к напольным решеткам 

Как ни странно, наибольший риск перегрева в машинных залах ЦОД наблюдается не у дальних от кондиционера стоек, а у ближних к нему. Ответ кроется в физических основах воздухораспределения. Кондиционер выдувает воздух с достаточно высокой скоростью. Фактически, он нагнетает его в дальнюю часть зала, и именно там кинетическая энергия наиболее полно преобразуется в потенциальную – скорость воздуха преобразуется в повышение его давления. 

Проходимость воздуха через напольные решетки холодных коридоров зависит именно от давления воздуха под полом. Так как это давление выше в дальнем от кондиционера углу, то и воздух наиболее интенсивно выходит из-под пола именно там. Ближайшие к кондиционеру решетки воздух в буквальном смысле «проскакивает», а благодаря эффекту эжекции даже подсасывает воздух из помещения. 

Таким образом, минимальное расстояние от кондиционера до первой напольной решетки должно быть не менее 1200 миллиметров (2 плитки фальшпола). На практике в правильно спроектированных ЦОД оно часто составляет 1500-1700 миллиметров, ведь расположение блоков и стоек часто выравнивают по плиткам фальшпола. Так, при глубине кондиционера около 800 миллиметров он займет чуть менее полутора плиток – до двух плиток ровно останется 400 миллиметров. Плюс две целые плитки – итого получим проход шириной 1600 миллиметров – вполне достаточно для снижения скорости воздуха под фальшполом. 

Ещё одно решение – установка активных напольных решеток. Они представляют собой решетки со встроенным вентилятором, который принудительно прокачивает воздух из-под фальшпола в холодный коридор (см. рисунок 3). Такие решения отличаются более высокой надёжностью и более широкими возможностями регулирования.

Рисунок 3. Внешний вид активной напольной решетки.

Кстати, ситуация с перегревом ближнего, а не дальнего оборудования возникает и внутри холодного коридора. Холодный воздух дует из-под фальшпола и «проскакивает» нижние юниты серверных стоек. Как результат, наиболее эффективно охлаждаются верхние юниты стоек. Именно поэтому при размещении ИТ-оборудования наиболее мощное оборудование не рекомендуется устанавливать вниз – обеспечить достаточность его охлаждения будет весьма проблематично. 

Ошибка №11. Неверная архитектура СКВ или отсутствие зонирования 

Для ИТ-стоек различной мощности применяют кондиционеры разного типа. Так, шкафные кондиционеры без дополнительных решений хорошо охлаждают стойки мощностью до 7 киловатт. Впрочем, даже в таких ЦОД рекомендуется изолировать холодный или горячий коридор (по современным представлениям лучше горячий). Внутрирядные кондиционеры эффективно справляются с теплоизбытками до 30 киловатт на стойку и выше.

В машинных залах с той или иной средней мощностью стоек должна быть предусмотрена соответствующая архитектура системы охлаждения. В машинных залах со стойками различной мощности следует распределять высоконагруженные стойки равномерно по залу или же выделять их в отдельный кластер, где предусматривать специальные решения для их охлаждения.

Ошибка №12. Забыли про сервисные зоны оборудования и арматуры

Проблема с сервисными зонами чаще встречается в уже действующих ЦОД, в свободные углы машинных залов которых сгружают всё то, что кажется лишним в остальной части здания. Подобраться к кондиционерам, уже не говоря о том, чтобы открыть дверцы, зачастую весьма проблематично. Впрочем, проблема актуальна и на новых объектах.

Сама проблема здесь несколько шире, нежели просто предусмотреть сервисные зоны вокруг блоков. Данные зоны располагаются перед фронтальной стороной кондиционера и обычно равны площади основания этого кондиционера. Речь идёт ещё и о том, чтобы не создавать возле кондиционеров «укромных уголков» – потенциальных зон складирования сторонних предметов.

Если есть возможность установить кондиционер в углу – лучше сделать именно так, чем оставить там пол квадратных метра для прочих нужд. Если есть возможность придвинуть кондиционер вплотную к колонне – лучше сделать именно так, чем оставить зазор. При этом, конечно, в первую очередь следует соблюдать общие требования к расстановке кондиционеров, а потом уже бороться с «укромными уголками».

Наконец, сервисные зоны есть не только у кондиционеров, но и у арматуры, насосов, датчиков, измерительных приборов и других элементов системы. К каждому из них должен быть доступ, возможность увидеть показания, при необходимости заменить. В идеале они должны располагаться на удобной высоте – от 800 до 2000 миллиметров от уровня пола, а не у пола или под потолком.

Ошибка №13. Комплектация кондиционеров

Прецизионные кондиционеры отличаются сложностью их заказа. Здесь недостаточно указать модель оборудования, нужно также перечислить дополнительные опции. Среди них, например, регулируемая рама-основание, которая должна входить в комплект поставки на подавляющем большинстве объектов.

Далее – дисплей для контроллера. В машинном зале рекомендуется хотя бы два кондиционера оснащать контроллерами с дисплеем. Одного может не хватить в случае выхода кондиционера из строя, а оснащение дисплеями всех блоков представляется избыточным.

Для прецизионных сплит-систем может пригодиться выносной графический дисплей. Его наличие позволит контролировать параметры работы системы в удобном месте. Ещё одна опция – пароувлажнитель – для поддержания требуемой влажности в ЦОД требуется увлажнение воздуха. Обычно достаточно одного  увлажнителя на несколько блоков. Рекомендуется заказывать штатный датчик протечки – это проще чем придумывать собственную систему контроля протечек. Возможны и другие опции, их перечень следует запросить у производителя.

Ошибка №14. Рамы для чиллеров, основания для насосов

Рамы-основания для кондиционеров можно заказать у производителя оборудования, а вот рамы и основания для чиллеров, насосов, выносных конденсаторов и другого оборудования – повод для создания отдельного листа в проекте на системы кондиционирования ЦОД, так называемого строительного задания.

Конструкция рам и оснований разрабатывается проектировщиками по металлоконструкциям или строителями. Для этого в проекте марки «ОВ» должно быть предусмотрено строительное задание на их разработку с указанием массы оборудования, расположения точек опоры и зон обслуживания.

Кстати, в данное строительное задание следует включить и большие отверстия, которые, вероятно, потребуется пробить для прокладки коммуникаций. Обычно следует перечислять все отверстия размером 600х600 миллиметров и более. Такие отверстия – не редкость, особенно если речь идёт о фрикулинге. Отверстия в полу можно указывать, даже если они меньшего сечения – на многих объектах выполняют усиленные перекрытия, пробивка которых требует специального инструмента и навыков работы с ним.

Заключение

Центры обработки данных – особые объекты со множеством специфических требований. Проектирование СКВ ЦОД следует поручать профессионалам и помнить, что ЦОД – это объект внутри объекта, и на его проектирование должно быть выделено почти столько же времени, сколько и на проектирование здания.

В ходе проектирования следует обращать внимание на типовые ошибки, встретившиеся в других проектах. В качестве чек-листа можно использовать перечень наиболее часто встречающихся ошибок, приведённый в данной статье.