МЦОД – эту аббревиатуру расшифровывают и как мобильные, и как модульные центры обработки данных. При этом зачастую правильными оказываются обе формулировки, поскольку многие контейнерные ЦОД являются мобильными и модульными одновременно. У таких объектов есть ряд особенностей, и эти особенности находят своё отражение в устройстве систем кондиционирования.

В большинстве случаев МЦОД представляют собой небольшие дата-центры ёмкостью до 10 ИТ-стоек. Ключевая особенность таких объектов заключается в том, что они представляют собой не комнату внутри здания, а отдельно стоящее здание. Как правило, такие «здания» представляют собой объект контейнерного типа – это или заводской транспортный 40-футовый контейнер, или вновь построенное из сэндвич-панелей быстровозводимое здание.

Антагонисты

Анализ рынка показывает, что мобильные дата-центры строят там, где не строят обычные дата-центры. Если скопление классических ЦОД наблюдается в Москве и Санкт-Петербурге, то мобильные ЦОД большинстве случаев в регионах, зачастую – удалённых. 

Причин тому несколько: в мегаполисах земля стоит дорого, и строить контейнерные дата-центры не выгодно. Кроме того, в крупных городах велик спрос на услуги ЦОД, а потому выгоднее строить крупные объекты. Мобильные дата-центры относятся к разряду небольших объектов и призваны обеспечивать работу серверного оборудования вне крупных городов. 

По данным издания «ЦОДы.РФ» рынок мобильных дата-центров с 2014 по 2018 годы вырос более чем в три раза: с 13 до 48 млн. евро.  

В отличие от обычных, в мобильных ЦОД вычислительная и инженерная инфраструктура размещаются в едином пространстве. Внутренних стен практически нет. Вместо них – легкие перегородки, причем часть условной стены выполняет ряд стоек. Таким образом, в МЦОД образуется три помещения – тамбур, холодный коридор и горячий коридор.

Из всего разнообразия прецизионных кондиционеров для охлаждения мобильных дата-центров подходят моноблочные кондиционеры, прецизионные сплит-системы и внутрирядные кондиционеры. Кроме того, возможны решения на базе технологий свободного охлаждения. Рассмотрим подробнее каждую их технологий. 

Моноблочные кондиционеры в МЦОД

Моноблочный кондиционер представляет собой агрегат, выполненный в едином корпусе и предполагающий установку у наружной стены МЦОД, как правило, в дальних от тамбура концах холодного и горячего коридоров.

У такого кондиционера все элементы холодильного контура, в частности, испаритель и конденсатор, размещены в одном корпусе. При этом испаритель обдувается внутренним воздухом, а конденсатор – наружным. Чтобы это реализовать, сам блок приходится устанавливать тыльной стороной к наружной стене, а в самой стене при этом предусматривать два отверстия – для забора и выдува наружного воздуха, который нужен для охлаждения конденсатора. Схема и внешний вид прецизионных моноблочных кондиционеров представлены на рисунке 1.

Рисунок 1. Схема и внешний вид прецизионных моноблочных кондиционеров.

Мощность моноблочных кондиционеров обычно не превышает 10-15 киловатт, а установить более трёх кондиционеров в один контейнерный ЦОД весьма проблематично. Таким образом, мощность такого МЦОД можно считать ограниченной 40 киловаттами. Для серьезных задач такой мощности мало, однако сами решения являются весьма бюджетными, ввиду чего и сохранили свою актуальность.

Итак,  моноблочные прецизионные кондиционеры применяются в мобильных ЦОД малой мощности, разворачиваемых, например, на выездах при проведении съёмок фильмов, при строительстве отдаленных объектов или на удалённых базовых станциях сотовой связи. 

Прецизионные сплит-системы в мобильных ЦОД 

Прецизионные сплит-системы представляют собой сплит-системы с внутренним блоком кассетного типа. В один мобильный ЦОД свободно устанавливается до четырёх, но может быть установлено и до восьми таких сплит-систем. Внутренние блоки при этом монтируются в ряд под потолком в холодном коридоре, и они выдувают холодный воздух вертикально вниз. Наружные блоки устанавливают на торце контейнера. Внешний вид прецизионных сплит-систем представлен на рисунке 2.

Рисунок 2. Внешний вид прецизионных сплит-систем.

Обычно на торце контейнера помещается до четырех наружных блоков, но если задействовать обе торцевые стенки, то их количество может быть увеличено до восьми. Мощность одной сплит-системы достигает 17 киловатт, а общая мощность МЦОД может достигать 80 киловатт, что является достаточной величиной для большинства задач, возлагаемых на МЦОД.

Отверстия для забора воздуха у прецизионных сплит-систем расположены на боковых сторонах кондиционера. Чтобы внутренние блоки имели возможность забирать нагретый воздух из горячего коридора, в перегородке между коридорами, предусматривают отверстия, и к ним присоединяют воздуховоды. Другой конец воздуховодов присоединяется к всасывающим отверстиям внутренних блоков кондиционеров. Таким образом, сплит-системы забирают воздух из горячего коридора, охлаждают его и подают в холодный коридор.  

Среди возможных проблем выделим сложности при расстановке наружных блоков на торцевой стене, когда выполнить абсолютно все требования производителя к расстояниям между ними может оказаться невозможным. В этом случае рекомендуется обратиться к представителям производителя с эскизами системы и фактическими зазорами между блоками. В большинстве случаев производитель подтвердит возможность работы такой системы, но с небольшим снижением холодильной мощности каждой из них. Проектную мощность МЦОД следует принимать на основе тех цифр, которые предоставит и заверит производитель. 

Внутрирядные кондиционеры в МЦОД

Внутрирядные кондиционеры представляют собой блоки, устанавливаемые непосредственно в ряду стоек между ними. Внешне они напоминают стойки, но прокачивают воздух из горячего коридора в холодный. Стойки, как известно, прокачивают воздух из холодного коридора в горячий. Таким образом, с участием стоек и кондиционеров образуются короткие контуры циркуляции, и необходимость в отверстиях в перегородке над стойками отпадает.

Мощность внутрирядных кондиционеров заметно выше кондиционеров других типов и достигает 30-40 киловатт. Однако внутрирядные кондиционеры занимают место в ряду стоек, и общее количество стоек в МЦОД из-за этого может быть меньше, нежели при использовании сплит-систем, внутренние блоки которых не занимают полезное пространство МЦОД. 

При использовании внутрирядных кондиционеров может возникнуть всё та же проблема расстановки наружных блоков. Методика её решения аналогична решению подобной проблемы для прецизионных сплит-систем. Внешний вид внутрирядных кондиционеров представлен на рисунке 3.

Рисунок 3. Внешний вид внутрирядных кондиционеров.

Фрикулинг в МЦОД 

Одним из наиболее эффективных и неприхотливых вариантов охлаждения мобильных ЦОД является фрикулинг. Действительно, у фрикулинга нет наружных блоков, он может поместиться в подпотолочном пространстве и не занимать полезную площадь контейнера. Кроме того, фрикулинг потребляет заметно меньше электроэнергии, что немаловажно в «походных» условиях, в коих зачастую приходится работать мобильным центрам обработки данных. 

Конструкция мобильных ЦОД подразумевает очевидное и простое исполнение режима свободного охлаждения. Для его реализации нужно через холодный коридор проложить воздуховод, соединяющий горячий коридор и улицу. На концах воздуховода следует установить клапаны с электроприводами, а со стороны улицы предусмотреть ещё и фильтр. Далее в нижнюю грань воздуховода посередине его длины нужно вмонтировать вентилятор осевого типа и наладить работу автоматики. 

Суть работы фрикулинга заключается в следующем. Вентилятор всасывает воздух с обоих концов воздуховода, то есть одновременно из горячего коридора и с улицы. Соотношение этих расходов воздуха регулируется положением заслонок клапанов, которыми посредством электроприводов управляет система автоматики фрикулинга. Целью такого регулирования является подача воздуха заданной температуры в холодный коридор. 

При похолодании наружная заслонка будет постепенно закрываться, а объём рециркуляции – повышаться. При повышении наружной температуры – наоборот – объём рециркуляции будет снижаться, а расход наружного воздуха возрастать. 

Как известно, все инженерные системы ЦОД должны быть зарезервированы, и фрикулинг – не исключение. Именно поэтому в МЦОД предусматривают, как минимум, две системы свободного охлаждения. На практике их количество достигает 4-6 штук. Дело в том, что фрикулинг характеризуется большими расходами воздуха. Делать одну сверхгабаритную систему невыгодно – лучше предусмотреть несколько систем меньших габаритов и меньшей производительности. Описанная выше схема системы позволяет сконструировать независимые системы и установить их в МЦОД в необходимом количестве.

Пример расчёта фрикулинга

Как показывает практика, специалисты по климатическим системам хорошо представляют себе, как будет выглядеть система охлаждения МЦОД на базе прецизионных кондиционеров, и гораздо хуже ориентируются в области фрикулинга. Чтобы прояснить этот вопрос мы приведем расчёт фрикулинга для МЦОД мощностью Q = 80 киловатт.

Для рассматриваемого МЦОД примем разность температур между горячим и холодным коридором ΔT = 10°С. Тогда расход воздуха в системе охлаждения должен быть не менее

G = k · Q / (с · ρ · ΔT) = 3600 · Q / (1,005 · 1,2 · ΔT) = 24 000 кубических метров в час, где 

• k =3600 – коэффициент для перевода часов в секунды, 

• с = 1,005 кДж/(кг·°С) – средняя теплоемкость воздуха, 

• ρ = 1,2 кг/м3 – средняя плотность воздуха. 

Так как длина воздуховодов будет малой (не более 1-2 метров в каждой системе фрикулинга), то скорость движения воздуха можно принять несколько выше привычных рекомендаций, например, v = 8 метров в секунду. Также примем, что все теплоизбытки должны снять 4 системы свободного охлаждения (n = 3 рабочие системы и одна резервная). Тогда площадь сечения воздуховодов в каждой системе фрикулинга составит: 

S = G / (k · v · n) = 24000 / (3600 · 8 · 3) = 0,28 квадратных метра.

Такое проходное сечение обеспечивает воздуховод размером, к примеру, 700х400. Таким образом, для охлаждения МЦОД мощностью 80 киловатт достаточно предусмотреть три рабочие и одну резервную системы фрикулинга с воздуховодами сечением 700х400 миллиметров.

Особенности фрикулинга в МЦОД 

Реализация режима свободного охлаждения в мобильных центрах обработки данных имеет ряд особенностей: 

1. Необходимость дублирования фреоновой системой кондиционирования, 

2. Опасность выпадения конденсата, 

3. Удобный доступ к секции фильтрации, 

4. Сброс лишнего воздуха, 

5. Теплоизоляция воздуховодов. 

Необходимость дублирования фреоновой системой кондиционирования. Фрикулинг не охлаждает воздух, а лишь смешивает потоки рециркуляционного и наружного воздуха. В связи с этим он не будет справляться с охлаждением МЦОД при повышении наружной температуры выше +15…+20°С. На случай более тёплых дней на объекте должна быть предусмотрена классическая фреоновая система охлаждения. Казалось бы, это недостаток фрикулинга, однако ниже мы увидим ниже, что в МЦОД не могут быть применены только фреоновые системы. Таким образом, любой мобильный ЦОД должен включать системы охлаждения обоих типов.

Опасность выпадения конденсата. В мобильных ЦОД практически не применяются системы охлаждения с увлажнением. Это связано с малым объёмом внутренних помещений объекта и высокими скоростями воздуха в них. В таких условиях высока вероятность уноса капель воды в помещение и их последующее попадание в серверные стойки, что недопустимо.

Удобный доступ к секции фильтрации. Требование сменяемости фильтров актуально для всех систем свободного охлаждения, однако в МЦОД сложнее обеспечить удобный доступ к ним ввиду его компактности. Тем не менее, секция фильтрации должна быть доступной обслуживающему персоналу. Обычно рассматривается два решения: доступ изнутри и доступ снаружи.

В первом случае секция фильтрации устанавливается в воздуховоде внутри МЦОД и её обслуживание аналогично обслуживанию секции фильтрации обычных канальных системам вентиляции. Однако фильтр будет занимать некоторое пространство внутри контейнера, плюс, к нему нужно доступ. 

Во втором случае секцию фильтрации устанавливают в стене МОД, а доступ к ней обеспечивают с улицы путем снятия наружной решетки. В этом случае фильтр не занимает место в контейнере, но наружная решетка должна иметь быстросъёмную конструкцию, а фильтр, вероятнее всего, окажется нестандартным изделием. 

Сброс лишнего воздуха. Фрикулинг обеспечивает постоянный приток наружного воздуха, а это значит, что должен быть и сброс воздуха наружу. Классические вытяжные системы в МЦОД не предусматривают. Вместо этого в горячем коридоре устанавливают наружные решетки с регулируемыми клапанами или гравитационные наружные решетки. В первом варианте при работе фрикулинга автоматически приоткрываются вытяжные клапаны, и воздух выходит наружу. Во втором варианте жалюзи решеток приоткрываются избыточным давлением внутри МЦОД.

Каждый из вариантов имеет свои преимущества и недостатки. Так, при использовании клапана процесс вытяжки поддается регулированию, но любой из механизмов может выйти из строя. При использовании гравитационных решеток процесс происходит автоматически и является нерегулируемым. При этом в зимнее время вытяжной воздух будет растапливать снег, который может скопиться на решетке, что в свою очередь грозит её обмерзанием. Замерзшая гравитационная решетка должным образом работать  не будет. 

Теплоизоляция воздуховодов. В зимнее время внутри воздуховода системы фрикулинга будет находиться холодный воздух, и может появиться опасность выпадения конденсата на внешней поверхности воздуховода. В связи с этим он должен быть полностью теплоизолирован. 

Аварийное охлаждение МЦОД

Мобильные дата-центры отличаются компактностью и малым объёмом внутреннего пространства при высоких теплоизбытках. В таких условиях любая авария системы кондиционирования может стать фатальной для серверного оборудования.

Действительно, представим, что МЦОД из прошлого примера мощностью 80 киловатт имеет габариты 2,5х2,5х12 метров. Объём его составит V = 75 кубических метров. Если принять среднюю начальную температуру воздуха в МЦОД равной T1 = 20°С, а критическую температуру T2 = 60°С, то такой нагрев займет всего

t = V · ρ · (T2 – T1) · c / Q = 75 · 1.2 · (60 – 20) · 1,005 / 80 = 45,2 секунды,

и это при том, что штатное время сворачивания приложений и выключения серверного оборудования составляет порядка 10-15 минут.

Данный пример наглядно показывает, насколько быстро нагревается воздух в мобильном ЦОД без охлаждения. Единственный способ избежать перегорания серверного оборудования заключается в создании аварийного продува МЦОД наружным воздухом. Такие системы в обязательном порядке должны предусматриваться во всех МЦОД, однако их функцию могут выполнять системы фрикулинга, и это является значимым преимуществом последних. Фактически речь идет о том, что МЦОД с фреоновыми кондиционерами всё равно должны оснащаться системой фрикулинга на случай отказа штатных системы охлаждения. 

Точность поддержания температуры 

На реальных объектах наблюдается интересная картина в плане точности поддержания температуры в холодном коридоре МЦОД при работе системы фрикулинга и фреоновых кондиционеров: точность при использовании последних заметно ниже.

Здесь следует разделить точность поддержания температуры при использовании неинверторных и инверторных фреоновых кондиционеров. Неинверторные кондиционеры работают на полную мощность, но так как они подобраны с запасом (или мощность ЦОД ниже номинальной), через некоторое время они захолаживают воздух и отключаются. После их отключения температура воздуха внутри МЦОД начинает возрастать – до тех пор, пока кондиционер не включится вновь. С течением времени выясняется, что температура «гуляет» по синусоиде: то выше, то ниже с диапазоном 8-10°С.

Инверторные системы кондиционирования обеспечивают плавное регулирование холодопроизводительности, однако, ввиду особенностей регулирования парокомпрессионного холодильного цикла и малого объема помещения температура всё равно «гуляет» по синусодине, но в меньшем диапазоне – 3-5°С.

А вот хорошо настроенная система свободного охлаждения показывает идеальную точность поддержания температуры. На изменение положения заслонок не накладывается каких-либо ограничений: их можно «подкручивать» как угодно мало и как угодно часто. На «живом» объекте корректирующие воздействия  формируются едва ли не ежесекундно (на самом деле с целью увеличения срока службы оборудования в штатной ситуации предусматривают таймаут 5-10 секунд). Плюс к тому процесс смешивания воздуха сам по себе гораздо проще процессов в холодильном контуре, да и количество элементов в системе заметно ниже. Всё это приводит к тому, что диапазон изменения температуры воздуха в МЦОД составляет десятые доли градуса – вот уж поистине прецизионное охлаждение! 

Зимний комплект

Мобильные дата-центры устанавливают вдали от крупных городов и зачастую в северных регионах – там, где плотность населения относительно мала, а поддерживать функционирование некоторого объекта всё-таки надо. В таких условиях незаменимым оказывается наличие низкотемпературного комплекта, и практически все производители МЦОД оговаривают возможность его установки. 

Низкотемпературный комплект предусматривает увеличенный ресивер, подогрев картера компрессора и некоторые другие функции. Наиболее распространенным является решение для обеспечения работы кондиционеров при температурах до минус 55°С. 

Отопление МЦОД

Ещё одна интересная особенность МЦОД – необходимость наличия отопительных приборов. Дело в том, что мобильные ЦОД представляют собой отдельно стоящие здания, и в определенные периоды ИТ-стойки могут быть заполнены серверным оборудованием, которое однако будет выключено или работать при очень низкой нагрузке.

В холодное время года тепловой нагрузки МЦОД может не хватить даже для того, чтобы поддержать достаточно теплую температуру внутри контейнера. На этот случай МЦОД должны быть оснащены отопительными приборами. Обычно это электрические конвекторы мощностью 2-3 киловатта.

Примеры реальных мобильных ЦОД

Компания GreenMDC выпускает мобильные дата-центры разной мощности и масштаба. В зависимости от этого они оснащаются различными системами охлаждения. Например, МЦОД CUBiC вмещает до 6 ИТ-стоек шириной 600 миллиметров мощностью от 1 до 20 киловатт каждая. Для отвода теплоизбытков на выбор заказчика могу быть предусмотрены моноблочные, колонные или внутрирядные прецизионные кондиционеры, устанавливаемые с таким расчётом, чтобы один кондиционер оставался резервным (так называемая схема резервирования N+1). Наружные блоки (при их наличии) размещаются на торце контейнера (см. рисунок 4).  

Рисунок 4. Пример размещения колонных кондиционеров и наружных блоков в МЦОД CUBiC от компании GreenMDC.

Компания Utilex предлагает мобильные ЦОД DataStone+ mobile на базе 40-футового контейнера. В них возможна установка от 1 до 8 ИТ-стоек. Система кондиционирования реализуется на базе прецизионных кондиционеров Clever Breeze, объединенных со шкафами в отдельные модули, что приводит к образованию холодного и горячего коридоров. Кроме того, она включает  систему замкнутого ультразвукового увлажнения. Компоновка ЦОД DataStone+ mobile представлена на рисунке 5.  

Рисунок 5. Компоновка мобильного ЦОД DataStone+ mobile от компании Utilex.

Компания Telecore разработала несколько контейнерных дата-центров: Databox-E, Databox-F, Databox-DX и Databox-S. В них используется три различных архитектуры системы охлаждения: прецизионные сплит-системы, полупромышленные канальные кондиционеры и прецизионные моноблочные кондиционеры. Максимальная допустимая мощность серверного оборудования составляет 110 киловатт, наиболее широкий температурный режим эксплуатации – от минус 50 до плюс 50°С. Часть линейки оснащена системой свободного охлаждения. 

Рисунок 6. Внешний вид контейнерного центра обработки данных от компании Telecore.

Компания ISO-Energo предлагает МЦОД (см. рисунок 7) различной компоновки и масштаба. Типовая конфигурация предусматривает установку от 1 до 6 стоек в стандартном транспортном контейнере. В зависимости от мощности устанавливаемого серверного оборудования применяются системы охлаждения на базе сплит-систем (не всегда прецизионных) и внутрирядных кондиционеров. Наружные блоки могут быть установлены на торце или на кровле контейнера.

Рисунок 7. Внешний вид мобильного ЦОД от компании ISO-Energo.

Заключение

Мобильные центры обработки данных представляют собой отдельный сегмент рынка ЦОД и имеют ряд особенностей. Среди  них – малый объём помещений, высокие удельные теплоизбытки, быстрый перегрев оборудования при аварии в системе охлаждения. Всё это диктует ряд требований  к системам охлаждения – применение компактных кондиционеров, устройство аварийной системы проветривания, ряд требований к системе фрикулинга. Устройство фреоновой системы охлаждения и фрикулинга позволяет избежать перегрева МЦОД в случае аварии и сэкономить на затратах электроэнергии в холодное время года и межсезонье.