Концепция построения ЦОД на 9 ИТ-стоек на основе решений компании APC
Концепция построения ЦОД на 9 ИТ-стоек на основе решений компании APC by Schneider Electric. Представлены решения по системам кондиционирования, электроснабжения, безопасности, СКС, автоматизации и другим инженерным подсистемам ЦОД.
Содержание статьи:
Хотите научиться проектировать? Учебный центр AboutDC приглашает на обучение:
- Курс А1. Вентиляция: с нуля до первого проекта
- СТАРТ 15 апреля 2024: Курс А1.1 - Кондиционирование с нуля до первого проекта. Сплиты, мульти-сплиты, разводка канальников, VRF
- Курс А2. ID-диаграмма. Расчет бассейнов и центральных кондиционеров
- Курс А3. Системы холодоснабжения: расчет чиллеров, фанкойлов, насосов и трасс
- Курс А4. Охлаждение ЦОД. Прецизионные кондиционеры. Фрикулинг
1. Постановка задачи
1.1. Общие положения
В настоящее время у Заказчика существуют два смежных помещения:
- Кроссовое помещение
- Серверное помещение
В кроссовом помещении находятся 4 кроссовых открытых стойки, АТС, прецизионный кондиционер для охлаждения серверного смежного помещения.
В серверном помещении находятся 10 стоек с оборудованием (1 телекоммуникационная. 4 стойки HP с новым оборудованием, 5 стоек с оборудованием, подлежащим модернизации), баллоны АГПТ, 3 кассетных и 2 сплит кондиционера.
Специфика серверного помещения:
- Отсутствие фальшпола
- Оборудование функционирует в режиме 24х7 без возможности отключения.
В настоящее время серверное оборудование запитано от источника APC Silcon, размещенного в помещении электрощитовой. Размещение дополнительных источников в данном помещении фактически невозможно.
Помещения кроссовое и серверное имеют двери в помещение ИТ, которое является проходным, сквозь него можно пройти в офис, организованный по принципу open space, в данном офисе имеется фальпол с высотой порядка 200 мм. Скорее всего несущая способность данного фальшпола порядка 300 кг на метр квадратный (следует из его предназначения – пол для офисных помещений).
Для обеспечения решения задач в составе ИИ ЦОД необходимо спроектировать и построить следующие подсистемы:
№ |
Раздел и система |
Наличие Данет |
---|---|---|
|
Электричество |
|
1 |
Система Бесперебойного Электроснабжения |
Да |
2 |
Система Гарантированного Электроснабжения |
Да |
3 |
Система Общего Электроснабжения |
Да |
|
Климат |
|
4 |
Система прецизионного кондиционирования |
Да |
5 |
Система кондиционирования вспомогательных помещений |
Да |
9 |
Система дымоудаления |
В составе АГПТ |
|
|
|
10 |
Система автономного газового пожаротушения |
Да |
11 |
Пожарная сигнализация ЦОД |
В составе АГПТ |
12 |
Система оповещения и управления эвакуацией ЦОД |
В составе АГПТ |
|
Общие системы |
|
6 |
Строительная подготовка |
Требования |
19 |
Такелажная система |
Да |
8 |
Фальшполы и фальшпотолки |
Да |
|
Автоматизация |
|
9 |
Автоматизированная система мониторинга и управления ИИ ЦОДа |
Да |
Дополнительно надо разработать регламенты модернизации инженерных систем ЦОДа без его остановки.
Проектирование подсистем проводить в соответствии с СН 512-78 (изм.2000г.) "Инструкция по проектированию зданий и помещений для электронно-вычислительных машин", TIA-942 «Telecommunications Infrastructure Standard for Data Centers».
2. Описание решения
2.1. Общие положения
Помещение представляет собой комнату прямоугольной формы, размером – 8000х2900х4500, размещенную на первом этаже здания.
Необходимость реконструкции действующего ЦОД вызвана неспособностью текущей инженерной инфраструктуры обеспечить оборудованию требуемые заводом-изготовителем условия для работы
2.2. Концепция
Текущие проблемы с организацией работы серверного комплекса в целом проявляются в зонном повышении температуры выше допустимых значений. Для решения выявленной проблемы необходимо изменить структуру организации ЦОД в целом.
Для надежного отвода «горячего» воздуха от оборудования необходимо более четко организовать «горячий» и «холодный» коридоры. Для этого предлагается произвести частичную реконструкцию строительной части помещения, изменить расположение стоек с оборудованием, существующую систему кондиционирования оставить в качестве резервной на случай аварии, организовать кондиционирование ЦОД согласно действующим стандартам, новую систему кондиционирования запитать от системы бесперебойного питания, систему бесперебойного питания модернизировать согласно новым данным по нагрузке.
2.3. Архитектурно-строительные решения
Для упрощения обслуживания и уменьшения вероятности повреждения во время эксплуатации трассы, связанные новой системой кондиционирования предлагается провести под фальшполом высотой 150-200мм.
Фальшпол должен отвечать следующим требованиям: 1250 кг на кв. метр статической нагрузки, 250 кг на 25 кв. см площади согласно СН 512-78.
Для размещения оборудования предлагается расширить помещение методом сноса перегородки между помещениями, демонтажа прецизионного кондиционера, переноса кроссовых стоек.
2.4. Рассмотрение альтернатив модернизации
В рамках рассмотрения решения по модернизации были изучены следующие варианты по охлаждению:
- Размещение новых прецизионных кондиционеров
- Размещение внутрирядных кондиционеров без фальшпола
- Размещение внутрирядных кондиционеров с фальшполом
Плюсы и минусы решений:
- Невозможно разместить 2 кондиционера необходимой мощности в помещении, так как габариты кондиционера будут : длина не менее 2,2 метра. Высота – 2 метра, ширина не менее 890 см, зона перед кондиционером не менее 1 метра.
- Плюс решения : простота монтажа,
- Минусы решения: проход фреоновых трасс поверху, проход трасс дренажа выше уровня стоек – возможно повреждение трасс при перемещениях оборудования и проносе крупногабаритных вещей, возможно затопление дренажными водами и водой из водоснабжения пароувлажнителей серверов.
- Минусы решения: сложность монтажа фальшпола
По системе электроснабжения рассматривались следующие варианты:
- Монтаж параллельной системы из моноблочных ИБП в серверном помещении
- Монтаж ИБП в электрощитовой
- Монтаж ИБП с внутрирядным расположением
Плюсы и минусы решений:
- Не остается места на 9 необходимых для функционирования информационных стоек
- Нет места в помещении электрощитовой.
- Минусов нет.
По итогам рассмотрения альтернатив выбран вариант с внутрирядным размещением кондиционеров и ИБП с сооружением фальшпола высотой 200 мм.
2.5. Система кондиционирования воздуха.
Систему кондиционирования воздуха (СКВ) предполагается организовать следующим образом:
Стойки под оборудования необходимо установить так, чтобы перед стойками возможно было организовать «холодный» коридор, а сзади «горячий»
В состав ряда включить четыре прецизионных фреоновых кондиционера фирмы АРС хладопроизводительностью до 25кВт каждый. Внешние блоки кондиционеров разместить вне здания на внешней стене. Фреоновые трассы трассы дренажа и подачи воды на пароувлажнители, а так же трассы подключения электрооборудования внешних блоков разместить в пространстве фальшпола. Существующую систему кондиционирования предлагается оснастить воздуховодами для более точной подачи воздуха непосредственно к оборудованию и использовать в качестве резервного источника холода
2.6. Система электропитания
В рамках проекта предполагается, для увеличения установленной мощности, перевести объект на питание от газо-поршневых установок. Для реализации данного решения предлагается установить две газо-поршневые установки, включенные на общую шину, при этом одно из устройств выступает, как основное, второе – как резервное. Функциональное переключение между устройствами выполняется автоматически.
ОСНОВНЫЕ ТЕХНИЧЕСКИЕ ХАРАКТЕРИСТИКИ ОБОРУДОВАНИЯ
Параметры |
Значения |
---|---|
Модель генераторной установки |
PG345B3 |
Электрическая мощность, кВА/кВт (cos φ = 0.8) |
345/276 |
Тепловая мощность (макс. возможное количество утилизируемого тепла), кВт |
≈300 |
Напряжение, В |
380/220 |
Частота, Гц |
50 |
Модель двигателя |
Perkins 4006-30TRS1 |
Частота вращения коленчатого вала двигателя, об/мин |
1500 |
Расход топлива на 100% нагрузке, м3/час |
85 |
Комплектация ГПЭ:
№ |
Оборудование |
---|---|
1.
|
Трёхфазная газопоршневая установка PG345В3 (276 кВт) в базовом исполнении на раме, включая дополнительные опции: - Газовый 4-х тактный поршневой двигатель с искровым зажиганием, с турбонаддувом и охлаждением газовоздушной смеси после турбокомпрессора - Трехфазный генератор переменного тока (0,4 кВ, 50 Гц) - Рама с виброизолирующими опорами - Электрическая система пуска (комплект АКБ, стартер) - Индустриальный глушитель (стандартный) - Сильфонный компенсатор - Выходной автоматический выключатель генераторной установки с моторизированным приводом - Система подключения к газовой магистрали (давление газа на входе в регулятор 0,5-2,5 бар) - Панель управления для параллельной работы с внешней электрической сетью (серия 6400 или аналог) с возможностью автоматического регулирования в зависимости от текущей электрической нагрузки - Программное обеспечение к панели управления для дистанционного мониторинга на ПК - Система отключения по низкому уровню и высокой температуре охлаждающей жидкости - Система контроля детонации - Статическое устройство подзарядки АКБ - Система автоматического поддержания уровня масла в двигателе с дополнительным расходным баком - Система возбуждения с постоянными магнитами - Температурная защита обмоток генератора - Устройство останова генераторной установки при перегреве масла - Электрический подогреватель охлаждающей жидкости - Ручной насос для откачки масла - Инструкция пользователя и комплект документации |
2. |
Система охлаждения двигателя: - Выносной горизонтальный радиатор с электровентиляторами (устанавливается на крыше контейнера) - Комплект выносных термостатов контуров охлаждения рубашки двигателя и охлаждения газовоздушной смеси после турбокомпрессора - Электрические насосы циркуляции охлаждающей жидкости контуров рубашки двигателя и охлаждения воздуха турбонаддува |
После реализации данного предложения будет получена возможность увеличить установленную мощность оборудования 1 категории надежности электроснабжения. В данном случае, энергосистема будет выступать резервным источником энергии.
Для исключения возможности превышения разрешенной к отбору от энергосистемы мощности, предлагается автоматически отключать неприоритетную нагрузку при работе от резервного источника энергии.
Для электропитания новой СКВ в существующих распределительных шкафах предусматриваются дополнительные автоматические выключатели
Реконструкция электропитания вычислительного оборудования предусматривается по двухступенчатой схеме: сначала от распределительного шкафа ИБП напитываются по одному блоку питания каждого сервера, потом проводится демонтаж коробов с силовыми розетками и демонтаж лотка под силовые кабели и производится переключение остальных блоков питания на распределительный щит ИБП Symmetra PX2. Электроснабжение сплит систем и кассетных кондиционеров будет осуществляться с существующего ИБП Silcon. .
Для обеспечения бесперебойного электроснабжения СКВ предлагается перевести СКВ на питание от существующего ИБП. Для питания вычислительного оборудования предполагается установить на площадке Заказчика ИБП APC Symmetra PX2 модульного типа с максимальной мощностью 144кВА, при схеме внутреннего резервирования N+1, обходной байпас встроенный.
Предлагаемый источник имеет модульную структуру, что позволяет эффективно наращивать его мощность до максимального значения, а так же увеличивать время автономной работы вплоть до максимально возможного экономически целесообразного значения.
В настоящем проекте предлагается установить в ИБП десять силовых модулей по 16кВА (основные и один резервный).
Symmetra PX выполнен на основе технологии двойного преобразования энергии, что позволяет осуществлять переключение на батареи и обратно «без разрыва синусоиды». Высокая эффективность и отказоустойчивость предлагаемого оборудования доказана продолжительным опыт эксплуатации, и позволяет применять его на ответственных объектах.
Источник Symmetra PX2 обладает следующими характеристиками:
Максимальная выходная мощность 160 кВт / 160 kVA
Максимальное задаваемое значение мощности 160 кВт / 160 kVA
Номинальное выходное напряжение 230V,400V 3PH
Эффективность под полной нагрузкой 95.00%
Искажения формы выходного напряжения Less than 2%
Выходная частота (синхронизированная с электросетью) 50/60 Hz +/- 3 Hz
Пик-фактор Unlimited
Допуск по выходному напряжению +/-1%
КНИ выходного напряжения < 2%
Режим перегрузки 60 seconds @ 150%
КПД при половине нагрузки 95%
Необходимая защита от перегрузки по выходному току 300A
В предлагаемом решении предполагается применить систему со временем резервирования при максимальной загрузке питаемого оборудования не менее 60мин. Для этого, в помещении ЦОД размещается 3и шкафа батарей.
Применение системы на основе источника с резервированием на уровне модулей позволяет:
- уменьшить эксплуатационные затраты;
- уменьшить время плановых и внеплановых ремонтов;
- увеличить коэффициент использования пространства серверного помещения;
- упрощает возможность дальнейшего наращивания мощности.
Источник бесперебойного питания обеспечивает возможность удаленного мониторинга и управления его компонентами по протоколу SNMP, поэтому он может быть включен в общую систему мониторинга здания
Распределение электропитания к серверным стойкам, оборудованию кондиционирования, а так же оборудованию обеспечения безопасности и тд. выполняется от отдельного распределительного щита PDU Symmetra, устанавливаемого непосредственно в помещении ЦОД.
Телекоммуникационные стойки снабжаются распределительными блоками для подключения конечного оборудования. Питание стоек осуществляется по двум кабельным линиям. При необходимости, особо ответственное оборудование может быть запитано от индивидуального переключателя вводов стоечного исполнения.
Все сети выполняются 5-ти проводными для 3-фазных потребителей и 3-х проводными для 1-фазных. Сечение питающих кабелей выбирается с 25% запасом, для увеличения коммуникационной стойкости и с учетом нелинейного характера тока при питании импульсных источников питания. Жилы проводов и кабелей принимаются медными.
2.7. Система пожаротушения
Реконструкция системы газового пожаротушения требуется ввиду изменения конфигурации помещения.
2.7.1.1. Назначение установки
Установка автоматического газового пожаротушения предназначена для обнаружения и тушения пожара различного оборудования и технологических процессов с высокой пожарной опасностью, а также выдачи сигнала пожарной тревоги в помещении с круглосуточным пребыванием дежурного персонала. Установка пожаротушения состоит из модуля (модулей) с огнетушащим веществом, оборудованного выпускными насадками-распылителями и системой электрического пуска, извещателей дымовых, ручных пожарных извещателей, датчиков магнитоконтактных, табло оповещения, кнопок выключения автоматики, станции пожарной сигнализации.
Предлагаемая автоматическая установка газового пожаротушения предназначена для автоматического обнаружения возгорания в защищаемых помещениях, формирования и передачи сигналов о состоянии и работе установки на пост круглосуточного дежурства, а также включения средств газового пожаротушения для создания концентрации огнетушащего вещества, достаточной для локализации и тушения пожара в его начальной стадии без участия людей.
Проектом предусмотрено оборудование фирмы “АРТСОК”.
В качестве огнетушащего вещества предлагается Хладон 125 (сертификат соответствия РОСС RU. ББ02.Н01274 ТУ 2412-043-00480689-96 Изм.1.).
Хранение огнетушащего вещества предусматривается в модулях газового пожаротушения типа МГП-35 (сертификат соответствия РОСС.RU.ББ02.В00417), установленных в специальном помещении или в защищаемом помещении.
В качестве газа вытеснителя используется Азот по ГОСТ 9293-74 или осушенный воздух. Давление наддува в баллоне модуля 6,0 МПа. Параметры электрического пуска МГП по напряжению постоянного тока U=24В, I=0,5-0,6А.
Контроль заряда огнетушащего вещества осуществляется по массе, взвешиванием на весах при заправке модуля, давление в модуле контролируется по манометру, установленному на запорно-пусковой головке модуля. Резервный запас Хладона 125 предусмотрен для сохранения готовности установки к работе на время перезарядки модулей с основным запасом.
Расчетное время подачи огнетушащего вещества в соответствии с НПБ 88-2001 составляет не более 10 сек.
Установка модульного пожаротушения включает в себя модули с огнетушащим веществом, распределительные трубопроводы с выпускными насадками-распылителями и системой электрического управления.
Для равномерного распределения огнетушащего вещества в объеме защищаемых помещений в проекте использованы струйные насадки, устанавливаемые под перекрытием, в фальшпотолках и фальшполах защищаемых помещений.
2.7.1.2. Основные технические решения, принятые в проекте
Модульная (централизованная) установка газового пожаротушения, состоящая из модулей типа МГП емкостью от 60 до 100 литров предназначена для тушения и локализации пожаров твердых горючих материалов, горючих жидкостей и электрооборудования в производственных, складских, бытовых и других помещениях.
В защищаемом серверном помещении размещается основой и запасной комплект модулей газового пожаротушения в количестве 4-х штук по 80 литров каждый.(2 основных и 2 резервных)
Для равномерного распределения огнетушащего вещества в объем помещений используются насадки-распылители устанавливаемые на трубе под потолком, размещение насадок под фальшполом не требуется, так как высота фальшпола меньше 400 мм.
2.7.1.3. Оборудование обнаружения пожара и управления установкой газового пожаротушения.
а. Центральные станции пожарной сигнализации Schrack-Seconet
Все центральные станции пожарной сигнализации фирмы Шрак разработаны и производятся в Австрии, отвечают современному техническому уровню и последним достижениям науки и соответствуют новейшим стандартам (европейским нормам, требованиям органов пожарной охраны и европейских организаций, занимающихся контролем и сертификацией).
Благодаря модульной конструкции ЦСПС Интеграл является универсальным прибором и может использоваться как отдельная станция, так и в составе крупных сетевых систем.
Базовое исполнение
- Микропроцессорная техника с полным горячим резервированием, смонтированная в стальном корпусе;
- 4-строчный дисплей для отображения состояний системы (тревога, помеха и т.п.);
- Акустический и оптический датчик сигналов тревоги и помехи;
- Промежуточное запоминание тревог;
- Система циклического автотестирования станции с автоматическим сообщением о помехах;
- Возможность ручного контроля функций станции;
- Возможность индикации отдельных извещателей или зон сообщений;
- Интегрированный протокольный принтер;
- Полное горячее резервирование каждого узла.
Предварительная наладка с учетом следующих функций:
- Переключение с дневного режима на ночной (например, дневная программа с задержкой, ночная без задержки);
- Система осведомления;
- Программное обеспечение управления системой тревожной сигнализации и выходами с последовательным срабатыванием двух групп извещателей или двух извещателей;
- Подключение к операторским терминалам зданий, полевым шинам, внешним принтерам и т.п.;
- Подключение пульта управления в соответствии с DIN 14661;
- Объединение в сеть центральных станций пожарной сигнализации фирмы Шрак всех типов;
- Обнаружение загрязнения извещателей;
- Индивидуальное отключение извещателей.
Сертификаты:
- VdS Nr.: G298029, S298029
- Австрийский центр испытания противопожарной техники: № FT 14/170/3/96 и FT 14/171/3/96;
- VWA Австрия: 204/2257 и 204/2258;
- Проверка на электромагнитную совместимость: TÜV Австрия Nr. M/EMV-96/381;
- Национальные допуски к эксплуатации систем в Австрии, Германии, Хорватии, Польше, Румынии, России, Швеции, Словакии, Чехии, Венгрии, Украине и во многих других странах.
б. Оптический дымовой извещатель OSD2000
Извещатель рассеянного света, принцип действия которого основан на эффекте Тиндаля, предназначен для раннего определения открытых и скрытых пожаров с выделением дыма и включается в кольцо Интеграл. Извещатель оснащен изолятором КЗ, который обеспечивает продолжение нормальной работы кольцевого шлейфа при обрыве провода и коротком замыкании. Чувствительность может программно регулироваться в рамках стандарта EN54/часть 7.
- Программный алгоритм для обработки параметра пожара;
- Сокращение числа ложных тревог за счет использования динамического фильтра тревог;
- Система слежения за пороговым значением тревоги для компенсации внешних воздействий;
- Определение загрязнения;
- Регулировка чувствительности;
- Оценка предупредительной тревоги;
- Индикация тревоги с помощью светодиода с углом обзора 360°;
- Возможность подключения параллельного индикатора или цокольной сирены;
- Включение сигнала помехи при выходе из строя одного из узлов;
- Индивидуальное отключение извещателя;
- Встроенный изолятор К3;
- Испытан в соответствии с EN54/часть 7;
- Рабочее напряжение: 15 - 30 В пост.тока;
- Ток покоя: макс. 180 мкA/макс. 250 мА;
- Ток тревоги: ок. 5 мA (при активном светодиоде)
2.7.1.4. Принцип действия установки
2.7.1.4.1. Автоматический режим
В дежурном режиме работы установки, станция пожарной сигнализации осуществляет круглосуточный контроль адресно-аналогового кольцевого шлейфа пожарной сигнализации в автоматическом режиме. При возникновении очага пожара в защищаемой зоне, происходит автоматическое его обнаружение с помощью дымовых пожарных извещателей, входящих в состав пожарного шлейфа. При срабатывании одного пожарного извещателя прибор формирует сигнал «Внимание» и включает звуковой оповещатель в режим прерывистого звучания. При срабатывании второго пожарного извещателя станция пожарной сигнализации формирует сигнал «Пожар», переводит звуковой сигнализатор в режим непрерывного звучания, включает световые табло, установленные в помещении, с надписями «ГАЗ! УХОДИ!», «ГАЗ! НЕ ВХОДИ!», включает реле для управления инженерными системами (вентиляция, кондиционирование, дымоудаление), передает сигнал «Пожар» дежурному персоналу, путем включения световых и звуковых оповещателей.
По истечении времени установленной задержки от момента формирования сигнала «Пожар» станция выдает пусковой импульс на запорно-пусковые устройства, входящие в состав модулей газового пожаротушения.
2.7.1.4.2. Ручной режим
При отключенном автоматическом режиме запуск установки возможен со станции пожарной сигнализации, или с помощью кнопки ручного пуска, установленной за пределами защищаемого помещения. При этом время задержки пуска составляет не более 30 сек.
Переход из автоматического режима в ручной происходит при каждом открывании двери защищаемого помещения, при этом загорается табло «Автоматика отключена», установленное вне защищаемого помещения. Возврат установки в автоматический режим происходит при закрывании двери защищаемого помещения. Включение и выключение автоматического режима работы можно осуществить с лицевой панели станции пожарной сигнализации.
Для реализации требований о выпуске огнетушащего вещества в защищаемое помещение только при условии нахождения дверей в закрытом состоянии, к станции подключен шлейф контроля состояния дверного проема. При открывании двери происходит размыкание магнитоконтактного датчика (СМК), подключенного к станции. При этом станция пожарной сигнализации переводится из автоматического режима управления в дистанционный, при котором пусковой импульс не выдается.
Для повышения надежности работы установок пожаротушения, в комплексе пожаротушения предусмотрен постоянный контроль целостности всех электроцепей, в том числе шлейфов пожарной сигнализации и пиротехнических устройств.
Сигнал о неисправности устройств, включенных в систему, отображается на мониторе пожарной станции, при этом происходит отключение автоматического режима.
Станция пожарной сигнализации позволяет управлять разрешением/запретом автоматического пуска и производить принудительный дистанционный запуск системы пожаротушения.
2.7.1.5. Интеграция систем
Станция пожарной сигнализации при пожаре обеспечивает:
- выдачу сигнала в систему контроля и управления доступом для автоматической аварийной разблокировки дверей при пожаре;
- выдачу сигналов для отключения устройств вентиляции и кондиционирования;
- выдачу сигнала «ПОЖАР» в систему автоматической пожарной сигнализации здания.
2.8. Характеристики системы
В результате реконструкции предполагается создать систему со следующими характеристиками:
Количество серверных стоек – 9
Максимальная мощность вычислительного оборудования – до 70кВт
Ожидаемый уровень температуры в «холодном» коридоре – 20-23С
Предполагаемое время автономной работы – 17 мин
2.9. Обеспечение непрерывности работы ЦОДа
Самый сложный элемент реконструкции инженерных систем ЦОДа – монтаж фальшпола без остановки функционирования оборудования.
Возможные варианты:
- Подъем стоек на гидравлических домкратах
- Подъем стоек тельфером с закрепленным рельсом
- Подъем стоек с использованием блока на передвижных козлах из металлоконструкций.
Во всех вариантах создание фальшпола начинается от кроссовых стоек. Поднятие кроссовых стоек не обязательно, но возможно.
После анализа текущей ситуации, в частности большого количества силовых кабелей на тыловой стороне существующих стоек предлагается использовать третий вариант.
Дополнительные материалы
Оставить комментарий