Отключение электроэнергии на стадионе во время матча Super Bowl

В мире ЦОД отключение электроэнергии считается одним из наиболее серьезных происшествий, и для предотвращения подобных аварий прилагаются серьезные усилия. Когда в дата-центре происходит отказ питания, затронутыми оказывается большое число людей. Однако, такой инцидент не играет почти никакой роли на мировой арене. Super Bowl же, напротив, является огромным событием (в США и по всему миру). В течение последних нескольких лет, среднее число зрителей Super Bowl ежегодно составляло порядка 111 млн, что делает ее самым популярным телешоу в США. Показатели Super Bowl в мире уступают только Европейской Лиге Чемпионов (UEFA) со 178 млн зрителей.

Когда во время матча Super Bowl 2013 произошло отключение электроэнергии, команда Baltimore Ravens как раз готовилась к выполнению тачдауна и лидировала со счетом 28:6. Прошла уже половина матча, а у команды Forty Niners еще не было ни одного тачдауна. Ravens полностью доминировали над соперником, и они начали второй тайм с рекорда на самый длинный кик-офф в истории NFL с расстоянием в 98 метров. Преимущество было явно на стороне Baltimore Ravens.

В 13:22 третьей четверти, спустя всего 98 секунд после начала второй половины матча, значительная часть комплекса Superdome оказалась обесточена. К счастью, отключение электроэнергии произошло уже после пробежки обороны, с которой начался второй тайм. Авария привела к перерыву длительностью в 34 мин, который потребовался для полного восстановления освещения на поле, и после возобновления матча команда Forty Niners оказалась на коне.

Отключение питания совершенно изменило ход игры: Forty Niners сумели сократить отставание от соперника всего лишь до трех очков. Игра завершилась со счетом 34:31 именно в тот момент, когда обе команды имели шанс на победу. Нет сомнения в том, что игра получилась захватывающей, и некоторые люди даже будут утверждать, что отключение питания сыграло в этом далеко не последнюю роль. Однако, победившая сторона в чемпионате NFL должна определяться на поле, и на ход матча не должны влиять неполадки в системе питания, установленной на стадионе.

Сбой в работе оборудования

Так что же случилось в 13:22 третьей четверти матча, когда произошло отключение света на большей части поля? Компания Entergy, снабжающая электроэнергией стадион Superdome, сообщила, что  «распределительное и передающее оборудование, обслуживающее Superdome, работало исправно». Авария произошла на самом спортивном объекте.

В объединенном отчете компании SMG, управляющей комплексом Superdome, и компании Entergy, приводится следующая информация:

Оборудование, предназначенное для мониторинга уровня нагрузки в электросети, обнаружило отклонение рабочих показателей от нормы. После этого, оборудование сработало в автоматическом режиме и отключило подачу питания, что привело к частичному отключению электроэнергии на территории Superdome с целью изоляции аварийного участка сети. В работу немедленно включились резервные генераторы.

Entergy и SMG совместно обеспечили выполнение процедур запуска системы, убедившись в том, что питание на Superdome было полностью восстановлено. Оборудование, обеспечивающее отказоустойчивость, сработало на том участке, где системы Superdome соединяются с линией питания Entergy, подключенной к стадиону. Никаких дополнительных проблем впоследствии отмечено не было. Entergy и SMG продолжают расследование причин случившегося.

Таким образом, аварийный выключатель питания обнаружил «аномальный» режим работы и отключил подачу тока. Современное распределительное оборудование оснащается множеством сенсоров, мониторинг которых осуществляется программным обеспечением, работающим на программируемом логическом контроллере. Преимущество подобных систем заключается в значительной гибкости и возможности настройки индивидуальной конфигурации при каждой установке.

Недостатком программного обеспечения является тот факт, что поддерживаемая системой конфигурация может быть крайне сложной, а вариант конфигурации «по умолчанию» используется чаще, чем следовало бы. В странах, где урегулирование юридических споров может обходиться очень дорого, обычно используются достаточно консервативные стандартные конфигурации. Возможно, именно это послужило причиной случившегося инцидента. Впрочем, известно, что не было обнаружено никаких неисправностей, и питание оставалось стабильным до конца игры. С большой вероятностью можно сказать, что произошло ложное срабатывание.

Борьба со сбоями

Такой вывод можно сделать на основании того, что о причинах отключения по-прежнему ничего не сообщается. Довольно часто причина случившегося так и не бывает обнаружена. Но следует задаться вопросом: возможно ли избежать длительного отключения питания во время матча, и сколько это будет стоить? Как и в случае с отказом любой системы, для борьбы со сбоями можно предпринять следующие шаги: 1) полностью предотвратить возникновение сбоя, 2) использовать избыточные системы для защиты от сбоя, 3) свести к минимуму последствия сбоя за счет малого размера областей блокирования неисправности, и 4) минимизировать влияние сбоя за счет быстрого восстановления.

Предотвращения сбоя

Для предотвращения сбоя, в первую очередь, необходимо использовать качественное, грамотно настроенное оборудование; необходимо поддерживать его в хорошем состоянии и регулярно выполнять тестирование на неисправности. С учетом того факта, что Superdome был совсем недавно реконструирован на сумму $336 млн, распределительное оборудование на стадионе могло быть относительно новым. Но даже если это и не так, оно вероятнее всего недавно проходило техническое обслуживание и тестирование.

Проблемы в работе оборудования зачастую связаны с его конфигурацией. Современное распределительное оборудование обладает множеством настроек, многие из которых взаимодействуют друг с другом, что затрудняет понимание общей картины. И если учесть, что производители оборудования достаточно слабо представляют себе конечную цель применения каждой проданной единицы товара, системы поставляются с консервативными настройками «по умолчанию». В целом, риск и потенциальные негативные последствия, связанные с ложным срабатыванием выключателя, гораздо ниже, чем в случае его несрабатывания. Поэтому, консервативные настройки используются достаточно часто.

Еще одной распространенной причиной возникновения проблем является недостаточное тестирование. Лучший способ удостовериться в работоспособности оборудования предполагает тестирование при полной рабочей загрузке в штатной рабочей среде при отсутствии критически важных приложений. Во время тестирования необходимо нагружать оборудование практически до уровня перегрузки для того, чтобы быть уверенным в способности систем надежно поддерживать полную рабочую нагрузку, даже не смотря на то, что в реальных условиях оборудование никогда не будет так сильно загружено. Наконец, необходимо достичь перегрузки, чтобы убедиться в нормальной работе выключателя в случае возникновения аварийной ситуации.

Тестирование оборудования в штатной рабочей среде при отсутствии критически важных приложений всегда необходимо выполнять перед крупными мероприятиями. Однако, гораздо реже выполняется: 1) тестирование при расчетном уровне нагрузки и 2) тестирование при перегрузке. Оба теста требуют наличия искусственных блоков нагрузки и помощи квалифицированных электриков, так что они зачастую игнорируются. Тестирование при отсутствии критически важных приложений не дает гарантии того, что система будет работать нормально в критических условиях (футбольный матч).

Избыточность

Если полностью предотвратить сбой не удается, следует обеспечить избыточность для устранения его последствий. Сбои будут происходить всегда. Сбой электропитания во время футбольного матча в декабре 2011г. был вызван отказом подстанции энергетической компании. Подобных аварий нельзя избежать, и время от времени они случаются. Однако, возможна ли защита от сбоя, случившегося на стороне энергетической компании, и насколько она доступна? Разумеется, она возможна. В качестве примера рассмотрим отключение электропитания на Superdome.

Общая нагрузка на Superdome составляет всего 4,6МВт. Подобный уровень нагрузки легко поддерживается двумя 2,5МВт или 3МВт линиями питания, каждая из которых оснащается резервным генератором. Генераторы мощностью 2,5-3МВт – это надежные дизельные системы типа V16 размером со средний автобус. Они стоят достаточно дорого – почти $1 млн каждый.

Однако, генераторы можно брать в аренду. Вариант с арендой является вполне очевидным, но давайте попробуем оценить, сколько будет стоить обеспечение защиты Superdome в течение всего года при капитальной установке оборудования. Необходимо установить два генератора, распределительное оборудование для подключения к нагрузке и ИБП для поддержания нагрузки в течение первых нескольких секунд после сбоя прежде, чем генераторы запустятся и возьмут нагрузку на себя.

Чтобы обеспечить повышенную безопасность, мы установим третий генератор на случай возникновения проблем с одним из первых двух. Стоимость каждого генератора составляет чуть меньше $1 млн, а общая стоимость избыточной конфигурации питания с дополнительным генератором может составить почти $10 млн. Согласно статистике Super Bowl 2012, рекламное объявление длительностью в 30 секунд стоит $4 млн.

Стоимость защиты объекта от сбоев равна стоимости 60 с небольшим секунд рекламных объявлений. В случае аренды оборудования, менее 30 секунд рекламы позволят обеспечить необходимый уровень избыточности, позволяющий устранить последствия сбоя на стороне энергетической компании. С учетом того, насколько часто происходят аварии на стороне энергетических компаний, и какой негативный эффект имеет отключение питания во время профессионального спортивного состязания, подобная стоимость кажется вполне оправданной. Большая часть спортивных площадок предпочитает избегать лишних расходов, и я подозреваю, что на Superdome не реализована избыточность для системы освещения на поле.

Но даже если я ошибаюсь, отказ, подобный тому, что произошел на Superdome, может привести к блокировке генераторов, так что они не смогут принять на себя нагрузку. При подобном сбое, когда выключатель питания некорректно обнаруживает на объекте короткое замыкание на землю, конфигурация системы зачастую не позволяет включить генератор из за возможного подключения к цепи с замыканием на землю. На мой взгляд, лучше рискнуть повреждением генератора и избежать отключения питания, так что я не слишком хорошо отношусь к подобным «безопасным» конфигурациям, зачастую используемым по умолчанию.

Сокращение размера областей блокирования сбоя

Причина, по которой произошло отключение только половины питания на Superdome, заключается в том, что установленная на объекте система обладает двумя областями блокирования сбоя. При использовании подобной схемы, одиночный сбой распределительного оборудования может привести к отключению только половины питания.

Очевидно, в первую очередь следует предпринять попытку полностью избежать сбоя. Если этого сделать не удается, на помощь приходит избыточность, устраняющая последствия сбоя. Однако, в редких случаях, когда ни один из этих способов не срабатывает, может помочь использование небольших областей блокирования сбоя. Вместо использования двух областей, стоит установить больше выключателей в цепи питания и создать 4 или 6 зон, что приведет в случае сбоя к потере 1/4 или 1/6 питания. Если же питание системы освещения организовано по принципу шахматной доски (освещение в соседних зонах обеспечивается разными линиями питания, каждая линия питания поддерживает одинаковый объем освещения), вместо потери 1/4 или 1/6 питания на одном участке стадиона, произойдет равномерное отключение части освещения по всему полю. В таком случае, вполне возможно продолжать работу при неполном освещении и продолжить игру без необходимости ждать, пока будет восстановлено освещение.

Быстрое восстановление

Прежде, чем перейти к данному варианту, мы попробовали избежать сбоя, затем мы применили избыточность для устранения последствий сбоя, затем мы применили небольшие области блокирования сбоя для минимизации ущерба. На следующем этапе, самое лучшее, что мы можем сделать – это быстрое восстановление. Скорость восстановления зависит от двух факторов: 1) автоматизация восстановления, что позволяет выполнять его за секунды, 2) если необходима помощь людей, необходимо обеспечить им доступ к качественному оборудованию для мониторинга и записи событий, чтобы они могли быстро анализировать ситуацию; люди должны быть специально обучены и должны быстро реагировать на происходящее.

В случае Super Bowl, восстановление не было автоматизировано. Требовалась помощь профессиональных техников. Они оценивали состояние системы в течение почти 15 минут, прежде, чем решить, что можно включить питание. 15 минут для принятия решения людьми – это достаточно хороший результат. Однако, отключение длилось 34 минуты. Если питание было восстановлено через 15 минут, что же происходило в течение следующих двадцати? Газоразрядным лампам, которые по-прежнему используются на крупных спортивных объектах, требуется около 15 минут для повторного включения после отключения питания. Даже небольшое отключение питания приведет к столь же длительному времени восстановления. В настоящее время появляются новые технологии освещения, которые являются более энергоэффективными и не требуют длительного разогрева.

Похоже, что отказ питания не повлиял на определение победителя Super Bowl XLVII, однако, нет сомнения в том, что он оказал огромное влияние на матч. Если бы отключение питания произошло во время кик-оффа в начале третьей четверти, ход игры мог измениться куда более существенно. Качественные системы распределения питания являются не такими уж дорогими. Если учесть значимость игры и относительно низкую стоимость избыточного оборудования, я могу утверждать, что сейчас самое время модернизировать крупные спортивные объекты с целью реализации схем с большим уровнем избыточности, а также применять более агрессивное тестирование перед началом матча.

Теги:
#Электроснабжение (ИБП, ДГУ)
#Опыт ЦОД

Оставить комментарий

Ваше имя:
E-mail:
(Не обязательно)
Текст комментария:
Введите код с картинки:  

Дополнительные материалы

ПРОФЕССИОНАЛЬНОЕ обучение проектированию систем вентиляции и кондиционирования

Можно ли зимой включать кондиционер на обогрев

Вытяжка в стену: как подобрать и правильно сделать своими руками

3 способа сделать увлажнитель воздуха для квартиры и дома своими руками

Всё самое важное про турбодефлекторы: что такое, принцип работы, внешний вид, как подобрать

Вентиляция в квартире: самое полное руководство простым языком

Встраиваемая вытяжка на кухне: важные нюансы по устройству и подключению

Вытяжка в дачном туалете: как сделать правильно своими руками