Управление энергопотреблением при обработке большого потока данных

В значительной степени успешность модели интернет-услуг объясняется популярностью того класса услуг, который мы называем онлайн-услугами по обработке большого потока данных (Online Data-Intensive - OLDI). Эти услуги включают в себя обработку огромного объема данных, приходящихся на каждый запрос пользователя, и, в отличие от аналогичных автономных систем (таких, как система обработки данных MapReduce), они требуют мгновенного предоставления ответа на поступающие с большой скоростью запросы.

Примерами услуг подобного рода являются крупные поисковые системы, онлайн-реклама и автоматические переводчики. Хотя интенсивность этих работ может широко варьироваться в течение дня, энергопотребление при этом изменяется незначительно, так как оборудование использует энергию непропорционально производимой работе. Масштаб и управляемость времени ожидания сервисов OLDI также являются целевыми показателями применения технологий по управлению энергопотреблением.

Мы исследуем, что может быть сделано, чтобы энергопотребление систем OLDI было более пропорциональным их производительности. В частности, мы оцениваем применимость активных и холостых (энергосберегающих) режимов для сокращения объема энергии, потребляемой компонентами основного сервера (процессор, память и диск), поддерживая жёсткое ограничение времени отклика, в частности, на уровне 95-процентильного времени ожидания. Используя в качестве примера поисковую систему, мы дадим характеристику производительной нагрузки поисковой системы в масштабе кластера.

Пример суточной картины вариации количества запросов в секунду (3/с) кластера поисковой системы

Мы проведем подробную характеристику и продемонстрируем возможность экономии энергии при использовании режимов низкого энергопотребления каждого компонента основного сервера. Затем мы разрабатываем и обосновываем модель производительности для оценки влияния энергосберегающих режимов процессора и памяти на распределение времени ожидания поисковой системы и рассматриваем преимущества энергосберегающих режимов, применяемых в настоящее время и возможных к применению в будущем.

Результаты нашего исследования касаются проблем, связанных с осуществлением данного типа работ. В отличие от других типов работ, выполняемых сервером, для которых весьма перспективно применение энергосберегающих режимов, в случае выполнения работ типа OLDI мы полагаем, что пропорциональное энергопотребление с приемлемым временем ожидания может быть достигнуто только при использовании координируемых энергосберегающих режимов в масштабах всей системы.

Введение

Энергоэффективность современных ЦОД труднодостижима из-за работы аппаратных средств сервера, в которой не удается достичь оптимального соотношения энергозатрат и производительности в периоды низкой рабочей нагрузки. Идеальные системы демонстрируют пропорциональность энергопотребления, при которой серверы потребляют энергию пропорционально рабочей нагрузке. В настоящее время работа серверов далека от подобной пропорциональности – часто сервер, загруженный только на 10%, потребляет 50-60% от своего пикового объема энергии. Пропорциональное энергопотребление может повысить эффективность сервера с точки зрения второго фактора [5], а также повысить эффективность технологий ЦОД, таких, как ограничение энергопотребления [14].

В данной статье мы впервые обращаемся к тому типу работ ЦОД, который называем онлайн-услугами по обработке большого потока данных (Online Data-Intensive - OLDI). Этот тип работ получает значительное преимущество от внедрения пропорционального энергопотребления, так он характеризуется широким диапазоном динамической загрузки. Услуги типа OLDI связаны с ответом на запросы пользователей с обработкой огромных объемов данных и требуют быстрого, за доли секунды, реагирования на запросы, в отличие от аналогичных автономных систем (таких, как система обработки данных MapReduce). Примерами услуг подобного рода являются крупные поисковые системы, онлайн-реклама и автоматические переводчики. Как показано на рисунке 1, при том, что интенсивность услуг OLDI широко варьируется в течение дня, их энергопотребление сохраняется практически на одном уровне, так как оборудование использует энергию непропорционально нагрузке.

Вы можете скачать полную оригинальную версию данной статьи с нашего сайта. При необходимости у нас вы можете заказать её перевод на русский язык.