Проектирование современных решений охлаждения ЦОД.

Программа
Обзор текущего положения дел с энергопотреблением.
Case study параметров запускаемого в настоящего время в МГУ им. М.В.Ломоносова суперкомпьютера Т-500: расчетная производительность 500 ТФлоп/с, около 3МВт потребляемой мощности, отвод тепла от стоек с блейд-серверами с пиковым тепловыделением до 75 кВт на стойку.
Сравнение эффективности построения схем охлаждения с контейнеризацией холодного и горячего коридоров.
Сравнение применимости чиллерных систем охлаждения и фреоновых (DX) для современных приложений.
Обзор классических систем охлаждения
Заключение: выводы и рекомендации

Динамика роста тепловой плотности ИТ-продуктах (прогноз 1999г.)

Динамика роста тепловой плотности в ИТ-продуктах (прогноз 2005г.)

Реалии сегодняшнего дня
10...12 кВт для 1-2 RU серверов (“pizza”)
15…20 кВт для blade-серверов

HPC (High Performance Computing)
Полигон «Formula 1» для многих технологий
Наиболее «горячие» серверы

Энергопотребление 1 PFlop/s компьютера
www.top500.org
Энергопотребление компьютера с производительностью 1 Pflop/s = 2.5 … 15 MВт
Энергопотребление 19” стойки с серверами
CRAY XT5 (#2): 32…43 кВт
SGI Pleiades (#4): 21 кВт
T60 (#82): 33 кВт

Программа
Обзор текущего положения дел с энергопотреблением.
Case study параметров запускаемого в настоящего время в МГУ им. М.В.Ломоносова суперкомпьютера Т-500: расчетная производительность 500 ТФлоп/с, около 3МВт потребляемой мощности, отвод тепла от стоек с блейд-серверами с пиковым тепловыделением до 70 кВт на стойку.
Сравнение эффективности построения схем охлаждения с контейнеризацией холодного и горячего коридоров.
Сравнение применимости чиллерных систем охлаждения и фреоновых (DX) для современных приложений.
Обзор классических систем охлаждения
Выводы и рекомендации

Проект Т-500
Заказчик: МГУ им. М.В.Ломоносова
Генеральный контрактор: Т-Платформы
Расчетная производительность 500 ТФлоп/с
Энергопотребление вычислителя: до 2.4 МВт, общее потребление площадки около 4 МВт
Горячие серверные стойки 65...70 кВт (!!), конфигурация рассчитана на теплосъем до 75 кВт со стойки

(фото с площадки)

T-500: энергетика
60 стоек с нагрузкой, 40 внутрирядных кондиционеров
Средняя нагрузка ~40 кВт/стойку с активным оборудованием
В каждом «островке» 8 горячих стоек, по 62...65 кВт тепловыделения

T-500
APC InRow RC, 600mm, Chilled Water, 380-415V, 50Hz
Штатная производительность по холоду 37 кВт
37кВт х 10 = 370кВт
Тепловыделение одного «островка» = 540...620 кВт
В чем же фокус?...

Программа
Обзор текущего положения дел с энергопотреблением.
Сравнение применимости чиллерных систем охлаждения и фреоновых (DX) для суперкомпьютерных приложений.
Сравнение эффективности построения схем охлаждения с контейнеризацией холодного и горячего коридоров.
Case study параметров запускаемого в настоящего время в МГУ им. М.В.Ломоносова суперкомпьютера Т-500: расчетная производительность 500 ТФлоп/с, около 3МВт потребляемой мощности, отвод тепла от стоек с блейд-серверами с пиковым тепловыделением до 75 кВт на стойку.
Сравнение применимости чиллерных систем охлаждения и фреоновых (DX) для современных приложений.
Обзор классических систем охлаждения
Выводы и рекомендации

Контейнеризация горячего коридора

Контейнеризация холодного коридора

Горячий коридор
Производительность кондиционера ~ ΔT = 35˚C

Холодный коридор
Производительность кондиционера ~ ΔT = 20…25˚C

Холодный или горячий?
Выигрыш в производительности кондиционера в 1.5 раза (в данном примере; выигрыш может быть существеннее)
Пример: APC InRow CW ACRC501:
44 кВт при ΔT = 22˚C; 11 кондиционеров для 500 кВт тепла
71 кВт при ΔT = 35˚C; 7 кондиционеров для 500 кВт тепла
В 1.5 раза меньше кондиционеров для отвода того же количества тепла
Экономия площади, денег, энергопотребления

Программа
Обзор текущего положения дел с энергопотреблением.
Case study параметров запускаемого в настоящего время в МГУ им. М.В.Ломоносова суперкомпьютера Т-500: расчетная производительность 500 ТФлоп/с, около 3МВт потребляемой мощности, отвод тепла от стоек с блейд-серверами с пиковым тепловыделением до 75 кВт на стойку.
Сравнение эффективности построения схем охлаждения с контейнеризацией холодного и горячего коридоров.
Сравнение применимости чиллерных систем охлаждения и фреоновых (DX) для современных приложений.
Обзор классических систем охлаждения
Выводы и рекомендации

Ограничения фреоновых систем охлаждения
Ограничение по температуре входного воздуха: не выше 30˚С, со склонностью к «эффекту домино». Требование к избытку воздуха, с ростом потребления вентиляторов
Реализация бесперебойного охлаждения
В данном проекте дополнительная мощность на выходе ИБП для реализации непрерывного охлаждения составила 120 кВт (кондиционеры, циркуляционные насосы), или 5% от мощности нагрузки
Реализация непрерывного охлаждения с фреоновыми кондиционерами потребовала бы ~1.6 МВт дополнительной мощности ИБП для поддержки ВСЕЙ системы кондиционирования

Программа
Обзор текущего положения дел с энергопотреблением.
Case study параметров запускаемого в настоящего время в МГУ им. М.В.Ломоносова суперкомпьютера Т-500: расчетная производительность 500 ТФлоп/с, около 3МВт потребляемой мощности, отвод тепла от стоек с блейд-серверами с пиковым тепловыделением до 75 кВт на стойку.
Сравнение эффективности построения схем охлаждения с контейнеризацией холодного и горячего коридоров.
Сравнение применимости чиллерных систем охлаждения и фреоновых (DX) для современных приложений.
Обзор классических систем охлаждения
Выводы и рекомендации

Фальшпол
Большое перемешивание
Следовательно вынужденное занижение выходной температуры и завышение объема воздуха
Следовательно низкая эффективность кондиционера и высокое потребление вентиляторов
Неравномерность подачи

Фальшпол + контейнеризация
Высокое сопротивление систем трубопроводов
Следовательно вынужденное завышение давления подачи воздуха
Следовательно высокое потребление вентиляторов
Неравномерность подачи

Серверы с прямым водяным охлаждением
75 кВт на стойку => при ΔТ сервера = 20˚С => скорость воздуха 2.4 м/с на входе стойки
IBM, Supermicro, Sun Microsystems, ... выводят на рынок серверы с прямым водяным охлаждением

IBM Aquasar (BladeCenter with water cooling)
2009

IBM Bluefire
2008

Скиф-Аврора (Скиф ряд 4)
ИПС РАН, 2009

Прямое водяное охлаждение серверов
На ближайшие ~10 лет – ТОЛЬКО для HPC (высокопроизводительные вычисления)
Почему?
Представьте себе установку 1 (одного) нового сервера с водяным охлаждением в существующей серверной...
Представьте себе сервер(ы) с водяным охлаждением в hosting/co-lo ЦОДе...
Доказано: 40 и даже 60 кВт/стойку снимаются воздухом

Выводы и рекомендации
Глобальное потепление продолжается
10...15...20 кВт/стойку, далее?..
In-row (внутрирядное) кондиционирование доказало свою применимость для решения широкого круга задач
Герметизация горячего коридора, кондиционеры на чиллерной воде – составляющие рецепта
Самое важное: использованы ИСКЛЮЧИТЕЛЬНО серийные компоненты без какой-либо доработки

Сервера с прямым водяным охлаждением
Применимость в обозримом будущем – лишь HPC-приложения