Новая угроза российским дата-центрам

Рост энергопотребления превысил возможности существующей инфраструктуры!

Современные системы искусственного интеллекта требуют крайне высокой вычислительной плотности. В результате тепловыделение на одну серверную стойку уже достигает 100–120 кВт. При этом большинство российских ЦОДов спроектировано под нагрузку всего в 50–60 кВт. Это создаёт серьёзный разрыв между текущими возможностями инфраструктуры и реальными потребностями ИИ-нагрузок. Классические системы воздушного охлаждения в таких условиях работают на пределе и уже не способны эффективно отводить такое количество тепла.

Основные риски для бизнеса и инфраструктуры

• Снижение производительности оборудования. При перегреве процессоры и ускорители автоматически снижают тактовую частоту (throttling), что приводит к замедлению работы всех сервисов и ИИ-моделей.
• Повышенная аварийность. Дальнейший рост температуры значительно увеличивает вероятность внезапных отключений, сбоев оборудования и длительных простоев. Особенно опасно это для взаимосвязанных систем — вычислений, хранения данных и сетевой инфраструктуры.
• Резкий рост операционных расходов. Попытки «выжать» максимум из воздушного охлаждения приводят к экспоненциальному увеличению энергопотребления на вентиляцию и кондиционирование.

Что говорят эксперты: переход на жидкостное охлаждение неизбежен! По оценкам специалистов, уже в ближайшие 12–24 месяца российский рынок дата-центров будет вынужден активно внедрять гибридные и полностью жидкостные системы охлаждения для обеспечения стабильной работы и повышения энергоэффективности.

Современные технологии охлаждения

I. Фокус на охлаждение непосредственно на чипе

Одним из наиболее перспективных решений является технология cooling on chip — охлаждение, при котором жидкость контактирует напрямую с поверхностью процессоров и графических ускорителей. В отличие от традиционных методов, где тепло отводится воздухом или жидкостью, проходящей в удалённых теплообменниках, здесь используются специальные «холодные пластины» или микроканальные структуры, интегрированные максимально близко к источнику тепла.

Жидкость циркулирует по микроканалам, эффективно забирая тепло и передавая его во внешний радиатор, где происходит охлаждение и повторный цикл. Такой подход позволяет поддерживать оптимальный температурный режим даже при экстремальных нагрузках, характерных для ИИ-вычислений.

Преимущества охлаждения на чипе:

• Максимальная эффективность отвода тепла. Тепло удаляется непосредственно у источника, что значительно снижает риск перегрева и позволяет работать при плотности мощности до 120 кВт на стойку.
• Снижение энергозатрат. Уменьшается потребность в мощных вентиляторах и больших объёмах воздуха, что снижает общий PUE дата-центра до значений ниже 1,2, экономя значительные суммы на электроэнергии.
• Экологическая выгода. Отработанное тепло можно использовать для отопления зданий или технологических нужд, что повышает общую энергоэффективность комплекса.
• Снижение уровня шума. Меньшее количество вентиляторов делает работу ЦОД более комфортной для персонала и снижает акустическое загрязнение.

Вызовы и ограничения внедрения

• Высокие капитальные затраты. Необходимость закупки специализированного оборудования, разработки новых термоинтерфейсов и создания инфраструктуры для циркуляции жидкостей увеличивает первоначальные инвестиции.
• Риски эксплуатации. Несмотря на использование диэлектрических жидкостей, существует вероятность утечек, которые могут привести к повреждению электроники.
• Ограниченный охват. Технология эффективно охлаждает только горячие компоненты, такие как CPU и GPU, в то время как другие элементы, например накопители, требуют дополнительных систем охлаждения.
• Сложность масштабирования. Интеграция таких систем в крупные дата-центры требует тщательного проектирования, квалифицированного обслуживания и постоянного мониторинга.

II. Прямое жидкостное охлаждение (D2C, Direct-to-Chip): Инновационный подход к теплоотводу

Технология прямого жидкостного охлаждения, известная как D2C (Direct-to-Chip), представляет собой передовой метод отвода тепла от критически важных серверных компонентов, таких как центральные процессоры (CPU), графические процессоры (GPU) и модули оперативной памяти (DRAM). Суть метода заключается в циркуляции охлаждающей жидкости по специально разработанным микроканалам, интегрированным в холодные пластины. Эти пластины монтируются непосредственно на нагревающиеся чипы, обеспечивая максимально эффективный теплообмен. Такой подход позволяет извлекать тепло непосредственно из источника его генерации, минуя воздушные прослойки или промежуточные радиаторы, что значительно повышает общую производительность системы.

Механизм функционирования:

1. Монтаж теплосъемника: На процессор или иной компонент, генерирующий значительное количество тепла, устанавливается специальная холодная пластина (cold plate), оснащенная сетью микроканалов.
2. Циркуляция хладагента: Через эти микроканалы прокачивается охлаждающая жидкость. В качестве хладагента чаще всего используется деионизированная вода или специализированные составы, которые эффективно поглощают тепло от поверхности чипа.
3. Теплообмен и рециркуляция: Нагретая жидкость направляется во внешний теплообменник или в блок распределения хладагента (CDU - Coolant Distribution Unit). Здесь происходит охлаждение жидкости, после чего она возвращается в замкнутый контур для повторного использования.
4. Распределение жидкости: CDU играет ключевую роль в обеспечении равномерного распределения охлаждающей жидкости по всем компонентам в серверной стойке. Этот блок может быть интегрирован как внутрь стойки, так и располагаться снаружи.

Ключевые преимущества D2C:

• Высочайшая эффективность теплоотвода: Прямое жидкостное охлаждение обеспечивает существенное снижение температуры чипов по сравнению с традиционными воздушными системами. Это открывает возможности для достижения плотности мощности до 100+ кВт на стойку, особенно в гибридных конфигурациях.
• Оптимизация энергопотребления: Снижение тепловой нагрузки на вентиляторы и системы кондиционирования приводит к уменьшению общего энергопотребления дата-центра, что положительно сказывается на показателе PUE (Power Usage Effectiveness).
• Расширенные возможности разгона: Серверы, оснащенные D2C, могут стабильно работать на повышенных тактовых частотах, минимизируя риск перегрева и обеспечивая максимальную производительность.
• Гибкость внедрения: Технология D2C допускает поэтапное внедрение, начиная с наиболее теплонагруженных компонентов. Это позволяет модернизировать существующую инфраструктуру без необходимости полной замены оборудования.

Ограничения и особенности применения:

• Предельная мощность на стойку: В чистом виде D2C обычно справляется с отводом 30–50 кВт на стойку. Для более высоких нагрузок требуется комбинирование с другими методами охлаждения, такими как теплообменники на дверях стоек или иммерсионные системы.
• Сложность и стоимость: Внедрение D2C требует инвестиций в CDU, трубопроводы, холодные пластины, а также регулярное обслуживание жидкостных контуров.
• Потенциальный риск утечек: Несмотря на использование диэлектрических жидкостей, существует теоретическая вероятность попадания влаги на электронные компоненты, что требует тщательного контроля и обслуживания.

III. Иммерсионное охлаждение: Полное погружение для максимальной эффективности

Иммерсионное охлаждение представляет собой радикальный подход к теплоотводу, основанный на полном погружении серверного и другого ИТ-оборудования в специализированную диэлектрическую (непроводящую) жидкость. Эта жидкость исключает риск короткого замыкания и обладает высокой теплоемкостью, позволяя эффективно отводить тепло непосредственно с поверхности всех электронных компонентов. Результатом является равномерное и интенсивное охлаждение, способное справляться даже с экстремальными тепловыми нагрузками.

Принцип работы иммерсионного охлаждения

1. Размещение оборудования: Серверы и другие устройства помещаются в герметичные резервуары (баки), которые заполняются диэлектрической жидкостью.
2. Прямой контакт с теплоносителем: Жидкость находится в непосредственном контакте со всеми нагревающимися элементами, включая CPU, GPU, память и блоки питания.
3. Теплообмен и циркуляция: Выделяемое оборудованием тепло активно поглощается жидкостью. Затем эта нагретая жидкость перекачивается во внешний теплообменник, где отдает тепло вторичному контуру охлаждения, обычно использующему воду из градирни или чиллера.
4. Завершение цикла: Охлажденная жидкость возвращается в резервуар, замыкая цикл. В двухфазных системах жидкость может переходить в парообразное состояние при нагреве, а пар затем конденсируется в верхней части бака, что дополнительно повышает эффективность теплоотвода.

Типы используемых жидкостей:

• Однофазные жидкости: Эти жидкости всегда находятся в жидком состоянии. Теплоотвод осуществляется за счет конвективной циркуляции жидкости внутри системы.
• Двухфазные жидкости: Данные жидкости имеют низкую температуру кипения. При нагреве они испаряются, пар поднимается к конденсатору, где охлаждается и возвращается в жидкое состояние. Двухфазные системы, хотя и более затратны, демонстрируют более высокую эффективность теплоотвода.

Преимущества иммерсионного охлаждения:

• Высокая энергоэффективность: Показатель PUE может достигать значений 1,03–1,08, что на 30–40% превосходит показатели воздушного охлаждения.
• Значительное увеличение плотности размещения: Позволяет размещать в 5–10 раз больше серверов на той же площади, достигая плотности мощности до 100–150 кВт на стойку.
• Продление срока службы оборудования: Работа компонентов при более низких и стабильных температурах снижает их износ и увеличивает общий срок эксплуатации.
• Бесшумность и защита от загрязнений: Отсутствие вентиляторов делает систему практически бесшумной, а погружение в жидкость защищает оборудование от пыли и других внешних загрязнений.
• Возможность утилизации тепла: Нагретая в процессе охлаждения жидкость может быть эффективно использована для отопления зданий или других промышленных нужд.

Недостатки и ограничения:

• Высокая первоначальная стоимость: Внедрение иммерсионных систем требует значительных начальных инвестиций. Требуется специальное оборудование, резервуары, дорогие жидкости.
• Сложность обслуживания: замена компонентов требует извлечения сервера из жидкости, очистки и сушки.
• Ограничения по оборудованию: не все HDD и компоненты совместимы с погружением, требуется адаптация серверов.
• Экологические риски: необходима утилизация жидкости по специальным стандартам.

Применение

Иммерсионное охлаждение востребовано для AI/ML-кластеров, майнинга, HPC-систем, edge-дата-центров. В России такие решения внедряют Яндекс, Сбер, МТС и другие крупные компании

Итоги статьи

Без модернизации инфраструктуры рост ИИ-нагрузок приведёт к массовым перегревам, увеличению аварийности и деградации качества сервиса. Операторы ЦОД уже сегодня должны закладывать жидкостные системы охлаждения и модернизированные схемы электропитания в стратегии развития.