ЭФ-Контактное МК-5

Элементы системы

Разработанная по контактной технологии СЖО является универсальным комплексом модульного типа. В «ЭФ-Контактное МК-5» учитываются недостатки промышленно выпускаемых систем данного типа.

Основными элементами, входящими в состав СЖО являются:

  1. Стойка инфраструктуры с теплообменным модулем и двумя насосами для циркуляции теплоносителя по внутреннему контуру (с возможностью горячей замены N+1 и параллельного подключения), снабженная системой удаленного управления и мониторинга функционированием внешнего и внутреннего контуров;
  2. Управляемый модульный подающий коллектор для распределения теплоносителя – внутренний контур;
  3. Модульный отводящий коллектор для сбора теплоносителя – внутренний контур;
  4. Теплоотводящие магистрали с теплосъемными компонентами (для CPU, GPU, MIC) – внутренний контур.
Зависимость суммарной мощности отводимой тепловой энергии от расхода жидкости во внутреннем контуре.

Зависимость суммарной мощности отводимой тепловой энергии от расхода жидкости во внутреннем контуре.

Предлагаемая СЖО в нормальных условиях функционирования обеспечивает отвод от оборудования до 300 кВт тепла. Эффективное функционирование обеспечивается циркуляцией (за счёт избыточного давления, создаваемого одним из насосов) водосодержащего теплоносителя по замкнутому внутреннему контуру с теплосъемными элементами, установленными на охлаждаемые компоненты. Одновременная работа 2-х насосов  позволяет отводить до 550 кВт тепловой энергии с охлаждаемых компонентов.

При использовании в системе диэлектрических теплоносителей большей вязкости и меньшей теплоемкости (силиконовые и аналогичные рабочие жидкости, минеральные и синтетические масла) возможности теплоотвода комплекса снижаются до 100 кВт (с одним насосом) и 180 кВт (с двумя насосами) соответственно.

Указанные выше характеристики обеспечиваются при соблюдении требований по скорости циркуляции жидкости во внешнем контуре (расходу) и температуре теплоносителя, подаваемого из внешнего контура в теплообменный модуль. График зависимости суммарной мощности отводимой тепловой энергии от расхода жидкости во внутреннем контуре представлен на изображении выше. Зависимость показана при различных температурах теплоносителя внешнего контура на входе в теплообменный модуль.

Управление и мониторинг СЖО осуществляется в удаленном режиме по сети Ethernet. Специально разработанное ПО позволяет контролировать в автоматическом и ручном режимах основные параметры функционирования системы:

  • управлять суммарным расходом (скоростью подачи) теплоносителя и расходом теплоносителя в отдельной стойке;
  • управлять температурным режимом;
  • проводить оповещение при аварийных ситуациях (утечки теплоносителя в магистрали стойки или теплообменном модуле, разгерметизации, превышении допустимого давления в системе).

Конструкцией комплекса предусмотрена тонкая фильтрация теплоносителя с возможностью очистки фильтра без остановки системы, возможность быстрого залива/слива (замены) теплоносителя и промывки или очистки магистралей комплекса при необходимости. Работы выполняются сертифицированными специалистами компании.

Модуль инфраструктуры

В состав модуля входят:

  1. Два насоса с управлением от преобразователей частоты и дросселей;
  2. Двухконтурный теплообменник «жидкость-жидкость»;
  3. Датчики температуры, давления, расхода на входных и выходных магистралях контуров, датчик протечки;
  4. Соединительные трубопроводы, управляемые трехходовые клапаны, предохранительные клапаны;
  5. Система фильтрации;
  6. Система управления и мониторинга;
  7. Система электропитания.

Модуль инфраструктуры размещается отдельно в стандартной стойке глубиной не менее 800 мм, шириной рабочей зоны не менее 19’’и высотой не менее 20 U. Так же допускается размещение в нижней части стоек совместно с вычислительным и коммутационным оборудованием.

Компоненты модуля установлены в сварном каркасе с креплением к металлоконструкции стойки. В нижней части стойки на двух отдельных платформах размещены насосы с элементами управления. Платформы перемещаются по шасси, что обеспечивает быструю смену и/или вывод из эксплуатации каждой из них. Отдельно расположены теплообменник, фильтр, магистрали, датчики контроля функционирования системы. Теплообменник «жидкость-жидкость» имеет два входа и два выхода и служит для охлаждения теплоносителя, циркулирующего по внутреннему контуру, теплоносителем внешнего контура.

Модуль подключается к трехфазной сети переменного тока 380В, максимальная потребляемая мощность при одновременной работе 2-х насосов 9 кВт.

На задней стенке расположены 4 быстроразъёмных соединителя (БРС) на 2“ (входы и выходы)  для подключения внутреннего контура к стойкам с вычислительной аппаратурой и для соединения с  магистралями внешнего контура.

В нижней части стойки установлен поддон с датчиком протечки для  своевременного выявления и устранения аварийных ситуаций.

Диаметры проходных сечений основных гидромагистралей модуля:

  • вход внешнего контура 50мм (2“);
  • внутренний контур подача в магистрали к стойкам 50мм (2“).

Каждая стойка с охлаждаемым вычислительным оборудованием комплектуется подающим и отводящими коллекторами. Охлаждённый теплоноситель подаётся в каждую стойку с модуля ИС, а затем нагретый собирается и подаётся на теплообменник для рециркуляции.

Магистрали подающего и отводящего коллектора состоят из:

  1. распределительной трубы;
  2. быстроразъемных гидравлических соединений;
  3. автоматического воздушного клапана для стравливания воздуха.

Количество гидравлических соединений для подключения к отдельной распределительной трубе кратно 12. Трубы имеют выходы 3/8“ с установленными БРС для подключения отдельных стандартных серверных корпусов с охлаждаемыми ВМ. Каждый коллектор собирается из отдельных последовательно соединённых распределительных труб (по 12 выводов) исходя из количества потребителей в системе (12-24-36-48)

На входе в подающий коллектор установлен управляемый трёхходовой клапан для регулировки расхода циркулирующего по стойке теплоносителя и датчик давления. На выходе с отводящего коллектора установлен датчик давления и температуры. Все датчики расположены на съёмной платформе, монтирующейся при заполнении стойки вычислительным оборудованием.

Стойка подключается через два БРС  1“, расположенных на нижней части задней стенки, к магистралям, проложенным от модуля ИС  под фальшполом в помещения.

Диаметр проходного сечения трубопроводов составляет 25 мм (1”), на каждый корпус ВМ не менее 6мм (1/4”).

В нижней части стойки установлен поддон с датчиком протечки для  своевременного выявления и устранения аварийных ситуаций.

Теплоотводящие магистрали с теплосъемными компонентами внутреннего контура

Включают в себя один или несколько теплосъёмных блоков, в зависимости от конфигурации оборудования. Теплосъёмные блоки и единицы вычислительного оборудования расположены в отдельных стандартных серверных корпусах (1..4U). Подключение корпусов к коллекторам осуществляется через быстроразъемные соединения. Проходной диаметр в теплосъёмных магистралях 8 мм.

С учётом имеющихся разработок и опыта внедрения, мы готовы спроектировать и изготовить систему охлаждения  любой конфигурации, под любые существующие тепловыделяющие электронные компоненты.

Ниже изображены теплосъемные блоки нашей разработки, предназначенные для установки на процессоры, графические платы и сопроцессоры.

Теплосъемный процессорный блок

Состоит из четырех основных частей:

  1. Медной теплосъёмной пластины с развитой поверхностью теплообмена внутри (мелкошаговое оребрение деформирующим резанием);
  2. Пластиковой крышки;
  3. Распределительной пластины, оптимизированной для наилучшей циркуляции теплоносителя;
  4. Поворотных фитингов 90° «под шланг».

Теплоноситель подается на входной фитинг (отмечен IN), расположенный в центре пластиковой крышки. За счёт распределительной пластины достигается оптимальное направление циркуляции теплоносителя, что обеспечивает эффективный теплосъем внутри оребрённой зоны с отводом через выходной фитинг (отмечен OUT).
.

Теплосъемный блок для GPU и сопроцессоров

Состоит из четырех основных частей:

  1. Медной теплосъёмной пластины с развитой поверхностью теплообмена внутри (мелкошаговое оребрение деформирующим резанием);
  2. Пластиковой крышки;
  3. Распределительной пластины оптимизированной для наилучшей циркуляции теплоносителя;
  4. Поворотных фитингов 90° «под шланг».

Принцип работы и конструкция различных теплосъёмных блоков (за исключением теплосъёмной пластины, осуществляющей отвод тепла от всех тепловыделяющих компонентов платы) аналогичны. Отличительной особенностью линейки теплосъёмных блоков является полная унификация и взаимозаменяемость всех комплектующих кроме теплосъёмных пластин, спроектированных под конкретный тепловыделяющий электронный компонент.

Инсталляция СЖО

Установка всей системы контактного жидкостного охлаждения происходит следующими этапами:

  1. Установка модуля ИС: В стойку устанавливается каркас, шасси с платформой для насосов, теплообменник, датчики мониторинга, система управления, арматура;
  2. Сборка стоек ВМ с установкой элементов СЖО: Устанавливаются и подключаются устройства сопряжения, коллекторы, платформа с датчиками, производится сборка магистралей внутри корпусов с ВМ*, корпуса с ВМ устанавливаются в стойку и подключаются к СЖО;
  3. Подключение стоек с охлаждаемыми ВМ трубопроводами к модулю ИС;
  4. Подключение внешнего контура охлаждения к теплообменнику;
  5. Заполнение системы теплоносителем при помощи сервисного модуля;
  6. Тестовый запуск СЖО для проверки герметичности системы (с выключенными вычислительными узлами).

* Установка теплосъемных элементов

Для этого потребуется:

  • извлечь корпус с ВМ из стойки и снять крышку;
  • снять воздушные радиаторы с процессоров и графических плат;
  • установить водяные теплосъемные блоки на процессоры и графические платы;
  • осуществить соединение в гидравлические контуры;
  • вывести подводящую и отводящую водяные магистрали наружу.
Краткое описание работы контактной СЖО

Модуль ИС обеспечивает циркуляцию теплоносителя через стойки с вычислительной аппаратурой с предустановленными магистралями и теплосъёмными блоками. Охлаждённый теплоноситель со стойки ИС распределяется по стойкам ВМ, а после нагрева собирается коллекторами. Нагрев теплоносителя происходит в теплоотводящих блоках, установленных на процессоры, сопроцессоры и графические платы внутри корпусов серверов. Охлаждение теплоносителя происходит в теплообменнике типа «жидкость-жидкость», расположенном в модуле ИС. Для охлаждения теплоносителя, циркулирующего в замкнутом внутреннем контуре (по стойкам ВМ), требуется организация внешнего контура, в котором теплоноситель будет охлаждаться за пределами вычислительного зала. Теплоноситель во внешнем контуре при пропускании через теплообменник «жидкость-жидкость» модуля ИС охлаждает теплоноситель внутреннего контура.

Технология деформирующего резания, с использованием которой изготовлены все развитые поверхности теплосъемных блоков и тепловые трубки теплообменника «жидкость-жидкость», позволяет построить СЖО с возможностью отвода до 550 кВт тепла при помощи одного модуля ИС.

Количество отведенного тепла зависит от температуры теплоносителя на входе в теплосъёмные блоки, скорости потока (расхода) теплоносителя, параметров теплоносителя и других факторов, которые в совокупности влияют на температуру процессоров, сопроцессоров, графических карт при функционировании СЖО.

Система управления в непрерывном режиме следит за разницей температур в различных контурах системы и отдельных ВМ и управляет параметрами прохождения теплоносителя по контурам при помощи дистанционно управляемых, программируемых трехходовых клапанов.

Для  возможности проведения технического обслуживания и предотвращения потери работоспособности системы в аварийных ситуациях (например, при необходимости замены блока управления или проведения тестовых замеров),  существует возможность перевода системы в ручной режим управления.

Контроль аварийных ситуаций

Теплообменный модуль и коллекторы в стойках оснащены набором датчиков, отслеживающих температуру  теплоносителя, давление и расход в магистралях в различных точках системы, что позволяет своевременно выявить  возможные протечки и аварийные ситуации на программном уровне. Аппаратная система управления при возникновении нештатных ситуаций информирует оператора, и, в крайних случаях, способна аварийно завершать работу всей системы.
.

Обслуживание СЖО

Конструкция системы охлаждения предусматривает проведение как плановых, так и аварийных работ.

В режиме горячей замены возможны:

  • Замена одного из подающих насосов. В случае отказа одного из насосов демонтаж и установка нового возможна без остановки работы второго насоса;
  • Очистка фильтрующего элемента внутреннего контура;
  • Смена системы управления (с включением ручного управления).

При необходимости возможна  промывка системы и полная замена теплоносителя.

Дополнительные изображения