На выставке-конференции GTC-2024 компания NVIDIA представила стоечную конфигурацию своего нового сервера DGX GB200 NVL72. Это будущее систем DGX, которое нам удалось пофотографировать, и мы хотим поделиться этими фотографиями с нашими читателями. Вид физической сборки системы убеждает в ее реальности.

Серверы Искусственного Интеллекта

Наименование системы может показаться громоздким (я два раза проверил, правильно ли я его написал), но зато оно очень информативно. Во-первых, это система NVIDIA DGX. Во-вторых, GB200 означает, что она базируется на архитектуре Grace Blackwell GB200. И в-третьих, NVL72 говорит нам о структуре интерконнекта NVLink, связывающего 72 графических процессора.

Это флагманская 120-киловаттная система, собранная в одной стойке. В настоящее время большинство дата-центров могут обеспечить максимум 60 кВт на стойку, так что на практике будут использоваться другие конфигурации. Мы ожидаем увидеть половинные сборки – у тех, кто не может поддерживать энергообеспечение стойки на уровне 120 кВт, или приближение к мегаваттным восьмистоечным конфигурациям SuperPOD.

Выше всех располагаются внешние коммутаторы.

Визуально перемещаясь вниз по стойке, мы видим вычислительные ноды. На верхних этажах размещаются десять нод. На передней панели каждой ноды мы находим два порта Infiniband, четыре дисковых отсека E1.S и порты управления. Справа находятся сопроцессоры обработки данных (DPU) BlueField-3.

Каждая из этих вычислительных нод содержит два центральных процессора (CPU) Grace Arm. Каждый чип CPU Grace подключен к двум графическим чипам Blackwell, которых в общей сложности четыре в каждой ноде.

Ниже представлен вид внутренней компоновки ноды, соответственно с охлаждающими блоками и без них.

Под этими вычислительными нодами располагаются девять ящиков-полок NVSwitch. Обратите внимание на позолоченные приспособления – это ручки для выдвижения полок.

Эти выдвижные отсеки NVSwitch содержат по два коммутирующих чипа NVLink.

Вот так эти отсеки выглядят изнутри:

В самом низу располагаются еще восемь вычислительных нод.

С обратной стороны стойки мы видим, что питание выдвижных отсеков сервера организовано по принципу собирательной шины (bus bar). Конструкция стойки предполагает соединение коннекторов питания, а также патрубков системы водяного охлаждения и коннекторов NVLink «вслепую» для каждого отсека. Поэтому каждый отсек при установке нужно слегка покантовать, чтобы убедиться, что слепые соединения стали на место.

По заявлениям NVIDIA, использование на задней панели в аналогичной стойке для подключений NVLink медных кабелей позволяет сэкономить около 20 кВт.

В результате получается исполинская система.

Резюме

Надеемся, наша статья помогла вам составить общее представление о новом сервере NVIDIA DGX GB200 NVL72. Это здорово – иметь возможность посмотреть на такие вещи вблизи. Ниже – суперчип GB200 крупным планом.