Что такое модули DIMM с мультиплексором комбинированного ранга (MCR DIMM)

Одна из главных проблем для современных серверов связана с необходимостью повышения пропускной способности памяти. Поэтому проектировщики серверов обратили внимание на модули памяти с мультиплексором комбинированного ранга (Multiplexer Combined Ranks DIMM, MCR DIMM), которые стали особенно актуальны с приходом эры серверов 2024-2025 годов (и в будущем эта тенденция продолжится), поскольку позволяют обойти текущие ограничения в части пропускной способности памяти. В этой статье мы немного расскажем об этой технологии в контексте требований к памяти, предъявляемых современными серверами.

Если вы читали нашу недавнюю статью о потреблении пропускной способности памяти серверами Intel Xeon и AMD EPYC в пересчете на ядро и сокет, то имеете представление о масштабах проблемы, с которой столкнулись современные серверы.

Плотность ядер CPU в серверах продолжает расти, и это вызов для пропускной способности памяти. Одна из инноваций, направленная на решение этой проблемы, – память DDR5, которая для современных серверов превращается из опции в необходимость.

У проектировщиков серверов есть три основных пути повышения пропускной способности памяти:

• повышение скоростей DDR;
• повышение числа каналов DDR;
• подключение дополнительных источников пропускной способности памяти (например, устройств CXL);
• использование специализированной памяти, такой как HBM.

Эта гонка за пропускной способностью памяти привела к созданию монструозных материнских плат, таких как, например, эта модель от Gigabyte:

Здесь мы имеем двухпроцессорную платформу AMD EPYC Genoa с полным набором слотов для 48 модулей DIMM. Как вы сами можете видеть, сокеты нужно компенсировать восемью-девятью модулями DIMM, просто потому, в стандартном 19-дюймовом сервере недостаточно пространства для дополнительных DIMM-слотов. Этот вариант конфигурации добавляет к размеру сервера более 5 дюймов и поэтому менее практичен. В результате многие серверы AMD EPYC 9004 Genoa предлагают 12 модулей DIMM на сокет в качестве конфигурации с максимальной пропускной способностью памяти.

Так как сокеты CPU становятся все больше, впихнуть в сервер даже эти 12 модулей памяти становится проблематично, и здесь мы подходим к тому моменту, когда конструкторам серверов нужно искать новые пути расширения пропускной способности памяти, помимо простого добавления в сервер дополнительных слотов DDR5. Увеличение количества слотов близко к своему физическому пределу.

Решением становится новый формат модулей памяти поколения DDR5 – MCR DIMM. SK Hynix анонсировала свои модули DDR5 MCR DIMM еще в конце 2022 года, но популярность к ним придет в 2024-2025 годах (и сохранится после).

Модули MCR DIMM могут работать сразу с двумя рангами и извлекать из памяти одновременно 128 байт данных, запрашиваемых CPU (64 байта из каждого ранга), то есть предлагают примерно вдвое большую производительность одного модуля DIMM. Модули MCR DIMM используют специальный буфер данных, помогающий комбинировать трансферы, извлекаемые из каждого ранга.

В то время как текущие чипы DDR5 обеспечивают 4.8 Гбит/с, технология MCR DIMM для начала ориентируется на 8 Гбит/с, и в будущем эту скорость планируют увеличить. Хотя мы уже получили промежуточное приращение скоростей DDR5 в 2023 – начале 2024 года, переход серверов на MCR DIMM обещает грандиозный прогресс в скорости в конце 2024 – 2025 году.

Резюме

Хотя суперчип NVIDIA Grace Superchip со 144 ядрами CPU, 960 ГБ памяти и 128 линиями PCIe Gen5 и предлагает пропускную способность памяти почти 1 TБ/с, он использует память LPDDR5X и, следовательно, ограничен в части емкости памяти. А модули MCR DIMM позволяют стандартным серверным процессорам продолжать наращивать емкость памяти при одновременном достижении пропускной способности существенно больше 1 TБ/с в двухсокетных серверах.

Помимо внедрения MCR DIMM, мы ожидаем, что в 2025 году технологии расширения памяти CXL будут использоваться более широко, что даст дополнительную прибавку к пропускной способности памяти, хотя и при некотором увеличении задержки.