Графические серверы Supermicro на процессорах AMD EPYC (серия AS-4125GS-TNRT) предлагают высокую вариативность конфигураций для ИИ

Компания Supermicro предлагает весьма обширную линейку графических серверов в различных форм-факторах – гораздо больше, чем можно уместить в рамки одного обзора. Сегодня мы рассмотрим их относительно новый четырехъюнитовый графический сервер с воздушным охлаждением, который рассчитан на два процессора серии AMD EPYC 9004, поддерживает PCIe Gen5 и допускает опциональную установку графических карт расширения – восемь двойной ширины или 12 одинарной ширины. Хотя у Supermicro также есть варианты этого сервера под процессоры Intel, семейство AS-4125GS-TNRT на базе AMD – это единственные серверы в данном классе, которые поддерживают и карты NVIDIA H100, и карты AMD Instinct Mi210.

Графический сервер Supermicro AS-4125GS-TNRT отличают такие решения, как встроенный сетевой контроллер 10GbE, поддержка внешнего сетевого управления (out-of-band management), девять слотов FHFL PCIe Gen5 и 24 дисковых отсека 2.5, четыре из которых – NVMe, остальные – SATA/SAS. Сервер также предлагает четырехкратное резервирование в части энергообеспечения: он оснащен четырьмя блоками питания класса Titanium мощностью 2000 Вт каждый. На материнской плате имеется один слот M.2 NVMe для загрузочного диска.

Стоит отметить, что у Supermicro есть еще две модификации сервера AS-4125GS-TNRT. Все серверные конфигурации базируются на одной и той же материнской плате, но AS-4125GS-TNRT1 – это односокетный сервер с переключателем PCIe на 10 видеокарт двойной ширины и восемь отсеков NVMe SSD, а AS -4125GS-TNRT2 – двухсокетный сервер, в остальном более-менее аналогичный, тоже с переключателем PCIe.

Независимо от модификации, все серверы Supermicro AS-4125GS-TNRT отличаются исключительной гибкостью, что обусловлено их конструкцией и вариативностью конфигураций карт PCIe. Такая концепция графического сервера пользуется популярностью, поскольку позволяет организациям начинать с малого, а затем расширять и перестраивать набор карт в зависимости от текущих задач, и вообще делать что угодно. Сокетированные графические системы позволяют более эффективно агрегировать GPU для высоконагруженных сценариев с ИИ, но системы с поддержкой карт расширения остаются непревзойденными с точки зрения адаптируемости к различным видам нагрузки.

Более того, хотя это может показаться кощунством, но в графических серверах Supermicro с поддержкой карт расширения можно даже использовать карты AMD и NVIDIA одновременно! Вы удивляетесь, но многие заказчики обнаружили, что одни сценарии лучше идут на картах Instinct, тогда как другие – на графических картах NVIDIA. Наконец, хотя графические серверы обычно укомплектованы «под завязку», не стоит забывать, что все эти слоты – просто слоты PCIe; и нет ничего невозможного в том, если заказчики захотят использовать здесь FPGA, DPU или другие типы ускорителей. Еще раз: гибкость, масштабируемость и вариативность – ключевые преимущества данной концепции серверной платформы.

Поэтому для настоящего обзора мы получили серверную платформу Supermicro AS-4125GS-TNRT в виде баребона, готового к установке процессоров, динамической оперативной памяти (DRAM), накопителей и, конечно, графических карт. По согласованию с Supermicro мы будем использовать здесь четыре карты NVIDIA H100.

Спецификации платформы Supermicro AS-4125GS-TNRT

Тестовая конфигурация сервера Supermicro AS-4125GS-TNRT

Мы собирали сервер на базе серверной платформы, хотя обычно Supermicro продает готовые конфигурации. Первое, что мы сделали – установили пару процессоров AMD EPYC 9374F (32 ядра/ 64 потока). Мы выбрали эти чипы за их высокую тактовую частоту и приличную многопоточную производительность.

В части ускорителей выбор у нас большой – от старых сопроцессоров Intel Phi до новейших карт PCIe H100 и профессиональных видеокарт RTX 6000 Ada. Мы стремились соблюсти баланс между чистой вычислительной мощностью и гибкостью плюс общей эффективностью системы. В конце концов мы решили начать с четырех карт NVIDIA RTX A6000 и затем переключиться на четыре карты NVIDIA H100 PCIe, которые мы изначально собирались тестировать. Эта комбинация покажет как гибкость платформы Supermicro, так и потенциал графических ускорителей NVIDIA.

Карта RTX A6000, изначально разработанная для интенсивных графических нагрузок, также, благодаря своей архитектуре Ampere, отлично работает и в приложениях для ИИ и HPC. Эта карта имеет 48 ГБ памяти GDDR6, что делает ее подходящим решением для обработки больших датасетов и сложных математических моделей. Графический чип с 10752 ядрами CUDA и 336 ядрами Tensor обеспечивает ускоренный компьютинг, что крайне важно в сценариях для ИИ с глубоким обучением.

С другой стороны, карта NVIDIA H100 PCIe – это новейшая из имеющихся в продаже карт с архитектурой Hopper, которая разработана специально для ИИ. Каждая такая карта содержит впечатляющее число транзисторов – 80 миллиардов, 80 ГБ памяти HBM3 и революционный движок Transformer Engine, разработанный для таких моделей ИИ, как GPT-4. Ядра 4-го поколения Tensor и инструкции DPX, которыми располагает чип H100, значительно ускоряют выполнение инференсов и обучение ИИ.

Установив эти карты в нашу систему Supermicro, мы сконцентрировались на оптимизации охлаждения и теплорассеяния, с учетом довольно высокого энергопотребления и тепловыделения этих высокопроизводительных компонентов. Корпус Supermicro, хотя и не поддерживает официально такие конфигурации, тем не менее, зарекомендовал себя как достаточно универсальный для нашей сборки. Чтобы температура карт A6000 оставалась на приемлемом уровне, нам пришлось расставить их по ширине – из-за конструкции вентилятора типа «беличье колесо»; но карты H100 с их мощными пластинами радиаторов устанавливаются без проблем.

Наш комплексный набор тестов включает в себя нескольких сценариев HPC и специфические задачи для ИИ: от традиционных бенчмарков до запуска инференсов и машинного обучения с использованием свёрточных моделей нейросетей (convolutional neural network, CNN). Наша цель – вывести графические ускорители на максимум их возможностей, что позволит оценить их чистую производительность и эффективность, а также масштабируемость и удобство интеграции карт расширения в серверную конфигурацию Supermicro A+.

Тестирование графических карт в сервере Supermicro AS-4125GS-TNRT

В настоящее время в ходе работы над базовой моделью CNN мы пробуем различные флагманские GPU от NVIDIA, а начали мы с обучения на уровне рабочих станций на паре сравнительно старых, но еще довольно годных карт RTX8000.

Анализируя производительность ИИ, мы зафиксировали ожидаемый прогресс при переходе с NVIDIA RTX 8000 на четверную конфигурацию карт RTX A6000, а затем и H100 PCIe. Этот прогресс иллюстрирует не только чистую вычислительную мощность этих ускорителей, но также эволюцию ускорителей NVIDIA за последние несколько лет, с все более и более выраженным смещением фокуса на сценарии для ИИ.

Начав с RTX 8000, мы отметили приличный уровень произодительности. На этой конфигурации обучение нашей модели ИИ на датасете из изображений общим объемом 6.36 ГБ шло со скоростью около 45 минут на эпоху. Однако ограниченность возможностей RTX 8000 проявилась в части размера пакетов и сложности выполняемых сценариев. Мы могли задавать только сравнительно небольшие размеры пакетов и обучать (с приемлемой скоростью) не самые сложные модели нейросетей.

Переход на четверку карт RTX A6000 обеспечил нам значительный рост производительности. Больший объем GDDR6 и большая пропускная способность памяти карт A6000 позволила в четыре раза увеличить размер пакета при такой же длительности эпохи и такой же сложности модели. Такое ускорение процесса обучения позволило нам экспериментировать с более сложными моделями в тех же временных рамках.

Однако самый впечатляющий прогресс мы получили, перейдя на четверку карт NVIDIA H100 PCIe. Благодаря особенностям архитектуры Hopper, которая оптимизирована специально под ИИ-математику, эти карты позволили увеличить размер пакета еще вдвое. Более того, мы смогли значительно усложнить модели без существенного увеличения длительности эпох. Это обусловлено продвинутым ИИ-функционалом H100, включающим в себя Transformer Engine и 4-е поколение Tensor Cores и направленным на эффективное выполнение сложных операций в ходе машинного обучения.

Во всех этих тестах неизменными оставались размер датасета (6.36 ГБ) и число параметров модели, что позволило нам сравнить производительность разных графических конфигураций при равных условиях. Последовательный переход с RTX 8000 на A6000 и затем на H100 показал очевидный прогресс в части вычислительной мощности и способности графических чипов справляться с более объемными и сложными сценариями для ИИ, не жертвуя скоростью или эффективностью обучения. Это делает данные GPU отличным инструментом для передовых исследований в области ИИ и широкого применения глубокого обучения.

Наш сервер Supermicro предлагает прямое PCIe-подключение графических карт к CPU, позволяя обойтись без переключателя PCIe. Прямое подключение гарантирует, что каждый графический чип использует выделенное соединение с процессором, обеспечивающее более быструю и надежную передачу данных. Такая архитектура особенно актуальна в сценариях для ИИ и HPC, поскольку минимизирует задержку и обеспечивает максимальное использование ресурса пропускной способности памяти; это дает весомые преимущества в сценариях с интенсивными потоками данных, таких как обучение ИИ или работа в условиях сложной инфраструктуры виртуальных рабочих столов (VDI), когда данные всех пользователей хранятся на одном сервере.

Заключение

Стратегическими преимуществами графического сервера Supermicro GPU A+ AS-4125GS-TNRT являются его гибкость и масштабируемость. Это особенно актуально для тех заказчиков, которым нужно адаптироваться к специфике переменных рабочих нагрузок, будь то ИИ, VDI или высокопроизводительные вычисления. Начав со скромной конфигурации, пользователь может эффективно решать задачи начального уровня в сфере ИИ или VDI; это будет выгодное решение для организаций, работающих со сравнительно небольшими нагрузками, или для тех, кто делает свои первые шаги в этой области. Начальная конфигурация станет солидной и масштабируемой основой, позволяющей запускать базовые приложения для ИИ и VDI.

Кроме того, хотя многие предприятия хотят использовать преимущества сокетированных GPU H100, заказ этих платформ часто оборачивается долгим ожиданием – иногда около года. Проблемы логистических цепочек лишний раз подчеркивают преимущества данного сервера, который к тому же практически универсален. Карты L40S продаются без каких-либо проволочек, и этот сервер, по крайней мере, позволяет заказчикам запускать свои ИИ-нагрузки на том «железе», которое доступно “прямо сейчас”. А в случае изменения специфики нагрузки карты можно легко поменять. Таким образом, сервер Supermicro GPU A+ AS-4125GS-TNRT – это не просто решение для закрытия текущих потребностей, но перспективное капиталовложение, которое будет продолжать окупаться в условиях меняющегося технологического ландшафта.