NVIDIA показывает, что ускоритель Intel Gaudi 2 по соотношению производительности и цены в 4 раза эффективнее H100

Опубликованы результаты тестов MLPerf Training v3.1, и это, возможно, один из наименее впечатляющих раундов за последнее время, за исключением двух результатов, которые действительно представляют интерес. Во-первых, NVIDIA с помощью MLPerf показывает преимущества своего суперкомпьютера на базе последнего поколения Hopper. Во-вторых, по курьезному стечению обстоятельств, и Intel, и NVIDIA демонстрируют отличные характеристики ускорителя Intel Gaudi 2 в части соотношения производительности и цены.

Ускоритель Intel Gaudi 2 одерживает крупную победу в тесте NVIDIA MLPerf Training v3.1

Всего в закрытом (Closed) и открытом (Open) разделах бенчмарка было 209 результатов 83 различных конфигураций. В открытом разделе было представлено только две конфигурации, каждая со своим (одним) результатом. Пакет MLPerf Training v3.1 от NVIDIA включает в себя девять различных тестов, и средний рейтинг каждой конфигурации по завершении всей программы бенчмарка составил всего около 27%. Из 209 результатов только 14 не относились к графическим процессорам NVIDIA. Из них шесть показывали производительность процессоров Intel Xeon Sapphire Rapids в сценариях для ИИ, задавая базисный ориентир для производительности CPU в данном вычислительном сегменте.

Итак, первое главное блюдо – новый суперкомпьютер NVIDIA. Представляемый под названием NVIDIA Eos, он содержит 10752 графических ускорителя H100, соединенных шиной Quantum-2 InfiniBand с пропускной способностью 400 Гбит/с. В перспективе это означает, что если компания-заказчик будет покупать такую систему, это будет стоить не меньше (а скорей всего, даже больше) 400 миллионов долларов.

С этим исполинским суперкомпьютером NVIDIA может победить по совокупности результатов всех тестов MLPerf Training, отражающих производительность GPU в различных аспектах обучения ИИ. По своему потенциалу он соответствует облаку Microsoft Azure, работающему на 10752 графических ускорителях NVIDIA H100.

В целом, немногие компании представляют результаты своих систем в MLPerf Training, так что NVIDIA пришлось даже добавлять их на общую диаграмму, показывая, что мало кто использует пакет бенчмарков MLPerf Training. Из отчетов AMD мы знаем, что эта компания отгружает варианты своего MI300, которые должны быть “коммерчески доступны” для MLPerf. Мы также знаем, что такая компания, как Cerebras продала свой Wafer-Scale Cluster более чем за миллиард долларов без MLPerf. Бенчмарк для инференсов MLPerf Inference достаточно популярен, когда речь идет о сравнении вендоров аппаратного обеспечения ИИ друг с другом. MLPerf Training не может этим похвастаться, за исключением одного примера.

Посмотрев на результаты теста Stable Diffusion, кто-то может сказать, что платформа NVIDIA H100 в 8 раз быстрее Intel Gaudi 2. Но давайте посмотрим более внимательно. Для достижения этой скорости NVIDIA использует в 16 раз больше ускорителей (H100). А приняв во внимание их стоимость, получаем, что восьмикратное увеличение скорости соответствует более чем 32-кратному увеличению стоимости системы. Другими словами, маркетинговый слайд NVIDIA показывает, что Intel предлагает примерно в 4 раза лучшее соотношение производительности и цены по сравнению с NVIDIA.

Сравнение производительности при одинаковом количестве ускорителей (64) показывает, что NVIDIA примерно вдвое быстрее. И это отличный результат для Intel, поскольку их ускорители более чем вдвое дешевле, чем у NVIDIA, плюс у Intel намного более простая системная архитектура.

NVIDIA предлагает более продвинутую платформу H100, чем Gaudi 2 от Intel, но основной вклад в этот результат MLPerf вносит поддержка FP8, которая и обеспечивает примерно двукратное увеличение производительности.

Intel находится в потрясающе выгодной позиции. По производительности Gaudi 2 занимает место где-то между A100 и H100. И, как мы знаем, стоит более чем вдвое дешевле ускорителя NVIDIA H100, если сравнивать стоимость отдельно взятых компонентов, а на уровне всей системы разница в стоимости между платформами NVIDIA и Intel может быть еще больше.

Сроки заказов на ускорители Intel Gaudi 2 довольно растянуты, но все-таки меньше, чем на H100.

Нужно специально отметить однократное появление в этой подборке также ускорителя NVIDIA L40S. Здесь мы подходим к тому, почему L40S становится альтернативным решением в тех ситуациях, где вместо H100 можно использовать больше ускорителей L40S, учитывая их стоимость и большую доступность. Результаты MLPerf подтверждают эту возможность.

Также заслуживает внимания результат TPUv5e от Google. Он не очень подходит для непосредственного сравнения, как сугубо облачный, но, по крайней мере, они что-то представили на рассмотрение.

Резюме

Складывается впечатление, что большая часть компаний, кроме NVIDIA, забыли про MLPerf Training, где мы видим только несколько результатов Intel и единственный результат Google. NVIDIA H100 SXM5 – самый большой на сегодняшний день графический ускоритель, и немногие из тех, кто использует MLPerf, желают соревноваться в этой категории. Только некоторые компании могут выпускать программно-аппаратные платформы на 1000 и более ускорителей, поэтому в топовом сегменте конкуренция невысокая. Если вам нужно 10000 ускорителей через полгода, то, скорей всего, вы заказываете систему NVIDIA H100 SXM5.

Суперкомпьютер NVIDIA Eos представляет собой внутрифирменную разработку, которая может принести компании более 400 млн долларов за каждый проданный экземпляр. На данный момент, вероятнее всего, ни одна компания в отрасли не может похвастаться подобным предложением. Конечно, это розничная цена, а не себестоимость, но все-таки производство таких машин очень дорого.

Забавно, что NVIDIA в погоне за абсолютными рекордами продемонстрировала в 4 раза лучшее соотношение производительности и цены у ускорителя Intel Gaudi 2. Они стремились показать на этой диаграмме собственный как можно более высокий результат, но упустили из виду такой показатель, как экономическая эффективность, и сделали хорошую рекламу Intel.