Nvidia выпускает суперчип H200 – первый графический ускоритель для ИИ со 141 гигабайтом супербыстрой памяти HBM3e на борту

Темпы развития сегмента генеративного ИИ не думают снижаться, и Nvidia, стремясь извлечь из этого бума максимальную прибыль, представляет новый монструозный графический суперчип H200 Tensor Core, который будет обеспечивать прогресс генеративных моделей ИИ следующего поколения. Самое значительное усовершенствование, отличающее этот графический ускоритель от его предшественника, – память HBM3e, которая позволит очень существенно повысить плотность системы и пропускную способность памяти – два критически важных фактора, от которых зависит увеличение скорости работы таких сервисов, как ChatGPT и Google Bard.

На этой неделе компания Nvidia представила новый зверский процессор для ИИ-нагрузок, HGX H200. Как понятно из наименования, этот чип является свежим аналогом дико популярного графического ускорителя H100 Tensor Core, который вышел в 2022 году, когда бум генеративного ИИ начал набирать обороты.

Команда «зелёных» анонсировала новую платформу на конференции Supercomputing-2023, проходящей в Денвере, штат Колорадо. Ожидается, что графический ускоритель H200 на базе архитектуры Hopper сможет обеспечить почти вдвое большую (по сравнению с H100) скорость обучения Llama 2, большой языковой модели (large language model, LLM) с 70 миллиардами параметров. Кроме того, H200 обеспечивает примерно в 1.6 раза большую скорость обучения модели GPT-3, у которой 175 миллиардов параметров.

Эти достижения отчасти обусловлены оптимизацией архитектуры GPU, но, по словам Nvidia, они также проделали большую работу по оптимизации программного обеспечения. Это заметно по недавнему обновлению открытых программных библиотек, таких как TensorRT-LLM, которые теперь могут обеспечивать восьмикратное увеличение производительности и шестикратное снижение энергопотребления в сценариях с использованием новейших LLM для генеративного ИИ.

Еще одна замечательная особенность платформы H200 – первое в истории применение в графическом ускорителе памяти HBM3e. Общая пропускная способность памяти нового графического процессора Tensor Core составляет потрясающие 4.8 терабайт в секунду, что намного быстрее, чем 3.35 терабайт в секунду, предлагаемые подсистемой памяти H100. Емкость памяти также выросла с 80 ГБ на платформе H100 до 141 ГБ на платформе H200.

По словам Nvidia, графический ускоритель H200 совместим со всеми существующими системами, которые поддерживают H100. Таким образом, H200 будет доступен в нескольких форм-факторах, таких как серверные платы HGX H200 с поддержкой четырех или восьми GPU или с поддержкой конфигурации суперчипа GH200 Grace Hopper в паре с мощным 72-ядерным центральным процессором Arm. Чип GH200 будет предлагать до 1.1 терабайт агрегированной высокоскоростной памяти (HBM) и обеспечивать вычислительную мощность FP8 до 32 петафлопс в приложениях для глубокого обучения.

Как и H100, новый суперчип Hopper будет пользоваться высоким спросом и стоить дорого. Чип H100 продается по цене от 25 до 40 тысяч долларов за штуку, в зависимости от объема заказа, и многие компании, специализирующиеся в области ИИ, покупают эти чипы тысячами. Это вынуждает менее крупные компании заключать партнерские соглашения, просто чтобы получить ограниченный доступ к вычислительным мощностям графических ускорителей Nvidia для ИИ, и сроки выполнения новых заказов не выказывают тенденции к уменьшению.

Касательно сроков выполнения заказов: Nvidia имеет огромную прибыль с каждого проданного чипа H100, так что они даже переключили часть своих производственных мощностей с выпуска карт RTX 40-й серии на выпуск графических ускорителей Hopper. Кристин Ушияма (Kristin Uchiyama) из Nvidia заявила, что проблем с объемом предложения не возникнет, поскольку компания регулярно запускает дополнительные производственные мощности, но уклонилась от обсуждения подробностей.

Одно не вызывает сомнений – «грин-тим» заинтересована в росте продаж графических ускорителей для ИИ, поскольку прибыль от продаж чипов Hopper составляет значительную часть их доходов, и удельный вес ее растет. Они даже готовы затратить дополнительные усилия на разработку и производство усеченных версий чипов A100 и H100, просто чтобы обойти американский контроль экспорта и поставлять эти чипы китайским технологическим гигантам. Это несколько охлаждает энтузиазм по поводу грядущего выхода видеокарт серии RTX 4000 Super, поскольку объем готовой продукции, который поступит в продажу, станет едва ли не ключевым фактором, определяющим розничную цену этих карт.

Microsoft Azure, Google Cloud, веб-сервисы Amazon и Oracle Cloud станут первыми облачными провайдерами, которые будут предлагать доступ к инстансам на базе H200 начиная со второго квартала 2024 года.