Решение NVIDIA H100 NVL включает в себя два ускорителя, объединенных NVLink

Производители игровых видеокарт в лицах AMD и NVIDIA относительно недавно отказались от использования конфигураций с несколькими видеокартами, что связано с низкой популярностью, необходимостью дополнительной оптимизации и высокой стоимостью.

Правда NVIDIA все же решила вернуться к созданию конфигураций с несколькими видеокартами, но не в клиентском сегменте, а в случае высокопроизводительных вычислений, в котором компания представила связку из двух ускорителей H100, соединенных при помощи шины NVLink, и назвала это H100 NVL.

По утверждению NVIDIA, такая связка предназначается для использования в случае больших языковых моделей, таких как ChatGPT. Примечательно, что совокупный объем видеопамяти ускорителей составляет 188 Гбайт, что указывает на использование 94 Гбайт у каждого из них, хотя шесть стеков HBM3 позволяют создавать конфигурацию с 96 Гбайтами.

«NVIDIA H100 NVL идеально подходит для масштабного развертывания больших языковых моделей, таких как ChatGPT. Новый H100 NVL с 188 Гбайтами памяти и ускорением Transformer Engine обеспечивает до 12 раз более высокую производительность логических выводов в GPT-3 по сравнению с предыдущим поколением A100 в масштабе центра обработки данных».

Связка ускорителей NVIDIA H100 NVL будет выпущена во второй половине текущего года. К сожалению, рекомендованная стоимость не сообщается.