Четыре ускорителя NVIDIA GB300 более чем в 6 раз быстрее шестнадцати H100

Партнёры NVIDIA по производству серверов на базе ускорителей GB300 продемонстрировали разницу между последним поколением ускорителей для работы с искусственным интеллектом и моделью H100, некогда предлагавшей лучшие возможности на рынке.

Компания CoreWeave поделилась результатами одного тестирования, в котором использовались шестнадцать H100 и четыре GB300 для запуска модели DeepSeek R1. В итоге современные модели продемонстрировали 6,5-кратный рост производительности.

Для этого, помимо многочисленных изменений в самих ускорителях и более производительной подсистемы памяти, пригодилась поддержка 4-полосного тензорного параллелизма (TP4) вместо 16-полосного (TP16) у H100, благодаря чему используется меньше разделений и улучшается связь между графическими процессорами.

Для потенциальных клиентов переход на NVIDIA GB300 позволит значительно повысить генерацию токенов, снизить задержки и улучшить масштабирование рабочих нагрузок при снижении совокупных затрат на содержание.