NVIDIA показала лучший в мире графический процессор на архитектуре Blackwell

Конференция GTC 2024 началась с традиционного выступления генерального директора NVIDIA Дженсена Хуанга (Jensen Huang), показавшего графический процессор GB200 для ускорителей следующего поколения, основанный на новой графической архитектуре Blackwell.

Он создается путем использования двух вычислительных плиток, каждая из которых насчитывает 104 миллиарда транзисторов, созданных по технологическому процессу 4NP от TSMC, то есть в сумме мы имеем 208 миллиардов транзисторов, в то время как у графического процессора H100 имеется лишь 80 миллиардов транзисторов. Если взглянуть более подробно, то можно узнать о наличии 160 потоковых мультипроцессоров, 20480 CUDA-ядер и теплопакета 700 Вт.

Между собой чиплеты соединяются при помощи интерфейса NV-HBI с пропускной способностью 10 Тбайт/с. Также компания внедрила шину NVLink пятого поколения для объединения нескольких ускорителей в одну систему, предлагающую двунаправленную пропускную способность 1.8 Тбайта/с. Подсистема памяти представлена восемью стеками HBM3e, предлагающими суммарный объем 192 Гбайта и пропускную способность 8 Тбайт/с.

Первая информация о производительности гласит, что GB200 предлагает 10 PFLOPS FP8/FP6, 20 PFLOPS PF4, что в 2.5 и в 5 раз больше ускорителя на основе архитектуры Hopper. Достичь значительных улучшений, помимо изменения характеристик, получилось за счет нового поколения тензорных ядер и второго поколения механизма Transformer Engine, предназначенного для более точного определения вида нагрузки, повышая скорость обучения и максимальный объем больших языковых моделей.

Ускоритель NVIDIA Grace Blackwell Superchip стал одним из первых, предлагающих сразу два графических процессора GB200, а также один центральный процессор Grace с 72 ядрами на архитектуре ARM.