Нейронный процессор Cerebras WSE-3 насчитывает 900 тысяч ядер

Компания Cerebras рассказала о выпуске процессора Wafer Scale Engine 3 (WSE-3), предназначенного для работы с искусственным интеллектом и создающегося за счет 5-нм технологического процесса TSMC. Площадь одного такого процессора составляет 46225 квадратных миллиметра, что в 57 раз больше графического процессора ускорителя NVIDIA H100.

Новый нейронный процессор насчитывает 4 триллиона транзисторов, 900 тысяч физических ядер, 44 Гбайта SRAM с пропускной способностью 21 петабайт в секунду и может предложить пиковую производительность 125 петафлопс при выполнении операций FP16. Он лег в основу платформы CS-3 с возможностью подключения до 2048 таких систем в одну конфигурацию.

Cerebras удалось не только в два раза увеличить производительность, но и в два раза улучшить энергоэффективность по сравнению со своим нейронным процессором прошлого поколения WSE-2. Также большим плюсом WSE-3 является возможность сокращения размера кода для обучения больших языковых моделей, требуя на 97% меньше строк: в качестве примера приводится модель размера GPT-3, для создания которой требуется лишь 565 строк кода.