По данным Sina Finance, Nvidia заявила, что стойки Groq 3 LPX поступили в массовое производство, что знаменует коммерциализацию технологии, полученной в результате крупнейшего приобретения компании. Старший директор Nvidia Дион Харрис сказал, что стойки Groq будут развернуты вместе с CPU Vera и GPU Rubin в дата-центрах Nebius и выйдут в онлайн позже в этом году.

Nvidia заявила, что ускоряет производство чипов и поставляет их клиентам, подчеркивая важность низколатентного вывода. Харрис сказал, что продукт позволяет поставщикам услуг с выводом токенов предлагать премиальные сервисы клиентам, которым важна задержка. Nvidia также заявила, что облачные провайдеры могут брать больше за этот тип высокоскоростной токенной услуги вывода.

Компания заявила, что в декабре прошлого года приобрела активы, связанные с Groq, за 20 миллиардов долларов — это крупнейшая сделка по приобретениям на сегодняшний день. Nvidia заявила, что каждый шкаф LPX объединяет 256 чипов Groq 3, и привела данные бенчмарка Artificial Analysis, показывающие производительность 3 400 токенов в секунду.

Nvidia заявила, что чипы с низкой задержкой не заменят графические процессоры (GPU). Харрис отметил, что они предназначены для декодирующей фазы при развертывании (сервисинге) моделей, тогда как GPU остаются основными чипами и для обучения, и для инференса. Nvidia также расширяет поставки своей системы Vera Rubin, производство которой началось в этом году. Nvidia сообщит о результатах за среду.