Sina Financeによると、NvidiaはGroq 3 LPXのキャビネットが量産に入ったと発表し、同社最大規模の買収で得た技術の商用化を示した。NvidiaのシニアディレクターであるDion Harrisは、GroqキャビネットがNebiusのデータセンターでVera CPUとRubin GPUと並べて導入され、今年後半に稼働開始する予定だと述べた。

Nvidiaは、チップの生産を加速し顧客に納入していると述べ、低遅延推論の重要性を強調した。Harrisは、この製品によりトークン出力プロバイダーが、遅延に敏感な顧客に向けてプレミアムサービスを提供できるようになると語った。Nvidiaはまた、この種の高速トークン出力サービスについて、クラウド提供事業者がより高い料金を請求できるとも述べた。

同社は昨年12月にGroq関連資産を200億ドルで取得したとし、これはこれまでで最大の買収だと明らかにした。Nvidiaによると、各LPXキャビネットには256のGroq 3チップが組み込まれており、人工分析（Artificial Analysis）のベンチマークデータとして、毎秒3,400トークンの出力を示したという。

Nvidiaは低遅延チップがGPUの代替になることはないと述べた。Harrisは、これらはモデル提供（サービング）のデコード段階向けのものであり、一方でGPUは学習と推論の双方において主要なチップであり続けると説明した。Nvidiaはまた、今年生産を開始したVera Rubinシステムの出荷を拡大している。Nvidiaは水曜日に決算を発表する予定だ。