Laut Sina Finance sagte Nvidia, die Groq-3-LPX-Servergehäuse seien in die Serienproduktion gegangen und markierten die Kommerzialisierung der Technologie, die aus der größten Übernahme des Unternehmens gewonnen wurde. Nvidia-Senior-Direktor Dion Harris sagte, die Groq-Gehäuse würden zusammen mit Vera-CPUs und Rubin-GPUs in den Nebius-Rechenzentren eingesetzt und noch in diesem Jahr live gehen.

Nvidia sagte, es beschleunige die Produktion der Chips und liefere sie an die Kunden aus, was die Bedeutung von Low-Latency-Inferenz unterstreicht. Harris sagte, das Produkt ermögliche Token-Output-Anbietern, Premium-Services für latenzkritische Kunden anzubieten. Nvidia sagte außerdem, dass Cloud-Anbieter mehr für diesen High-Speed-Token-Output-Service verlangen können.

Das Unternehmen sagte, es habe im Dezember letzten Jahres Groq-bezogene Assets für 20 Milliarden US-Dollar erworben, die größte Übernahme bis dato. Nvidia erklärte, jedes LPX-Gehäuse integriere 256 Groq-3-Chips, und verwies auf Benchmark-Daten von Artificial Analysis, die eine Ausgabe von 3.400 Tokens pro Sekunde zeigen.

Nvidia sagte, Low-Latency-Chips würden keine GPUs ersetzen. Harris erklärte, sie seien für die Decodierphase beim Modell-Serving vorgesehen, während GPUs die wichtigsten Chips für sowohl Training als auch Inferenz bleiben. Nvidia erweitert außerdem die Auslieferungen seines Vera-Rubin-Systems, das in diesem Jahr in die Produktion gegangen ist. Nvidia wird am Mittwoch Ergebnisse berichten.