🖥️ Eine GPU kann GLM-5.3 nicht aufnehmen, deshalb hat Nvidia das Modell mit 753 Milliarden Parametern auf zwei Rechner verteilt

Nvidias neuer Leitfaden führt Z.ais GLM-5.3, quantisiert auf NVFP4, auf zwei über ConnectX-8 verbundenen DGX Stations aus. Der Checkpoint ist etwa 464 GB groß. Eine GB300-GPU hat 252 GB Speicher, daher behält jeder Rechner etwa 218 GiB der Gewichte und beide antworten über eine einzige API. Bei Nvidias Coding-Test erreichte die Ausgabe mit 16 gleichzeitigen Anfragen einen Spitzenwert von 607,8 Tokens pro Sekunde. Als 32 Anfragen gleichzeitig liefen, sank sie auf 385.

⭐ Der hohe Wert ist das Ergebnis vieler gleichzeitiger Anfragen. Eine einzelne Person erhält weiterhin etwa 115 Tokens pro Sekunde.

#AI