🖥️ 1台のGPUにはGLM-5.3を収められないため、Nvidiaは7530億パラメータのモデルを2台のマシンに分散
Nvidiaの新しいガイドでは、ConnectX-8で接続した2台のDGX Station上で、NVFP4に量子化したZ.aiのGLM-5.3を実行します。チェックポイントのサイズは約464 GBです。GB300 GPU 1基のメモリ容量は252 GBなので、各マシンが重みを約218 GiBずつ保持し、1つのAPIを通じて応答します。Nvidiaのコーディングテストでは、16件のリクエストを同時に処理したとき、出力速度は毎秒607.8トークンに達しましたが、32件を同時に処理すると毎秒385トークンまで低下しました。
⭐ この高速な数値は、複数のリクエストを同時処理した場合の結果です。1人で使う場合の速度は、毎秒約115トークンです。
#AI
Nvidiaの新しいガイドでは、ConnectX-8で接続した2台のDGX Station上で、NVFP4に量子化したZ.aiのGLM-5.3を実行します。チェックポイントのサイズは約464 GBです。GB300 GPU 1基のメモリ容量は252 GBなので、各マシンが重みを約218 GiBずつ保持し、1つのAPIを通じて応答します。Nvidiaのコーディングテストでは、16件のリクエストを同時に処理したとき、出力速度は毎秒607.8トークンに達しましたが、32件を同時に処理すると毎秒385トークンまで低下しました。
⭐ この高速な数値は、複数のリクエストを同時処理した場合の結果です。1人で使う場合の速度は、毎秒約115トークンです。
#AI
