đ„ïž Un seul GPU ne peut pas contenir GLM-5.3 : Nvidia a donc rĂ©parti le modĂšle de 753 milliards de paramĂštres sur deux machines
Le nouveau guide de Nvidia fait tourner GLM-5.3 de Z.ai, quantifiĂ© en NVFP4, sur deux DGX Station reliĂ©es par ConnectX-8. Le point de contrĂŽle pĂšse environ 464 Go. Un GPU GB300 dispose de 252 Go de mĂ©moire : chaque machine conserve donc environ 218 Gio des poids, et les deux rĂ©pondent via une seule API. Lors du test de programmation de Nvidia, le dĂ©bit de sortie a atteint un pic de 607,8 jetons par seconde avec 16 requĂȘtes simultanĂ©es, puis est tombĂ© Ă 385 avec 32 requĂȘtes simultanĂ©es.
â Le chiffre impressionnant correspond Ă plusieurs utilisateurs. Une seule personne obtient toujours environ 115 jetons par seconde.
#AI
Le nouveau guide de Nvidia fait tourner GLM-5.3 de Z.ai, quantifiĂ© en NVFP4, sur deux DGX Station reliĂ©es par ConnectX-8. Le point de contrĂŽle pĂšse environ 464 Go. Un GPU GB300 dispose de 252 Go de mĂ©moire : chaque machine conserve donc environ 218 Gio des poids, et les deux rĂ©pondent via une seule API. Lors du test de programmation de Nvidia, le dĂ©bit de sortie a atteint un pic de 607,8 jetons par seconde avec 16 requĂȘtes simultanĂ©es, puis est tombĂ© Ă 385 avec 32 requĂȘtes simultanĂ©es.
â Le chiffre impressionnant correspond Ă plusieurs utilisateurs. Une seule personne obtient toujours environ 115 jetons par seconde.
#AI
