🖥️ Una GPU no puede alojar GLM-5.3, así que Nvidia dividió el modelo de 753 mil millones de parámetros entre dos máquinas

La nueva guía de Nvidia ejecuta GLM-5.3, de Z.ai, cuantizado a NVFP4, en dos DGX Stations conectadas mediante ConnectX-8. El checkpoint ocupa unos 464 GB. Una GPU GB300 tiene 252 GB de memoria, así que cada máquina conserva unos 218 GiB de los pesos y ambas responden a través de una sola API. En la prueba de programación de Nvidia, la velocidad de salida alcanzó un máximo de 607,8 tokens por segundo con 16 solicitudes simultáneas, y luego bajó a 385 cuando se ejecutaron 32 a la vez.

⭐ La cifra más alta es un resultado con muchas solicitudes simultáneas. Una sola persona sigue obteniendo unos 115 tokens por segundo.

#IA