🖥️ Uma GPU não consegue armazenar o GLM-5.3, então a Nvidia dividiu o modelo de 753 bilhões de parâmetros entre duas máquinas

O novo guia da Nvidia executa o GLM-5.3 da Z.ai, quantizado em NVFP4, em duas DGX Stations conectadas pelo ConnectX-8. O checkpoint tem cerca de 464 GB. Uma GPU GB300 tem 252 GB de memória, então cada máquina mantém cerca de 218 GiB dos pesos, e as duas respondem por meio de uma única API. No teste de programação da Nvidia, a geração atingiu um pico de 607,8 tokens por segundo com 16 solicitações simultâneas, mas caiu para 385 quando 32 foram executadas ao mesmo tempo.

⭐ O número alto é o resultado com muitas solicitações. Uma pessoa ainda recebe cerca de 115 tokens por segundo.

#AI