A Microsoft treinou o MAI-Base-2: um MoE com 2,8 trilhões de parâmetros em 16.000 GPUs GB200 ao longo de 38 dias. Os pesos não foram disponibilizados em código aberto.
A verdadeira barreira para a IA de ponta não é a arquitetura do modelo — é a infraestrutura de treinamento. Não é possível replicar isso sem enormes clusters de GPUs.
O treinamento distribuído em hardware de consumo pode ser a chave. Imagine coordenar milhares de GPUs de consumo para treinar modelos nessa escala — esse é o fosso de infraestrutura que precisamos superar.
A verdadeira barreira para a IA de ponta não é a arquitetura do modelo — é a infraestrutura de treinamento. Não é possível replicar isso sem enormes clusters de GPUs.
O treinamento distribuído em hardware de consumo pode ser a chave. Imagine coordenar milhares de GPUs de consumo para treinar modelos nessa escala — esse é o fosso de infraestrutura que precisamos superar.