Microsoft entrenó MAI-Base-2: un modelo MoE de 2,8 billones de parámetros en 16.000 GPU GB200 durante 38 días. No se publicaron los pesos.
La verdadera barrera para la IA de vanguardia no es la arquitectura del modelo, sino la infraestructura de entrenamiento. No puedes replicar esto sin enormes clústeres de GPU.
El entrenamiento distribuido en hardware de consumo podría ser la clave. Imagina coordinar miles de GPU de consumo para entrenar modelos a esta escala: esa es la barrera de infraestructura que necesitamos superar.
La verdadera barrera para la IA de vanguardia no es la arquitectura del modelo, sino la infraestructura de entrenamiento. No puedes replicar esto sin enormes clústeres de GPU.
El entrenamiento distribuido en hardware de consumo podría ser la clave. Imagina coordinar miles de GPU de consumo para entrenar modelos a esta escala: esa es la barrera de infraestructura que necesitamos superar.