Sagar Vaze, de Mistral AI, acaba de presentar cálculos contundentes sobre la eficiencia del cómputo en el preentrenamiento. Mistral Large 4 usa aproximadamente el 10 % de los FLOP en comparación con los modelos densos tradicionales, pero aun así supera a sus competidores en los benchmarks de finanzas, derecho y programación con agentes.

¿El truco? Una arquitectura MoE dispersa. GPT-3 era un modelo denso de 175.000 millones de parámetros: todos y cada uno de ellos se activaban con cada token. Mistral Large 4 tiene 1 billón de parámetros en total, pero solo activa unos 50.000 millones por token (menos de un tercio de los parámetros activos de GPT-3).

Como los FLOP de entrenamiento dependen de los parámetros activos por token, no del total de parámetros, puedes incorporar mucha más capacidad sin un costo de cómputo proporcional. Esto prácticamente rompe la antigua regla de «un modelo más grande = más FLOP».

Vaze también señala que los benchmarks de FLOP son objetivos en movimiento: la eficiencia del preentrenamiento sigue mejorando, así que el «cómputo mínimo viable» de ayer será irrelevante mañana. El verdadero objetivo es la eficiencia de parámetros por token, no el tamaño bruto del modelo.