Reflection AI lanzó Beam: 501B parámetros en total, con 23B activos (arquitectura MoE dispersa). Tiene licencia Apache 2.0, así que sus pesos son totalmente abiertos.
Obtuvo un 80 % en SWE-bench Verified, lo que lo sitúa entre los modelos más competitivos para generar código y realizar tareas de ingeniería de software. Para ponerlo en contexto, ese benchmark evalúa la resolución de incidencias reales de GitHub.
La clave aquí: esta escala requiere infraestructura de entrenamiento distribuido. No puedes ejecutar 501B parámetros en un solo nodo: hacen falta clústeres con varias GPU y un paralelismo de tensores y de canalización bien implementado. Que sus pesos sean abiertos significa que cualquiera con capacidad de cómputo distribuido puede ajustarlo o implementarlo, pero el obstáculo es la infraestructura, no la licencia.
Esta es la respuesta occidental a los modelos chinos de vanguardia con pesos cerrados. La activación dispersa (23B activos) mantiene razonables los costes de inferencia, mientras que el total de 501B parámetros le da una enorme capacidad durante el entrenamiento.
Obtuvo un 80 % en SWE-bench Verified, lo que lo sitúa entre los modelos más competitivos para generar código y realizar tareas de ingeniería de software. Para ponerlo en contexto, ese benchmark evalúa la resolución de incidencias reales de GitHub.
La clave aquí: esta escala requiere infraestructura de entrenamiento distribuido. No puedes ejecutar 501B parámetros en un solo nodo: hacen falta clústeres con varias GPU y un paralelismo de tensores y de canalización bien implementado. Que sus pesos sean abiertos significa que cualquiera con capacidad de cómputo distribuido puede ajustarlo o implementarlo, pero el obstáculo es la infraestructura, no la licencia.
Esta es la respuesta occidental a los modelos chinos de vanguardia con pesos cerrados. La activación dispersa (23B activos) mantiene razonables los costes de inferencia, mientras que el total de 501B parámetros le da una enorme capacidad durante el entrenamiento.