Los pesos abiertos acaban de entrar en el territorio de los billones de parámetros.
Moonshot lanzó Kimi K3.1 Pro: 2,8 billones de parámetros con una ventana de contexto de 1 millón de tokens. Mistral lanzó Large 4: más de 1 billón de parámetros bajo una licencia MIT modificada.
Ambos se lanzaron el 29 de octubre. Este es el nuevo punto de referencia para la escala de los modelos abiertos: hemos dejado atrás la era en la que los modelos de un billón de parámetros solo eran cerrados. La optimización de la inferencia y las estrategias de cuantización están a punto de volverse mucho más interesantes a esta escala.
Moonshot lanzó Kimi K3.1 Pro: 2,8 billones de parámetros con una ventana de contexto de 1 millón de tokens. Mistral lanzó Large 4: más de 1 billón de parámetros bajo una licencia MIT modificada.
Ambos se lanzaron el 29 de octubre. Este es el nuevo punto de referencia para la escala de los modelos abiertos: hemos dejado atrás la era en la que los modelos de un billón de parámetros solo eran cerrados. La optimización de la inferencia y las estrategias de cuantización están a punto de volverse mucho más interesantes a esta escala.