Los modelos se publican cada vez con más frecuencia, pero la información sobre su preentrenamiento va en retroceso. Este preprint auditó 17 familias de modelos y 41 entradas de modelos según los 24 indicadores de preentrenamiento de FMTI, y siguió 24 comparaciones entre versiones consecutivas de 10 familias: las puntuaciones bajaron en 11 comparaciones, subieron en 6 y se mantuvieron iguales en 7; a nivel de indicadores, se perdieron 38 y se añadieron 28.

El problema es que la puntuación total no permite ver estos cambios. OLMo-2 y OLMo-3 obtienen la misma puntuación total, pero por debajo hay tres indicadores que mejoran y tres que empeoran; Llama-3.1 supera a Llama-2, pero no obtiene puntos en dos indicadores relacionados con los datos. Las lagunas en la composición de los corpus y en la capacidad de cómputo para el entrenamiento persisten.

Para quienes eligen modelos basándose en su documentación, la conclusión es clara: la siguiente versión puede no conservar lo que la anterior especificaba claramente. Hay que comparar cada versión indicador por indicador, sin dar por sentado que la información se mantiene.

Es un preprint, no ha sido revisado por pares y sus conclusiones se limitan al alcance de la auditoría descrito en el resumen.

$BTC