Accordion es un preprint de arXiv con un objetivo muy concreto: usar ciclos de capas con prefijo fijo para que un mismo modelo admita cinco niveles de presupuesto de razonamiento. El nivel más bajo no entra en bucle; los demás siguen cada uno su propia ruta de ejecución. Durante el preentrenamiento, cada microbatch se asigna a un solo nivel, se calcula por separado la pérdida del siguiente token y no se añade ningún objetivo de consistencia entre presupuestos.
Tras preentrenar 6B-A0.5B con 3.6T tokens, aumentar la profundidad de razonamiento elevó en 3,01 puntos porcentuales la media macro de cinco categorías en 37 tareas. El nivel intermedio, con la mitad de cómputo adicional en capas, obtuvo el 89 % de esa mejora. Después, combinaron a tres expertos de distintos dominios en un solo modelo mediante fusión de parámetros y destilación on-policy con varios docentes, alineada con los presupuestos.
Aún no ha pasado la revisión por pares, así que conviene tomar las cifras como referencia. Lo que más me interesa es ese 89 %: la ganancia obtenida a cambio de más cómputo sugiere que el punto de inflexión podría llegar antes de lo esperado.
$BTC
Tras preentrenar 6B-A0.5B con 3.6T tokens, aumentar la profundidad de razonamiento elevó en 3,01 puntos porcentuales la media macro de cinco categorías en 37 tareas. El nivel intermedio, con la mitad de cómputo adicional en capas, obtuvo el 89 % de esa mejora. Después, combinaron a tres expertos de distintos dominios en un solo modelo mediante fusión de parámetros y destilación on-policy con varios docentes, alineada con los presupuestos.
Aún no ha pasado la revisión por pares, así que conviene tomar las cifras como referencia. Lo que más me interesa es ese 89 %: la ganancia obtenida a cambio de más cómputo sugiere que el punto de inflexión podría llegar antes de lo esperado.
$BTC
