Los investigadores descubrieron que este entrenamiento basado en recompensas ayudaba a los chatbots a resolver ecuaciones de cadenas conocidas, pero los llevaba a hacer conjeturas en pruebas más difíciles con una distribución modificada, lo que sugiere que el método puede enseñar atajos frágiles en lugar de una forma duradera de resolver problemas.

Conclusiones clave

  • La generalización de RLVR hace que los modelos resuelvan tareas dentro de la distribución, pero vuelvan a las conjeturas por fuerza bruta en pruebas más difíciles fuera de distribución

  • RLVR entrena un modelo puntuando las respuestas según resultados que se pueden verificar automáticamente, como si una ecuación se resuelve correctamente

  • En los experimentos con ecuaciones de cadenas, los modelos aprendieron una derivación estructurada en tareas conocidas y luego pasaron a enumerar en los cambios más difíciles, lo que provocó una fuerte caída de la precisión

  • El coentrenamiento con tareas auxiliares de inversión biyectiva hizo que las derivaciones fueran más seguras y restableció un mejor uso de las estrategias ante cambios en la distribución

Los investigadores escribieron que el fallo no se debía simplemente a la manipulación de las recompensas ni a un modelo base débil. RLVR, siglas de aprendizaje por refuerzo con recompensas verificables, entrena un modelo puntuando las respuestas según resultados que pueden comprobarse automáticamente, como si una ecuación se resuelve correctamente.

El artículo utilizó un entorno controlado de ecuaciones de cadenas en el que las estrategias de razonamiento podían observarse directamente.

Configuración controlada de ecuaciones de cadenas

Los modelos aprendieron un proceso de derivación estructurado en tareas conocidas, pero lo abandonaron ante cambios más difíciles con más soluciones o respuestas más largas, y pasaron a enumerar, lo que provocó una fuerte caída de la precisión.

Esto importa porque RLVR se ha convertido en una forma atractiva de entrenar modelos en ámbitos donde es fácil calificar las respuestas correctas e incorrectas; las matemáticas, el código y el uso de herramientas encajan en ese patrón. La esperanza es que las recompensas verificadas enseñen hábitos de razonamiento reutilizables, en lugar de atajos frágiles.

Los autores también vincularon el artículo con código abierto disponible. Su principal intervención fue inusual.

Entrenaron el modelo conjuntamente con tareas de inversión biyectiva que no eran uniformemente más difíciles y estaban más alejadas de la evaluación objetivo fuera de distribución. Aun así, ese entrenamiento adicional hizo que las derivaciones fueran más seguras y restableció un mejor uso de las estrategias ante cambios en la distribución.

También lee: ChatGPT se extiende a 165 tareas laborales en 100 países

Ventajas del coentrenamiento biyectivo

El resultado nos advierte que no debemos tomar las trazas claras de cadena de pensamiento como prueba de un razonamiento sólido. Un modelo puede presentar pasos ordenados dentro de la distribución de entrenamiento y luego abandonar esa misma estrategia cuando cambia la estructura de la tarea, aunque el formato visible siga siendo parecido, hasta que un entorno más difícil deja al descubierto el atajo.

Este trabajo se suma a una línea más amplia de investigaciones que intentan distinguir el razonamiento genuino de la correspondencia de patrones.

Límites de las recompensas verificables

La reciente ola de entrenamiento con recompensas verificables ha fomentado el optimismo (OP), porque evita algunas formas de etiquetado humano subjetivo. Pero el resultado del martes acota ese optimismo. Sugiere que incluso los resultados verificados pueden enseñar el hábito equivocado si la combinación de tareas recompensa atajos frágiles. Esto significa que la generalización de RLVR es un problema de sistemas, no solo de recompensas, porque el ciclo de entrenamiento, la familia de tareas y la forma en que se desarrolla la seguridad en el uso de estrategias influyen en que un modelo siga empleando un método útil cuando el mundo le resulta menos familiar.

Cómo puede fallar silenciosamente la generalización de RLVR

En los experimentos con ecuaciones del artículo, el modelo podía derivar respuestas en ejemplos más fáciles y dentro de la distribución, pero recurría a la enumeración cuando cambiaba la distribución.

Los autores interpretan esto como que el modelo aprende patrones de éxito, en lugar de procedimientos duraderos.

Las tareas auxiliares de coentrenamiento biyectivo proporcionaron al modelo entornos en los que la derivación se reforzaba de manera más fiable. Al parecer, esto fortaleció el hábito de resolver en lugar de adivinar. La generalización de RLVR mejoró no porque cambiara la función de recompensa, sino porque la combinación de tareas circundantes modificó aquello que el modelo practicaba. Esto sugiere que los laboratorios deberían comprobar si las mejoras en los parámetros de referencia se mantienen ante los primeros cambios de tarea o si solo perduran en entornos controlados de ecuaciones de cadenas.

Lee a continuación: Simon Willison afirma que Qwen gratuito permite someter las afirmaciones sobre IA a más verificaciones