La Universidad Carnegie Mellon afirma que una forma de entrenar IA podría sustituir cuatro etapas distintas, lo que podría hacer que a los grandes laboratorios les resulte más barato y fácil crear chatbots potentes sin perder rendimiento.

Conclusiones clave

• Un artículo de Carnegie Mellon y sus colaboradores sostiene que un algoritmo basado en la verosimilitud puede abarcar el preentrenamiento, el entrenamiento intermedio, el ajuste fino supervisado y el aprendizaje por refuerzo

• El investigador Omar Sanseviero publicó el artículo en X, y el resumen de arXiv lo recomienda

• El resumen de arXiv afirma que el método mejoró el equilibrio entre precisión y cómputo, al tiempo que preservó capacidades más amplias en pruebas controladas y del mundo real

• Los autores sostienen que los objetivos del aprendizaje por refuerzo pueden derivarse del ajuste por máxima verosimilitud a distribuciones objetivo generadas por el modelo

El investigador Omar Sanseviero publicó el artículo en X el sábado y lo calificó como una lectura recomendada. El resumen subyacente de arXiv indica que el método mejoró la relación entre precisión y cómputo, al tiempo que preservó capacidades más amplias en pruebas controladas y del mundo real.

La Universidad Carnegie Mellon es una institución de investigación líder en EE. UU. cuyo trabajo en aprendizaje automático suele influir en las herramientas y teorías que posteriormente adoptan los laboratorios comerciales de IA. La afirmación central del artículo no es que desaparezcan todas las fases de entrenamiento, sino que podrían compartir un mismo marco matemático en lugar de usar funciones objetivo y conjuntos de herramientas de software separados.

La Universidad Carnegie Mellon convierte el entrenamiento en planificación

La mayoría de los modelos grandes todavía se entrenan por etapas.

Primero, los laboratorios alimentan un modelo con enormes conjuntos de datos de texto e imágenes durante el preentrenamiento. Luego lo ajustan con datos más específicos durante el entrenamiento intermedio o el ajuste fino supervisado y, más adelante, recurren al aprendizaje por refuerzo, un método que recompensa las respuestas que obtienen una buena puntuación según un objetivo.

El artículo sostiene que esta división es una costumbre, no una ley.

Sus autores escriben que los objetivos adecuados del aprendizaje por refuerzo pueden derivarse del ajuste por máxima verosimilitud a distribuciones objetivo generadas por el modelo. En la práctica, eso significa que un laboratorio podría combinar conjuntos de datos estáticos y trayectorias generadas por el modelo dentro de un solo entrenador y luego centrarse en decidir qué datos incorporar a la ejecución, en qué proporción y en qué momento.

Esto importa porque las etapas de entrenamiento suelen generar duplicación de trabajo de ingeniería.

Distintos equipos mantienen diferentes canalizaciones, puntos de control y reglas de evaluación. Cuando un laboratorio cambia los objetivos a mitad del proceso, también corre el riesgo de perder capacidades anteriores o de gastar cómputo adicional para recuperarlas.

También puedes leer: Las recompensas verificables impulsan un cambio crucial más allá del RLHF en los laboratorios de vanguardia

De recetas por etapas a un solo entrenador

La idea surge cuando los laboratorios de IA se enfrentan a una presión cada vez mayor para justificar cómo se gasta cada dólar destinado al entrenamiento.

Los modelos más grandes han encarecido la selección de datos, el diseño de recompensas y el posentrenamiento, sobre todo a medida que el aprendizaje por refuerzo pasó de ser una labor de alineación de nicho a formar parte de la optimización generalizada de modelos.

Esa presión ya ha cambiado la forma en que los laboratorios hablan del entrenamiento. Durante el último año, los creadores de modelos han dejado de presumir de la cantidad de parámetros y han empezado a destacar la eficiencia de costos, la calidad de los tokens y las mejoras del posentrenamiento.

Este artículo encaja con ese cambio porque trata el ciclo de vida del entrenamiento como un problema de asignación de recursos, no como una sucesión de etapas intocables.

El artículo también llega después de varios meses de debate público sobre si el posentrenamiento importa ahora más que la escala bruta del preentrenamiento. El entrenamiento unificado no zanja esa discusión, pero sí propone una forma más sencilla de combinar ambos.

Cómo una regla de verosimilitud cambia el aprendizaje por refuerzo

En el artículo, la Universidad Carnegie Mellon y sus colaboradores consideran el aprendizaje por refuerzo otra forma de ajustar el modelo a una distribución objetivo, en lugar de una familia aparte de técnicas de entrenamiento.

Esto es concreto porque, en el entrenamiento de modelos, el aprendizaje por refuerzo suele consistir en muestrear respuestas, puntuarlas y luego orientar el modelo hacia comportamientos con puntuaciones más altas.

Los autores afirman que ese mismo ciclo puede reformularse dentro de un esquema de máxima verosimilitud, que pertenece a la misma familia general que el entrenamiento estándar de predicción del siguiente token.

Para laboratorios de IA como Anthropic u OpenAI, la ventaja práctica no es la elegancia. Es reducir los traspasos entre etapas de entrenamiento.

Un solo entrenador puede reducir el número de conversiones de puntos de control, interfaces de modelos de recompensa y límites frágiles entre etapas que complican las ejecuciones largas. Para los equipos de infraestructura, eso puede significar menos software duplicado y una vía más clara hacia el aprendizaje continuo, en el que un modelo sigue mejorando sin tener que reiniciarse por completo.

Lo próximo que hay que observar es su adopción fuera del ámbito académico.

El resultado de arXiv es una afirmación de investigación, no un despliegue en producción. La primera prueba de que el entrenamiento unificado importa llegará si un laboratorio importante empieza a describir su conjunto de herramientas de posentrenamiento en estos términos, o si las cadenas de herramientas de código abierto incorporan el entrenamiento mixto estático y con aprendizaje por refuerzo como patrón predeterminado.

Sigue leyendo: 3 de los principales chatbots de IA realizaron cirugías en cerebros de ratón y cada uno eligió un tratamiento distinto