Omar Sanseviero, investigador de Amazon, afirmó que una nueva forma de almacenar datos duraderos sobre los usuarios dentro de un chatbot, en lugar de volver a leer los chats antiguos cada vez, podría reducir los costos de funcionamiento al disminuir la cantidad de texto que debe leer.
Conclusiones clave
Omar Sanseviero publicó en X que la memoria de pesos puede igualar o superar a los sistemas de recuperación de texto, al tiempo que lee menos tokens por consulta
El estudio concluyó que la configuración más sólida combina la memoria de pesos con un enrutador que alterna entre la memoria de pesos y el texto recuperado
El mejor resultado del estudio se obtiene con un enrutador que primero verifica y luego regenera, y que dirige las consultas a distintos tipos de memoria
En la configuración de Amazon, la recuperación de texto almacena notas sin procesar fuera del modelo, un modelo estudiante internaliza los hechos estables y el enrutador elige el método
Publicó el estudio en X y dijo que la configuración más sólida combina la memoria en los pesos con un enrutador que alterna entre la memoria en los pesos y el texto recuperado.
Memoria en los pesos
La mayoría de los sistemas de memoria de agentes funcionan como motores de búsqueda de conversaciones pasadas. Comprimen los chats en fragmentos de texto, recuperan las líneas más relevantes y las incorporan a la instrucción, lo que eleva los costos a medida que crece el historial.
El estudio de Amazon pone a prueba un método diferente: en lugar de volver a leer siempre el texto almacenado, el modelo destila algunos hechos en sus parámetros y luego usa un enrutador para decidir cuándo responder a partir de los pesos entrenados y cuándo recurrir a la memoria externa.
Esta combinación reduce el costo de inferencia por dos vías: disminuye la cantidad de tokens que un modelo debe leer por consulta y trata los recuerdos de forma desigual, de modo que los hechos frecuentes o estables pueden internalizarse, mientras que los volátiles permanecen en el sistema de recuperación.
El resultado práctico del artículo no es una memoria basada únicamente en los pesos, sino la selección de recuerdos.
La disyuntiva sobre la memoria de los agentes lleva tiempo gestándose
Los agentes de producción pasaron de ser herramientas para un solo chat a asistentes persistentes que vuelven a usarse durante semanas o meses, lo que convirtió la memoria en un cuello de botella para los productos: los modelos que olvidan datos del usuario parecen defectuosos, pero los que vuelven a cargar un contexto extenso se vuelven lentos y costosos. Las canalizaciones de recuperación resolvieron los problemas de actualización y precisión, pero añaden infraestructura, pasos y tokens a las instrucciones.
El artículo de Amazon explica por qué los laboratorios vuelven a considerar la internalización de hechos estables como un almacén acotado, en lugar de un reemplazo total de la recuperación.
En los bots de atención al cliente, los asistentes de programación o los asistentes personales, enseñar preferencias duraderas del usuario a un modelo estudiante pequeño y dejar los elementos transitorios en el sistema de recuperación reduce los costos de tokens durante la prestación del servicio, donde los costos se acumulan a medida que aumenta la escala.
Lea también: DeepMind descubre que 1.000 pruebas morales siguen superando a los trucos de consistencia de la IA
Por qué el enrutador es lo más importante
El mejor resultado del estudio proviene de un enrutador que verifica y luego vuelve a generar, y que envía distintas consultas a distintos tipos de memoria. La selección de recuerdos reduce las lecturas innecesarias y concentra el cómputo y el almacenamiento donde más importan.
Para los equipos que implementan asistentes en AWS u otras nubes, la memoria de recuperación aumenta el almacenamiento y el tamaño de las instrucciones, mientras que el enfoque del estudiante entrenado traslada el costo al entrenamiento y luego reduce los costos de lectura repetida.
Análisis. La disyuntiva traslada el gasto de la decodificación de tokens por inferencia al gasto de capital y operativo en entrenamiento, almacenamiento y prestación especializada.
La capacidad limita cuántos hechos puede almacenar un modelo estudiante.
Las limitaciones de la cadena de suministro y de la energía de los centros de datos determinan el tamaño y la cantidad de estos modelos que un proveedor puede ejecutar en producción. El costo por unidad de inferencia solo disminuye si el ahorro en la decodificación de tokens supera el costo adicional de entrenar, almacenar y ejecutar el modelo estudiante.
Cuando la comunicación pública de una empresa hace hincapié en asistentes ligeros que no necesitan recuperación, la verdadera prueba está en la asignación de capital.
El gasto sostenido en entrenamiento de modelos e infraestructura dedicada para su ejecución indica compromiso. Sin ese gasto, la estrategia de un proveedor parece más una maniobra de posicionamiento que una hoja de ruta para implementar a gran escala asistentes con conocimiento internalizado en los pesos.
Cómo divide Amazon la memoria de los agentes
En la configuración de Amazon, la recuperación de texto almacena notas sin procesar o resúmenes fuera del modelo, el modelo estudiante internaliza los hechos estables y el enrutador elige qué método utilizar.
Este enfoque es adecuado para preferencias estables de los usuarios, roles o flujos de trabajo recurrentes, pero es menos eficaz para hechos que cambian cada hora.
El próximo punto a observar es si Amazon convierte el artículo en patrones de producto en Bedrock o AgentCore. De ser así, los desarrolladores se centrarán menos en los nombres de las pruebas de referencia y más en qué recuerdos deberían recuperarse y cuáles deberían pasar a formar parte del modelo.
Lea a continuación: Los gastos legales de Supermicro se disparan un 549 % mientras se prolongan las investigaciones de la SEC y sobre exportaciones