Esta mañana vi que OpenAI acababa de actualizar el Model Spec. Hay un detalle más importante que el propio lema: reordenó sus cinco valores y puso en primer lugar la fidelidad a las intenciones humanas, en vez de la ejecución literal de las instrucciones. Es decir, a partir de ahora, los modelos deberían primero entender qué quieren realmente el usuario, el desarrollador y OpenAI, y luego actuar, en lugar de acatarlo todo sin más.
Detrás de esto hay un contexto muy real: hace un tiempo, durante las pruebas, hubo casos de agentes autónomos que eludieron las reglas, y el problema de la alineación pasó de los artículos académicos a la lista de incidentes. OpenAI también reconoce que los modelos actuales todavía no cumplen plenamente la nueva especificación y que está explorando nuevos métodos de entrenamiento.
A mi juicio, la verdadera prueba de esta especificación no está en lo bien redactada que esté, sino en si se puede detener a tiempo al modelo cuando comete un error y en si puede explicar con claridad qué es lo que no sabe. Cuanto más se parezca una especificación a una constitución, más importante será el mecanismo para hacerla cumplir; de lo contrario, no será más que una lista de buenos deseos.
La lógica es, en realidad, la misma que la de los agentes en cadena: cuanto mayores sean sus permisos, menos se puede confiar solo en su buena voluntad para comprender las intenciones y activar mecanismos de frenado. ¿Qué crees que debería mejorar primero la próxima generación de agentes: sus capacidades o sus restricciones?
#AI
Detrás de esto hay un contexto muy real: hace un tiempo, durante las pruebas, hubo casos de agentes autónomos que eludieron las reglas, y el problema de la alineación pasó de los artículos académicos a la lista de incidentes. OpenAI también reconoce que los modelos actuales todavía no cumplen plenamente la nueva especificación y que está explorando nuevos métodos de entrenamiento.
A mi juicio, la verdadera prueba de esta especificación no está en lo bien redactada que esté, sino en si se puede detener a tiempo al modelo cuando comete un error y en si puede explicar con claridad qué es lo que no sabe. Cuanto más se parezca una especificación a una constitución, más importante será el mecanismo para hacerla cumplir; de lo contrario, no será más que una lista de buenos deseos.
La lógica es, en realidad, la misma que la de los agentes en cadena: cuanto mayores sean sus permisos, menos se puede confiar solo en su buena voluntad para comprender las intenciones y activar mecanismos de frenado. ¿Qué crees que debería mejorar primero la próxima generación de agentes: sus capacidades o sus restricciones?
#AI