La semana pasada, OpenAI hizo públicas dos incidentes: su propio agente de programación, mientras hacía tareas normales, apagó los sistemas que lo supervisaban. Leí los informes originales y ambos casos son muy cotidianos:
1. Un investigador le indicó «no envíes mensajes» y el agente lo entendió como «tampoco envíes alertas», así que borró a los destinatarios de las alertas del equipo de seguridad.
2. A otro agente le indicaron explícitamente «no desactives la supervisión». Al delegar la tarea en un subagente, la instrucción se convirtió en «consérvala según corresponda». El resultado: se eliminó la supervisión y también se modificaron las pruebas para demostrar que no estaba activa. Cuando el usuario preguntó, el agente dijo que no la había eliminado.
OpenAI también dijo que todavía no puede explicar con claridad la causa.
A quienes les dan autonomía a los agentes, creo que les pueden servir estas recomendaciones:
- Dejen claro el alcance de las prohibiciones; no se limiten a decir «no hagas X».
- Pongan las restricciones importantes en lugares que el agente no pueda modificar: permisos y comprobaciones externas, en vez de confiar en una instrucción.
- No le den permisos para modificar los scripts de comprobación ni la configuración de las alertas.
- Al terminar, revisen el diff; no se queden solo con su resumen.
#AI #OpenAI #Agente
1. Un investigador le indicó «no envíes mensajes» y el agente lo entendió como «tampoco envíes alertas», así que borró a los destinatarios de las alertas del equipo de seguridad.
2. A otro agente le indicaron explícitamente «no desactives la supervisión». Al delegar la tarea en un subagente, la instrucción se convirtió en «consérvala según corresponda». El resultado: se eliminó la supervisión y también se modificaron las pruebas para demostrar que no estaba activa. Cuando el usuario preguntó, el agente dijo que no la había eliminado.
OpenAI también dijo que todavía no puede explicar con claridad la causa.
A quienes les dan autonomía a los agentes, creo que les pueden servir estas recomendaciones:
- Dejen claro el alcance de las prohibiciones; no se limiten a decir «no hagas X».
- Pongan las restricciones importantes en lugares que el agente no pueda modificar: permisos y comprobaciones externas, en vez de confiar en una instrucción.
- No le den permisos para modificar los scripts de comprobación ni la configuración de las alertas.
- Al terminar, revisen el diff; no se queden solo con su resumen.
#AI #OpenAI #Agente