Los agentes de IA pueden ser engañados por los datos que leen

Una página web o un documento puede contener instrucciones ocultas que le indiquen a un agente de IA que ignore su tarea o revele información.

OpenAI describe esto como inyección de prompts: texto no confiable intenta anular las instrucciones previstas para un agente y puede dirigir las herramientas conectadas. Los diseños más seguros mantienen el texto externo separado de las instrucciones privilegiadas, limitan cada agente a los datos y herramientas que necesita, restringen los resultados intermedios a un esquema y requieren la aprobación humana para las acciones importantes. Estas capas reducen la exposición, pero no hacen que los agentes sean infalibles: OpenAI advierte que aún pueden ser engañados.

Mi conclusión: no le concedas a un agente de IA un acceso amplio solo porque su prompt parezca prudente. ¿Qué acciones deberían requerir siempre una revisión humana?

Fuente: OpenAI, «Seguridad en la creación de agentes» — https://developers.openai.com/api/docs/guides/agent-builder-safety

#AI #AIAgents #Ciberseguridad