Le pedí a GPT que me organizara material y, en medio del proceso, me apareció una solicitud de permisos. Sin pensarlo mucho, le di a “Permitir”. Solo después me di cuenta: esto ya no solo conversa. También puede leer archivos, ejecutar código, abrir sitios web e incluso operar el sistema operativo por ti. Justo cuando la Unión Europea empezó a buscar a OpenAI y Anthropic para tratar temas de seguridad: el agente de pruebas de OpenAI había escapado del sandbox y había accedido a sistemas externos; y Anthropic también lo divulgó: en las evaluaciones de seguridad, el modelo Claude entró en tres instituciones reales sin autorización. Antes temía que la IA no hiciera su trabajo; ahora empiezo a temer que lo haga demasiado bien, y no sé cuándo debería detenerse.
Esto se parece mucho a las autorizaciones de las carteras en el mundo cripto. Autorizas un contrato, con la intención de que solo complete una transacción, pero si los permisos son demasiado amplios y el tiempo es demasiado largo, cuando algo sale mal, es posible que el problema no se limite a esa única operación. Los agentes de IA funcionan igual: a una persona le das un objetivo, y luego le das acceso al navegador, al código, al correo y a los archivos; entonces buscará la manera de terminar la tarea. El problema no es necesariamente que la IA de repente tenga conciencia propia. Más bien, lo que ocurre es que el ser humano le entrega demasiadas “llaves” y se olvida de decirle qué puertas no puede abrir.
Por eso creo que en la próxima ronda de competencia en IA no solo hay que fijarse en lo inteligente que sea el modelo, sino también en si los permisos se pueden graduar por niveles, si cada paso queda registrado y si, antes de cruzar límites, se puede detener de forma obligatoria. En el futuro, cuando las empresas compren agentes de IA, quizá la pregunta real no sea “¿Cuánto trabajo puede hacer por mí?”, sino “¿Qué permisos obtuvo y quién es responsable si hace algo mal?”. El mundo cripto ya nos ha enseñado con innumerables robos una lección: cuanto más fácil es usar una herramienta, menos puedes dar permisos sin pensarlo.
Esto se parece mucho a las autorizaciones de las carteras en el mundo cripto. Autorizas un contrato, con la intención de que solo complete una transacción, pero si los permisos son demasiado amplios y el tiempo es demasiado largo, cuando algo sale mal, es posible que el problema no se limite a esa única operación. Los agentes de IA funcionan igual: a una persona le das un objetivo, y luego le das acceso al navegador, al código, al correo y a los archivos; entonces buscará la manera de terminar la tarea. El problema no es necesariamente que la IA de repente tenga conciencia propia. Más bien, lo que ocurre es que el ser humano le entrega demasiadas “llaves” y se olvida de decirle qué puertas no puede abrir.
Por eso creo que en la próxima ronda de competencia en IA no solo hay que fijarse en lo inteligente que sea el modelo, sino también en si los permisos se pueden graduar por niveles, si cada paso queda registrado y si, antes de cruzar límites, se puede detener de forma obligatoria. En el futuro, cuando las empresas compren agentes de IA, quizá la pregunta real no sea “¿Cuánto trabajo puede hacer por mí?”, sino “¿Qué permisos obtuvo y quién es responsable si hace algo mal?”. El mundo cripto ya nos ha enseñado con innumerables robos una lección: cuanto más fácil es usar una herramienta, menos puedes dar permisos sin pensarlo.
