¿Qué debería requerir aprobación humana?

El mayor riesgo de un agente de IA quizá no sea lo que piensa, sino lo que se le permite hacer.

Un modelo puede ser impresionante a la hora de planificar, pero cuando puede gastar dinero, llamar a API de pago o actuar en distintos servicios, una mala decisión deja de ser solo una mala respuesta. Puede convertirse en una transacción real.

Lo que me llamó la atención del diseño de Kite es la separación entre el usuario, el agente y la sesión. El usuario sigue siendo la autoridad principal; el agente recibe permisos delegados; y una sesión puede limitarse a una tarea o un período específicos. Esto crea un límite más claro entre pedirle ayuda a una IA y darle poder para actuar.

El enfoque de Kite también incorpora restricciones programables en el nivel de infraestructura. Se pretende que los límites de gasto y las acciones permitidas se hagan cumplir mediante autorización criptográfica y lógica de contratos inteligentes, no que simplemente se escriban en una instrucción y se cruce los dedos.

Para mí, esa es una forma más útil de pensar en la seguridad de la IA en los flujos de trabajo financieros. Probablemente no eliminaremos todos los errores de los modelos. Pero podemos diseñar sistemas en los que un error no se convierta automáticamente en autoridad ilimitada.

La pregunta que me queda es esta: si un agente tiene una identidad clara, permisos limitados y un registro auditable, ¿qué debería seguir requiriendo aprobación humana? Yo pondría el límite en un lugar distinto para un pequeño pago a una API que para transferir fondos entre cuentas.

Ese límite de permisos puede ser tan importante como la inteligencia que hay detrás del agente.

#KiteBBW $KITE @KITE AI