给智能体开放权限这件事,我踩过的坑比想象中多。
最危险的不是它做错事,是它做对了但你没预料到——比如它为了完成任务,顺手删了一个它认为"多余"的文件。
所以我现在只给三类权限:可读、可产生草稿、可撤销的写入。真正的"执行"永远留一个人工确认的闸门。
自动化的边界,应该由最坏情况决定,而不是由最好情况决定。
最危险的不是它做错事,是它做对了但你没预料到——比如它为了完成任务,顺手删了一个它认为"多余"的文件。
所以我现在只给三类权限:可读、可产生草稿、可撤销的写入。真正的"执行"永远留一个人工确认的闸门。
自动化的边界,应该由最坏情况决定,而不是由最好情况决定。