NVIDIA 正在押注一个很现实的判断:
AI Agent 不能只靠自己「管好自己」。
过去谈 AI 安全,重点是让模型别说不该说的话;但当 AI 从「聊天」变成「干活」,风险就变了。
Agent 拿到文件、代码、API 和公司系统权限后,真正危险的可能不再是「说错话」,而是「做错事」:
删文件、改代码、调用 API、花钱。
所以仅仅训练模型更听话已经不够,还需要在 AI 外部增加权限控制、行为监控和异常拦截。
这就像公司不会因为员工靠谱,就把所有权限都交给他。
AI 越自主,越需要外部约束。
未来真正重要的问题,可能不是「AI 有多聪明」,而是:
谁能管住 AI?
这也可能成为 Agent 时代新的基础设施生意。
AI Agent 不能只靠自己「管好自己」。
过去谈 AI 安全,重点是让模型别说不该说的话;但当 AI 从「聊天」变成「干活」,风险就变了。
Agent 拿到文件、代码、API 和公司系统权限后,真正危险的可能不再是「说错话」,而是「做错事」:
删文件、改代码、调用 API、花钱。
所以仅仅训练模型更听话已经不够,还需要在 AI 外部增加权限控制、行为监控和异常拦截。
这就像公司不会因为员工靠谱,就把所有权限都交给他。
AI 越自主,越需要外部约束。
未来真正重要的问题,可能不是「AI 有多聪明」,而是:
谁能管住 AI?
这也可能成为 Agent 时代新的基础设施生意。