让 AI 去挑自家系统的毛病,最难的不是找,是不许它撒谎。
一家大公司披露了一个内部智能体,产品安全团队做的,从 2025 年 11 月试点,到今年 1 月转正,已经在自家网页应用里找出 500 多个漏洞。它的规矩只有一条,得真的跑通一段利用代码、确认洞在那里,才把人叫过来。🔍
这条限定,是被现实逼出来的,也是这套东西最贵的部分。
安全团队这两年收到最多的,是 AI 生成的假报告,看着条条成立,查下去全是空。分辨一个真漏洞和一个编得像样的幻觉,已经成了这行的主要工作。让模型去找漏洞,它总能找出一个,麻烦在于那个洞是不是真的。
于是顺序被倒过来。模型提出猜想,交给一个专门的验证器,在实时运行的应用副本上试着打进去。打不进去,就不出声。
这套东西接下来要跟一个自动修漏洞的智能体配对。
一个负责证明洞是真的,一个负责把它补上。中间最容易出错的那一环,交给了两个程序互相看住。
一家大公司披露了一个内部智能体,产品安全团队做的,从 2025 年 11 月试点,到今年 1 月转正,已经在自家网页应用里找出 500 多个漏洞。它的规矩只有一条,得真的跑通一段利用代码、确认洞在那里,才把人叫过来。🔍
这条限定,是被现实逼出来的,也是这套东西最贵的部分。
安全团队这两年收到最多的,是 AI 生成的假报告,看着条条成立,查下去全是空。分辨一个真漏洞和一个编得像样的幻觉,已经成了这行的主要工作。让模型去找漏洞,它总能找出一个,麻烦在于那个洞是不是真的。
于是顺序被倒过来。模型提出猜想,交给一个专门的验证器,在实时运行的应用副本上试着打进去。打不进去,就不出声。
这套东西接下来要跟一个自动修漏洞的智能体配对。
一个负责证明洞是真的,一个负责把它补上。中间最容易出错的那一环,交给了两个程序互相看住。