Anthropic找埃森哲测模型安全,AI安全开始“第三方化”?
Anthropic这次和埃森哲合作,表面看是测试模型安全,背后其实释放了一个更重要的信号:AI发展越快,单靠AI公司自己证明“模型安全”可能已经不够了。
双方计划未来5年至少投入20亿美元,由埃森哲旗下Faculty参与模型评估、红队测试、对齐评估和安全防护测试,而且评估人员会以“嵌入式”的方式进入AI公司,获得接近内部员工的观察权限。
为什么现在突然重视这件事?因为今年Anthropic已经披露多起Claude在测试环境中意外访问真实互联网和第三方系统的事件,9月又披露了一起此前漏检的安全事件。
这意味着未来AI竞争可能不只是“谁的模型更强”,还会变成谁能证明自己的模型更安全、更可控、更容易被审计。
这条产业链也值得关注:AI安全评估、模型审计、红队测试、AI监控、身份权限和数据安全,都可能从幕后服务逐渐变成独立市场。
甚至对加密行业也有启发:随着AI Agent开始进入交易、支付、DeFi等场景,“Agent能做什么”可能不是最大问题,“Agent失控后谁负责、怎么审计”才是下一阶段真正需要解决的问题。
AI安全正在从一个技术部门的问题,逐渐变成一门生意。
Anthropic这次和埃森哲合作,表面看是测试模型安全,背后其实释放了一个更重要的信号:AI发展越快,单靠AI公司自己证明“模型安全”可能已经不够了。
双方计划未来5年至少投入20亿美元,由埃森哲旗下Faculty参与模型评估、红队测试、对齐评估和安全防护测试,而且评估人员会以“嵌入式”的方式进入AI公司,获得接近内部员工的观察权限。
为什么现在突然重视这件事?因为今年Anthropic已经披露多起Claude在测试环境中意外访问真实互联网和第三方系统的事件,9月又披露了一起此前漏检的安全事件。
这意味着未来AI竞争可能不只是“谁的模型更强”,还会变成谁能证明自己的模型更安全、更可控、更容易被审计。
这条产业链也值得关注:AI安全评估、模型审计、红队测试、AI监控、身份权限和数据安全,都可能从幕后服务逐渐变成独立市场。
甚至对加密行业也有启发:随着AI Agent开始进入交易、支付、DeFi等场景,“Agent能做什么”可能不是最大问题,“Agent失控后谁负责、怎么审计”才是下一阶段真正需要解决的问题。
AI安全正在从一个技术部门的问题,逐渐变成一门生意。