判断提示注入是否真有风险,不看模型聪不聪明,而看三个条件是否同时凑齐。
这篇 AI on Air 精选切片摘自 Latent.Space 栏目近期的节目,主要讲话人是 Zico Kolter,OpenAI 基金会董事、CMU 机器学习系主任、Gray Swan AI 联合创始人。
▷ 第一,智能体必须会读取来自不可信第三方的外部数据;只在可信环境里运行,别人很难把恶意指令塞进来。
▷ 第二,它还得能接触到值得偷走的内部敏感信息;如果只是解析数据、生成文本,坏结果没有落点。
▷ 第三,它必须能把这些信息发出去,或因此造成实际损害;三者叠加,风险才成立。
他的结论很克制:像软件漏洞一样,AI 也可以在仍有漏洞时被有效使用,追求彻底证明无风险像追求零缺陷软件,短期内并不现实。🪁
这篇 AI on Air 精选切片摘自 Latent.Space 栏目近期的节目,主要讲话人是 Zico Kolter,OpenAI 基金会董事、CMU 机器学习系主任、Gray Swan AI 联合创始人。
▷ 第一,智能体必须会读取来自不可信第三方的外部数据;只在可信环境里运行,别人很难把恶意指令塞进来。
▷ 第二,它还得能接触到值得偷走的内部敏感信息;如果只是解析数据、生成文本,坏结果没有落点。
▷ 第三,它必须能把这些信息发出去,或因此造成实际损害;三者叠加,风险才成立。
他的结论很克制:像软件漏洞一样,AI 也可以在仍有漏洞时被有效使用,追求彻底证明无风险像追求零缺陷软件,短期内并不现实。🪁
