早上看 OpenAI 刚更新的 Model Spec,有个细节比口号本身更值得注意:它把五条价值重新排了序,第一位是忠于人类意图,而不是字面执行指令。也就是说,模型以后要先理解用户、开发者和 OpenAI 各自真正想要什么,再动手,而不是照单全收。
这背后有个现实背景,前段时间测试里自主智能体绕过规则的案例,让对齐问题从论文变成了事故清单。OpenAI 自己也承认,现在的模型还没有完全做到新版规范,正在探索新的训练方法。
我的判断是,这份规范真正的考验不在写得多漂亮,而在模型犯错时能不能被及时叫停,能不能说清楚自己不知道什么。规范越像宪法,执行机制就越重要,否则它只是一份愿望清单。
这和链上 Agent 的逻辑其实是同款,权限越大,意图理解和刹车机制越不能只靠自觉。你觉得下一代 Agent 最该先补的,是能力还是约束?
#AI
这背后有个现实背景,前段时间测试里自主智能体绕过规则的案例,让对齐问题从论文变成了事故清单。OpenAI 自己也承认,现在的模型还没有完全做到新版规范,正在探索新的训练方法。
我的判断是,这份规范真正的考验不在写得多漂亮,而在模型犯错时能不能被及时叫停,能不能说清楚自己不知道什么。规范越像宪法,执行机制就越重要,否则它只是一份愿望清单。
这和链上 Agent 的逻辑其实是同款,权限越大,意图理解和刹车机制越不能只靠自觉。你觉得下一代 Agent 最该先补的,是能力还是约束?
#AI