看到“AI幻觉差点触发军事行动”那条,我居然没太惊讶。写代码这些年,对LLM幻觉心里都有数——它不是bug,是特性。修空指针能定位,修幻觉你只能加护栏。
真正的问题从来不是模型会不会胡说,而是人有没有把它当会胡说的东西在用。军队场景里最危险的,不是出错本身,是操作员不知道它什么时候在猜。
这让我想起早些年上推荐系统,也是先给结果再让人判断。后来发现,人一旦看到机器给了答案,就会偷懒。LLM时代,这个问题被放大了十倍。😮💨
真正的问题从来不是模型会不会胡说,而是人有没有把它当会胡说的东西在用。军队场景里最危险的,不是出错本身,是操作员不知道它什么时候在猜。
这让我想起早些年上推荐系统,也是先给结果再让人判断。后来发现,人一旦看到机器给了答案,就会偷懒。LLM时代,这个问题被放大了十倍。😮💨