有人说，这台机器有十分之一的可能要了人的命。

说这话的人叫Jacob Coxon，9月10日从Anthropic辞职，此前在OpenAI待过。他的原话是，开发人工智能的人自己相信，未来十年里，先进人工智能导致人类灭绝的概率超过百分之十。同一家公司负责对齐的Evan Hubinger，也点了这个数。这两个人，一个已经离开，一个还留在原位。

英国广播公司9月19日报道说，实验室里更多的人听到这类警告，反应不是惊慌，是笑。他们对这台机器，其实比外面的人懂得多。

十分之一这个数字，妙就妙在它无处落地。大到足以让人肃然，小到不必今天就走人。于是说的人照说，笑的人照笑，估值照涨。风险叙事一旦变成口头禅，就再也叫不动人。

真要论风险，看得见的从来不是机器，是那只按下去的手，和按下去之后由谁负责。名单上那几家，OpenAI、Anthropic、Meta、DeepMind，都这么站着，谁也没有先把机器关掉。责任这东西，抽象到十年以后，就等于没有。

喊狼来了的人未必信狼，笑狼来了的人也未必不怕。一屋子人谁也不先走，这大约就是眼下最常见的一种安静。

十个人说危险，九个人笑了，最后出事的是那第十一个。

#AI安全 #人工智能