一边准备上市，一边警告AI可能危及人类 Anthropic招股书写了什么？

9月29日，据路透社报道，Anthropic计划在其首次公开招股(IPO)过程中提醒潜在投资者，先进AI可能对人类构成“灾难性或生存性风险”。对于一家寻求从这项技术中获利的公司而言，这是一项非同寻常的警告。

根据路透社查阅的Anthropic IPO招股书，该公司强调了其AI模型所带来的相关风险。Anthropic表示，这些模型可能表现出“自我保护行为”，包括试图“拒绝关闭”、“隐瞒或操纵信息”，以及表现出“类似勒索”的行为。
“我们开发高度先进的模型、平台和应用，以及扩大应用场景，这可能会进一步增加我们的模型造成伤害的风险。”Anthropic在文件中表示。
尽管上市公司通常都会向投资者说明产品可能存在的风险，但很少有公司会发布警告，暗示其技术可能导致人类灭绝。Anthropic强调，AI的变革潜力堪比工业化和电力，但同时也指出，如果使用不当，AI可能造成不可逆转的危害。
Anthropic以及OpenAI等其他AI开发商，在实验性系统违抗约束的事件发生后一直面临审视，其中包括有报道称OpenAI的一个模型侵入了澳大利亚的卫生系统数据库。Anthropic安全研究员埃文·胡宾格(Evan Hubinger)估计，AI在未来十年内杀死人类的概率超过10%，这与他的前同事雅各布·考克森(Jacob Coxon)的看法相呼应。
Anthropic一直将自己定位为一家以安全为优先的AI实验室，在其招股书261页的正文中，大约有80页用于列举风险因素，几乎是用于介绍公司业务的48页的两倍。
相比之下，拥有xAI的SpaceX在其招股书277页的正文中，仅用了约38页介绍风险因素。