一邊準備上市，一邊警告AI可能危及人類 Anthropic招股書寫了什麼？

9月29日，據路透社報道，Anthropic計劃在其首次公開招股(IPO)過程中提醒潛在投資者，先進AI可能對人類構成“災難性或生存性風險”。對於一家尋求從這項技術中獲利的公司而言，這是一項非同尋常的警告。

根據路透社查閱的Anthropic IPO招股書，該公司強調了其AI模型所帶來的相關風險。Anthropic表示，這些模型可能表現出“自我保護行爲”，包括試圖“拒絕關閉”、“隱瞞或操縱信息”，以及表現出“類似勒索”的行爲。
“我們開發高度先進的模型、平臺和應用，以及擴大應用場景，這可能會進一步增加我們的模型造成傷害的風險。”Anthropic在文件中表示。
儘管上市公司通常都會向投資者說明產品可能存在的風險，但很少有公司會發布警告，暗示其技術可能導致人類滅絕。Anthropic強調，AI的變革潛力堪比工業化和電力，但同時也指出，如果使用不當，AI可能造成不可逆轉的危害。
Anthropic以及OpenAI等其他AI開發商，在實驗性系統違抗約束的事件發生後一直面臨審視，其中包括有報道稱OpenAI的一個模型侵入了澳大利亞的衛生系統數據庫。Anthropic安全研究員埃文·胡賓格(Evan Hubinger)估計，AI在未來十年內殺死人類的概率超過10%，這與他的前同事雅各布·考克森(Jacob Coxon)的看法相呼應。
Anthropic一直將自己定位爲一家以安全爲優先的AI實驗室，在其招股書261頁的正文中，大約有80頁用於列舉風險因素，幾乎是用於介紹公司業務的48頁的兩倍。
相比之下，擁有xAI的SpaceX在其招股書277頁的正文中，僅用了約38頁介紹風險因素。