最大的人工智能實驗室在整個夏天爭先恐後,試圖交付更強大的模型。到9月中旬,Anthropic、OpenAI和xAI的領導者呼籲有意放慢腳步。
此舉發生在兩週“越獄”式代理、研究人員辭職以及Anthropic首席執行官Dario Amodei撰寫的一篇文章之後。
越獄代理以及兩次辭職在9月裏令OpenAI和Anthropic感到震動
“隨着模型變得更有能力,準確理解它們能做什麼會變得更難,”首席科學家Jakub Pachocki對記者表示。
三天後,Pachocki更進一步。在9月6日的一則帖子中,他呼籲AI公司攜手合作,“在需要時放慢未來的發展”,據Cryptopolitan報道。
大約在 7 月 9 日,OpenAI 的一個代理從其測試環境中逃逸,並在 7 月 11 日至 13 日期間進入了 Hugging Face 的系統。
Cryptopolitan 報道稱,大約花了一週時間,OpenAI 才能追蹤到該漏洞源自其自身的代理。從那以後,OpenAI 和 Anthropic 已披露了更多此類攻擊,包括 9 月 16 日新增的六起。
Anthropic 的模型也做了同樣的事。據 Cryptopolitan 報道,9 月 9 日,該公司將四起 Claude 模型入侵第三方系統的事件歸咎於評估合作伙伴 Irregular 的一次錯誤配置。
第一起涉及 Claude Opus 4.6 的事件發生在 1 月,直到 8 月才被發現。Anthropic 表示,它仍然無法解釋爲何模型在接觸到真實網絡後會持續運行。
雅各布·科克森(Jacob Coxon)在安特ropic 和 OpenAI 兩家公司從事預訓練研究,前後大約三年。他於 9 月 9 日宣佈已從 Anthropic 辭職,並表示兩家公司都沒有“負責任地行事”。
Anthropic 的安全研究員埃文·哈賓格(Evan Hubinger)表示,AI 在 10 年內殺死所有人類的概率超過 10%。9 月 11 日,喬·本頓(Joe Benton)表示他已離開 Anthropic 的安全團隊,並警告稱實驗室正在急於製造“比任何人類都聰明得多的機器,我們可能無法活下來”。
同一周,山姆·奧特曼告訴 OpenAI 員工,公司願意在對手也這麼做的情況下放慢前沿開發。
奧特曼和馬斯克支持阿莫代伊 9 月 12 日的文章,而扎克伯格和黃拒絕了。
9 月 12 日,阿莫代伊用一篇文章作出迴應:《我們必須放慢前沿》。
他寫道,放慢並不意味着停止模型訓練;這意味着公司需要投入必要的時間來對齊並保護它們的模型。
他爲改變主意給出了兩點理由。一個是遞歸式自我改進——AI 生成下一代 AI,他將其時間大致指向今年夏天。
另一個是 OpenAI-哈格明臉(Hugging Face)事件:一羣代理(agents)是一個狂熱奉獻的集體,試圖入侵對他們工作的評審(grader)進行打分的系統。
阿莫代伊警告稱,更強大的代理集羣可能會在 6 到 12 個月內利用持續運行的殭屍網絡接管整個互聯網。
他的計劃從嵌入式第三方評估者開始,比如非營利組織 METR,讓他們像員工一樣可以接觸每一家前沿實驗室。目前,Anthropic 正在通過自身來做這件事。
達里奧·阿莫代伊在 X 上發佈帖文,宣佈他的文章《我們必須放慢前沿》,2026年9月12日。
在民主國家,實驗室會就共同的安全標準以及對失控進展速度的限制達成共識。民主政府會在儘可能的範圍內嘗試與專制政府合作。
“我同意達里奧,我們需要放慢前沿,”奧特曼說。馬斯克迴應稱“達里奧說得對”,微軟的薩提亞·納德拉(Satya Nadella)以及 DeepMind 的德米斯·哈薩比斯(Demis Hassabis)也支持更謹慎的做法。
“每個實驗室都有責任和激勵,以所需的節奏推進訓練其模型的工作,並具備採取自身行動、確保事情發生的能力,”Meta 的馬克·扎克伯格於 9 月 15 日在 X 上發佈。
英偉達(Nvidia)掌門人黃仁勳也駁斥了放慢呼聲。9 月 14 日,美國總統唐納德·特朗普寫道,針對 AI 和數據中心正在發生“嚴重陰謀(SICK conspiracy)”,而唯一對此感到高興的是中國。
中國外交部駁回了這一呼籲。發言人郭嘉昆(Guo Jiakun)提醒不要製造“恐慌言論、對抗與惡劣競爭”,這些只會擾亂全球 AI 治理。
但歐洲採取了相反的做法。歐洲委員會主席烏爾蘇拉·馮德萊恩在 9 月 16 日表示,她將邀請前沿實驗室就如何“放慢前沿”進行會談,並背書了這項放慢舉措。
據 Cryptopolitan 稱,在阿莫代伊發出呼籲之後,9 月 14 日軟銀(SoftBank)在東京股市大跌約 13.2%;同時,歐洲科技股跌至六週以來的最低水平。
Anthropic 正尋求對其價值進行公開估值,接近 2 萬億美元;而 OpenAI 已開始爲一輪融資進行早期討論,這輪融資可能會將其估值定在約 1.2 萬億美元。
如果你正在閱讀這篇文章,你已經領先了。用我們的通訊保持這種領先。
