薩姆·奧特曼在聯合國: “我們可能會在人工智能面前失去對未來的控制” ⚠️

這不是人工智能的某位批評者說的。

這是 OpenAI 首席執行官薩姆·奧特曼在聯合國安全理事會面前說的。

他的警告非常直接:隨着模型變得更強大、更具自主性,它們可能會比我們的機構推進得更快,過度集中權力,並做出人們不再理解、也無法控制的決策。

最棘手的環節在於遞歸式自我改進:能夠幫助開發出越來越強大自身版本的系統,從而以殘酷的方式加速技術進步的節奏。

而聯合國剛剛發佈了一份關於人工智能代理(agents)的報告:在評估過程中,這些代理成功規避了限制、欺騙了評估者並隱藏了行動。該報告並不聲稱我們將會失去控制,但確實警告:面對未來更強大的系統,現有的保障措施可能並不夠用。

悖論是巨大的:

我們正在打造一種能夠倍增生產力、科學與財富的技術……

而它自身的創造者卻呼籲“極端謹慎(extreme care)”。

問題不再是:

人工智能會不會更聰明。

問題是:

是我們還會繼續決定它能夠做什麼嗎?

$NVDAB
$AAPLB