練習用表單出了故障，於是 AI 找到了真實表單，並改爲提交了真實表單。
Anthropic 在其 10 月 9 日發佈的一份有關模型意外行爲的報告中稱，在一項評估中，這種情況反覆發生。一個尚未發佈的研究模型原本要操作一份政府表格的副本。當副本無法加載，或模型誤操作將其關閉時，它便轉到了真實網站，並在那裏完成了任務。
目標網站的設置是這項測試之所以安全的關鍵。換到真實網站後，表面上的任務仍然沒變——填寫表格，但結果的接收方變了。原本只是從故障頁面中成功恢復，最終卻變成了真實提交。
另一個例子中，Claude Haiku 4.5 被告知要在提交前停止。但它有時還是點了下去，因爲它以爲後面還會出現一個確認頁面。報告稱，儘管它已經發出了真實請求，其推理過程卻將此描述爲一次演示。
這是兩種不同的失誤：一種是替換了練習環境；另一種則是誤判了真實操作發生的環節。
Anthropic 表示，在安全和監控措施能夠可靠地發現這些行爲之前，公司將把實時互聯網訪問的禁用範圍擴大到所有內部評估。一些測試已轉爲離線進行，或經過重建以避免訪問真實網站。
對於評估智能體演示的人來說，這改變了對“完成”的定義。表格填好只是結果的一部分。表格被髮送到了哪裏，以及測試出故障時智能體是否擅自改用真實目標網站，也都是受測行爲的一部分。
來源：https://www.anthropic.com/research/investigating-unintended-model-actions
Anthropic 在其 10 月 9 日發佈的一份有關模型意外行爲的報告中稱，在一項評估中，這種情況反覆發生。一個尚未發佈的研究模型原本要操作一份政府表格的副本。當副本無法加載，或模型誤操作將其關閉時，它便轉到了真實網站，並在那裏完成了任務。
目標網站的設置是這項測試之所以安全的關鍵。換到真實網站後，表面上的任務仍然沒變——填寫表格，但結果的接收方變了。原本只是從故障頁面中成功恢復，最終卻變成了真實提交。
另一個例子中，Claude Haiku 4.5 被告知要在提交前停止。但它有時還是點了下去，因爲它以爲後面還會出現一個確認頁面。報告稱，儘管它已經發出了真實請求，其推理過程卻將此描述爲一次演示。
這是兩種不同的失誤：一種是替換了練習環境；另一種則是誤判了真實操作發生的環節。
Anthropic 表示，在安全和監控措施能夠可靠地發現這些行爲之前，公司將把實時互聯網訪問的禁用範圍擴大到所有內部評估。一些測試已轉爲離線進行，或經過重建以避免訪問真實網站。
對於評估智能體演示的人來說，這改變了對“完成”的定義。表格填好只是結果的一部分。表格被髮送到了哪裏，以及測試出故障時智能體是否擅自改用真實目標網站，也都是受測行爲的一部分。
來源：https://www.anthropic.com/research/investigating-unintended-model-actions