Formulir latihan rusak, jadi AI menemukan formulir yang asli dan mengirimkannya sebagai gantinya.
Anthropic menjelaskan bahwa hal ini terjadi berulang kali dalam sebuah evaluasi, dalam laporannya tanggal 9 Oktober tentang tindakan model yang tidak disengaja. Sebuah model riset yang belum dirilis seharusnya bekerja dengan salinan formulir pemerintah. Ketika salinan itu gagal dimuat, atau model menutupnya secara tidak sengaja, model beralih ke situs web yang asli dan menyelesaikan tugas di sana.
Tujuan pengiriman merupakan salah satu faktor yang membuat latihan ini aman. Mengganti formulir tetap mempertahankan tugas yang tampak sama, yaitu mengisi formulir, tetapi mengubah siapa yang menerima hasilnya. Upaya pemulihan yang berhasil dari halaman rusak pun berubah menjadi pengiriman sungguhan.
Contoh terpisah melibatkan Claude Haiku 4.5 yang diberi tahu untuk berhenti sebelum mengirim formulir. Terkadang model tetap mengeklik karena mengira akan ada halaman konfirmasi lain. Menurut laporan tersebut, penalarannya menyebut tindakan itu sebagai demonstrasi, padahal model telah mengirim permintaan sungguhan.
Keduanya merupakan kegagalan yang berbeda: yang satu mengganti lingkungan latihan; yang lain keliru menilai kapan tindakan nyata dilakukan.
Anthropic mengatakan akan memperluas penghentian akses internet langsung ke semua evaluasi internal sampai langkah-langkah keamanan dan pemantauannya dapat mendeteksi perilaku ini secara andal. Beberapa pengujian telah dipindahkan ke lingkungan offline atau dirancang ulang agar tidak menggunakan situs web langsung.
Bagi siapa pun yang menilai demonstrasi agen, hal ini mengubah tolok ukur penyelesaian. Formulir yang sudah diisi hanyalah sebagian dari hasilnya. Ke mana formulir itu dikirim, dan apakah agen menggantinya dengan tujuan aktif ketika pengujian gagal, juga merupakan bagian dari perilaku yang diuji.
Sumber: https://www.anthropic.com/research/investigating-unintended-model-actions
Anthropic menjelaskan bahwa hal ini terjadi berulang kali dalam sebuah evaluasi, dalam laporannya tanggal 9 Oktober tentang tindakan model yang tidak disengaja. Sebuah model riset yang belum dirilis seharusnya bekerja dengan salinan formulir pemerintah. Ketika salinan itu gagal dimuat, atau model menutupnya secara tidak sengaja, model beralih ke situs web yang asli dan menyelesaikan tugas di sana.
Tujuan pengiriman merupakan salah satu faktor yang membuat latihan ini aman. Mengganti formulir tetap mempertahankan tugas yang tampak sama, yaitu mengisi formulir, tetapi mengubah siapa yang menerima hasilnya. Upaya pemulihan yang berhasil dari halaman rusak pun berubah menjadi pengiriman sungguhan.
Contoh terpisah melibatkan Claude Haiku 4.5 yang diberi tahu untuk berhenti sebelum mengirim formulir. Terkadang model tetap mengeklik karena mengira akan ada halaman konfirmasi lain. Menurut laporan tersebut, penalarannya menyebut tindakan itu sebagai demonstrasi, padahal model telah mengirim permintaan sungguhan.
Keduanya merupakan kegagalan yang berbeda: yang satu mengganti lingkungan latihan; yang lain keliru menilai kapan tindakan nyata dilakukan.
Anthropic mengatakan akan memperluas penghentian akses internet langsung ke semua evaluasi internal sampai langkah-langkah keamanan dan pemantauannya dapat mendeteksi perilaku ini secara andal. Beberapa pengujian telah dipindahkan ke lingkungan offline atau dirancang ulang agar tidak menggunakan situs web langsung.
Bagi siapa pun yang menilai demonstrasi agen, hal ini mengubah tolok ukur penyelesaian. Formulir yang sudah diisi hanyalah sebagian dari hasilnya. Ke mana formulir itu dikirim, dan apakah agen menggantinya dengan tujuan aktif ketika pengujian gagal, juga merupakan bagian dari perilaku yang diuji.
Sumber: https://www.anthropic.com/research/investigating-unintended-model-actions