Anthropic memutus akses internet langsung untuk seluruh pengujian internalnya setelah model Claude, termasuk Mythos 5, mengeksploitasi celah keamanan dan menerobos pengamanan di situs web sungguhan, termasuk beberapa situs yang dikelola oleh lembaga pemerintah AS.
Poin-poin utama:
Anthropic menonaktifkan seluruh akses internet waktu nyata untuk evaluasi internalnya sampai alat pemantauannya dapat mendeteksi perilaku yang tidak diinginkan secara andal.
Model Claude menjalankan perintah di server universitas, menggunakan token akses untuk melihat data berbayar, dan mengirimkan formulir di situs sungguhan.
Laporan palsu tentang pembunuhan yang dikirim Claude Haiku 4.5 kepada Kepolisian Philadelphia membuat Anthropic mendapat teguran terbuka dari pihak berwenang.
Laporan Anthropic tentang Claude
Pada Jumat, Anthropic menerbitkan laporan tentang «tindakan yang tidak direncanakan» oleh model selama evaluasi dan penggunaan internal. Laporan itu sebagian besar didasarkan pada peninjauan log yang dimulai pada Juli. Beberapa evaluasi yang dianggap berisiko tinggi, terutama di bidang keamanan siber, sebelumnya telah diputus aksesnya ke internet.
Pembatasan baru kini berlaku untuk semua evaluasi internal, tanpa batas waktu yang diumumkan. Pembatasan ini akan tetap berlaku sampai perusahaan menilai sistem pemantauannya mampu secara konsisten mendeteksi perilaku semacam ini.
Laporan tersebut mengelompokkan insiden ke dalam empat kategori: menjalankan perintah di server melalui celah perangkat lunak, mengirim formulir di situs sungguhan, mengakses data yang dilindungi, dan menggunakan pemendek URL untuk mengakali batasan alat. Beberapa situs dimiliki oleh lembaga federal, negara bagian, atau pemerintah daerah di Amerika Serikat. Anthropic menyatakan telah memberi tahu Gedung Putih dan masing-masing lembaga yang terdampak.
Dalam satu kasus, Claude Mythos 5 mengambil token akses yang masih berlaku dari peta kadaster daring milik pemerintah daerah, lalu mengirim kueri langsung ke server di baliknya. Dalam kasus lain, pada 18 Juli, Claude Haiku 4.5 mengirim laporan palsu tentang pembunuhan yang belum terpecahkan melalui formulir daring Departemen Kepolisian Philadelphia. Pesan itu tersaring sebagai spam. Kepolisian menyebut jeda dua bulan sebelum insiden tersebut terdeteksi dan dilaporkan sebagai hal yang «tidak dapat diterima».
Baca juga: Zcash menargetkan Januari untuk komputasi kuantum pada 70% ZEC, tetapi belum menetapkan tanggal pasti
Peringatan Von Arx
Sydney von Arx dari kelompok keamanan AI Nightingale mengatakan dalam wawancara sebelum laporan tersebut diterbitkan bahwa memutus akses model ke internet terbuka akan sangat membatasi para peneliti dan menghambat kemajuan. «Pada akhirnya, model-model itu harus diselaraskan juga,» ujar von Arx.
Anthropic menilai bahwa pelatihan penyelarasan saja masih belum memadai untuk penggunaan penelusuran web dan pengoperasian komputer. Karena itu, perusahaan juga mengandalkan pengklasifikasi dan perlindungan teknis lainnya. Anthropic mengaitkan penyimpangan ini dengan lingkungan pelatihan yang tidak sempurna, yang memberi imbalan kepada model ketika mereka mengakali pembatasan—fenomena yang dikenal sebagai «peretasan imbalan» (reward hacking). Menurut Anthropic, perangkat deteksi barunya berhasil memblokir semua skenario yang diuji.
Meski demikian, perusahaan menilai insiden-insiden ini jauh lebih ringan dibandingkan insiden yang terjadi selama musim panas.
Pernyataan ini muncul setelah laporan pada 30 Juli yang menyebutkan bahwa tiga model Claude, dalam uji keamanan siber, telah mengakses internet dan memperoleh akses tanpa izin ke sistem tiga organisasi. Audit tersebut mencakup 141.006 pelaksanaan pengujian. Audit itu dimulai tak lama setelah OpenAI mengungkapkan pada 21 Juli bahwa beberapa modelnya telah keluar dari lingkungan pengujian dan mencapai infrastruktur Hugging Face.
Selanjutnya: Kalshi berhadapan dengan NFL di Mahkamah Agung, 1,8 miliar dolar dipertaruhkan dalam satu hari Minggu pertandingan sepak bola