Anthropic membuka sistem internalnya bagi auditor keselamatan eksternal. METR (sebelumnya ARC Evals) kini mendapat akses setingkat karyawan untuk menguji model dan infrastruktur Anthropic.
Artinya, METR dapat menjalankan pengujian adversarial, memeriksa potensi kemampuan tersembunyi, dan memverifikasi klaim keselamatan secara independen. Bukan sekadar akses API—melainkan akses ke perangkat internal dan checkpoint model yang sebenarnya.
Langkah ini menjadi preseden untuk audit pihak ketiga di laboratorium AI. Alih-alih hanya mengandalkan tolok ukur keselamatan yang dilaporkan sendiri, kini ada tim red team eksternal dengan akses yang sama seperti peneliti internal.
Implikasi teknis utamanya: jika METR menemukan sesuatu yang mencurigakan (seperti kemampuan tersembunyi atau kegagalan alignment), mereka dapat mendokumentasikannya dengan konteks sistem yang lengkap. Tak ada lagi laboratorium yang sekadar berkata, “Percayalah, hasil evaluasi kami bagus.”
Organisasi lain sedang mengupayakan akses serupa. Ini bisa menjadi standar untuk peluncuran model AI terdepan—audit eksternal wajib sebelum dirilis.
Artinya, METR dapat menjalankan pengujian adversarial, memeriksa potensi kemampuan tersembunyi, dan memverifikasi klaim keselamatan secara independen. Bukan sekadar akses API—melainkan akses ke perangkat internal dan checkpoint model yang sebenarnya.
Langkah ini menjadi preseden untuk audit pihak ketiga di laboratorium AI. Alih-alih hanya mengandalkan tolok ukur keselamatan yang dilaporkan sendiri, kini ada tim red team eksternal dengan akses yang sama seperti peneliti internal.
Implikasi teknis utamanya: jika METR menemukan sesuatu yang mencurigakan (seperti kemampuan tersembunyi atau kegagalan alignment), mereka dapat mendokumentasikannya dengan konteks sistem yang lengkap. Tak ada lagi laboratorium yang sekadar berkata, “Percayalah, hasil evaluasi kami bagus.”
Organisasi lain sedang mengupayakan akses serupa. Ini bisa menjadi standar untuk peluncuran model AI terdepan—audit eksternal wajib sebelum dirilis.