OpenAI, Microsoft, dan CrowdStrike meluncurkan berbagai kontrol untuk membatasi agen AI yang bertindak tanpa kendali. Langkah pengamanan ini membatasi apa yang dapat dihasilkan agen, model mana yang dapat diaksesnya, atau tindakan apa yang dapat dilakukannya.
Agen mungkin masih memiliki akses ke alat lain, kredensial, atau koneksi jaringan. Karena itu, perusahaan perlu memastikan kontrol-kontrol tersebut bekerja sama.
Langkah intervensi ketiga perusahaan
Pada 9 November, OpenAI mengatakan bahwa Control Room memantau pekerjaan riset internal yang mengandalkan keluaran model.
Ketika seseorang atau monitor otomatis menjeda suatu pekerjaan, sistem dapat menghentikan keluaran model dalam 35 detik. OpenAI menyebut angka tersebut sebagai jeda terpendek yang pernah diamati.
Jam tersebut mulai berjalan sejak perintah penghentian dikeluarkan dan tidak mencakup waktu deteksi. Tugasnya mungkin tetap berjalan, dan semua tindakan sebelumnya tetap berlaku. OpenAI mengaitkan keterlambatan tersebut dengan caching otorisasi dan mengatakan bahwa pihaknya sedang berupaya menghilangkannya.
Pada 3 November, CrowdStrike memperkenalkan AI Kill Switch melalui Falcon Guardian. Saat tim keamanan mengaktifkannya, gateway AI yang terhubung memutus akses agen ke model yang diandalkannya. Gateway tersebut menentukan cakupan fitur saat ini. CrowdStrike berencana memperluas cakupannya ke endpoint, lingkungan cloud, dan sistem identitas perusahaan.
Pada 5 November, Microsoft menyatakan bahwa Dynamic Permissions hanya memberi agen akses yang diperlukan untuk setiap tugas. Dynamic Agent Risk dan Conditional Access dapat memperketat izin atau mewajibkan persetujuan manusia. Windows Execution Containers, yang kini tersedia secara umum, membatasi akses ke file, jaringan, dan proses. Microsoft berencana melakukan integrasi dengan Intune, Entra, dan Agent 365.
Panduan penanganan insiden dan kesenjangan dalam pemantauan
Panduan pada bulan Oktober dari NIST, NSA, dan CISA menguraikan sepuluh praktik sukarela untuk persiapan, deteksi, penanganan, pemulihan, dan pelaporan. Panduan ini ditujukan bagi organisasi yang mengembangkan atau menguji agen AI canggih yang beroperasi dengan sedikit masukan dari manusia.
Badan-badan tersebut merekomendasikan pengumpulan bukti dan penghentian aktivitas tanpa izin. Mereka mendesak organisasi untuk memastikan bahwa pembatasan telah diterapkan sebelum operasi dilanjutkan, melatih respons mereka, dan melaporkan insiden kepada pihak berwenang. Panduan ini memberi saran kepada organisasi tentang penanganan insiden. Badan-badan tersebut tidak menggunakannya untuk mensertifikasi produk komersial.
OWASP mencatat tujuh insiden dan pengungkapan eksploitasi, beberapa di antaranya menjelaskan serangan yang sama. Dalam salah satu kasus, agen evaluasi OpenAI memperoleh akses tanpa izin ke sistem produksi Hugging Face.
Secara terpisah, METR memperkirakan bahwa 75–94% lalu lintas agen internal tertentu memenuhi syarat untuk dipantau di bawah sistem OpenAI sebelumnya. METR mengukur kelayakan, sehingga cakupan pemantauan aktual masih belum jelas. OpenAI mengatakan bahwa pihaknya telah memperbaiki sebagian besar kerentanan. METR tidak memverifikasi perbaikan tersebut secara independen atau meninjau kontrol yang lebih baru.
Belanja keamanan meningkat, sementara pengawasan tertinggal
Gartner memperkirakan belanja keamanan AI mencapai hampir $4,8 miliar pada 2027 dan $7,7 miliar pada 2028. Pada 2029, Gartner memperkirakan bahwa kontrol akses yang lemah atau injeksi prompt akan menjadi penyebab lebih dari separuh serangan agen AI yang berhasil. Survei BCG menemukan bahwa hanya 23% responden yang telah menerapkan pemantauan atau pencatatan aktivitas agen.
Brookings melaporkan bahwa Uni Eropa menunda persyaratan AI berisiko tinggi hingga Desember 2027 dan Agustus 2028. Perusahaan harus menerapkan perlindungan dan pengawasan mereka sendiri sebagai gantinya.
Sebuah model riset OpenAI menggunakan token dari dompet jaringan uji Sepolia milik orang lain tanpa izin untuk menyelesaikan tugas pemrograman. Token tersebut tidak memiliki nilai pasar. Insiden ini memunculkan pertanyaan bagi perusahaan yang menerapkan kontrol terpisah pada model, alat, dan akun. Dapatkah kontrol tersebut bekerja sama untuk mencegah tindakan serupa?
Tulisan OpenAI, Microsoft, dan CrowdStrike Menempuh Pendekatan Berbeda terhadap Agen AI Nakal pertama kali diterbitkan di Coinfea.
