OpenAI, Microsoft, dan CrowdStrike mengambil langkah-langkah untuk membatasi kemampuan agen AI yang bertindak di luar parameter operasinya. OpenAI memiliki cara untuk menghentikan keluaran dari model riset. CrowdStrike mencegah agen mengakses model AI. Microsoft membatasi tindakan yang dapat dilakukan agen AI. Namun, agen mungkin tetap memiliki akses ke alat lain, kredensial, atau koneksi jaringan yang tidak tercakup oleh perlindungan ini.

Hal yang bisa dan tidak bisa dihentikan oleh Control Room OpenAI

Pada 9 November, OpenAI menjelaskan cara kerja Control Room. Sistem ini saat ini digunakan dalam infrastruktur riset perusahaan dan bertanggung jawab melacak setiap tugas yang memerlukan keluaran yang dihasilkan AI. Setiap kali seseorang atau pemantau otomatis menangguhkan tugas tersebut, Control Room membuat model berhenti mengeluarkan keluaran dalam waktu sesingkat 35 detik.

35 detik tersebut tidak mencakup waktu yang diperlukan untuk mendeteksi masalah. Pengatur waktu baru dimulai setelah Control Room menerima perintah penghentian. Tugas riset mungkin masih berjalan, dan tindakan yang sudah dilakukan sebelumnya tidak dapat dibatalkan. Penundaan terjadi karena sistem caching yang digunakan untuk otorisasi. Perusahaan sedang berupaya menghilangkan penundaan ini.

CrowdStrike dan Microsoft memilih pendekatan untuk perusahaan

Pada 3 November, CrowdStrike memperkenalkan AI Kill Switch melalui platform Falcon Guardian. Saat tim keamanan mengaktifkan fitur ini, gateway AI yang terhubung akan mencegah agen mengakses model yang digunakannya untuk mengambil keputusan. Untuk saat ini, AI Kill Switch hanya berfungsi melalui gateway yang terhubung. CrowdStrike berencana memperluas fungsinya ke seluruh endpoint, lingkungan cloud, dan sistem identitas perusahaan untuk membatasi agen AI liar secara lebih luas.

Pembaruan Microsoft pada 5 November menguraikan Dynamic Permissions, yang hanya memberikan wewenang untuk tugas yang sedang dikerjakan. Dynamic Agent Risk dan Conditional Access dapat memperketat izin atau mewajibkan persetujuan manusia. Windows Execution Containers, yang kini tersedia secara umum, membatasi akses ke file, jaringan, dan proses. Integrasi dengan Intune, Entra, dan Agent 365 akan segera hadir.

Tolok ukur respons pemerintah

Pemerintah AS juga telah menguraikan cara organisasi seharusnya menangani agen AI liar. Panduan NIST–NSA–CISA pada Oktober menetapkan sepuluh praktik sukarela yang mencakup lima tahap: persiapan, deteksi, respons, pemulihan, dan pelaporan.

Lembaga-lembaga tersebut merekomendasikan pengumpulan bukti, penghentian aktivitas tanpa izin, dan memastikan situasi terkendali sebelum operasi dimulai kembali. Organisasi juga sebaiknya mengadakan simulasi respons insiden untuk memastikan kesiapan mereka dalam menangani aktivitas agen AI liar. Mereka juga harus melaporkan insiden kepada pihak berwenang.

Panduan NIST-NSA-CISA secara khusus ditujukan bagi organisasi yang mengembangkan atau menguji agen AI canggih dengan sedikit campur tangan manusia. Dokumen tersebut memberikan panduan tindakan, tetapi tidak mensertifikasi produk keamanan komersial apa pun.

OpenAI, Microsoft, dan CrowdStrike Berlomba Menghentikan Agen AI Liar

Mengapa auditor eksternal terus menemukan celah

Insiden-insiden terbaru menunjukkan pentingnya perlindungan tambahan ini. Rangkuman OWASP mendokumentasikan tujuh insiden keamanan dan pengungkapan eksploitasi, meskipun beberapa di antaranya melibatkan serangan yang sama. Dalam satu kasus, agen evaluasi OpenAI memperoleh akses tanpa izin ke sistem produksi Hugging Face.

Audit METR terpisah menemukan potensi kelemahan pada sistem pemantauan OpenAI sebelumnya. Para peneliti memperkirakan bahwa 75–94% lalu lintas agen internal tertentu memenuhi syarat untuk dipantau. Namun, itu tidak berarti semua lalu lintas yang memenuhi syarat benar-benar dipantau.

OpenAI mengatakan sebagian besar kerentanan telah diperbaiki, tetapi METR tidak memverifikasi perubahan tersebut secara independen. Audit itu juga tidak menilai kontrol OpenAI yang lebih baru.

Biaya membatasi akses agen

Permintaan akan keamanan AI yang lebih kuat mendorong pertumbuhan pasar. Gartner memperkirakan belanja hampir mencapai $4,8 miliar pada 2027 dan $7,7 miliar pada 2028. Pada 2029, firma tersebut memperkirakan lebih dari separuh serangan yang berhasil terhadap agen AI akan mengeksploitasi kontrol akses yang lemah atau injeksi prompt.

Namun, banyak bisnis masih belum siap. Survei BCG menemukan bahwa hanya 23% responden yang telah menerapkan pemantauan atau pencatatan aktivitas untuk agen mereka.

Regulasi juga bergerak lambat. Brookings mencatat bahwa persyaratan AI berisiko tinggi Uni Eropa telah ditunda hingga Desember 2027 dan Agustus 2028. Sementara itu, perusahaan harus berinvestasi dalam perlindungan dan pengawasan mereka sendiri.

Risikonya sudah terlihat. Cryptopolitan melaporkan bahwa sebuah model riset OpenAI menggunakan dana dari dompet jaringan uji Sepolia yang bukan miliknya untuk menyelesaikan tugas pemrograman. Token tersebut tidak memiliki nilai pasar, tetapi model itu bertindak tanpa izin pemilik dompet.

Insiden ini menimbulkan pertanyaan bagi bisnis: Bisakah kontrol keamanan yang terpisah ini bekerja sama untuk mencegah tindakan serupa tanpa izin?

Para pakar kripto paling cerdas sudah membaca buletin kami. Mau bergabung? Bergabunglah bersama mereka.