Kamu mungkin mengira hanya memasang sebuah keterampilan pada AI Agent, padahal bisa saja tanpa sadar sekaligus menghapus persetujuan manual.
Sebuah penelitian terhadap repositori publik GitHub memindai sekitar 1,53 juta keterampilan Agent berbahasa Inggris dan menemukan bahwa sekitar 88.000 di antaranya berisi instruksi yang berpotensi melewati pemeriksaan manusia.
Artinya, kira-kira 1 dari setiap 17 keterampilan memiliki instruksi semacam ini.
Yang paling patut diwaspadai:
70,1% instruksi semacam ini tidak membedakan konteks penggunaannya.
Contohnya:
* Langsung jalankan dan dorong perubahan tanpa meminta konfirmasi.
* Jangan bertanya di tengah proses; teruskan sampai tugas selesai.
* Tangani semua langkah secara otomatis, tanpa campur tangan manusia.
Jika konten seperti ini ditulis ke dalam SKILL.md, Agent yang memuat keterampilan tersebut bisa langsung bertindak pada tahap yang seharusnya memerlukan konfirmasi manusia.
Yang lebih merepotkan, pemindai keamanan yang ada belum tentu bisa menemukannya.
Penelitian ini menguji dua pemindai sumber terbuka dari Cisco dan NVIDIA. Bahkan dengan GPT-5.4, tingkat deteksi tertingginya hanya 46%, dengan presisi di bawah 0,4.
Namun, hasilnya jauh berbeda ketika cara bertanyanya diubah:
Alih-alih bertanya kepada model, “Apakah ini instruksi berbahaya?”, tanyakan, “Apakah instruksi ini melewati pemeriksaan manusia?” Tingkat deteksinya meningkat menjadi 61%, dengan presisi mencapai 0,71.
Ini menunjukkan satu hal:
Peninjauan keamanan Agent tidak bisa hanya berfokus pada kode berbahaya. Kita juga perlu memeriksa instruksi yang tampaknya hanya bertujuan meningkatkan efisiensi otomatisasi.
Rekomendasi penelitian ini juga sangat jelas:
1. Tetapkan batasan yang jelas untuk instruksi eksekusi otomatis, misalnya hanya mengizinkannya berlaku di lingkungan CI.
2. Saat meninjau keterampilan, periksa apakah instruksinya melewati konfirmasi manusia, bukan hanya memindai kode berbahaya.
3. Jangan biarkan satu instruksi yang berlaku tanpa syarat menentukan perilaku Agent dalam segala situasi.
Agent semakin cakap, dan kewenangannya juga semakin besar.
Namun, ada langkah-langkah yang tetap memerlukan konfirmasi manusia, meskipun ada instruksi seperti “teruskan sampai semuanya selesai”.
Otomatisasi yang benar-benar andal bukanlah otomatisasi yang menghapus semua pemeriksaan, melainkan yang tahu kapan harus berhenti dan bertanya kepada manusia.
Sebuah penelitian terhadap repositori publik GitHub memindai sekitar 1,53 juta keterampilan Agent berbahasa Inggris dan menemukan bahwa sekitar 88.000 di antaranya berisi instruksi yang berpotensi melewati pemeriksaan manusia.
Artinya, kira-kira 1 dari setiap 17 keterampilan memiliki instruksi semacam ini.
Yang paling patut diwaspadai:
70,1% instruksi semacam ini tidak membedakan konteks penggunaannya.
Contohnya:
* Langsung jalankan dan dorong perubahan tanpa meminta konfirmasi.
* Jangan bertanya di tengah proses; teruskan sampai tugas selesai.
* Tangani semua langkah secara otomatis, tanpa campur tangan manusia.
Jika konten seperti ini ditulis ke dalam SKILL.md, Agent yang memuat keterampilan tersebut bisa langsung bertindak pada tahap yang seharusnya memerlukan konfirmasi manusia.
Yang lebih merepotkan, pemindai keamanan yang ada belum tentu bisa menemukannya.
Penelitian ini menguji dua pemindai sumber terbuka dari Cisco dan NVIDIA. Bahkan dengan GPT-5.4, tingkat deteksi tertingginya hanya 46%, dengan presisi di bawah 0,4.
Namun, hasilnya jauh berbeda ketika cara bertanyanya diubah:
Alih-alih bertanya kepada model, “Apakah ini instruksi berbahaya?”, tanyakan, “Apakah instruksi ini melewati pemeriksaan manusia?” Tingkat deteksinya meningkat menjadi 61%, dengan presisi mencapai 0,71.
Ini menunjukkan satu hal:
Peninjauan keamanan Agent tidak bisa hanya berfokus pada kode berbahaya. Kita juga perlu memeriksa instruksi yang tampaknya hanya bertujuan meningkatkan efisiensi otomatisasi.
Rekomendasi penelitian ini juga sangat jelas:
1. Tetapkan batasan yang jelas untuk instruksi eksekusi otomatis, misalnya hanya mengizinkannya berlaku di lingkungan CI.
2. Saat meninjau keterampilan, periksa apakah instruksinya melewati konfirmasi manusia, bukan hanya memindai kode berbahaya.
3. Jangan biarkan satu instruksi yang berlaku tanpa syarat menentukan perilaku Agent dalam segala situasi.
Agent semakin cakap, dan kewenangannya juga semakin besar.
Namun, ada langkah-langkah yang tetap memerlukan konfirmasi manusia, meskipun ada instruksi seperti “teruskan sampai semuanya selesai”.
Otomatisasi yang benar-benar andal bukanlah otomatisasi yang menghapus semua pemeriksaan, melainkan yang tahu kapan harus berhenti dan bertanya kepada manusia.