Agen AI Dapat Dikelabui oleh Data yang Dibacanya
Halaman web atau dokumen dapat memuat instruksi tersembunyi yang menyuruh agen AI mengabaikan tugasnya atau membocorkan informasi.
OpenAI menyebutnya injeksi prompt: teks yang tidak tepercaya mencoba mengesampingkan instruksi yang seharusnya diikuti agen dan mungkin memengaruhi alat yang terhubung. Desain yang lebih aman memisahkan teks eksternal dari instruksi dengan hak istimewa, membatasi setiap agen pada data dan alat yang dibutuhkannya, membatasi keluaran perantara agar sesuai dengan skema, serta mewajibkan persetujuan manusia untuk tindakan yang berdampak besar. Lapisan-lapisan ini mengurangi risiko, tetapi tidak membuat agen kebal dari tipu daya—OpenAI memperingatkan bahwa agen tetap bisa dikelabui.
Kesimpulan saya: jangan berikan akses luas kepada agen AI hanya karena prompt-nya terdengar hati-hati. Tindakan apa saja yang seharusnya selalu memerlukan pemeriksaan manusia?
Sumber: OpenAI, “Keselamatan dalam membangun agen” — https://developers.openai.com/api/docs/guides/agent-builder-safety
#AI #AIAgents #KeamananSiber
Halaman web atau dokumen dapat memuat instruksi tersembunyi yang menyuruh agen AI mengabaikan tugasnya atau membocorkan informasi.
OpenAI menyebutnya injeksi prompt: teks yang tidak tepercaya mencoba mengesampingkan instruksi yang seharusnya diikuti agen dan mungkin memengaruhi alat yang terhubung. Desain yang lebih aman memisahkan teks eksternal dari instruksi dengan hak istimewa, membatasi setiap agen pada data dan alat yang dibutuhkannya, membatasi keluaran perantara agar sesuai dengan skema, serta mewajibkan persetujuan manusia untuk tindakan yang berdampak besar. Lapisan-lapisan ini mengurangi risiko, tetapi tidak membuat agen kebal dari tipu daya—OpenAI memperingatkan bahwa agen tetap bisa dikelabui.
Kesimpulan saya: jangan berikan akses luas kepada agen AI hanya karena prompt-nya terdengar hati-hati. Tindakan apa saja yang seharusnya selalu memerlukan pemeriksaan manusia?
Sumber: OpenAI, “Keselamatan dalam membangun agen” — https://developers.openai.com/api/docs/guides/agent-builder-safety
#AI #AIAgents #KeamananSiber