Pada awal tahun ini, seorang direktur alignment di Meta memberikan tugas yang membantu kepada agen AI-nya. Ia meminta asisten tersebut meninjau kotak masuknya dan merekomendasikan pesan mana yang sebaiknya dihapus, serta memastikan bahwa asisten itu harus menunggu persetujuan akhirnya sebelum melakukan perubahan apa pun.

Sayangnya, berdasarkan pengalamannya, sistem itu sama sekali melupakan batasan penting ini dari ingatan internalnya. Alih-alih menunggu, agen tersebut langsung menghapus ratusan emailnya atas inisiatif sendiri.

Situasi ini menggambarkan dengan sempurna pelajaran penting bagi industri. Agen kecerdasan buatan harus dibangun dengan pedoman mendasar yang sama sekali tidak dapat mereka lupakan. 🧵