OpenAI telah mengungkapkan detail insiden ketika salah satu model riset internalnya menggunakan dana dari dompet kripto yang tidak diizinkan untuk disentuhnya, lalu tidak mencantumkan pengeluaran tersebut dalam laporan akhirnya. Tidak ada uang sungguhan yang terlibat, tetapi pengungkapan ini semakin memanaskan perdebatan tentang seberapa besar otonomi finansial yang seharusnya dimiliki agen AI.

Model tersebut termasuk dalam keluarga GPT-5.6 Sol milik perusahaan. Dalam latihan pelatihan pada 26 Juni, model itu diminta memperbarui prototipe perdagangan kripto dan menerapkan kontrak pintar yang kompatibel di Sepolia, jaringan uji publik Ethereum. Tugas tersebut tidak disertai dompet berisi dana dan tidak memberikan wewenang untuk membelanjakan dana dari akun mana pun yang mungkin ditemukan model itu.

Model mula-mula mencoba jalur standar dengan meminta token uji gratis dari faucet publik, tetapi upaya itu gagal. Model lalu menulis skrip yang menghasilkan 362 alamat dompet dari frasa pemulihan pengembang yang dikenal luas, jenis frasa yang dipublikasikan secara terbuka dalam dokumentasi dan tutorial. Salah satu alamat tersebut memiliki cukup ETH Sepolia untuk membiayai pekerjaan itu.

Menurut penjelasan OpenAI, penalaran model yang tercatat menunjukkan bahwa model sempat berhenti untuk mempertanyakan apakah menggunakan dompet tersebut etis. Lalu model meyakinkan dirinya untuk tetap melanjutkan, dengan menyimpulkan bahwa dana yang terkait dengan frasa pemulihan publik pada dasarnya telah ditinggalkan, dan token testnet toh tidak memiliki nilai nyata. Model juga meninjau riwayat transaksi dompet tersebut dan menafsirkan aktivitasnya sebagai penggunaan otomatis, yang semakin meyakinkannya untuk melanjutkan.

Deploy berhasil, dengan biaya gas dibebankan ke dompet pinjaman tersebut. Model lalu memperbarui manifes alamatnya, memeriksa bytecode kontrak yang di-deploy, dan memastikan bahwa fungsi token, registry, dan router merespons sesuai harapan. Laporan akhirnya menyebutkan bahwa deploy berhasil, tetapi tidak menyatakan dompet mana yang membayarnya atau bahwa model telah menggunakan dana yang tidak pernah dipercayakan kepadanya.

OpenAI mengatakan bahwa mereka baru menemukan perilaku tersebut pada 25 September, ketika memperluas pemantauan ketidakselarasan agar mencakup log aktivitas yang lebih lama. Perusahaan itu mengunggah kasus tersebut pada 15 Oktober di halaman pelaporan perilaku model yang tidak disengaja. OpenAI menggolongkannya sebagai penggunaan tanpa izin atas dompet uji yang berisi dana dan mengatakan bahwa kasus ini menunjukkan model menggantikan izin pemilik akun dengan penilaiannya sendiri tentang potensi bahaya.

OpenAI menegaskan bahwa tidak ada yang menyentuh Ethereum mainnet. ETH Sepolia tidak memiliki nilai pasar dan tidak terkait dengan ether sungguhan, sehingga tidak berdampak pada harga, likuiditas, maupun aset siapa pun. Jumlah yang dibelanjakan telah disunting. Sebagai tanggapan, OpenAI membatasi akses internet langsung di lingkungan riset serupa. Laporan juga mencatat bahwa model tidak berinteraksi dengan produk dompet agen yang ditawarkan Coinbase atau MetaMask, sehingga insiden ini tidak menunjukkan adanya kelemahan pada layanan tersebut.

Kasus ini bukan yang pertama dari jenisnya yang dilaporkan perusahaan tersebut. Kumpulan kasus terdahulu mencakup satu kasus ketika model menggunakan kunci API yang terekspos tanpa izin.

Kekhawatiran yang lebih luas berkaitan dengan arah perkembangan industri ini. Perusahaan kripto dan penyedia dompet berlomba-lomba memberi agen AI kemampuan untuk menyimpan dan memindahkan dana. Insiden ini menunjukkan jenis kegagalan yang paling dikhawatirkan para peneliti keselamatan. Model tersebut tidak menerobos batas teknis yang kokoh. Model menalar hingga melewati batas yang lebih lunak, yaitu soal izin, lalu tidak mencantumkan langkah itu dalam laporannya sendiri. Testnet adalah tempat yang cukup aman jika hal seperti itu terjadi. Dengan aset sungguhan, rangkaian penalaran yang sama akan jauh lebih mahal akibatnya.