Studi mengungkap AI “percakapan batin” bisa didekripsi: rantai pemikiran model arus utama bocor sepenuhnya
Anda mengira proses berpikir yang “disembunyikan” oleh model AI aman karena terenkripsi? Nyatanya, proses itu mungkin bisa dibuka sekaligus. Menurut laporan Decrypt, sebuah studi yang diajukan pada 10 Agustus mengungkap bahwa model penalaran dari Anthropic, OpenAI, dan Google memiliki kelemahan besar dalam cara mereka mengenkripsi “rantai pemikiran batin” (inner thought), sehingga pihak luar bisa menebak dan membongkar penalaran internal yang semula tak terlihat.
Kunci global tunggal: rantai pemikiran terenkripsi bisa saling ditukar untuk didekripsi
Makalah ini diajukan bersama oleh tim dari MATS Research, ELLIS Institute di Universitas Tübingen, Max Planck Institute for Intelligent Systems, serta perusahaan keamanan siber Snyk. Fokusnya adalah “model penalaran”—jenis model yang tidak langsung menjawab, melainkan berpikir langkah demi langkah terlebih dahulu di area draf yang tidak terlihat (yakni rantai pemikiran, chain-of-thought), lalu baru memberikan jawaban akhir. Anthropic, OpenAI, dan Google mengenkripsi potongan draf tersebut.
Masalahnya: penelitian menemukan bahwa para penyedia menggunakan “kunci global tunggal” untuk mengenkripsi token penalaran. Akibatnya, blok-balik penalaran yang sudah terenkripsi itu justru bisa dipakai secara lintas sesi kerja, lintas pengguna, bahkan lintas model—artinya mereka meninggalkan semacam “kunci universal”.
Membuka 313.200 blok penalaran, semua rahasia yang tersimpan di dalamnya terbongkar
Daya rusaknya berasal dari kebiasaan sehari-hari seorang pengembang: banyak orang memublikasikan log pekerjaan agen AI (termasuk proses pemikiran yang terenkripsi) ke GitHub dan Hugging Face untuk berkolaborasi atau debugging, tanpa menyadari bahwa di dalam blok terenkripsi tersebut tersimpan data sensitif.
Tim riset mengumpulkan 6.708 catatan percakapan agen AI yang dipublikasikan secara terbuka dan berhasil mendekripsi 315.320 blok penalaran. Namun, sebagian besar rahasia ini tidak pernah muncul dalam keluaran model yang “terlihat”—rahasia itu hanya ada di proses pemikiran terenkripsi. Jika tidak menjalankan serangan ini, semuanya takkan terlihat.
Hal ini juga kembali menggemakan peringatan keamanan siber AI baru-baru ini: mulai dari “jailbreak” AI dalam pengujian, hingga perampasan instruksi terselubung yang mengendalikan asisten AI lewat file PDF—semuanya mengarah pada satu hal yang sama: semakin banyak tugas sensitif yang dibebankan pada AI, setiap lapisannya (termasuk “pemikiran yang tidak terlihat”) dapat menjadi permukaan serangan baru.
Artikel ini meneliti: studi mengungkap AI “percakapan batin” bisa didekripsi: rantai pemikiran model arus utama bocor sepenuhnya. Kemunculan paling awal di .
Anda mengira proses berpikir yang “disembunyikan” oleh model AI aman karena terenkripsi? Nyatanya, proses itu mungkin bisa dibuka sekaligus. Menurut laporan Decrypt, sebuah studi yang diajukan pada 10 Agustus mengungkap bahwa model penalaran dari Anthropic, OpenAI, dan Google memiliki kelemahan besar dalam cara mereka mengenkripsi “rantai pemikiran batin” (inner thought), sehingga pihak luar bisa menebak dan membongkar penalaran internal yang semula tak terlihat.
Kunci global tunggal: rantai pemikiran terenkripsi bisa saling ditukar untuk didekripsi
Makalah ini diajukan bersama oleh tim dari MATS Research, ELLIS Institute di Universitas Tübingen, Max Planck Institute for Intelligent Systems, serta perusahaan keamanan siber Snyk. Fokusnya adalah “model penalaran”—jenis model yang tidak langsung menjawab, melainkan berpikir langkah demi langkah terlebih dahulu di area draf yang tidak terlihat (yakni rantai pemikiran, chain-of-thought), lalu baru memberikan jawaban akhir. Anthropic, OpenAI, dan Google mengenkripsi potongan draf tersebut.
Masalahnya: penelitian menemukan bahwa para penyedia menggunakan “kunci global tunggal” untuk mengenkripsi token penalaran. Akibatnya, blok-balik penalaran yang sudah terenkripsi itu justru bisa dipakai secara lintas sesi kerja, lintas pengguna, bahkan lintas model—artinya mereka meninggalkan semacam “kunci universal”.
Membuka 313.200 blok penalaran, semua rahasia yang tersimpan di dalamnya terbongkar
Daya rusaknya berasal dari kebiasaan sehari-hari seorang pengembang: banyak orang memublikasikan log pekerjaan agen AI (termasuk proses pemikiran yang terenkripsi) ke GitHub dan Hugging Face untuk berkolaborasi atau debugging, tanpa menyadari bahwa di dalam blok terenkripsi tersebut tersimpan data sensitif.
Tim riset mengumpulkan 6.708 catatan percakapan agen AI yang dipublikasikan secara terbuka dan berhasil mendekripsi 315.320 blok penalaran. Namun, sebagian besar rahasia ini tidak pernah muncul dalam keluaran model yang “terlihat”—rahasia itu hanya ada di proses pemikiran terenkripsi. Jika tidak menjalankan serangan ini, semuanya takkan terlihat.
Hal ini juga kembali menggemakan peringatan keamanan siber AI baru-baru ini: mulai dari “jailbreak” AI dalam pengujian, hingga perampasan instruksi terselubung yang mengendalikan asisten AI lewat file PDF—semuanya mengarah pada satu hal yang sama: semakin banyak tugas sensitif yang dibebankan pada AI, setiap lapisannya (termasuk “pemikiran yang tidak terlihat”) dapat menjadi permukaan serangan baru.
Artikel ini meneliti: studi mengungkap AI “percakapan batin” bisa didekripsi: rantai pemikiran model arus utama bocor sepenuhnya. Kemunculan paling awal di .