Mantan peneliti OpenAI Nick Cammarata menyatakan bahwa sekitar 90% neuron dalam model AI besar hanya menjalankan satu fungsi, sehingga menggugat teori yang turut ia rumuskan sendiri.
Poin-poin utama:
Cammarata menilai bahwa contoh terkenal neuron yang « terjerat » sebagian besar telah disalahartikan.
Namun, beberapa peneliti terkemuka menilai bahwa hasil-hasil ini tidak mengubah gambaran keseluruhan secara mendasar.
Makalah teknis yang merinci dan mendukung klaim-klaim ini belum diterbitkan.
“Audit” neuron Cammarata
Kini menjadi peneliti di laboratorium interpretabilitas Goodfire, Cammarata memaparkan tesisnya pada 15 Oktober dalam esai berjudul “Neural Networks Are Already Clean” yang diterbitkan di situs laboratorium tersebut. Di sana, ia mengembangkan gagasan bahwa sebagian besar neuron, termasuk dalam model dengan hingga ribuan triliun parameter, kini dapat dipahami—bertolak belakang dengan penelitian sebelumnya. Pandangan ini memecah komunitas peneliti.
Dalam audit awal terhadap model Qwen3‑32B, Goodfire memperkirakan bahwa sekitar 90% “fitur” neuron hanya memiliki satu fungsi utama, hampir 7% memiliki dua fungsi yang saling berkaitan, dan hanya 2% hingga 4% yang masih belum dapat dijelaskan. Sebagian besar analisis dilakukan oleh agen AI.
Cammarata juga mengkaji kembali neuron “polisemantik” paling terkenal di bidang ini, yang ditemukan pada model gambar InceptionV1 dan tampak aktif baik saat mendeteksi wajah kucing maupun bagian depan mobil. Kini ia menafsirkannya sebagai pendeteksi bentuk V: bentuk runcing, seperti moncong rubah atau nyala api, memicu aktivasi kuat, sedangkan bentuk membulat, seperti huruf O, membuat aktivasinya menjadi negatif.
Baca juga: Apakah Tesla Roadster terbang itu legal? Belum ada jawaban pasti sebelum 2028
Nanda menantang Cammarata
Roon, karyawan OpenAI yang menulis dengan nama samaran dan mengaku sebagai teman dekat Cammarata, menilai bahwa karya ini mungkin akan dikenang sebagai tonggak dalam sejarah sains. Namun, ia mengingatkan bahwa hasilnya perlu dikonfirmasi secara independen.
Neel Nanda, yang memimpin tim interpretabilitas di Google DeepMind, jauh lebih berhati-hati. Menurutnya, esai itu menarik, tetapi hampir tidak mengubah gambaran besarnya, dan ia memperkirakan bahwa penelitian yang hanya berfokus pada neuron akan menyisakan banyak hal yang belum terungkap. Nanda tetap mempertahankan pandangan bahwa superposisi memang nyata. Ia berpendapat bahwa model bahasa menyimpan jauh lebih banyak fakta daripada jumlah neuronnya, dan meragukan apakah hasil yang diperoleh dari model gambar kecil dapat diterapkan pada sistem yang jauh lebih besar.
Jika Cammarata benar, para peneliti dapat mencari langsung sinyal penipuan atau perilaku berbahaya di dalam sirkuit internal model, alih-alih mengandalkan rangkaian penalaran yang dihasilkan dalam bahasa alami dan dianggap semakin tidak dapat diandalkan. Namun, artikel teknis terperinci itu belum juga diterbitkan, dan sebagai perusahaan yang mengkhususkan diri dalam interpretabilitas, Goodfire jelas berkepentingan untuk membela tesis ini.
Esai ini menandai perubahan pandangan yang drastis bagi Cammarata. Pada 2020, ia bersama Chris Olah menulis “Zoom In”, sebuah artikel yang menyajikan sirkuit pertama yang berhasil ditafsirkan sebagai bukti superposisi—gagasan bahwa jaringan dengan jumlah neuron terbatas menumpuk konsep-konsep yang tidak berkaitan jelas dalam unit yang sama. Tiga tahun kemudian, sebuah proyek interpretabilitas otomatis yang ia mulai di OpenAI hanya mampu menilai sekitar 1,7% neuron sebagai dapat dipahami, bahkan dengan menggunakan metrik yang paling longgar.
Berikutnya: ChatGPT mengungguli Claude Haiku 5.5 dalam tes 3‑2, tetapi kalah dalam saran yang dipersonalisasi