Sumber cetak ulang artikel: Model Evolution
Sumber asli: Qubit
Sumber gambar: Dihasilkan oleh AI Tanpa Batas
Jaringan saraf yang tidak dapat dijelaskan selalu menjadi "masalah lama" di bidang AI.
Namun kini, tampaknya kami telah mencapai beberapa kemajuan -
Anthropic, perusahaan di belakang Claude, pesaing terkuat ChatGPT, menggunakan pembelajaran kamus untuk berhasil menguraikan sekitar 500 neuron menjadi sekitar 4.000 fitur yang dapat diinterpretasikan.
Secara khusus, neuron tidak dapat diinterpretasikan, tetapi setelah dekomposisi ini, Anthropic menemukan bahwa setiap fitur mewakili makna yang berbeda, misalnya, beberapa bertanggung jawab atas urutan DNA, dan beberapa mewakili permintaan HTTP, teks hukum, dll., yaitu, Memiliki kemampuan interpretasi.
Dengan merangsang salah satu fitur ini secara artifisial, kami dapat memandu model untuk memberikan keluaran yang kami harapkan.
Misalnya, mengaktifkan fitur DNA akan menyebabkan model mengeluarkan DNA, dan mengaktifkan fitur teks Arab akan menyebabkan model mengeluarkan teks Arab.
Antropik berkata dengan penuh semangat:
Pendekatan mereka kemungkinan besar akan mengatasi hambatan besar yang disebabkan oleh AI yang tidak dapat dijelaskan. Dan begitu kita dapat memahami cara kerja model bahasa, kita dapat dengan mudah menilai apakah suatu model aman dan kemudian memutuskan apakah model tersebut sebaiknya diadopsi oleh masyarakat dan perusahaan.
Mari kita lihat secara spesifik.
Menggunakan pembelajaran kamus untuk menguraikan model bahasa
Pertama-tama, untuk model bahasa saja, ketidakmampuannya untuk ditafsirkan terutama tercermin dalam kenyataan bahwa sebagian besar neuron dalam jaringan bersifat "polisemantik".
Artinya, mereka dapat merespons berbagai hal yang tidak berhubungan.
Misalnya, neuron dalam model bahasa kecil akan menunjukkan aktivasi yang kuat untuk konten yang berbeda seperti kutipan akademis, percakapan bahasa Inggris, permintaan HTTP, teks Korea, dll. secara bersamaan.
Hal ini akan menghalangi kita untuk memahami fungsi dan interaksi spesifik dari setiap bagian kecil jaringan saraf, sehingga tidak mungkin menyimpulkan perilaku seluruh jaringan.
Lantas, apa penyebab polisemantisitas?
Pada awal tahun lalu, Anthropic berspekulasi bahwa salah satu faktor potensial adalah "superposisi".
Hal ini mengacu pada operasi model yang mengompresi banyak konsep yang tidak terkait menjadi sejumlah kecil neuron.
Pada saat yang sama, Anthropic juga menunjukkan bahwa pembelajaran kamus - mengekstraksi fitur-fitur paling penting dari berbagai hal, yang pada akhirnya memungkinkan kita memperoleh pengetahuan baru seperti mencari kamus, adalah solusi untuk masalah ini.
Sebelumnya, mereka telah mengusulkan model mainan superposisi dan membuktikan:
Jika kumpulan fitur yang berguna bagi model jarang ada dalam data pelatihan, maka jaringan saraf dapat bertambah secara alami selama pelatihan. Berdasarkan model mainan ini, mereka mengusulkan tiga strategi untuk menemukan serangkaian fitur yang jarang dan dapat diinterpretasikan: pertama adalah membuat model tanpa superposisi dan kemudian mengaktifkan ketersebaran dengan mendorongnya;
Yang kedua adalah menggunakan pembelajaran kamus untuk menemukan basis fitur yang sangat lengkap dalam model yang menunjukkan superposisi;
Yang ketiga adalah menggabungkan dua metode pertama.
Eksperimen telah membuktikan bahwa metode pertama tidak cukup untuk menghilangkan polisemantik, sedangkan metode kedua memiliki masalah over-fitting yang serius.
Jadi di sini, tim menggunakan algoritma pembelajaran kamus lemah yang disebut sparse autoencoder.
Ia mampu menghasilkan fitur-fitur yang dipelajari dari model yang dilatih, menyediakan unit analisis yang lebih homogen secara semantik daripada neuron model itu sendiri.
Secara keseluruhan, algoritme ini dibangun berdasarkan sejumlah besar penelitian sebelumnya, terutama penggunaan pembelajaran kamus untuk aktivasi jaringan saraf, dan penguraian.
Pembuat enkode yang dihasilkan mencapai "keberhasilan yang meyakinkan" dalam mengekstraksi fitur yang dapat diinterpretasikan dari superposisi.
Secara khusus, Anthropic mengadopsi transformator lapisan tunggal MLP dengan 512 neuron, dengan melatih autoencoder jarang pada aktivasi MLP dengan 8 miliar titik data, dan akhirnya menguraikan aktivasi MLP menjadi fitur yang relatif dapat diinterpretasikan dengan faktor ekspansi. Kisarannya dapat bertambah dari 1x (512 fitur) hingga 256x (131072 fitur).
Tim Anthropic memfokuskan semua analisis interpretabilitas mereka ke dalam satu proses yang disebut A/1, yang berisi total 4.096 fitur, masing-masing dengan makna beranotasi yang dapat diaktifkan secara manual sesuai keinginan.
Berikut visualisasinya:
Rilis laporan panjang terintegrasi, 7 kesimpulan utama
Kini Anthropic telah merilis seluruh hasil di atas dalam bentuk laporan.
Judul laporannya adalah “Menuju Monosemantisitas: Penguraian Model Bahasa Dengan Pembelajaran Kamus”.
Artikelnya sangat panjang dan terbagi menjadi empat bagian, yaitu:
Pengaturan masalah, motivasi penelitian, dan transformator serta autoencoder renggang yang mereka latih.
Penyelidikan mendetail terhadap fitur-fitur, sebuah “bukti keberadaan”, menunjukkan bahwa fitur-fitur yang mereka temukan memang merupakan unit sebab-akibat yang secara fungsional spesifik.
Analisis global menunjukkan bahwa fitur yang diperoleh dapat diinterpretasikan dan mampu menjelaskan sebagian besar lapisan MLP.
Analisis fenomena menjelaskan beberapa atribut fitur, termasuk keterpisahan fitur, universalitas, dll., dan bagaimana atribut tersebut membentuk sistem menarik yang mirip dengan "finite state automata".
Secara keseluruhan, ada 7 kesimpulan utama:
1. Kita dapat menggunakan autoencoder renggang untuk mengekstrak fitur semantik yang relatif tunggal, namun sebagian besar fitur yang dipelajari relatif dapat diinterpretasikan.
2. Autoencoder renggang menghasilkan fitur yang dapat diinterpretasikan yang pada dasarnya tidak terlihat di basis saraf.
3. Fungsi autoencoder renggang dapat digunakan untuk mengintervensi dan memandu pembangkitan transformator.
Misalnya, mengaktifkan fitur Base64 akan menyebabkan model menghasilkan teks Base64, dan mengaktifkan fitur teks Arab akan menghasilkan teks Arab.
4. Autoencoder jarang menghasilkan fitur yang relatif umum. Fitur lebih mirip satu sama lain dibandingkan dengan neuron modelnya sendiri (sesuai dengan bagian “Universalitas”).
5. Saat kami memperbesar ukuran autoencoder, fitur-fiturnya tampak "terbelah". Misalnya, fitur Base64 dalam kamus kecil akan dibagi menjadi tiga dalam kamus yang lebih besar, masing-masing memiliki arti yang lebih halus namun masih dapat ditafsirkan (sesuai dengan bagian "Keterpisahan Fitur").
6. Hanya 512 neuron yang dapat mewakili puluhan ribu fitur.
7. Fitur dapat dihubungkan dalam sistem yang mirip dengan "finite state automaton" untuk menyelesaikan perilaku kompleks (seperti menghasilkan fungsi HTML).
Satu hal lagi
Di kolom komentar, beberapa netizen berkomentar:
Neuron ibarat kotak misterius, dan karya Anthropic setara dengan mempelajari cara mengintip isi kotak tersebut.
Jelas sekali, pekerjaan ini hanyalah permulaan——
Anthropic juga meningkatkan perekrutan peneliti dan insinyur yang berhubungan dengan kemampuan menjelaskan.
Jika Anda mengkliknya, gajinya berkisar dari US$250.000 (sekitar 1,8 juta yuan) hingga US$520.000. Isi penelitian terkait erat dengan laporan di atas.
Tautan laporan: https://transformer-circirs.pub/2023/monosemantic-features/index.html
Tautan referensi: https://twitter.com/anthropicai/status/1709986949711200722