Carnegie Mellon University menyatakan bahwa satu cara melatih AI dapat menggantikan empat tahap terpisah, sehingga chatbot canggih bisa lebih murah dan lebih mudah dikembangkan oleh laboratorium besar tanpa mengorbankan kinerja.
Poin-Poin Utama
Sebuah makalah dari Carnegie Mellon dan para kolaborator menyatakan bahwa satu algoritma berbasis likelihood dapat mencakup prapelatihan, pelatihan menengah, penyempurnaan terawasi, dan pembelajaran penguatan
Peneliti Omar Sanseviero mengunggah makalah tersebut di X, dan abstrak arXiv menyebutnya sebagai bacaan yang direkomendasikan
Abstrak arXiv menyatakan bahwa metode ini meningkatkan kompromi antara akurasi dan komputasi sekaligus mempertahankan kemampuan yang lebih luas dalam pengujian terkontrol dan dunia nyata
Para penulis berpendapat bahwa tujuan pembelajaran penguatan dapat diturunkan sebagai pencocokan kemungkinan maksimum terhadap distribusi target yang dihasilkan model
Peneliti Omar Sanseviero mengunggah makalah ini di X pada Sabtu, menyebutnya sebagai bacaan yang direkomendasikan. Abstrak arXiv yang mendasarinya menyatakan bahwa metode tersebut meningkatkan kompromi antara akurasi dan komputasi sekaligus mempertahankan kemampuan yang lebih luas dalam pengujian terkontrol dan dunia nyata.
Carnegie Mellon University adalah institusi penelitian terkemuka di AS, yang kiprahnya dalam pembelajaran mesin kerap menjadi dasar bagi perangkat dan teori yang kemudian diadopsi oleh laboratorium AI komersial. Klaim utama makalah ini bukanlah bahwa setiap fase pelatihan dihilangkan, melainkan bahwa fase-fase tersebut dapat menggunakan satu kerangka matematis yang sama alih-alih fungsi objektif dan tumpukan perangkat lunak yang terpisah.
Carnegie Mellon University Mengubah Pelatihan Menjadi Penjadwalan
Sebagian besar model besar masih dilatih secara bertahap.
Pertama, laboratorium memasukkan kumpulan data teks dan gambar yang sangat besar ke dalam model selama prapelatihan. Lalu, model disesuaikan dengan data yang lebih terbatas melalui pelatihan menengah atau penyempurnaan terawasi, kemudian menggunakan pembelajaran penguatan, yaitu metode yang memberi penghargaan pada keluaran yang memperoleh skor baik berdasarkan suatu target.
Makalah ini berpendapat bahwa pemisahan tersebut hanyalah kebiasaan, bukan ketentuan.
Para penulis menyatakan bahwa tujuan pembelajaran penguatan yang sesuai dapat diturunkan sebagai pencocokan kemungkinan maksimum terhadap distribusi target yang dihasilkan model. Dalam praktiknya, laboratorium dapat mencampurkan kumpulan data statis dan rollout yang dihasilkan model dalam satu trainer, lalu berfokus menentukan data apa yang masuk ke proses pelatihan, berapa proporsinya, dan kapan data itu dimasukkan.
Hal ini penting karena tahapan pelatihan sering menimbulkan duplikasi dalam rekayasa perangkat lunak.
Tim yang berbeda mengelola pipeline, checkpoint, dan aturan evaluasi yang berbeda pula. Ketika laboratorium mengubah tujuan di tengah proses, mereka juga berisiko kehilangan kemampuan yang telah dimiliki atau harus mengeluarkan komputasi tambahan untuk memulihkannya.
Baca Juga: Penghargaan yang Dapat Diverifikasi Mendorong Langkah Penting Melampaui RLHF di Laboratorium Terdepan
Dari Resep Bertahap Menjadi Satu Trainer
Gagasan ini muncul saat laboratorium AI menghadapi tekanan yang lebih besar untuk menjelaskan bagaimana setiap dolar yang dikeluarkan untuk pelatihan digunakan.
Model yang lebih besar membuat kurasi data, perancangan penghargaan, dan pascapelatihan menjadi lebih mahal, terutama ketika pembelajaran penguatan beralih dari pekerjaan penyelarasan khusus menjadi penyetelan model arus utama.
Tekanan tersebut telah mengubah cara laboratorium membicarakan pelatihan. Selama setahun terakhir, para pembuat model beralih dari membanggakan jumlah parameter ke efisiensi biaya, kualitas token, dan peningkatan pascapelatihan.
Makalah ini sejalan dengan perubahan tersebut karena memandang siklus hidup pelatihan sebagai masalah alokasi sumber daya, bukan rangkaian tahapan yang dianggap tak boleh diubah.
Makalah ini juga terbit setelah perdebatan publik selama beberapa bulan mengenai apakah pascapelatihan kini lebih penting daripada skala prapelatihan mentah. Pelatihan terpadu tidak menyelesaikan perdebatan itu, tetapi menawarkan cara yang lebih rapi untuk menggabungkan keduanya.
Bagaimana Satu Aturan Kemungkinan Mengubah RL
Dalam makalah ini, Carnegie Mellon University dan para kolaboratornya memandang pembelajaran penguatan sebagai bentuk lain dari pencocokan model dengan distribusi target, bukan sebagai keluarga terpisah dari trik pelatihan.
Penjelasan ini spesifik karena RL dalam pelatihan model biasanya berarti mengambil sampel jawaban, memberi skor pada jawaban tersebut, lalu mendorong model menuju perilaku dengan skor lebih tinggi.
Para penulis mengatakan bahwa siklus yang sama dapat ditulis ulang dalam kerangka kemungkinan maksimum, yang termasuk dalam keluarga luas yang sama dengan pelatihan token berikutnya standar.
Bagi laboratorium AI seperti Anthropic atau OpenAI, keuntungan praktisnya bukanlah keanggunan. Keuntungannya adalah lebih sedikit serah terima dalam proses pelatihan.
Satu trainer dapat mengurangi jumlah konversi checkpoint, antarmuka model penghargaan, dan batas tahapan yang rapuh yang menyulitkan proses pelatihan panjang. Bagi tim infrastruktur, ini bisa berarti lebih sedikit perangkat lunak duplikat dan jalur yang lebih jelas menuju pembelajaran berkelanjutan, ketika model terus meningkat tanpa perlu di-reset sepenuhnya.
Hal berikutnya yang perlu diperhatikan adalah adopsi di luar makalah ini.
Hasil arXiv ini merupakan klaim penelitian, bukan penerapan di lingkungan produksi. Bukti pertama bahwa pelatihan terpadu itu penting akan terlihat jika laboratorium besar mulai menjelaskan tumpukan pascapelatihannya dengan istilah-istilah ini, atau jika rantai alat sumber terbuka menambahkan pelatihan campuran statis dan RL sebagai pola bawaan.
Baca Selanjutnya: 3 Chatbot AI Teratas Menjalani Operasi Otak Tikus dan Masing-Masing Memilih Perawatan Berbeda