🚨🚨 paper keluar dari Oxford dan Cambridge, dipublikasikan di Nature, beri nama padanya: model collapse.
Pengaturannya sederhana. Latih sebuah model. Biarkan ia menulis. Latih model berikutnya dari tulisan itu. Ulangi.
Di setiap generasi, datanya makin menyempit. Ekor- ekor terputus lebih dulu—fakta-fakta langka, gaya bahasa yang aneh, hal yang hanya akan dituliskan seseorang. Yang tersisa adalah rata-rata. Model berikutnya mempelajari rata-rata. Setelah cukup banyak putaran, Anda tidak mendapatkan sistem yang lebih cerdas. Yang Anda dapatkan adalah gema yang fasih.
Ini bukan satu chatbot yang gagal. Para penulis menunjukkan hal ini di berbagai pengaturan generatif. Jika web dipenuhi teks mesin dan teks itu menjadi set pelatihan, maka model berikutnya tidak belajar tentang dunia. Ia belajar tentang dirinya sendiri.
Laboratorium sudah mengetahuinya. Karena itu mereka tetap membayar untuk data manusia, lisensi, dan forum tertutup. GPU bukan lagi masukan yang langka. Teks asli yang bersih adalah.
Jadi, perdagangan AI punya dua jam. Yang satu adalah kredit—bangunan dan sewa 20 tahun. Yang lain adalah pola makan data. Capex tidak bisa mencetak ekor.
Perhatikan jam mana yang lebih dulu berbunyi.
Bukan nasihat keuangan.
Pengaturannya sederhana. Latih sebuah model. Biarkan ia menulis. Latih model berikutnya dari tulisan itu. Ulangi.
Di setiap generasi, datanya makin menyempit. Ekor- ekor terputus lebih dulu—fakta-fakta langka, gaya bahasa yang aneh, hal yang hanya akan dituliskan seseorang. Yang tersisa adalah rata-rata. Model berikutnya mempelajari rata-rata. Setelah cukup banyak putaran, Anda tidak mendapatkan sistem yang lebih cerdas. Yang Anda dapatkan adalah gema yang fasih.
Ini bukan satu chatbot yang gagal. Para penulis menunjukkan hal ini di berbagai pengaturan generatif. Jika web dipenuhi teks mesin dan teks itu menjadi set pelatihan, maka model berikutnya tidak belajar tentang dunia. Ia belajar tentang dirinya sendiri.
Laboratorium sudah mengetahuinya. Karena itu mereka tetap membayar untuk data manusia, lisensi, dan forum tertutup. GPU bukan lagi masukan yang langka. Teks asli yang bersih adalah.
Jadi, perdagangan AI punya dua jam. Yang satu adalah kredit—bangunan dan sewa 20 tahun. Yang lain adalah pola makan data. Capex tidak bisa mencetak ekor.
Perhatikan jam mana yang lebih dulu berbunyi.
Bukan nasihat keuangan.