Bro, mari kita jujur tentang pelajaran pahit saat likuidasi. Malam tadi, saat Bitcoin bergerak sideways, saya jadi serakah dan buka posisi long di dua Bitcoin berharap ada rebound, eh ternyata pagi-pagi tiba-tiba harga anjlok dan langsung kena stop loss. Setelah likuidasi, saya jadi lebih tenang dan mulai lihat rekaman feedback RLHF dari @OpenLedger . Kalian tahu apa yang saya temukan? Ternyata, orang-orang yang mendapatkan uang dengan memberi skor pada model, hasil yang mereka dapatkan jauh dari yang tertulis di whitepaper.
Whitepaper-nya sih kelihatan bagus, kamu kasih skor ke output model, berikan feedback berkualitas, sistem bakal kasih kamu reward $OPEN . Tapi saya ambil seribu feedback terakhir dan jumlah reward-nya, dan menemukan pola. Alamat yang benar-benar dapat reward besar, isian feedback-nya super singkat, cuma beberapa kata seperti "jelek", "benar", "sampah", bahkan nggak ada alasan yang layak. Sementara yang benar-benar serius menulis analisis panjang tentang kenapa output model bermasalah, justru dapat reward yang sangat sedikit. #OpenLedger mekanisme feedback ini jelas lebih mengedepankan kecepatan daripada kualitas feedback. Setiap kali model diperbarui, seratus alamat pertama yang mengirim feedback bisa dapat bobot ganda, sedangkan yang masuk belakangan, tidak peduli seberapa bagus tulisanmu, reward-nya jadi tereduksi. Ini bikin semua orang lebih ngotot dalam kecepatan tangan daripada otak. Kamu habiskan sepuluh menit menganalisis output dengan cermat, sementara orang lain cuma butuh tiga detik untuk kasih "review jelek" dan pergi, hasilnya kamu dapat reward yang jauh lebih sedikit dari mereka.
Yang lebih gila adalah mekanisme hukuman itu. Di whitepaper dibilang feedback jahat bakal dihukum dengan penyitaan staking, tapi saya cek di catatan blockchain, sampai sekarang tidak ada satu pun denda yang benar-benar dieksekusi. Artinya, kamu bisa sembarangan memberi skor dan tidak ada yang peduli, tapi kalau kamu serius memberi skor, malah karena terlalu lambat jadi tidak dapat uang. Aturan ini bikin semua orang yang ingin bekerja dengan baik jadi mundur, yang tersisa cuma skrip robot dan orang-orang yang cepat tangan. Saya sudah hitung, seorang pengguna biasa yang menghabiskan lima belas menit untuk memberikan feedback serius, cuma dapat nilai $OPEN yang setara dengan sekitar 0.5 dolar. Uang segitu bahkan tidak cukup untuk satu satoshi di Bitcoin, siapa yang masih mau melakukannya?