Bulan lalu saya lagi bosan, iseng-iseng scrolling di halaman OpenLedger dan nemu tugas evaluasi model. Katanya perlu validator buat ngasih skor ke beberapa set hasil. Sesuai kualitas feedback, ada reward$OPEN. Saya pikir ini kan cuma klik-klik doang? Langsung aja saya ikut, tapi hasil grup pertama bikin saya stuck selama sepuluh menit. Tugasnya kasih output model tanya jawab medis, terus diminta buat ngecek "apakah akurat dan tidak menyesatkan". Dari luar sih jawaban kelihatannya oke, tapi pas saya telusuri sumber datanya, ternyata datanya itu panduan lama dari tiga tahun lalu. Beberapa saran udah dibatalkan sama versi terbaru. Saya bimbang setengah mati, akhirnya kasih skor rendah dengan alasan sumber informasi yang udah kadaluarsa.
Setelah submit, sistem minta saya nulis penjelasan atribusi. Saya jujur masukkan link yang saya temukan dan proses perbandingan. Dua hari kemudian, reward saya masuk. Nggak banyak, tapi dilampirkan laporan umpan balik yang bilang model ini kemudian menyesuaikan bobot data berdasarkan pendapat beberapa validator. Nilai rendah saya ditandai sebagai 'pendapat dengan kepercayaan tinggi' yang langsung mempengaruhi fine-tuning kedua model.
Hal ini bikin pandangan saya terhadap modul RLHF OpenLedger berubah. Dulu saya pikir umpan balik manusia itu cuma jadi tenaga kerja gratis untuk proyek. Tapi mekanisme ini membawa pendapat validator ke dalam blockchain. Siapa yang memberi saran, apakah model diubah, diubah di mana, semua bisa dilacak. Kamu bukan membantu orang lain kerja, kamu berpartisipasi dalam pengawasan kualitas model yang terbuka, dan setiap umpan balik serius kamu akan tercatat. Nanti bisa jadi bukti kontribusi kamu terhadap model ini.
Ada yang mungkin tanya, ngapain buang banyak waktu cuma buat dapat segitu? Bro, hitungannya bukan gitu. Dalam proses ini, saya belajar dua hal. Pertama, untuk menilai sebuah model, jangan cuma lihat seberapa bagus tampilannya, tapi harus cek sumber data dan keaktualan. Kedua, yang benar-benar bisa mempengaruhi arah model itu bukan yang asal kasih nilai tinggi, tapi yang mau mencermati detail dan bikin penjelasan.
Dulu saya juga suka ikut-ikutan, lihat orang lain bilang model AI ini keren, saya pun ikut pakai. Akhirnya beberapa kali kena tipu. Sekarang saya pakai mekanisme verifikasi OpenLedger, memaksa diri untuk menganalisis setiap lapisan logika model. Walaupun capek, tapi bikin tenang. Sekarang, saya pegang utama masih Bitcoin dan Ethereum, tapi setiap minggu saya sisihkan beberapa jam di OpenLedger untuk ambil satu atau dua tugas evaluasi. Bukan untuk dapat reward kecil itu, tapi agar saya tetap peka terhadap kualitas model.
Setelah saya dapat, saya nggak jual. Saya simpan sebagai bukti partisipasi. Nanti kalau ada proposal model yang bagus, saya rencanakan pakai poin ini untuk voting. Bro, ingat, di industri ini yang paling mudah itu ikut-ikutan bilang 'keren', yang paling susah itu duduk dan cek satu per satu bukti. @OpenLedger kasih alat untuk cek bukti, mau pakai atau nggak terserah kamu. #OpenLedger