Sebagai seorang peneliti AI, saya telah melatih model bahasa besar pada@OpenLedger ($OPEN ) dengan tujuan menghasilkan artikel tentang "analisis pasar cryptocurrency". Data pelatihan mencakup jutaan artikel, laporan, dan diskusi komunitas. Ketika#OpenLedger model menghasilkan prediksi tentang fluktuasi harga bitcoin, saya ingin tahu data pelatihan mana yang menjadi dasar penilaiannya.
Jika menggunakan metode tradisional, entah prosesnya terlalu lambat, entah hanya bisa memberi gambaran kasar tentang kontribusi seluruh dataset, sehingga tidak dapat melacak dengan tepat dokumen atau paragraf tertentu. Pada saat ini, gunakan Infini-gram.#OpenLedger Sistem akan menghubungkan setiap kata kunci yang dihasilkan model dengan korpus pelatihan secara simbolik, menggunakan struktur array sufiks untuk perbandingan yang efisien.
Hasil menunjukkan:
Ketika @OpenLedger model memprediksi 'koreksi jangka pendek Bitcoin', itu merujuk pada tiga artikel analisis pasar dan satu paragraf spesifik dari diskusi komunitas. Pengaruh setiap dokumen telah diukur, dan saya dapat melihat bagian mana yang paling berkontribusi pada keputusan model. Proses ini memungkinkan saya untuk:
Memverifikasi keputusan model: memastikan model tidak belajar dari data yang bias;
Memberikan umpan balik kepada kontributor data: melalui OpenLedger($OPEN ) mengkuantifikasi kontribusi dan memberikan penghargaan;
Mengoptimalkan dataset: menemukan data yang berpengaruh tinggi, meningkatkan kinerja model.
Bagi saya dan tim, Infini-gram bukan hanya teknologi, itu membuat nilai setiap data menjadi transparan. Setiap keputusan yang dihasilkan model memiliki sumber yang jelas dan dapat dilacak, sehingga kontributor data juga dapat diakui di blockchain, membangun ekosistem AI yang adil dan dapat diverifikasi.
