Nous Research menerbitkan makalah yang mengonfirmasi: tokenizer dapat disimulasikan dengan byte murni, era model bahasa tanpa tokenisasi akan datang
Nous Research menerbitkan makalah yang menunjukkan bahwa tokenizer yang selama ini sangat bergantung pada model bahasa besar di masa depan berpotensi tergantikan. Melalui pengujian terkontrol pada skala 1.7B parameter, tim peneliti secara sistematis mengukur keunggulan kinerja mekanisme tokenisasi, membuktikan kelayakan jalur simulasi byte murni.
Mengapa ini penting: Tokenisasi adalah langkah dasar dalam pemrosesan teks oleh model besar seperti GPT; jika model besar tanpa tokenisasi berhasil diverifikasi, ini akan memiliki dampak mendalam pada paradigma pelatihan model AI yang ada, efisiensi inferensi, dan kemampuan lintas bahasa. Tim dari Tiongkok telah mencapai terobosan di bidang ini yang memiliki makna penting.
#NousResearch #AI #大模型 #分词 #open-source