Model 8B LLaCO mengambil pendekatan yang agak berbeda: teks tidak dihasilkan kata demi kata dari kiri ke kanan, melainkan melalui proses difusi di ruang embedding kontinu, dengan penghilangan noise secara bertahap. Dalam preprint di arXiv, tim tersebut menjelaskan masalah lama pada difusi kontinu—norma vektor embedding mengalami peluruhan, sehingga penggunaan jarak Euclidean untuk mengukur persaingan token dapat menimbulkan “salip-menyalip palsu”: seolah-olah kata kandidat mengungguli kata sumber, padahal perhitungan jaraknya saja yang meleset. Mereka merumuskan hubungan persaingan berpasangan ini sebagai Competition Threshold Theory (CTT), lalu mengusulkan Semantic Retention Scheduling (SRS), yang mengatur alokasi waktu pada setiap tahap penghilangan noise mengikuti laju peluruhan identitas token. Di sisi model, mereka menggunakan adaptor arah embedding dan modulasi bersyarat berdasarkan langkah waktu untuk menghubungkan tulang punggung pralatih ke representasi kontinu. Penambahan noise diubah menjadi interpolasi geodesik sferis menuju titik akhir yang condong ke mask, sehingga peluruhan norma dapat dihindari. Menurut abstraknya, LLaCO mengungguli baseline difusi kontinu sebelumnya dan menyamai model difusi diskret dengan ukuran yang sama. Preprint ini belum melalui penelaahan sejawat, jadi anggaplah kesimpulan eksperimennya sebagai referensi awal.

$BTC