LLaCO 这个 8B 模型走了条不太一样的路:文本生成不按从左到右逐词出,而是在连续嵌入空间里做扩散,一步步去噪。团队在 arXiv 预印本里指出,连续扩散有个老问题——嵌入向量范数会衰减,用欧氏距离衡量 token 竞争会出现“假超车”,看着像候选词压过了源词,其实只是距离算歪了。他们把这套成对竞争关系整理成 Competition Threshold Theory(CTT),并据此提了 Semantic Retention Scheduling(SRS),让去噪各阶段的时间分配跟着 token 身份衰减的节奏走;模型侧用嵌入方向适配器加时间步条件调制,把预训练骨干接到连续表示上,加噪改成朝掩码偏置端点的球面测地插值,绕开范数衰减。按摘要,LLaCO 超过此前的连续扩散基线,和同规模离散扩散模型打平。预印本还没经过同行评审,实验结论先当参考。
$BTC
$BTC
