El modelo LLaCO de 8B siguió un camino algo distinto: la generación de texto no avanza palabra por palabra de izquierda a derecha, sino que aplica difusión en un espacio de incrustaciones continuo, eliminando el ruido paso a paso. En su prepublicación de arXiv, el equipo señala un problema de larga data de la difusión continua: la norma de los vectores de incrustación se atenúa y, al medir la competencia entre tokens con distancia euclídea, se producen «adelantamientos falsos». Parece que un token candidato supera al token de origen, pero en realidad la distancia está mal calculada. El equipo formalizó esta relación de competencia por pares como Competition Threshold Theory (CTT) y, a partir de ella, propuso Semantic Retention Scheduling (SRS), que asigna el tiempo de cada etapa de eliminación de ruido según el ritmo al que se atenúa la identidad de los tokens. En el modelo, un adaptador de dirección de incrustación y una modulación condicionada por el paso temporal conectan la arquitectura base preentrenada con representaciones continuas. Además, el proceso de añadir ruido se cambió por una interpolación geodésica esférica hacia un extremo sesgado al enmascaramiento, para evitar la atenuación de la norma. Según el resumen, LLaCO supera las líneas de base de difusión continua anteriores y queda a la par de los modelos de difusión discreta de tamaño similar. La prepublicación aún no ha pasado por revisión por pares, así que conviene tomar sus conclusiones experimentales como referencia provisional.

$BTC