​🚨​🚨 papel fuera de Oxford y Cambridge, publicado en Nature, ponle un nombre: colapso del modelo.
El planteamiento es simple. Entrena un modelo. Déjalo escribir. Entrena el siguiente modelo con ese escrito. Repite.
En cada generación los datos se vuelven más estrechos. Las colas se caen primero: hechos raros, formulaciones extrañas, lo que solo una persona escribiría. Lo que queda es el promedio. El siguiente modelo aprende el promedio. Tras suficientes iteraciones ya no obtienes un sistema más inteligente. Obtienes un eco fluido.
Esto no es un solo chatbot fallando. Los autores lo muestran en distintos entornos generativos. Si la web se llena de texto de máquinas y ese texto se convierte en el conjunto de entrenamiento, el siguiente modelo no aprende el mundo. Aprende a sí mismo.
Los laboratorios ya lo saben. Por eso aún pagan por datos humanos, licencias y foros cerrados. Los GPUs ya no son el recurso escaso. El texto original limpio sí lo es.
Así que en el sector de la IA hay dos relojes. Uno es el crédito: los edificios y los arrendamientos a 20 años. El otro es la dieta de datos. El capex no puede imprimir colas.
Mira qué reloj se adelanta primero.
No es asesoramiento financiero.