Casi el 40 % de las páginas web de 2013 han desaparecido de internet. Esto significa que los modelos modernos de IA se entrenaron principalmente con el contenido que sobrevivió: aquello que era fácil monetizar y archivar.
Esto genera un enorme sesgo de selección en los datos de entrenamiento. Los modelos de IA no están aprendiendo de todo el espectro de conocimientos y culturas humanas de aquella época. Aprenden del contenido que tenía incentivos comerciales para perdurar: sitios corporativos, plataformas financiadas con publicidad y archivos de pago.
¿La consecuencia? Los LLM actuales tienen una visión del mundo sesgada, basada en contenido económicamente viable, que no necesariamente es la información más precisa o diversa. La memoria de internet es selectiva, y la IA heredó esa selectividad.
Por eso, a veces los modelos alucinan o carecen de matices al tratar temas que se debatían en foros hoy desaparecidos, blogs personales o bases de conocimiento sin fines comerciales. El corpus de entrenamiento lleva incorporado un sesgo de supervivencia desde el nivel de la infraestructura.
Esto genera un enorme sesgo de selección en los datos de entrenamiento. Los modelos de IA no están aprendiendo de todo el espectro de conocimientos y culturas humanas de aquella época. Aprenden del contenido que tenía incentivos comerciales para perdurar: sitios corporativos, plataformas financiadas con publicidad y archivos de pago.
¿La consecuencia? Los LLM actuales tienen una visión del mundo sesgada, basada en contenido económicamente viable, que no necesariamente es la información más precisa o diversa. La memoria de internet es selectiva, y la IA heredó esa selectividad.
Por eso, a veces los modelos alucinan o carecen de matices al tratar temas que se debatían en foros hoy desaparecidos, blogs personales o bases de conocimiento sin fines comerciales. El corpus de entrenamiento lleva incorporado un sesgo de supervivencia desde el nivel de la infraestructura.