Este preprint de arXiv propone una métrica llamada TVS: se toman seis modelos de la misma serie, entrenados con instantáneas web de distintos años, y se calcula, para cada pregunta, el coeficiente de variación de la log-verosimilitud negativa entre los distintos años. Una puntuación alta indica que el conocimiento necesario para responder esa pregunta está distribuido de forma menos estable en las páginas web de distintos años.
Los autores comparan seis pruebas de referencia y obtienen un resultado algo contraintuitivo: al principio del preentrenamiento, las preguntas con TVS alto y bajo se aprenden a un ritmo parecido; más adelante, las de TVS alto mejoran más rápido. En 34 de las 36 combinaciones de modelo y prueba, las preguntas con TVS alto acaban obteniendo mejores resultados, con una ventaja media de 7,3 puntos en precisión por encima del nivel de azar. La tendencia es más clara en tareas con gran carga de conocimientos, y se mantiene incluso al controlar que la dificultad de ambos tipos de preguntas sea similar.
La métrica ofrece una dimensión adicional para observar cómo se incorpora el conocimiento durante el preentrenamiento y complementa lo que no muestran las puntuaciones agregadas de las tablas de clasificación. Es un preprint que aún no ha sido sometido a revisión por pares; las conclusiones se limitan al alcance de los experimentos descritos en el resumen.
$BTC
Los autores comparan seis pruebas de referencia y obtienen un resultado algo contraintuitivo: al principio del preentrenamiento, las preguntas con TVS alto y bajo se aprenden a un ritmo parecido; más adelante, las de TVS alto mejoran más rápido. En 34 de las 36 combinaciones de modelo y prueba, las preguntas con TVS alto acaban obteniendo mejores resultados, con una ventaja media de 7,3 puntos en precisión por encima del nivel de azar. La tendencia es más clara en tareas con gran carga de conocimientos, y se mantiene incluso al controlar que la dificultad de ambos tipos de preguntas sea similar.
La métrica ofrece una dimensión adicional para observar cómo se incorpora el conocimiento durante el preentrenamiento y complementa lo que no muestran las puntuaciones agregadas de las tablas de clasificación. Es un preprint que aún no ha sido sometido a revisión por pares; las conclusiones se limitan al alcance de los experimentos descritos en el resumen.
$BTC
