arXiv 上这篇预印本提出了一个叫 TVS 的指标：拿同一系列、用不同年份网页快照训练的六个模型，逐题算负对数似然在各年份间的变异系数。分数高，说明这道题的知识在不同年份的网页里分布得不太稳定。
作者用六个基准测试做对比，结果有点反直觉：TVS 高和低的题，在预训练早期学得差不多；到后期，高 TVS 的题提升更快。36 个模型-基准组合里，有 34 个最终是高 TVS 题表现更好，按去随机水平后的准确率算，平均领先 7.3 分，在知识密集型任务上最稳——即便控制了两类题难度相近也是如此。
它更像是给“预训练过程中知识怎么进来”多了一个观察维度，补的是聚合榜单分数看不到的那部分。预印本，未见同行评审，结论以摘要给出的实验范围为准。
$BTC
作者用六个基准测试做对比，结果有点反直觉：TVS 高和低的题，在预训练早期学得差不多；到后期，高 TVS 的题提升更快。36 个模型-基准组合里，有 34 个最终是高 TVS 题表现更好，按去随机水平后的准确率算，平均领先 7.3 分，在知识密集型任务上最稳——即便控制了两类题难度相近也是如此。
它更像是给“预训练过程中知识怎么进来”多了一个观察维度，补的是聚合榜单分数看不到的那部分。预印本，未见同行评审，结论以摘要给出的实验范围为准。
$BTC
