汇总排名能抬高平均预测分,却带不走共同的科学错误。
CryptoSlate 报道的这项测试名为 Science Prediction Universe:把多个 AI 模型的排名结果汇总后,平均表现有所改善;但模型之间共享的科学错误并未因此消失,模型彼此的一致程度高于它们与现实的吻合程度。
· 汇总只改善平均分,无法自动纠正多数模型共同持有的错误。
· 该测试覆盖的是科学预测场景,报道未给出模型数量与具体误差数据。
如果你来设计这组测试,会先看单个模型的偏差,还是模型间的共识?
CryptoSlate 报道的这项测试名为 Science Prediction Universe:把多个 AI 模型的排名结果汇总后,平均表现有所改善;但模型之间共享的科学错误并未因此消失,模型彼此的一致程度高于它们与现实的吻合程度。
· 汇总只改善平均分,无法自动纠正多数模型共同持有的错误。
· 该测试覆盖的是科学预测场景,报道未给出模型数量与具体误差数据。
如果你来设计这组测试,会先看单个模型的偏差,还是模型间的共识?
