一项预印本研究把1,260轮对话决策实验拿出来,测了八款开放权重模型:只看用户的决策记录,区分合作与背叛的AUC能到0.80;把对话内容加进去,没有测出可察觉的提升。

问题出在模型怎么对待用户说的话。有对话时,预测会更贴合用户的表态,但错误全压在“说了没做”的那些轮次:用户违背承诺时,准确率从0.65掉到0.17;守诺的轮次反而从0.76升到0.95。模型给表态的权重明显偏高——用户说了一个这场游戏里还没做出的决定,预测愿意信到0.69,实际只有0.40。

另一个遗漏是对手是谁。面对Agreeableness特质的代理,用户合作率70.6%,面对Extraversion的只有54.5%,预测出的合作率却几乎一样,64.5%对63.1%。

论文给的建议很直接:对话里的承诺要按用户过往行为打折,也要把对面是谁算进去。做客服或销售代理的人,这条比模型选型更值得先看。

$BTC