大语言模型最终也能学会概念，但前提是先耗尽其他所有选项，这与人类从极少数据中直接抽象出概念的方式形成鲜明对比。
本期 AI on Air 精选切片来自 Redpoint 近期的节目，主讲人是 Lukasz Kaiser——Transformer 论文联合作者、前 Google Brain 和 OpenAI 研究员，他以亲历者视角剖析 Transformer 与人类学习的本质差距。
▷ 结合链式思考、强化学习和工具后，这个「预测下一个词」的模型已能完成两年前难以想象的事，比如每天花几小时与编程助手讨论工作难题并落地实现。
▷ 他比喻道：LLM 会先吞下上万亿 token、学完所有表层模式，只有这些都解释不通时才抓住概念，而人类往往从少量数据中直接获得甚至创造概念。
▷ 双方都在进化：Transformer 不断进步，但「还需要别的东西」的论据也更充分了，已有实验室探索后 Transformer 架构并看到有趣结果，至于谁会胜出仍是未知数。🪁
本期 AI on Air 精选切片来自 Redpoint 近期的节目，主讲人是 Lukasz Kaiser——Transformer 论文联合作者、前 Google Brain 和 OpenAI 研究员，他以亲历者视角剖析 Transformer 与人类学习的本质差距。
▷ 结合链式思考、强化学习和工具后，这个「预测下一个词」的模型已能完成两年前难以想象的事，比如每天花几小时与编程助手讨论工作难题并落地实现。
▷ 他比喻道：LLM 会先吞下上万亿 token、学完所有表层模式，只有这些都解释不通时才抓住概念，而人类往往从少量数据中直接获得甚至创造概念。
▷ 双方都在进化：Transformer 不断进步，但「还需要别的东西」的论据也更充分了，已有实验室探索后 Transformer 架构并看到有趣结果，至于谁会胜出仍是未知数。🪁