M4Bench 这个预印本测的是一件很具体的事：AI 编码智能体能不能按临床研究里的变量定义，从电子病历里把派生变量算出来。28 个任务、15 个任务族，跑在 MIMIC-IV 和 eICU 上，作者同时放出了给智能体用的技能包。
结果里最值得看的一点，是提升不来自技能这个形式本身。按摘要，在 Docker 隔离的 Codex 实验里，带技能比不带技能奖励高 0.136，28 个任务里 26 个有改善。但拆开看，八任务对照子集上，单靠一份可操作的规格说明就能涨 0.162，技能在规格之上只多 0.024，和零区分不开。十任务子集上，诱饵技能的表现跟没有技能差不多，原始参考 SQL 也几乎追平定向技能。
所以真正起作用的是把规格写全，而不是换个交付格式。另一个容易忽略的数字是完成度：280 次带技能的 Codex 运行里只有 25 次通过全部严格检查，不带技能是 13 次，技能对最终返回哪些行几乎没有改变（key F1 +0.003）。
任务、技能、评测代码已作为开源基准放出，技能是带版本、可供临床审阅的 markdown 格式。预印本，未见同行评审，结论以摘要中的实验范围为准。
$BTC
结果里最值得看的一点，是提升不来自技能这个形式本身。按摘要，在 Docker 隔离的 Codex 实验里，带技能比不带技能奖励高 0.136，28 个任务里 26 个有改善。但拆开看，八任务对照子集上，单靠一份可操作的规格说明就能涨 0.162，技能在规格之上只多 0.024，和零区分不开。十任务子集上，诱饵技能的表现跟没有技能差不多，原始参考 SQL 也几乎追平定向技能。
所以真正起作用的是把规格写全，而不是换个交付格式。另一个容易忽略的数字是完成度：280 次带技能的 Codex 运行里只有 25 次通过全部严格检查，不带技能是 13 次，技能对最终返回哪些行几乎没有改变（key F1 +0.003）。
任务、技能、评测代码已作为开源基准放出，技能是带版本、可供临床审阅的 markdown 格式。预印本，未见同行评审，结论以摘要中的实验范围为准。
$BTC
