AI 交易，也得闭卷考试。
一套策略拿同一段历史行情反复调，回测曲线可能越来越漂亮。真开仓以后，市场出的却是新题。
所以看到「Agent 会自我进化」，我会多问一句，它怎么证明自己学到了东西？
@NeoSoulAI 的官方文档里，有个值得拿出来讲的细节。模型、策略和运行机制调整后，要重新接受评估，包括按时间留出测试数据，检查换一批样本以后还能不能用。
这个要求很朴素。旧题练熟了，总得拿新题考一次。
它的 evoevo 负责整理决策数据，包括信息来源和时间、判断依据、实际结果与复盘。这里我比较在意「时间」两个字。
一条消息是在下单前就出现了，还是行情走完才知道，差别很大。把后来的消息混进当时的判断依据里，分析可以写得滴水不漏，拿去做下一笔交易却未必有用。
NeoSoul 写出的验证路径，还包括 Paper 模拟运行。让 Agent 接触实时信息、作出决策，先不动用真钱，再逐步进入受限的实盘环境。
实盘还得回答另一批问题。手续费吃掉多少优势，流动性够不够，订单异常怎么处理。这些都要单独检验，模拟成绩不能直接照搬。
还有一个容易被忽略的地方，文档提到了回归测试。
说白了，改完以后，原来能做好的事有没有变差？修好了一个问题，却把另一类判断搞坏，这种「升级」也得查出来。
我愿意继续关注 NeoSoul，原因就在这里。它给自我改进安排了具体的检查步骤，也留下了判断这些步骤是否有效的空间。
当然，流程写清楚，还不能算已经交出了好成绩。
我希望后续能看到更多版本之间的对照。测试区间怎么选，成本怎么算，哪些失误减少了，哪些还没解决。哪怕某次更新没有进步，把原因讲明白，也比一句「Agent 又变聪明了」有用。
#NeoSoul #AI交易
一套策略拿同一段历史行情反复调，回测曲线可能越来越漂亮。真开仓以后，市场出的却是新题。
所以看到「Agent 会自我进化」，我会多问一句，它怎么证明自己学到了东西？
@NeoSoulAI 的官方文档里，有个值得拿出来讲的细节。模型、策略和运行机制调整后，要重新接受评估，包括按时间留出测试数据，检查换一批样本以后还能不能用。
这个要求很朴素。旧题练熟了，总得拿新题考一次。
它的 evoevo 负责整理决策数据，包括信息来源和时间、判断依据、实际结果与复盘。这里我比较在意「时间」两个字。
一条消息是在下单前就出现了，还是行情走完才知道，差别很大。把后来的消息混进当时的判断依据里，分析可以写得滴水不漏，拿去做下一笔交易却未必有用。
NeoSoul 写出的验证路径，还包括 Paper 模拟运行。让 Agent 接触实时信息、作出决策，先不动用真钱，再逐步进入受限的实盘环境。
实盘还得回答另一批问题。手续费吃掉多少优势，流动性够不够，订单异常怎么处理。这些都要单独检验，模拟成绩不能直接照搬。
还有一个容易被忽略的地方，文档提到了回归测试。
说白了，改完以后，原来能做好的事有没有变差？修好了一个问题，却把另一类判断搞坏，这种「升级」也得查出来。
我愿意继续关注 NeoSoul，原因就在这里。它给自我改进安排了具体的检查步骤，也留下了判断这些步骤是否有效的空间。
当然，流程写清楚，还不能算已经交出了好成绩。
我希望后续能看到更多版本之间的对照。测试区间怎么选，成本怎么算，哪些失误减少了，哪些还没解决。哪怕某次更新没有进步，把原因讲明白，也比一句「Agent 又变聪明了」有用。
#NeoSoul #AI交易