AI 交易，也得閉卷考試。
一套策略拿同一段歷史行情反覆調，回測曲線可能越來越漂亮。真開倉以後，市場出的卻是新題。
所以看到「Agent 會自我進化」，我會多問一句，它怎麼證明自己學到了東西？
@NeoSoulAI 的官方文檔裏，有個值得拿出來講的細節。模型、策略和運行機制調整後，要重新接受評估，包括按時間留出測試數據，檢查換一批樣本以後還能不能用。
這個要求很樸素。舊題練熟了，總得拿新題考一次。
它的 evoevo 負責整理決策數據，包括信息來源和時間、判斷依據、實際結果與覆盤。這裏我比較在意「時間」兩個字。
一條消息是在下單前就出現了，還是行情走完才知道，差別很大。把後來的消息混進當時的判斷依據裏，分析可以寫得滴水不漏，拿去做下一筆交易卻未必有用。
NeoSoul 寫出的驗證路徑，還包括 Paper 模擬運行。讓 Agent 接觸實時信息、作出決策，先不動用真錢，再逐步進入受限的實盤環境。
實盤還得回答另一批問題。手續費喫掉多少優勢，流動性夠不夠，訂單異常怎麼處理。這些都要單獨檢驗，模擬成績不能直接照搬。
還有一個容易被忽略的地方，文檔提到了迴歸測試。
說白了，改完以後，原來能做好的事有沒有變差？修好了一個問題，卻把另一類判斷搞壞，這種「升級」也得查出來。
我願意繼續關注 NeoSoul，原因就在這裏。它給自我改進安排了具體的檢查步驟，也留下了判斷這些步驟是否有效的空間。
當然，流程寫清楚，還不能算已經交出了好成績。
我希望後續能看到更多版本之間的對照。測試區間怎麼選，成本怎麼算，哪些失誤減少了，哪些還沒解決。哪怕某次更新沒有進步，把原因講明白，也比一句「Agent 又變聰明瞭」有用。
#NeoSoul #AI交易
一套策略拿同一段歷史行情反覆調，回測曲線可能越來越漂亮。真開倉以後，市場出的卻是新題。
所以看到「Agent 會自我進化」，我會多問一句，它怎麼證明自己學到了東西？
@NeoSoulAI 的官方文檔裏，有個值得拿出來講的細節。模型、策略和運行機制調整後，要重新接受評估，包括按時間留出測試數據，檢查換一批樣本以後還能不能用。
這個要求很樸素。舊題練熟了，總得拿新題考一次。
它的 evoevo 負責整理決策數據，包括信息來源和時間、判斷依據、實際結果與覆盤。這裏我比較在意「時間」兩個字。
一條消息是在下單前就出現了，還是行情走完才知道，差別很大。把後來的消息混進當時的判斷依據裏，分析可以寫得滴水不漏，拿去做下一筆交易卻未必有用。
NeoSoul 寫出的驗證路徑，還包括 Paper 模擬運行。讓 Agent 接觸實時信息、作出決策，先不動用真錢，再逐步進入受限的實盤環境。
實盤還得回答另一批問題。手續費喫掉多少優勢，流動性夠不夠，訂單異常怎麼處理。這些都要單獨檢驗，模擬成績不能直接照搬。
還有一個容易被忽略的地方，文檔提到了迴歸測試。
說白了，改完以後，原來能做好的事有沒有變差？修好了一個問題，卻把另一類判斷搞壞，這種「升級」也得查出來。
我願意繼續關注 NeoSoul，原因就在這裏。它給自我改進安排了具體的檢查步驟，也留下了判斷這些步驟是否有效的空間。
當然，流程寫清楚，還不能算已經交出了好成績。
我希望後續能看到更多版本之間的對照。測試區間怎麼選，成本怎麼算，哪些失誤減少了，哪些還沒解決。哪怕某次更新沒有進步，把原因講明白，也比一句「Agent 又變聰明瞭」有用。
#NeoSoul #AI交易