ИИ-трейдингу тоже нужно сдавать экзамен без шпаргалок.
Если снова и снова настраивать одну и ту же стратегию на одном и том же отрезке исторических данных, кривая бэктестинга может становиться всё красивее. Но когда дело дойдёт до реальных сделок, рынок предложит новые задачи.
Поэтому, когда я слышу, что «агент способен к саморазвитию», я задаю ещё один вопрос: как он докажет, что действительно чему-то научился?
В официальной документации @NeoSoulAI есть один нюанс, о котором стоит рассказать. После изменений модели, стратегии или механизма работы нужна повторная оценка. В том числе следует отложить тестовые данные за определённый период и проверить, будет ли система работать на другой выборке.
Требование простое. Если ты натренировался на старых задачах, нужно проверить себя на новых.
Модуль evoevo отвечает за систематизацию данных о решениях: источников информации и времени её получения, оснований для выводов, фактических результатов и последующего разбора. Здесь для меня особенно важно слово «время».
Большая разница между тем, появилась ли информация до выставления ордера или стала известна уже после завершения движения рынка. Если включить в основания для решения сообщения, появившиеся позже, анализ может выглядеть безупречно, но для следующей сделки от него может быть мало пользы.
В описанном NeoSoul процессе проверки предусмотрен и запуск в режиме Paper. Агент получает информацию в реальном времени и принимает решения, но сначала без использования настоящих денег, а затем постепенно переходит к реальной торговле с ограничениями.
Реальная торговля ставит и другие вопросы. Какую часть преимущества съедают комиссии? Достаточно ли ликвидности? Как обрабатывать сбои при исполнении ордеров? Всё это нужно проверять отдельно — результаты симуляции нельзя просто переносить на реальные условия.
Есть и ещё один момент, который легко упустить: в документации упоминается регрессионное тестирование.
Проще говоря, после изменений нужно проверить, не стало ли хуже то, что раньше работало хорошо. Исправив одну проблему, можно испортить другой тип решений — такие «улучшения» тоже нужно выявлять.
Именно поэтому я хочу и дальше следить за NeoSoul. Здесь для саморазвития предусмотрены конкретные этапы проверки, а также возможность оценить, насколько они эффективны.
Разумеется, чётко описанный процесс ещё не означает, что система уже показала хорошие результаты.
В дальнейшем я хотел бы увидеть больше сравнений между версиями: как выбираются тестовые интервалы, как учитываются издержки, каких ошибок стало меньше и какие ещё не удалось устранить. Даже если очередное обновление не принесло улучшений, объяснение причин будет полезнее, чем фраза «агент снова стал умнее».
#NeoSoul #AI交易
Если снова и снова настраивать одну и ту же стратегию на одном и том же отрезке исторических данных, кривая бэктестинга может становиться всё красивее. Но когда дело дойдёт до реальных сделок, рынок предложит новые задачи.
Поэтому, когда я слышу, что «агент способен к саморазвитию», я задаю ещё один вопрос: как он докажет, что действительно чему-то научился?
В официальной документации @NeoSoulAI есть один нюанс, о котором стоит рассказать. После изменений модели, стратегии или механизма работы нужна повторная оценка. В том числе следует отложить тестовые данные за определённый период и проверить, будет ли система работать на другой выборке.
Требование простое. Если ты натренировался на старых задачах, нужно проверить себя на новых.
Модуль evoevo отвечает за систематизацию данных о решениях: источников информации и времени её получения, оснований для выводов, фактических результатов и последующего разбора. Здесь для меня особенно важно слово «время».
Большая разница между тем, появилась ли информация до выставления ордера или стала известна уже после завершения движения рынка. Если включить в основания для решения сообщения, появившиеся позже, анализ может выглядеть безупречно, но для следующей сделки от него может быть мало пользы.
В описанном NeoSoul процессе проверки предусмотрен и запуск в режиме Paper. Агент получает информацию в реальном времени и принимает решения, но сначала без использования настоящих денег, а затем постепенно переходит к реальной торговле с ограничениями.
Реальная торговля ставит и другие вопросы. Какую часть преимущества съедают комиссии? Достаточно ли ликвидности? Как обрабатывать сбои при исполнении ордеров? Всё это нужно проверять отдельно — результаты симуляции нельзя просто переносить на реальные условия.
Есть и ещё один момент, который легко упустить: в документации упоминается регрессионное тестирование.
Проще говоря, после изменений нужно проверить, не стало ли хуже то, что раньше работало хорошо. Исправив одну проблему, можно испортить другой тип решений — такие «улучшения» тоже нужно выявлять.
Именно поэтому я хочу и дальше следить за NeoSoul. Здесь для саморазвития предусмотрены конкретные этапы проверки, а также возможность оценить, насколько они эффективны.
Разумеется, чётко описанный процесс ещё не означает, что система уже показала хорошие результаты.
В дальнейшем я хотел бы увидеть больше сравнений между версиями: как выбираются тестовые интервалы, как учитываются издержки, каких ошибок стало меньше и какие ещё не удалось устранить. Даже если очередное обновление не принесло улучшений, объяснение причин будет полезнее, чем фраза «агент снова стал умнее».
#NeoSoul #AI交易