Что такое тестирование вне выборки? Почему нельзя снова и снова доказывать эффективность своей стратегии на одних и тех же исторических данных?
В торговле криптовалютами некоторые стратегии показывают отличные результаты при бэктестинге, но часто перестают работать на реальном рынке. Одна из причин в том, что трейдеры снова и снова используют одни и те же исторические данные для настройки параметров. В итоге они получают правила, которые отлично подходят для прошлого, но не обязательно подойдут для будущего.
Чтобы снизить этот риск, важно понимать одну ключевую концепцию: тестирование вне выборки (Out-of-Sample Testing).
Первое: что такое тестирование на выборке?
Данные выборки — это исторические данные, которые используют для изучения, выбора параметров и настройки правил при разработке стратегии.
Например, вы используете исторические данные по BTC за период с 2022 по 2024 год, тестируете различные сочетания скользящих средних, уровни стоп-лосса и условия входа, а затем выбираете параметры с наилучшими результатами.
Этот процесс помогает разработать стратегию, но поскольку вы уже неоднократно изучали и корректировали эти данные, на итоговый результат может повлиять переобучение.
Второе: что такое тестирование вне выборки?
Тестирование вне выборки — это независимая проверка эффективности стратегии на данных, которые не использовались для выбора параметров в ходе разработки.
Например, вы разрабатываете стратегию на данных за 2022–2024 годы, а данные за 2025 год оставляете для проверки, пока правила стратегии не будут в основном определены.
Если стратегия показывает приемлемые результаты на данных, которые не участвовали в разработке, это служит дополнительным свидетельством её определённой устойчивости.
Но это не означает, что стратегия обязательно сможет адаптироваться к будущему рынку, поскольку данные вне выборки всё равно относятся к прошлому.
Третье: почему нельзя снова и снова корректировать стратегию по результатам тестирования вне выборки?
Представьте, что вы сначала тестируете стратегию на данных за 2025 год, видите плохой результат, а затем постоянно меняете параметры, пока результат не станет хорошим.
В этом случае данные за 2025 год фактически уже участвовали в оптимизации стратегии, и тестовая выборка утратила часть своей независимости.
Если повторять это снова и снова, можно постепенно принять случайные закономерности за реальное преимущество, даже не используя напрямую информацию о будущем.
Поэтому тестирование вне выборки по возможности должно оставаться независимым. Если результаты неудовлетворительны, стоит пересмотреть стратегию, а не бесконечно менять параметры, пока кривая доходности не станет выглядеть красиво.
Крипторынке?
В торговле криптовалютами некоторые стратегии показывают отличные результаты при бэктестинге, но часто перестают работать на реальном рынке. Одна из причин в том, что трейдеры снова и снова используют одни и те же исторические данные для настройки параметров. В итоге они получают правила, которые отлично подходят для прошлого, но не обязательно подойдут для будущего.
Чтобы снизить этот риск, важно понимать одну ключевую концепцию: тестирование вне выборки (Out-of-Sample Testing).
Первое: что такое тестирование на выборке?
Данные выборки — это исторические данные, которые используют для изучения, выбора параметров и настройки правил при разработке стратегии.
Например, вы используете исторические данные по BTC за период с 2022 по 2024 год, тестируете различные сочетания скользящих средних, уровни стоп-лосса и условия входа, а затем выбираете параметры с наилучшими результатами.
Этот процесс помогает разработать стратегию, но поскольку вы уже неоднократно изучали и корректировали эти данные, на итоговый результат может повлиять переобучение.
Второе: что такое тестирование вне выборки?
Тестирование вне выборки — это независимая проверка эффективности стратегии на данных, которые не использовались для выбора параметров в ходе разработки.
Например, вы разрабатываете стратегию на данных за 2022–2024 годы, а данные за 2025 год оставляете для проверки, пока правила стратегии не будут в основном определены.
Если стратегия показывает приемлемые результаты на данных, которые не участвовали в разработке, это служит дополнительным свидетельством её определённой устойчивости.
Но это не означает, что стратегия обязательно сможет адаптироваться к будущему рынку, поскольку данные вне выборки всё равно относятся к прошлому.
Третье: почему нельзя снова и снова корректировать стратегию по результатам тестирования вне выборки?
Представьте, что вы сначала тестируете стратегию на данных за 2025 год, видите плохой результат, а затем постоянно меняете параметры, пока результат не станет хорошим.
В этом случае данные за 2025 год фактически уже участвовали в оптимизации стратегии, и тестовая выборка утратила часть своей независимости.
Если повторять это снова и снова, можно постепенно принять случайные закономерности за реальное преимущество, даже не используя напрямую информацию о будущем.
Поэтому тестирование вне выборки по возможности должно оставаться независимым. Если результаты неудовлетворительны, стоит пересмотреть стратегию, а не бесконечно менять параметры, пока кривая доходности не станет выглядеть красиво.
Крипторынке?
