Прежде чем кто-то подвергнет капитал риску ради стратегии, задают вопрос: сработало бы это в прошлом? Бэктестинг отвечает: вы прогоняете набор правил на исторических данных и суммируете результат. Если сделать это честно, это один из самых полезных инструментов в количественных исследованиях. Если сделать небрежно — один из самых опасных, потому что бэктестинг удивительно легко заставить выглядеть блестяще, хотя он будет бесполезным.

Почему отличный бэктестинг легко подделать:

• Ошибка опережающего взгляда. Стратегии незаметно разрешают использовать информацию, которой в тот момент у неё не могло быть. Правило «покупает около месячного минимума» тривиально в hindsight и невозможно в реальном времени.

• Тихое переоптимизирование. Попробуйте достаточно много наборов параметров, и один обязательно даст впечатляющую кривую — не потому, что нашел реальный паттерн, а потому что при достаточном числе попыток что-то всегда подгоняется под шум. Неудачные эксперименты редко фиксируются, поэтому победитель выглядит как триумф с первой попытки.

Самая глубокая версия проблемы — это переобучение: стратегия, которая запомнила прошлое вместо того, чтобы выучить устойчивый шаблон. Она попадает в историю потому, что была сформирована под историю — и разваливается на данных, которых она никогда не видела.

Как выглядит честный бэктест:

• Отделите данные — разрабатывайте на одном сегменте, а затем один раз протестируйте на более позднем сегменте, который она никогда не видела.

• Действуйте по принципу walk-forward — переобучайте на скользящем окне и проверяйте на период сразу после него.

• Учитывайте трения — комиссии, спред, проскальзывание.

• Считайте свои попытки — чем больше вы пробовали, тем выше вероятность, что ваш лучший результат — это удача.

Даже аккуратный бэктест имеет одну слабость: он оценивается на данных, которые уже существуют, поэтому тестирующий всегда знает, чем закончится история. Полностью уйти от этого можно только так: сначала спрогнозировать и позволить реальности оценить вас — forward-тест.

Вот как устроен наш публичный эксперимент: каждый прогноз фиксируется и получает Bitcoin-временную метку до события, а затем оценивается публично — с учетом и побед, и проигрышей. Ничто из того, что привязано к временной метке в форвардной записи, не может быть незаметно подогнано под прошлое, которое вы уже знаете.

Полная запись: https://neuportal.ai/experiment

Только образовательный контент — не финансовый совет.