O que são testes fora da amostra? Por que não podemos usar repetidamente os mesmos dados históricos para provar que nossa estratégia funciona?
No trading de criptomoedas, algumas estratégias apresentam resultados excelentes em backtests, mas falham com frequência quando aplicadas ao mercado real. Um dos motivos é que os traders usam repetidamente os mesmos dados históricos para ajustar os parâmetros e, no fim, acabam criando regras de negociação muito adequadas ao passado, mas que talvez não funcionem no futuro.
Para reduzir esse risco, é importante compreender um conceito: o teste fora da amostra (Out-of-Sample Testing).
Primeiro: o que é um teste dentro da amostra?
Os dados dentro da amostra são os dados históricos usados para pesquisar, selecionar parâmetros e ajustar regras durante o desenvolvimento de uma estratégia.
Por exemplo, você pode usar dados históricos do BTC de 2022 a 2024 para testar diferentes combinações de médias móveis, percentuais de stop-loss e condições de entrada e, em seguida, escolher os parâmetros com melhor desempenho.
Esse processo pode ajudar você a desenvolver uma estratégia. No entanto, como esses dados já foram observados e ajustados várias vezes, o resultado final pode ser afetado pelo sobreajuste.
Segundo: o que é um teste fora da amostra?
Um teste fora da amostra consiste em usar dados que não participaram da seleção de parâmetros durante o desenvolvimento para avaliar o desempenho da estratégia de forma independente.
Por exemplo, você pode desenvolver uma estratégia usando dados de 2022 a 2024 e reservar os dados de 2025 para testá-la somente depois que as regras estiverem basicamente definidas.
Se a estratégia continuar apresentando resultados razoáveis em dados que não participaram do seu desenvolvimento, isso oferece mais evidências de que ela tem certa estabilidade.
Mas isso não significa que a estratégia certamente conseguirá se adaptar aos mercados futuros, pois os dados fora da amostra também são dados históricos.
Terceiro: por que não devemos ajustar repetidamente a estratégia com base nos resultados dos testes fora da amostra?
Imagine que você testa primeiro a estratégia com os dados de 2025, percebe que o desempenho não é bom e, então, ajusta os parâmetros repetidamente até obter um bom resultado.
Nesse caso, os dados de 2025 já terão participado da otimização da estratégia, e o conjunto de teste, que antes era independente, terá perdido parte dessa independência.
Se esse processo for repetido, mesmo sem usar diretamente informações do futuro, você pode acabar confundindo padrões aleatórios com vantagens reais.
Por isso, os testes fora da amostra devem ser mantidos o mais independentes possível. Se os resultados não forem satisfatórios, reavalie a estratégia em vez de ajustar os parâmetros sem parar até obter uma curva de rendimentos atraente.
Mercado cripto?
No trading de criptomoedas, algumas estratégias apresentam resultados excelentes em backtests, mas falham com frequência quando aplicadas ao mercado real. Um dos motivos é que os traders usam repetidamente os mesmos dados históricos para ajustar os parâmetros e, no fim, acabam criando regras de negociação muito adequadas ao passado, mas que talvez não funcionem no futuro.
Para reduzir esse risco, é importante compreender um conceito: o teste fora da amostra (Out-of-Sample Testing).
Primeiro: o que é um teste dentro da amostra?
Os dados dentro da amostra são os dados históricos usados para pesquisar, selecionar parâmetros e ajustar regras durante o desenvolvimento de uma estratégia.
Por exemplo, você pode usar dados históricos do BTC de 2022 a 2024 para testar diferentes combinações de médias móveis, percentuais de stop-loss e condições de entrada e, em seguida, escolher os parâmetros com melhor desempenho.
Esse processo pode ajudar você a desenvolver uma estratégia. No entanto, como esses dados já foram observados e ajustados várias vezes, o resultado final pode ser afetado pelo sobreajuste.
Segundo: o que é um teste fora da amostra?
Um teste fora da amostra consiste em usar dados que não participaram da seleção de parâmetros durante o desenvolvimento para avaliar o desempenho da estratégia de forma independente.
Por exemplo, você pode desenvolver uma estratégia usando dados de 2022 a 2024 e reservar os dados de 2025 para testá-la somente depois que as regras estiverem basicamente definidas.
Se a estratégia continuar apresentando resultados razoáveis em dados que não participaram do seu desenvolvimento, isso oferece mais evidências de que ela tem certa estabilidade.
Mas isso não significa que a estratégia certamente conseguirá se adaptar aos mercados futuros, pois os dados fora da amostra também são dados históricos.
Terceiro: por que não devemos ajustar repetidamente a estratégia com base nos resultados dos testes fora da amostra?
Imagine que você testa primeiro a estratégia com os dados de 2025, percebe que o desempenho não é bom e, então, ajusta os parâmetros repetidamente até obter um bom resultado.
Nesse caso, os dados de 2025 já terão participado da otimização da estratégia, e o conjunto de teste, que antes era independente, terá perdido parte dessa independência.
Se esse processo for repetido, mesmo sem usar diretamente informações do futuro, você pode acabar confundindo padrões aleatórios com vantagens reais.
Por isso, os testes fora da amostra devem ser mantidos o mais independentes possível. Se os resultados não forem satisfatórios, reavalie a estratégia em vez de ajustar os parâmetros sem parar até obter uma curva de rendimentos atraente.
Mercado cripto?
