Do primeiro ao sexto artigo, a «Auditoria Quantitativa» percorreu um campo de pesquisa muito mais amplo do que imaginávamos no início.
Tudo começou com uma estratégia de médias móveis do Bitcoin que circulava nas redes sociais. A afirmação de que as 81 EMAs superaram o Bitcoin era chamativa o bastante para atrair atenção — e também para despertar desconfiança. Depois, fomos encontrando estratégias de VWAP com alto índice de Sharpe, projetos de backtest de código aberto, médias móveis clássicas do S&P 500, rotação de ETFs internacionais baseada em momentum e um estudo de acompanhamento de tendências que alegava atravessar dois séculos.
Os objetos de estudo foram mudando, e as perguntas que nos fazemos também se aprofundaram gradualmente.
No início, queríamos saber se era possível reproduzir uma curva de retornos impressionante. Depois, começamos a verificar as definições dos indicadores, a contabilização das operações, o momento da execução e as versões das estratégias, até que, no sexto artigo, comparamos diretamente um estudo acadêmico com uma implementação moderna.
Com o fim dos seis artigos, a série já tem um posicionamento bastante claro: examinar se as evidências por trás das afirmações quantitativas são suficientes e até que ponto as conclusões divulgadas podem ser sustentadas.
Esta revisão organiza principalmente as conclusões, experiências e questões que ficaram da primeira fase.
I. Seis artigos, seis tipos diferentes de questões de auditoria
001: retornos extraordinários não são necessariamente falsos
O primeiro artigo auditou uma estratégia de Bitcoin com 81 médias móveis exponenciais (EMA).
Os autores originais afirmam que, no período histórico especificado, todas as 81 estratégias de média móvel com diferentes períodos superaram a estratégia de comprar e manter Bitcoin.
Resultados assim naturalmente levam a suspeitar primeiro dos dados ou do método de backtest. Mas, ao reconstruirmos o teste segundo as condições dos autores originais, confirmamos que esses resultados históricos podem ser reproduzidos.
Ao alterar ainda mais a janela de observação, as conclusões começaram a mudar. O fato de as 81 médias móveis terem superado o Bitcoin em estratégia de comprar e manter dependia claramente do período de teste original; em algumas janelas históricas mais recentes, comprar e manter teve desempenho melhor.
Isso estabeleceu o primeiro critério importante da série: números extraordinários podem ser reais, mas isso não significa que todas as interpretações derivadas deles sejam válidas.
O 001 reproduziu com sucesso os resultados históricos e também delimitou claramente a aplicabilidade desses resultados.
002: indicadores impressionantes precisam ser rastreáveis
O segundo artigo passou a tratar de uma estratégia de reversão à VWAP do BTC.
Os materiais relacionados apresentavam um Sharpe elevado, retornos anualizados altos e um drawdown máximo baixo; à primeira vista, era um backtest bastante atraente.
No entanto, ao comparar materiais publicados em momentos diferentes, descobrimos que os indicadores da mesma estratégia mudavam significativamente, sem que as informações públicas fornecessem dados suficientemente claros sobre os parâmetros, os períodos de teste e o histórico de versões. Além disso, havia contradições lógicas difíceis de explicar entre alguns campos estatísticos.
Esses problemas não bastam para provar que o backtest original estava necessariamente errado, mas são suficientes para impedir que leitores externos façam uma validação independente.
Por isso, o 002 não declarou se a estratégia era verdadeira ou falsa; limitou-se ao que as evidências permitiam afirmar: as informações públicas disponíveis não bastam, por enquanto, para validar o desempenho desse backtest.
Esse tipo de problema é bastante comum em conteúdo quantitativo. Os leitores conseguem ver os resultados, mas não conseguem confirmar como foram obtidos.
003: código público não significa que seja possível validar o desempenho divulgado
A partir do terceiro artigo, começamos a examinar a implementação das estratégias em profundidade.
Um projeto aberto de backtest de tendência do BTC divulgou inúmeras combinações de parâmetros, registros de operações e estatísticas de desempenho, com retornos e indicadores de risco bastante impressionantes.
A análise do código identificou primeiro problemas na contabilização das saídas parciais e no cálculo do desempenho. Uma revisão posterior confirmou que o programa usava os dados de fechamento da primeira vela de quatro horas do dia seguinte para decidir se podia entrar, mas executava a operação ao preço de abertura dessa mesma vela, configurando um claro viés de antecipação.
O reembolso da margem após saídas parciais e a consolidação dos lucros e prejuízos finais das operações também apresentavam falhas de implementação que afetavam o cálculo da conta ou as estatísticas de negociação.
Essas descobertas enfraquecem diretamente a credibilidade dos indicadores de desempenho originais. No entanto, ainda não concluímos uma nova execução completa com o código corrigido e, por isso, não podemos confirmar a direção nem a magnitude do impacto de cada erro sobre o retorno final.
O 003 mostrou que tornar o código público é apenas o ponto de partida da verificação. O momento das operações, a contabilização da conta e as métricas estatísticas precisam ser coerentes entre si.
Também foi o primeiro artigo da primeira fase para o qual decidimos manter um registro das revisões técnicas.
004: o valor de uma estratégia clássica pode ser mais modesto do que diz a lenda
O quarto artigo estudou a média móvel de 200 dias do S&P 500.
Esta é uma regra clássica, presente há muito tempo nas discussões sobre investimentos. A controvérsia em torno dela não é nova: as médias móveis conseguem gerar retornos excedentes ou apenas oferecem alguma forma de controle de risco?
Os resultados do teste independente foram bastante claros.
No período histórico estudado, a estratégia da média móvel de 200 dias sacrificou parte dos ganhos do mercado em alta, mas reduziu os drawdowns profundos. A comparação com médias móveis de períodos próximos também não revelou uma vantagem exclusiva, clara e estável do parâmetro exato de 200 dias.
Por isso, reconhecemos o valor de controle de risco da estratégia na amostra histórica, mas mantemos nossas dúvidas sobre a especificidade dos parâmetros e a eficácia futura.
A contribuição do 004 foi separar a função prática da estratégia clássica da narrativa que se formou em torno dela ao longo do tempo.
Uma estratégia pode ter utilidade prática mesmo sem cumprir todas as funções que lhe são atribuídas.
005: o backtest e a conta simulada talvez já não usem a mesma estratégia
O quinto artigo estudou a rotação de momentum entre ETFs de diferentes países.
O projeto original relatava retornos acumulados e Sharpe bastante expressivos. A análise do código revelou que o controle de risco do backtest usava os preços máximos, mínimos e de fechamento do dia para avaliar o risco, mas executava as vendas ao preço de abertura do mesmo dia, violando a ordem temporal.
Mas, em seguida, surgiu um resultado contraintuitivo.
Em experimentos exploratórios com dados de mercado independentes e uma implementação independente, o desempenho da estratégia melhorou depois que a execução do controle de risco foi ajustada para respeitar a ordem temporal causal.
Esse resultado nos lembra que encontrar look-ahead bias não significa automaticamente que ele tenha aumentado os retornos.
No entanto, esse experimento não usou o conjunto completo de dados nem o ambiente de execução dos autores originais, tampouco alinhou as operações individualmente. Portanto, ele apenas mostra que essa melhoria é possível; não pode ser considerado uma reprodução exata do desempenho do projeto original após as correções.
Uma análise mais aprofundada também revelou que os modos B do backtest e da conta simulada não eram consistentes quanto às regras de stop-loss, às condições de acionamento e à forma de rebalanceamento.
Essa foi a descoberta mais clara do quinto artigo: a estratégia validada pelo backtest histórico difere substancialmente da estratégia atualmente executada em conta simulada.
Mesmo que ambos usem o mesmo nome, não podemos tratar diretamente o Sharpe histórico como desempenho validado da versão atualmente implementada.
006: reproduzir um artigo exige fidelidade ao artigo
O sexto artigo abordou um estudo ainda mais clássico: (Two Centuries of Trend Following).
O artigo estuda os efeitos do trend following com dados históricos de longo prazo, mas uma implementação moderna de futuros de commodities no QuantConnect apresentou Sharpe negativo e, com base nisso, discutiu a possível atenuação das informações de tendência.
À primeira vista, os dois resultados pareciam estar em forte conflito.
Mas, ao examinar o código público, descobrimos que a implementação moderna alterava substancialmente a definição central de volatilidade e a fórmula de dimensionamento das posições do artigo original.
No artigo, o risco é medido pela média móvel exponencial das variações absolutas mensais dos preços; já a implementação pública usa variações de preço com sinal no cálculo de suavização. A fórmula das posições também difere da do artigo original.
Assim, é preciso delimitar novamente as conclusões que o Sharpe negativo permite sustentar.
Ele pode refletir o desempenho histórico desta implementação específica, mas não basta para provar diretamente que a estratégia de tendência estudada no artigo original deixou de funcionar.
O 006 acrescentou uma dimensão importante à auditoria da primeira fase: usar o mesmo nome de pesquisa, as mesmas referências ao artigo e as mesmas anotações no código não garante que o modelo efetivamente executado seja o mesmo.
II. Que conclusões tiramos depois de seis artigos?
Ao rever esses casos, podemos identificar algumas conclusões que foram se consolidando.
Em primeiro lugar, a auditoria deve manter os resultados em aberto
O 001 reproduziu com sucesso retornos extraordinários; o 004 reconheceu o valor histórico do controle de risco de uma estratégia clássica de médias móveis; e os experimentos exploratórios do 005 mostraram que corrigir erros de código não reduz necessariamente o desempenho.
Se partirmos do pressuposto de que todos os retornos altos são suspeitos, ou se considerarmos encontrar um erro o único critério de sucesso de um artigo, será fácil ignorar esses resultados.
A pesquisa exige capacidade crítica, mas também disposição para reconhecer evidências contrárias.
Uma estratégia pode funcionar, funcionar parcialmente ou simplesmente não permitir uma avaliação com base nos materiais disponíveis. Precisamos aceitar que esses resultados surjam naturalmente.
Em segundo lugar, há diferentes níveis de evidência na reprodução
Entre os seis artigos, algumas conclusões vieram de cálculos com dados históricos independentes; outras, da inspeção direta do código; e algumas se limitaram a avaliar se as informações públicas eram verificáveis.
Essas evidências não podem substituir umas às outras.
O fato de os autores relatarem lucro não significa que nós já o tenhamos reproduzido; a existência de falhas no código-fonte não permite deduzir automaticamente os retornos após as correções; e um experimento de controle com dados independentes não pode substituir diretamente o histórico completo de negociações do projeto original.
Um dos principais aprendizados da primeira fase foi aprender, pouco a pouco, a explicitar esses limites.
Uma conclusão só deve ser afirmada até onde as evidências permitem.
Por fim, o objeto da auditoria passou a abranger toda a cadeia de evidências da estratégia
No início, verificávamos principalmente os resultados dos retornos. Nos artigos mais recentes, a auditoria passou a abranger fórmulas, código, cálculos da conta, gestão de risco e execução em conta simulada.
Isso mostra que a credibilidade de uma estratégia quantitativa não pode ser determinada apenas por uma curva de retornos.
Da descrição dos autores às regras da estratégia, dos dados originais ao código do backtest e, depois, às operações concretas e às estatísticas de desempenho, qualquer problema em uma etapa fundamental pode enfraquecer a conclusão final.
E mesmo uma estratégia histórica que passe por essas verificações ainda precisa ser validada quanto ao desempenho fora da amostra e à execução em condições reais.
Essa é uma direção para aprofundar futuras auditorias, mas não há necessidade de exigir que cada artigo realize uma validação completa.
III. Na primeira fase, também identificamos as nossas próprias limitações
Esta revisão não se limitou a examinar os projetos auditados: também reavaliamos os nossos próprios artigos.
O caso mais emblemático é o 003.
A auditoria inicial já havia identificado problemas na contabilização das operações, mas depois confirmou também um viés de antecipação mais direto na entrada. Isso mostra que, mesmo depois de um artigo concluído, não devemos congelar para sempre as conclusões existentes. Quando novas evidências são suficientes para mudar a análise original, é preciso reavaliá-la.
O 005, por sua vez, revelou problemas na forma de apresentar o experimento.
Experimentos de controle com dados independentes têm valor para a avaliação, mas são claramente diferentes de uma reprodução exata do projeto original. O artigo pode preservar a descoberta inesperada de que «o desempenho melhorou após a correção», mas precisa explicar as limitações dos dados e da implementação, para evitar que os leitores pensem que o projeto original foi completamente corrigido e validado.
A apresentação visual também tem problemas semelhantes. Algumas capas anteriores mostravam ativos que não correspondiam à estratégia ou fórmulas incorretas. Embora esses erros tenham surgido durante a criação das imagens, podiam levar os leitores a interpretações equivocadas.
Por isso, depois da revisão da primeira fase, passamos a incluir capas, títulos, resumos e gráficos na verificação factual antes da publicação.
Essas revisões não alteram o objetivo inicial da série, mas tornam mais explícitos os requisitos da pesquisa.
Ao auditar os outros, também precisamos permitir que as nossas conclusões sejam auditadas.
IV. Que princípios vale a pena preservar?
Depois de concluir seis artigos, é natural pensar em elaborar um plano mais detalhado: definir os temas com antecedência, estabelecer uma frequência de publicação e criar uma estrutura fixa para os artigos, para que a série pareça mais organizada.
Mas acreditamos que isso traz riscos evidentes.
O valor dos artigos de 001 a 006 vem justamente dos problemas concretos encontrados durante a pesquisa. Alguns materiais permitem reprodução, outros exigem apenas a verificação das definições dos indicadores, alguns requerem uma análise aprofundada do código e, em outros casos, a comparação com as fórmulas do artigo já basta para chegar a uma conclusão suficientemente confiável.
Se exigirmos que todos os artigos realizem os mesmos testes, apresentem o mesmo número de indicadores e incluam uma reviravolta e uma conclusão em formato fixo, a pesquisa corre o risco de se tornar uma repetição formal.
Por isso, após a primeira fase, decidimos manter um conjunto relativamente estável de regras de trabalho, sem deixar de manter aberta a escolha dos temas.
A escolha do tema depende do valor de uma afirmação específica. Começamos quando encontramos uma questão que vale a pena verificar; suspendemos quando não há evidências suficientes ou quando o valor marginal de continuar a pesquisa é baixo demais.
A profundidade da análise também depende da questão. Quando for possível reproduzir com precisão, devemos fazê-lo; quando as informações públicas forem insuficientes, podemos avaliar sua verificabilidade; e, quando o código já for suficiente para demonstrar um erro de implementação, não é preciso acrescentar numerosos testes apenas para alongar o artigo.
A estrutura dos artigos deve surgir naturalmente do processo de pesquisa, sem exigir um número fixo de evidências, riscos ou parágrafos explicativos.
Os princípios que acabaram por se consolidar podem ser resumidos assim:
Manter padrões de pesquisa estáveis e a escolha dos temas aberta; impor critérios de qualidade sem estabelecer metas de produção.
Esse também é o princípio central que pretendemos preservar nas (Regras de trabalho para auditoria quantitativa v1.0).
V. Como avançar na próxima fase?
A primeira fase já demonstrou que a «auditoria quantitativa» pode abranger diferentes mercados de ativos e objetos de pesquisa e produzir análises com valor de avaliação independente.
Criptoativos, ETFs de ações, rotação entre mercados internacionais, futuros de commodities, código aberto e artigos acadêmicos podem ser objetos de auditoria.
Mas isso não significa que, no futuro, teremos de abordar essas áreas em rodízio.
Não precisamos definir com antecedência os temas dos artigos 007, 008 ou dos seguintes, nem exigir que o próximo seja mais complexo ou surpreendente do que o anterior.
O que realmente merece continuar a ser pesquisado são materiais que apresentem afirmações claras, evidências verificáveis e que possam mudar a avaliação dos leitores caso sejam auditados.
Se a auditoria demonstrar que uma estratégia é realmente confiável, devemos reconhecer isso. Se revelar uma lacuna de evidências impossível de eliminar, também devemos interromper a análise e dizê-lo com honestidade.
Pesquisas futuras continuarão a encontrar erros e conclusões que precisarão ser revistas. Permitir atualizações é essencial para que a série mantenha sua credibilidade ao longo do tempo.
Considerações finais
Depois de seis artigos, nossa compreensão da «auditoria quantitativa» está muito mais clara do que no início.
O mundo quantitativo nunca teve falta de curvas de backtest impressionantes, nem de fórmulas, parâmetros e indicadores de desempenho que parecem rigorosos. A questão é até que ponto esses elementos sustentam conclusões sólidas.
Alguns resultados surpreendentes podem ser reproduzidos, mas ainda estão longe de representar uma vantagem estável; algumas estratégias têm valor real, mas não são tão extraordinárias quanto a divulgação sugere; alguns erros de código são suficientes para invalidar a validação original, enquanto o impacto de outros só pode ser determinado após novos cálculos.
O que queremos fazer é deixar essas diferenças o mais claras possível.
A primeira fase resultou em seis artigos e num conjunto de regras de trabalho testado em casos concretos. Essas regras ainda precisam ser aperfeiçoadas em pesquisas futuras, mas já são suficientes para dar continuidade à próxima fase.
Em última análise, o valor da auditoria quantitativa depende da nossa capacidade de deixar que as evidências delimitem as conclusões.
Decidiremos por onde começar o próximo artigo quando surgir outra questão que mereça ser auditada.