Desde el primer artículo hasta el sexto, la «auditoría cuantitativa» ha abarcado un campo de investigación más amplio de lo que imaginábamos al principio.
Todo empezó con una estrategia basada en medias móviles de Bitcoin que circulaba por las redes sociales. Afirmar que las 81 EMA superaban a Bitcoin era lo bastante llamativo como para captar la atención, y también lo bastante sospechoso como para generar dudas. Después, fuimos encontrándonos con estrategias VWAP con un Sharpe elevado, proyectos de backtesting de código abierto, medias móviles clásicas del S&P 500, rotaciones de ETF internacionales basadas en el momentum y un estudio de seguimiento de tendencias que afirmaba abarcar dos siglos.
Los temas de investigación han ido cambiando, y las preguntas que nos planteamos también se han vuelto cada vez más profundas.
Al principio queríamos saber si se podía reproducir una curva de rendimientos atractiva. Después empezamos a examinar los criterios de cálculo de los indicadores, la contabilización de las operaciones, los tiempos de ejecución y las versiones de las estrategias, hasta que en el sexto artículo comparamos directamente un artículo académico con una implementación moderna en código.
Tras seis artículos, la serie ya tiene una orientación bastante clara: examinar si las pruebas que respaldan las afirmaciones cuantitativas son suficientes y hasta qué punto se sostienen las conclusiones publicadas.
Esta revisión reúne principalmente las conclusiones, las experiencias y las preguntas que dejó la primera etapa.
I. Seis artículos, seis tipos de problemas de auditoría
001: los rendimientos extraordinarios no son necesariamente falsos
La primera auditoría examinó una estrategia de EMA 81 para Bitcoin.
Los autores originales afirman que, en el periodo histórico especificado, las 81 estrategias de medias móviles con distintos periodos superaron a la estrategia de comprar y mantener Bitcoin.
Un resultado así hace que sea fácil sospechar primero de los datos o del método de backtesting. Sin embargo, al reconstruir las pruebas con las condiciones de los autores originales, confirmamos que se pueden reproducir estos resultados históricos.
Al cambiar aún más la ventana de observación, las conclusiones empezaron a variar. El fenómeno de que las 81 medias móviles superaran a la estrategia de comprar y mantener dependía claramente del periodo de prueba original; en algunas ventanas históricas más recientes, la estrategia de comprar y mantener obtuvo mejores resultados.
Esto estableció el primer criterio importante de la serie: las cifras extraordinarias pueden ser reales, pero que las cifras sean reales no significa que todas las interpretaciones que se derivan de ellas sean válidas.
El 001 logró reproducir los resultados históricos y también delimitó claramente hasta dónde son aplicables.
002: unos indicadores atractivos deben poder rastrearse
El segundo artículo se centró en una estrategia de reversión a la media del VWAP de BTC.
Los materiales relacionados publicaban un Sharpe y un rendimiento anualizado elevados, además de una caída máxima muy baja: a primera vista, los resultados del backtest eran muy atractivos.
Sin embargo, al comparar materiales publicados en distintos momentos, descubrimos cambios notables en los indicadores de una misma estrategia, mientras que la información pública no ofrecía un registro suficientemente claro de los parámetros, los periodos de prueba y las versiones. Además, había contradicciones lógicas difíciles de explicar entre algunos campos estadísticos.
Estos problemas no bastan para demostrar que el backtest original fuera necesariamente incorrecto, pero sí impiden que lectores externos lo verifiquen de forma independiente.
Por eso, el 002 no dictaminó si la estrategia era verdadera o falsa, sino que se limitó a lo que permitían afirmar las pruebas: por ahora, la información pública no basta para verificar el rendimiento del backtest.
Este tipo de problema es bastante común en los contenidos cuantitativos. Los lectores pueden ver los resultados, pero no confirmar cómo se obtuvieron.
003: el código público no siempre permite verificar el rendimiento publicado
El tercer artículo empezó a profundizar en la implementación de la estrategia.
Un proyecto abierto de backtesting de tendencias de BTC publicó numerosas combinaciones de parámetros, registros de operaciones y estadísticas de rendimiento; los rendimientos y los indicadores de riesgo que presentaba eran muy atractivos.
La revisión del código detectó primero problemas en la contabilización de las salidas parciales y en el cálculo del rendimiento. Una comprobación posterior confirmó que el programa utilizaba la información de cierre de la primera vela de cuatro horas del día siguiente para decidir si podía entrar, pero ejecutaba la operación al precio de apertura de esa misma vela, lo que constituía un claro sesgo de anticipación.
La devolución del margen tras las salidas parciales y el resumen final de las ganancias y pérdidas de las operaciones también presentaban fallos de implementación que podían afectar al cálculo de la cuenta o a las estadísticas de las operaciones.
Estos hallazgos debilitan directamente la credibilidad de los indicadores de rendimiento originales. Sin embargo, aún no hemos vuelto a ejecutar el backtest completo con el código corregido, por lo que no podemos determinar la dirección ni la magnitud exactas del efecto de cada error en el rendimiento final.
El 003 nos mostró que hacer público el código es solo el primer paso de la verificación. Los tiempos de las operaciones, la contabilidad de la cuenta y los indicadores estadísticos deben ser coherentes entre sí.
También fue el primer artículo de esta etapa en el que decidimos seguir conservando un registro de las revisiones técnicas.
004: el valor de una estrategia clásica puede ser más modesto de lo que cuenta la leyenda
El cuarto artículo estudió la media móvil de 200 días del S&P 500.
Es una regla clásica que lleva mucho tiempo presente en los debates sobre inversión. La controversia en torno a ella no es nueva: ¿pueden las medias móviles generar rendimientos superiores o solo ofrecen cierto control del riesgo?
Los resultados de las pruebas independientes fueron bastante claros.
En el periodo histórico estudiado, la estrategia de la media móvil de 200 días sacrificó parte de las ganancias del mercado alcista, pero redujo las caídas profundas. Al compararla con medias móviles de periodos cercanos, tampoco se observó que el parámetro exacto de 200 días ofreciera una ventaja propia claramente superior y estable.
Por eso reconocemos su valor histórico para el control del riesgo en la muestra, pero seguimos cuestionando la especificidad de sus parámetros y su eficacia futura.
La contribución del 004 fue separar el efecto práctico de una estrategia clásica de la narrativa construida a su alrededor durante mucho tiempo.
Una estrategia puede ser útil aunque no cumpla todas las funciones que la gente le atribuye.
005: el backtest y la cuenta simulada quizá ya no utilizan la misma estrategia
El quinto artículo estudió una estrategia de rotación por momentum entre ETF de distintos países.
El proyecto original informó de un rendimiento acumulado y un Sharpe bastante elevados. Al revisar el código, descubrimos que el control de riesgo del backtest utilizaba los precios máximo, mínimo y de cierre del día para evaluar el riesgo, pero ejecutaba las ventas al precio de apertura del mismo día, lo que нарушaba el orden temporal.
Pero después apareció un resultado contrario a la intuición.
En un experimento exploratorio con datos de mercado independientes y una implementación independiente, el rendimiento de la estrategia mejoró al ajustar la ejecución de la gestión del riesgo para respetar el orden temporal causal.
Este resultado nos recuerda que detectar información futura no permite concluir automáticamente que haya aumentado los rendimientos.
Sin embargo, el experimento no utilizó todos los datos ni el entorno de ejecución de los autores originales, y tampoco alineó las operaciones una por una. Por lo tanto, solo demuestra que esa mejora es posible; no reproduce con precisión el rendimiento del proyecto original una vez corregido.
Una revisión más exhaustiva también reveló que los modos B del backtest y de la cuenta simulada no coincidían en las reglas de stop-loss, las condiciones de activación ni la forma de reajustar las posiciones.
Este fue el hallazgo más claro del quinto artículo: la estrategia validada por el backtest histórico difería sustancialmente de la estrategia que se ejecuta actualmente en la cuenta simulada.
Aunque ambos usen el mismo nombre, no se puede considerar directamente que el Sharpe histórico sea un rendimiento verificado de la versión que se implementa actualmente.
006: para reproducir un artículo académico hay que ceñirse a él
El sexto artículo abordó un estudio aún más clásico: (Two Centuries of Trend Following).
El artículo estudia el efecto del seguimiento de tendencias a partir de datos históricos de largo plazo, pero una implementación moderna de futuros de materias primas en QuantConnect arrojó un Sharpe negativo y, a partir de ello, planteó que la información de tendencias podría estar perdiendo vigencia.
A primera vista, ambos resultados parecen entrar en clara contradicción.
Sin embargo, al revisar el código público descubrimos que la implementación moderna modificaba sustancialmente la definición básica de volatilidad y la fórmula de las posiciones del artículo original.
En concreto, el artículo mide el riesgo mediante una media móvil exponencial de las variaciones absolutas mensuales de los precios; en cambio, la implementación pública introduce en el cálculo suavizado las variaciones de precios con signo. La fórmula de las posiciones también difiere de la del artículo original.
Por tanto, hay que acotar de nuevo las conclusiones que permite extraer un Sharpe negativo.
Puede reflejar el rendimiento histórico de esta implementación concreta, pero no basta para demostrar directamente que la estrategia de seguimiento de tendencias estudiada en el artículo original haya dejado de funcionar.
El 006 añadió una dimensión importante a la auditoría de la primera etapa: que el nombre de la investigación, las referencias al artículo académico y los comentarios del código coincidan no garantiza que se esté ejecutando el mismo modelo.
II. ¿Qué conclusiones hemos sacado tras seis artículos?
Al repasar estos casos, vemos que algunas conclusiones se han ido consolidando.
En primer lugar, la auditoría debe mantener abiertos los resultados
El 001 logró reproducir rendimientos extraordinarios; el 004 reconoció el valor histórico de la gestión del riesgo de una estrategia clásica de medias móviles; y los experimentos exploratorios del 005 mostraron que corregir errores de código no necesariamente reduce el rendimiento.
Si damos por sentado de antemano que todo rendimiento alto es sospechoso o consideramos que encontrar errores es el único criterio de éxito de un artículo, es fácil pasar por alto estos resultados.
La investigación requiere capacidad crítica, pero también la capacidad de reconocer las pruebas que apuntan en sentido contrario.
Una estrategia puede funcionar, funcionar en parte o ser imposible de evaluar con los materiales disponibles. Debemos permitir que estos resultados surjan de forma natural.
En segundo lugar, la reproducción tiene distintos niveles de evidencia
Entre los seis artículos, algunas conclusiones proceden de cálculos independientes con datos históricos; otras, de la inspección directa del código; y algunas se limitan a evaluar si es posible verificar los materiales públicos.
Estas pruebas no se pueden sustituir unas por otras.
Que los autores informen de ganancias no significa que nosotros hayamos reproducido esas ganancias; que un código fuente tenga defectos no permite calcular automáticamente el rendimiento una vez corregido; y un experimento de control con datos independientes tampoco puede sustituir directamente el historial completo de operaciones del proyecto original.
Uno de los logros importantes de la primera etapa fue aprender poco a poco a explicar claramente estos límites.
Una conclusión debe llegar hasta donde permitan las pruebas, y nada más.
Por último, la auditoría ya se extiende a toda la cadena de pruebas de una estrategia
Al principio nos centrábamos sobre todo en los resultados de rendimiento. En los últimos artículos, la auditoría ya abarcaba fórmulas, código, cálculos de cuentas, gestión del riesgo y ejecución en cuentas simuladas.
Esto demuestra que la credibilidad de una estrategia cuantitativa no puede determinarse únicamente a partir de una curva de rendimientos.
Desde la descripción de los autores hasta las reglas de la estrategia, desde los datos originales hasta el código del backtest, y desde las operaciones concretas hasta las estadísticas de rendimiento: los problemas en cualquier eslabón clave pueden debilitar la conclusión final.
Y aunque una estrategia histórica supere estas comprobaciones, aún habrá que verificar su rendimiento fuera de muestra y su ejecución en condiciones reales.
Esta es una línea que las auditorías futuras pueden seguir explorando, pero no hace falta que cada artículo se encargue de completar todo el proceso de verificación.
III. En la primera etapa también detectamos nuestras propias carencias
Esta revisión no se limitó a examinar los proyectos auditados: también volvimos a revisar nuestros propios artículos.
El ejemplo más claro es el 003.
La auditoría inicial ya había detectado problemas en la contabilización de las operaciones, pero más adelante confirmamos un sesgo de anticipación aún más directo en la entrada. Esto demuestra que, aunque un artículo esté terminado, no podemos dar por inamovibles nuestras conclusiones. Si aparecen pruebas nuevas que bastan para cambiar el análisis, hay que revisarlo.
El 005, por su parte, puso de manifiesto problemas en la forma de presentar el experimento.
Los experimentos de control con datos independientes son útiles para evaluar una estrategia, pero se distinguen claramente de una reproducción exacta del proyecto original. El artículo puede conservar el hallazgo inesperado de que el rendimiento mejoró tras corregir los errores, pero debe explicar las limitaciones de los datos y de la implementación para no dar a entender que el proyecto original ya ha sido validado por completo después de su corrección.
La presentación visual plantea problemas similares. Algunas portadas anteriores mostraban activos que no correspondían a la estrategia o fórmulas inexactas. Aunque esos errores surgieran al crear las imágenes, podían inducir a los lectores a interpretaciones equivocadas.
Por eso, después de la revisión de la primera etapa, empezamos a incluir las portadas, los títulos, los resúmenes y los gráficos en la comprobación de datos previa a la publicación.
Estas revisiones no alteran el objetivo inicial de la serie, pero sí hacen más explícitos sus requisitos de investigación.
Al auditar a otros, también debemos permitir que nuestras propias conclusiones sean auditadas.
IV. ¿Qué principios conviene conservar?
Después de completar seis artículos, es natural que surja la idea de elaborar un plan más detallado: decidir los temas con antelación, fijar una frecuencia de publicación y diseñar una estructura fija para que toda la serie parezca más uniforme.
Pero creemos que hacerlo entraña riesgos evidentes.
El valor de los artículos del 001 al 006 reside precisamente en los problemas concretos que encontramos durante la investigación. Algunos materiales se prestan a ser reproducidos; otros solo requieren comprobar cómo se calculan los indicadores; algunos exigen examinar el código en profundidad; y en otros basta con contrastar las fórmulas del artículo académico para llegar a una conclusión suficientemente fiable.
Si exigimos que todos los artículos realicen las mismas pruebas, presenten el mismo número de indicadores y añadan después un giro y una conclusión predeterminados, la investigación corre el riesgo de convertirse en una repetición formal.
Por eso, al terminar la primera etapa, decidimos conservar un conjunto de reglas de trabajo relativamente estables, sin dejar de mantener abiertos los temas de investigación.
La decisión de abordar un tema depende del valor de juzgar una afirmación concreta. Si encontramos una cuestión que merece ser verificada, la investigamos; si no hay pruebas suficientes o el valor marginal de seguir investigando es demasiado bajo, hacemos una pausa.
La profundidad del análisis también depende de la pregunta. Si se puede reproducir con precisión, hay que hacerlo; si la información pública es insuficiente, se puede auditar su verificabilidad; y si el código ya basta para demostrar un error de implementación, no hace falta añadir muchas pruebas solo para alargar el artículo.
La estructura de los artículos surgió de forma natural del proceso de investigación, sin imponer un número fijo de pruebas, riesgos o párrafos explicativos.
Los principios que finalmente hemos adoptado se pueden resumir así:
Mantener criterios de investigación estables y los temas abiertos; exigir calidad sin fijar objetivos de producción.
Este es también uno de los principios centrales que queremos conservar en (Reglas de trabajo de auditoría cuantitativa v1.0).
V. ¿Cómo avanzar en la siguiente etapa?
La primera etapa ya ha demostrado que la «auditoría cuantitativa» puede abarcar distintos mercados de activos y objetos de estudio, y producir análisis con valor de juicio independiente.
Los criptoactivos, los ETF de acciones, la rotación entre mercados, los futuros de materias primas, el código abierto y los artículos académicos pueden ser objeto de una auditoría.
Pero esto no significa que en el futuro tengamos que cubrir estos ámbitos por turnos.
No hace falta decidir por adelantado los temas de los artículos 007, 008 o los siguientes, ni exigir que cada nuevo artículo sea más complejo o sorprendente que el anterior.
Lo que realmente merece seguir investigándose son los materiales que plantean afirmaciones claras, aportan pruebas verificables y pueden cambiar la opinión de los lectores si se someten a una auditoría.
Si demuestra que una estrategia es realmente fiable, debemos reconocerlo. Si revela una carencia probatoria que no se puede subsanar, también debemos detenernos y decirlo con franqueza.
En futuras investigaciones seguiremos encontrando errores y conclusiones que haya que revisar. Permitir actualizaciones es lo que puede hacer que la serie siga siendo fiable a largo plazo.
A modo de conclusión
Después de seis artículos, entendemos la «auditoría cuantitativa» mucho mejor que al principio.
En el mundo cuantitativo nunca faltan curvas de backtest atractivas ni fórmulas, parámetros e indicadores de rendimiento que parecen rigurosos. La cuestión es qué conclusiones pueden respaldar realmente.
Algunos resultados sorprendentes se pueden reproducir, pero aún están lejos de constituir una ventaja estable; algunas estrategias tienen valor, pero no son tan extraordinarias como se anuncia; algunos errores de código bastan para invalidar la verificación original, mientras que para determinar el impacto de otros hace falta volver a calcularlo.
Lo que queremos hacer es explicar estas diferencias con la mayor claridad posible.
La primera etapa constó de seis artículos y dejó un conjunto de reglas de trabajo puestas a prueba en casos reales. Aún habrá que perfeccionarlas en investigaciones futuras, pero ya bastan para dar continuidad a la siguiente etapa.
En última instancia, el valor de la auditoría cuantitativa depende de nuestra capacidad para dejar que las pruebas delimiten las conclusiones.
Decidiremos por dónde empezar el próximo artículo cuando surja otra cuestión que merezca ser auditada.