¿Por qué una estrategia puede rendir tan bien en las pruebas históricas y dar resultados completamente distintos en operaciones reales? Cuidado con estas cuatro trampas fáciles de pasar por alto
En el mercado de las criptomonedas, quizá hayas visto estrategias de trading como esta:
Las pruebas históricas muestran una tasa de aciertos muy alta, una curva de rendimientos que sigue subiendo y una caída máxima que parece aceptable. Los desarrolladores de la estrategia incluso muestran gráficos históricos muy atractivos, que hacen pensar que basta con seguir las reglas para obtener buenos resultados.
Pero, una vez que se entra de verdad en el mercado, los resultados pueden ser completamente distintos.
Los precios reales de ejecución difieren de los de las pruebas históricas; las comisiones y el deslizamiento se acumulan sin cesar; el rendimiento de la estrategia cae cuando cambia el mercado, e incluso los métodos que parecían muy estables pueden empezar a encadenar pérdidas.
Entonces, ¿dónde está exactamente el problema?
¿La estrategia en sí no ofrece ninguna ventaja? ¿Hay diferencias en la forma de ejecutarla? ¿O hemos pasado por alto algún aspecto importante al analizar los datos históricos?
Hoy analizaremos algunas de las trampas más fáciles de pasar por alto en el backtesting.
El backtesting es una herramienta para comprobar hipótesis de trading, no una garantía de ganancias futuras. Lo realmente importante no es lo atractiva que sea la curva histórica, sino si el método resiste una validación independiente.
I. Trampa uno: sobreajuste: estudiar demasiado a fondo el comportamiento pasado del mercado
El sobreajuste es un problema que merece mucha atención al desarrollar estrategias.
Imagina que diseñas una estrategia de trading y que los primeros resultados del backtesting no son buenos.
Así que empezaste a ajustar los parámetros una y otra vez: modificaste los períodos de los indicadores, cambiaste los umbrales de entrada, ajustaste la distancia del stop loss y volviste a combinar las condiciones de filtrado.
Después de cada ajuste, la rentabilidad histórica parecía mejorar.
Tras muchos intentos, por fin obtuviste una curva de rentabilidad muy atractiva.
Pero ¿significa eso que encontraste una estrategia realmente eficaz?
No necesariamente.
Si ajustas las reglas repetidamente basándote en los mismos datos históricos, la estrategia que obtengas al final podría ser simplemente muy buena para explicar lo que ocurrió en el pasado, sin necesariamente poder adaptarse al futuro.
Es como estudiar una y otra vez el mismo examen de práctica antes de un examen real, hasta memorizar las preguntas y las respuestas. Sacar una mejor nota no significa necesariamente que hayas aprendido a resolver problemas nuevos.
Lo mismo ocurre con las estrategias de trading.
Cuantos más parámetros y reglas pruebes, más fácil será encontrar en los datos históricos combinaciones que parecen eficaces, pero que en realidad podrían deberse a fluctuaciones aleatorias.
¿Cómo se puede reducir el riesgo de sobreajuste?
Primero, antes de desarrollar una estrategia, define con claridad la lógica principal y las hipótesis que necesitas validar, en lugar de perseguir desde el principio una curva de rentabilidad atractiva.
Segundo, divide los datos históricos en una fase de desarrollo y otra de prueba independiente. Los datos de prueba no deberían utilizarse repetidamente para modificar parámetros; de lo contrario, poco a poco también se convertirán en datos de desarrollo.
Tercero, comprueba si la estrategia es sensible a los cambios en los parámetros. Si una pequeña variación hace que su rendimiento pase de muy bueno a muy malo, conviene investigar más a fondo el motivo.
Cuarto, no elijas únicamente la combinación de parámetros con el mejor rendimiento. Observa también cómo se comportan los parámetros cercanos, otros períodos y distintas condiciones de mercado.
Una estrategia que merezca seguir investigándose no debería parecer perfecta solo con una combinación exacta de parámetros.
II. Trampa dos: sesgo de supervivencia: solo vemos a quienes tuvieron éxito
Imagina que hay cien estrategias de trading en el mercado.
Al cabo de un tiempo, solo unas pocas destacan por su rendimiento. Los artículos, las clasificaciones y las publicaciones en redes sociales que encuentras suelen dar más visibilidad a esos casos de éxito.
Así, podrías llegar a pensar que esos métodos son muy eficaces.
Pero ¿también has visto las estrategias que dejaron de utilizarse, tuvieron malos resultados o nunca se hicieron públicas?
Si en el análisis solo observas los casos exitosos que han sobrevivido, podrías sobreestimar la eficacia general de un método.
Eso es el sesgo de supervivencia.
No solo aparece en las estrategias de trading; también puede afectar a los casos de traders, los resultados de fondos, las clasificaciones de proyectos y todo tipo de relatos sobre experiencias de inversión.
¿Cómo se puede evitar este sesgo?
No estudies únicamente las estrategias rentables; averigua también cuántas fracasaron y por qué.
Si utilizas una clasificación de estrategias, comprueba el alcance de la muestra, el período analizado y los criterios de inclusión.
Si estudias instrumentos de trading que aún existen, ten en cuenta el sesgo que pueden causar las exclusiones de cotización, la suspensión de operaciones o la falta de datos.
No te fijes solo en las experiencias que comparten quienes tuvieron éxito; presta atención también a los casos fallidos y a las condiciones en las que cada método es aplicable.
Ten en cuenta que el sesgo de supervivencia y el sobreajuste no son el mismo problema.
El sobreajuste se refiere a que las reglas pueden adaptarse demasiado a los datos existentes; el sesgo de supervivencia, a que la muestra observada podría no ser representativa.
Ambos pueden hacer que los resultados del análisis parezcan demasiado optimistas, pero deben comprobarse por separado.
III. Trampa tres: sesgo de anticipación: usar información que aún no se conocía en ese momento
Este problema es muy difícil de detectar, pero puede afectar gravemente a los resultados de las pruebas retrospectivas.
Imagina que una estrategia de trading debe decidir si entrar basándose en el precio de cierre de una vela K.
Si el programa de backtesting utiliza de antemano el precio de cierre final antes de que la vela K haya cerrado, en realidad está usando información que no estaba disponible en ese momento.
Por eso, los resultados del backtesting podrían parecer mejores que los de las operaciones reales.
También pueden surgir problemas similares al:
usar señales de indicadores que aún no se han confirmado;
calcular incorrectamente indicadores históricos utilizando datos futuros;
ignorar el tiempo que transcurre entre la generación de una señal y la ejecución efectiva de una orden;
utilizar datos revisados posteriormente como si hubieran sido información conocida en aquel momento.
Por ejemplo, si una señal de un indicador solo se confirma después del cierre de la vela K actual, al operar según esa señal normalmente no se puede suponer que también era posible ejecutar la operación antes del cierre de dicha vela conociendo ya el precio de cierre final.
¿Cómo se puede comprobar?
Verifica punto por punto:
¿Cuándo se confirma realmente la señal?
¿Qué datos estaban disponibles en ese momento?
Una vez generada la señal, ¿cuándo se puede ejecutar la orden como muy pronto?
¿Los precios de ejecución del backtesting respetan el orden real de ejecución?
¿Se han utilizado datos futuros o información conocida solo a posteriori?
El backtesting debe respetar el orden cronológico real.
Si la estrategia utiliza en las pruebas históricas información que era imposible conocer en ese momento, entonces no se está probando un método de trading que pueda ejecutarse en la realidad.
IV. Trampa cuatro: pasar por alto los costos de trading y las condiciones reales de ejecución
Aunque la estrategia no tenga sobreajuste ni un sesgo de anticipación evidente, los resultados del backtesting aún pueden diferir de los de las operaciones reales.
Una de las razones es que el backtesting y el mercado real no se desarrollan en condiciones idénticas.
En un backtesting idealizado, las órdenes podrían ejecutarse al precio previsto, las comisiones podrían simplificarse y el deslizamiento quizá no se tendría suficientemente en cuenta.
Pero las operaciones reales son más complejas.
1. Comisiones
Cada apertura y cierre de una posición puede generar costos de trading.
Si la estrategia opera con mucha frecuencia, aunque la comisión de cada operación parezca pequeña, el costo acumulado podría afectar de forma significativa los resultados a largo plazo.
2. Deslizamiento
Cuando los precios de mercado cambian rápidamente, la liquidez es insuficiente o el tamaño de la orden es grande, el precio de ejecución real puede diferir del precio previsto.
3. Liquidez y limitaciones de ejecución
Que un precio haya aparecido en el backtesting no significa que tu orden necesariamente pueda ejecutarse a ese precio.
El tamaño de la orden, la profundidad del libro de órdenes, la posición en la cola y la volatilidad del mercado pueden afectar a la ejecución real.
4. Costos de financiación y otros costos
En productos como los contratos perpetuos, también hay que tener en cuenta los costos de financiación y otros costos posibles, de acuerdo con las reglas específicas de trading.
5. Tipos de órdenes y retrasos de ejecución
Es posible que una orden limitada no se ejecute; una orden de mercado puede sufrir deslizamiento; y que se active un stop loss no significa que la operación vaya a ejecutarse necesariamente al precio de activación.
Por lo tanto, no basta con mirar una curva de rentabilidad a la que se hayan restado algunas comisiones para concluir que la estrategia puede ser rentable en operaciones reales.
Un enfoque más razonable consiste en enumerar todos los costos importantes, utilizar supuestos lo más parecidos posible a las condiciones reales de ejecución y comprobar los resultados en distintos escenarios de costos.
V. ¿Cómo establecer un proceso más fiable para validar estrategias?
Una vez que entiendes estas trampas, lo más importante es establecer un proceso de validación que se pueda repetir.
Paso 1: definir las hipótesis de la estrategia
Empieza por explicar por qué la estrategia podría funcionar.
¿De qué condiciones de mercado depende? ¿Qué reglas de entrada y salida utiliza? ¿Qué factores podrían hacer que dejara de funcionar?
Si no puedes expresar claramente la lógica de la estrategia, después también será difícil determinar qué demuestran realmente los resultados de las pruebas.
Paso 2: realizar un backtesting histórico
Prueba la estrategia con datos históricos siguiendo reglas definidas de antemano.
Además de la rentabilidad, observa el número de operaciones, las caídas, los costos de trading, el rendimiento en distintos períodos y las rachas de pérdidas que la estrategia podría experimentar.
El objetivo del backtesting no es crear la curva más atractiva, sino entender el comportamiento histórico de la estrategia.
Paso 3: realizar pruebas con una muestra independiente
Reserva una parte de los datos que no se haya utilizado para desarrollar la estrategia ni optimizar sus parámetros.
Utiliza esos datos para comprobar si la estrategia mantiene un rendimiento razonable.
Si modificas repetidamente las reglas basándote en los resultados de las pruebas, tendrás que volver a evaluar si esos datos aún pueden aportar evidencia independiente.
Paso 4: realizar operaciones en simulación
Sin asumir el riesgo de utilizar capital real, observa si las señales se generan según lo previsto, si el proceso de órdenes es razonable y si el registro de operaciones está completo.
Las operaciones en simulación pueden ayudar a detectar problemas en los procesos operativos reales, pero no reproducen por completo la liquidez del mercado, el deslizamiento ni la presión psicológica.
Paso 5: evaluar cuidadosamente las operaciones reales
Si, tras las validaciones anteriores, decides invertir capital real, controla el nivel de riesgo, registra las diferencias entre los precios de ejecución reales y los previstos, y sigue comprobando los costos de trading y la calidad de ejecución.
No aumentes directamente el tamaño de la posición solo porque la estrategia haya tenido buenos resultados en el backtesting.
Paso 6: mantener un seguimiento continuo, en lugar de validar una sola vez y olvidarse
Las condiciones del mercado, la liquidez y los costos de trading pueden cambiar.
Por eso, es necesario reevaluar la estrategia periódicamente.
Pero tampoco hay que modificar las reglas con frecuencia ante un mal rendimiento a corto plazo, sin contar con pruebas suficientes.
Lo más importante es definir los criterios de evaluación de antemano, para que las decisiones posteriores se basen en pruebas y no estén condicionadas por las ganancias o pérdidas a corto plazo.
VI. Además de la rentabilidad, ¿qué otros indicadores conviene comprobar?
Para decidir si merece la pena seguir estudiando una estrategia, puedes analizarla desde varias perspectivas.
Tasa de aciertos: proporción de operaciones rentables respecto al total de operaciones.
Relación media entre ganancias y pérdidas: relación entre la ganancia media y la pérdida media.
Valor esperado: resultado estadístico esperado por operación, teniendo en cuenta la tasa de aciertos, la ganancia media y la pérdida media.
Caída máxima: el mayor descenso histórico del valor neto desde un máximo hasta un mínimo posterior.
Costos de trading: impacto de las comisiones, el deslizamiento, los costos de financiación y otros gastos en el resultado neto.
Estabilidad: rendimiento de la estrategia en distintos períodos, con variaciones de parámetros y en diferentes condiciones de mercado.
Calidad de ejecución: si las operaciones reales siguen las reglas de la estrategia y si las ejecuciones coinciden con los supuestos de las pruebas.
Estos indicadores no pueden demostrar por sí solos que habrá ganancias en el futuro, pero sí pueden ayudarte a comprender mejor el rendimiento histórico de la estrategia y sus limitaciones.
VII. Si los resultados del backtesting son muy buenos, hazte primero estas cinco preguntas
Antes de decidirte a utilizar una estrategia, conviene comprobar lo siguiente:
¿Se ha optimizado repetidamente esta estrategia con los mismos datos?
¿Se han utilizado datos futuros o supuestos de ejecución incorrectos?
¿La muestra de datos es representativa o se han pasado por alto casos fallidos?
Después de descontar una estimación razonable de los costos de trading, ¿siguen siendo interesantes los resultados?
¿La estrategia sigue mostrando un rendimiento razonable en pruebas independientes y en simulaciones de ejecución?
Si aún no se han respondido satisfactoriamente estas preguntas, una curva de rentabilidad histórica atractiva solo indica que vale la pena seguir investigando la estrategia; no demuestra directamente que sea eficaz.
VIII. Para terminar: no busques un backtesting perfecto, busca un método que resista las pruebas
El rendimiento histórico de una estrategia de trading puede inspirar confianza, pero lo verdaderamente importante es entender cómo se obtuvieron esos resultados.
Un método puede dejar de funcionar por los cambios en las condiciones del mercado, parecer demasiado bueno por problemas con los datos o perder su ventaja original debido a los costos de las operaciones reales.
Estos problemas deben identificarse poco a poco mediante una validación más rigurosa.
El backtesting no es el final, sino el punto de partida del proceso de validación.
No preguntes solo cuánto rindió en el pasado. Pregúntate también: ¿se pueden ejecutar realmente las reglas? ¿Son fiables los datos? ¿Se han incluido todos los costos? ¿Resisten los resultados una prueba independiente?
Cuando empiezas a hacerte estas preguntas, es cuando de verdad pasas de observar la rentabilidad histórica a comprender la estrategia de trading.
Tres preguntas para la comunidad de ONEA
Si una estrategia tiene una rentabilidad histórica muy atractiva, pero sus resultados en pruebas independientes caen de forma notable, ¿seguirías investigándola o la descartarías directamente?
¿Cuál crees que es el problema que más fácilmente se pasa por alto en el backtesting: el sobreajuste, el sesgo de anticipación o los costos de trading?
Si tuvieras que elegir el paso de validación más importante, ¿priorizarías las pruebas con una muestra independiente, las operaciones en simulación o el registro continuo de la ejecución real?
Te invitamos a compartir tu experiencia y tus opiniones.
Avance del próximo artículo: ¿cómo identificar los errores cognitivos más comunes en las estrategias de trading? Analizaremos por qué la gente tiende a recordar solo los casos de éxito, por qué sigue modificando las reglas después de sufrir pérdidas y cómo distinguir una mejora real de la estrategia de los ajustes motivados por las emociones.
Sigue a ONEA para continuar aprendiendo sobre Web3, la seguridad de los activos digitales y la gestión de riesgos.
Este artículo tiene fines exclusivamente educativos sobre trading y no constituye asesoramiento de inversión ni una promesa de rentabilidad. El trading de activos digitales conlleva riesgos elevados; toma decisiones con prudencia y de acuerdo con tu situación personal.
