Un backtest reproduce una regla sobre datos pasados. Es una comprobación útil y una herramienta de venta peligrosa: cuantos más ajustes se prueban sobre el mismo histórico, más probable es que el mejor simplemente se haya adaptado al ruido de ese histórico.
Un experimento que puede hacer usted
Abra el Quant Lab y deje la rentabilidad esperada en cero. Sin tendencia en los datos, una regla de seguimiento de tendencia no tiene nada real que encontrar. Cambie varias veces la ventana de la media móvil con la misma semilla y anote el mejor resultado. Después mantenga esa ventana y cambie solo la semilla. La supuesta «ventaja» suele desaparecer, porque nunca existió.
Cómo es una prueba rigurosa
- Decidir la regla y sus ajustes antes de mirar los datos de prueba, y dejarlos por escrito.
- Reservar datos que la regla nunca ha visto y juzgarla solo con esa muestra.
- Informar de cuántas variantes se probaron, no solo de la ganadora.
- Preferir reglas que funcionan con muchas semillas o periodos a las que brillan en uno solo.
La visión supervisora
Las pautas de la Reserva Federal de EE. UU. sobre riesgo de modelo (SR 11-7) piden a los bancos validar los modelos de forma independiente, comparar los resultados con lo que realmente ocurrió y mantener el seguimiento tras su puesta en marcha. Los mismos hábitos protegen a cualquiera que lea un backtest: suponer que es optimista hasta probarlo con datos que no eligió.