Un backtest rejoue une règle sur des données passées. C’est un contrôle de cohérence utile et un argument commercial dangereux : plus on essaie de réglages sur le même historique, plus il est probable que le meilleur ait simplement épousé le bruit de cet historique.
Une expérience à faire soi-même
Ouvrez le Quant Lab et laissez le rendement attendu à zéro. Sans tendance dans les données, une règle de suivi de tendance n’a rien de réel à trouver. Modifiez plusieurs fois la fenêtre de moyenne mobile sur la même graine et notez le meilleur résultat. Gardez ensuite cette fenêtre et changez uniquement la graine. L’« avantage » disparaît en général, car il n’a jamais existé.
À quoi ressemble un test rigoureux
- Fixer la règle et ses réglages avant de regarder les données de test, et les consigner par écrit.
- Conserver des données que la règle n’a jamais vues et la juger uniquement sur cet échantillon.
- Indiquer combien de variantes ont été essayées, pas seulement la gagnante.
- Préférer les règles qui fonctionnent sur de nombreuses graines ou périodes à celles qui brillent sur une seule.
Le regard du superviseur
Les orientations de la Réserve fédérale américaine sur le risque de modèle (SR 11-7) demandent aux banques de valider leurs modèles de façon indépendante, de comparer les résultats à ce qui s’est réellement produit et de poursuivre la surveillance après le déploiement. Les mêmes réflexes protègent quiconque lit un backtest : le supposer optimiste tant qu’il n’a pas été testé sur des données qu’il n’a pas choisies.