Tests multiples : quand le meilleur backtest est un heureux hasard

Une seule stratégie présentée peut cacher mille essais

Un chercheur peut publier un beau backtest après de nombreux essais de signaux, paramètres, actifs et dates. Le graphique final ne montre pas toute la recherche. Même si aucun candidat n’a de véritable avantage, le meilleur peut sembler impressionnant parce que certaines séquences aléatoires sont favorables.

L'unité d'analyse pertinente n'est donc pas seulement la règle retenue, mais aussi la procédure qui l'a sélectionnée. Un seuil modifié après examen des résultats fait partie de la recherche, même sans programme formel d'optimisation. Les essais fondés sur la mémoire, les feuilles de calcul abandonnées et l'inspection visuelle informelle peuvent tous contribuer au biais de sélection. Un historique de recherche honnête rend ces choix visibles.

Comprendre l’illustration probabiliste simple

Si vingt tests indépendants ont chacun 5 % de probabilité de faux positif, la probabilité d’au moins un faux positif est 1 − 0,95²⁰, environ 64,2 %. L’indépendance est importante : les variantes de trading sont souvent corrélées. Ce calcul est donc une illustration, pas une correction précise d’un programme de recherche réel.

La leçon n'est pas que tout résultat positif est faux. C'est qu'un seuil de test unique ne s'interprète pas de la même manière après une recherche étendue. Des choix de paramètres apparentés ne constituent pas des preuves totalement indépendantes, mais leur corrélation ne fait pas disparaître le biais de sélection. L'estimation de l'ampleur effective de la recherche est elle-même incertaine et ne doit pas être présentée comme un décompte exact.

Une valeur p n’est ni la probabilité qu’une hypothèse soit vraie, ni celle que l’opération suivante gagne. Elle mesure l’incompatibilité d’une statistique avec un modèle nul déterminé, sous les hypothèses du test. Une petite valeur peut aussi révéler une dépendance ignorée, un mauvais modèle de bruit ou une sélection des résultats. La significativité statistique ne dit pas davantage si l’effet suffit à couvrir spread, financement et mise en œuvre.

Protéger l’hypothèse de la règle de notation

Commencez par une logique économique précisant pourquoi une relation pourrait durer et pourquoi elle pourrait cesser. Définissez si possible nettoyage des données, coûts et critères d’évaluation avant de voir le résultat. Cela n’élimine pas le biais, mais réduit la liberté de reconstruire un récit autour d’une configuration chanceuse.

Tenez un registre d’essais incluant les variantes rejetées et la raison de chaque modification. Distinguez débogage et changement d’hypothèse. Corriger une erreur d’horodatage diffère du déplacement d’un stop pour améliorer la courbe de capital. Consignez les deux : voir les résultats peut influencer les décisions ultérieures, même lorsque la modification initiale était légitime.

Un échantillon intact a une durée de vie limitée

Une période réservée n’a de valeur que tant que le développement n’y touche pas. Si le chercheur la consulte à répétition pour choisir les modèles, elle devient une ressource d’entraînement. La dire hors échantillon n’inverse pas le flux d’information. Il peut alors falloir une période plus récente ou une autre évaluation véritablement indépendante.

Les procédures walk-forward, la sélection imbriquée et la recherche sur le surajustement des backtests peuvent aider à examiner le processus de sélection, mais aucune ne transforme des données faibles en certitudes. Évaluez la stabilité autour de valeurs de paramètres raisonnables et sur des périodes économiquement distinctes. Une stabilité honnêtement évaluée est encourageante ; rechercher la statistique de stabilité la plus flatteuse ajoute une nouvelle couche de tests.

Valoriser la qualité des preuves plutôt que le graphique le plus haut

Comparez les résultats à une référence simple, des coûts réalistes et des estimations d’incertitude. Un modèle complexe améliorant à peine un indicateur bruité ne justifie peut-être pas ses degrés de liberté supplémentaires. Examinez la part de l’avantage apparent issue d’une seule transaction, d’un seul actif ou d’une date de départ choisie.

Un rapport utile inclut l'historique de recherche, la spécification finale, les échecs et les hypothèses non résolues. Les résultats négatifs réduisent l'ensemble des idées plausibles et peuvent économiser des efforts futurs. Le but n'est pas de préserver une stratégie favorite, mais de déterminer si les éléments disponibles soutiennent une affirmation assez solide pour résister à la réplication. Sinon, la conclusion rigoureuse est l'incertitude, non un graphique commercial plus élaboré.

Compter les choix qui auraient pu changer le gagnant

Cinq longueurs de fenêtre, quatre seuils d’entrée et trois règles de sortie forment déjà 60 combinaisons. Choisir ensuite la date de début, écarter un actif gênant ou remplacer le critère de performance par un autre élargit la liberté de sélection. Le journal doit conserver ces décisions même prises manuellement. Sinon, le nombre annoncé de stratégies testées sous-estime la recherche qui a produit l’affirmation finale.

Pour une famille prédéfinie de 20 tests valides, Bonferroni applique un seuil individuel de 0,05 / 20 = 0,0025 afin de borner à 5 % la probabilité d’au moins un faux rejet. Cette borne ne nécessite pas l’indépendance, même si elle peut être conservatrice pour des tests proches. Le NIST présente l’inégalité sous-jacente. La correction ne répare ni des données biaisées, ni des tests individuels invalides, ni des essais supplémentaires cachés. Connaître la division ne suffit pas à connaître la vraie famille d’hypothèses.

Éviter tout faux positif et contrôler la proportion moyenne de faux positifs parmi les découvertes sont deux objectifs différents. Aucun ne démontre à lui seul la viabilité économique. Choisissez la méthode d’après la question, pas en essayant plusieurs corrections pour retenir la plus favorable. Vérifier continuellement si le résultat devient significatif crée une autre sélection, sauf si le protocole séquentiel tient compte de ces consultations répétées.

Évaluer la sélection exige de refaire la sélection. Si un rééchantillonnage génère d’autres données mais n’évalue que la stratégie déjà choisie, il oublie l’avantage obtenu en comparant de nombreux candidats. Chaque répétition doit reproduire la recherche déclarée, le critère de choix et l’évaluation ultérieure selon un modèle de données défendable. C’est plus exigeant qu’une bande d’incertitude autour d’une seule courbe, mais cela examine le processus qui a réellement produit le résultat.