Le meilleur backtest du tableur

Le contexte

Cas pédagogique hypothétique. La série de prix, la stratégie, les résultats des transactions et les statistiques sont inventés. Ils ne constituent ni historique réel, ni affirmation de performance, ni signal négociable. Lena teste une idée de moyenne mobile sur un panier synthétique d’actions. Après avoir essayé 120 combinaisons de paramètres, elle retient le résultat le plus attrayant et présente ses 200 transactions simulées comme preuve d’un avantage robuste. L’examen de recherche demande ce qui a été sélectionné, ce qui a été omis et ce qui demeure véritablement inédit.

Reconstituer le chiffre vedette impressionnant

La configuration retenue comporte 110 transactions gagnantes brutes, d’un gain moyen de $180, et 90 transactions perdantes brutes, d’une perte moyenne de $160. Les gains bruts s’élèvent à $19,800 et les pertes brutes à $14,400, soit un solde de $5,400 sur 200 transactions. La moyenne brute est de $27 par transaction et le taux de réussite de 55%. Aucun de ces chiffres n’indique si la stratégie résiste à des coûts réalistes ni si le processus de sélection a découvert un signal plutôt qu’un effet du hasard.

Lena ne supposait que $2 de coût aller-retour par transaction, réduisant le résultat de $400 à $5,000. Mais l’examen fictif de l’exécution estime $6 de commissions et charges explicites, $12 de coût de spread et $15 de glissement supplémentaire par aller-retour achevé. Le total est de $33 par transaction, soit $6,600 sur l’échantillon. Avec les mêmes résultats bruts, le résultat net révisé devient une perte de $1,200, soit une moyenne négative de $6 par transaction.

Définir les coûts sans les compter deux fois

Ces composantes de coûts n'ont de sens que parce que le backtest synthétique utilisait des prix de référence sans friction. Si les exécutions avaient déjà été simulées aux cours acheteur et vendeur, déduire à nouveau tout l'écart surestimerait les coûts. De même, l'écart d'exécution mesuré depuis un prix de décision peut déjà contenir l'écart acheteur-vendeur et l'impact de marché. Le journal de recherche doit définir précisément les références d'entrée et de sortie, ainsi que les frais supplémentaires.

Un tableau de sensibilité testerait plusieurs coûts totaux aller-retour, pas seulement le plus favorable à la stratégie. À $15, le résultat net est de $2,400 ; à $27, il est nul ; à $45, il est négatif de $3,600. Ce sont des scénarios arithmétiques, pas des prévisions. Le coût d’équilibre de $27 est particulièrement utile : il révèle la faible marge du résultat brut retenu pour absorber l’incertitude d’exécution, les exécutions manquées et les erreurs opérationnelles.

Le problème de sélection précède le graphique final

Lena n’a pas choisi cette configuration avant de voir l’échantillon. Elle l’a choisie parce qu’elle surpassait 119 variantes sur ce même échantillon. Même des stratégies sans avantage prédictif durable peuvent produire un gagnant séduisant lorsqu’on teste de nombreuses variantes. À titre d’illustration volontairement stylisée, si 120 tests indépendants avaient chacun 5% de probabilité de faux positif, la probabilité d’en avoir au moins un serait de 1 − 0.95^120, soit environ 99.79%.

Les variantes réelles de la stratégie sont probablement corrélées ; ce calcul fondé sur l'indépendance n'est donc pas une valeur p valide pour la recherche de Lena. Il sert à mettre en évidence le problème des tests multiples, non à le quantifier précisément. Elle doit consigner toutes les variantes essayées, y compris les indicateurs abandonnés, les périodes modifiées et les exceptions manuelles. Un graphique final soigné ne révèle pas combien d'expériences infructueuses se cachent derrière lui.

Réserver un jeu d’évaluation honnête

Un meilleur protocole de recherche fictif sépare développement, validation et test final intact. Lena peut utiliser les données de développement pour formuler l'idée et celles de validation pour comparer un ensemble limité et documenté de choix. Dès qu'elle examine le test final et modifie la stratégie en conséquence, ces données ne sont plus intactes. Qualifier à répétition les mêmes données de « hors échantillon » ne restaure pas leur indépendance.

Dans un nouveau test de 60 transactions, supposons 28 gains bruts moyens de $170 et 32 pertes brutes moyennes de $150. Le résultat brut est de $4,760 − $4,800 = moins $40. À $33 par aller-retour, les coûts ajoutent $1,980 et le résultat net est négatif de $2,020. Ce petit échantillon inventé ne prouve pas que la stratégie ne fonctionnera jamais, mais ne justifie pas la confiance initiale. La réponse appropriée est l’enquête ou le rejet, pas des changements automatiques de paramètres jusqu’à ce que l’échantillon réservé passe au vert.

La revue conserve les deux échantillons séparés avant de présenter leur somme. Le développement révisé perd 1 200 dollars sur 200 opérations ; le nouveau test perd 2 020 sur 60. Ensemble, ils perdent 3 220 sur 260 opérations, soit environ 12,38 dollars par opération. L’addition est correcte, mais elle ne transforme pas l’échantillon utilisé pour sélectionner la règle en preuve indépendante. Le test ultérieur a une autre fonction : évaluer des décisions fixées avant l’observation de ses résultats.

Vérifier le calendrier de l’information et la trajectoire des pertes

L’examen vérifie aussi si les signaux utilisaient des données réellement disponibles avant chaque transaction modélisée. Un indicateur de clôture ne peut normalement pas justifier une exécution antérieure à cette même clôture sans mécanisme d’exécution défendable. La sélection de l’univers ne doit pas écarter silencieusement les titres d’entreprises défaillantes ou radiés. Les opérations sur titres, l’alignement des horodatages et les cotations périmées peuvent modifier sensiblement les résultats simulés. Chaque contrôle vise une source possible d’erreur, sans garantir une rentabilité future.

Enfin, Lena consigne les replis, les pertes consécutives, la rotation et l’utilisation du capital en plus du bénéfice global. Une stratégie qui finit par se redresser peut quand même franchir entre-temps une limite de financement. La NFA rappelle que les résultats hypothétiques bénéficient du recul et ne peuvent reproduire pleinement l’expérience du risque financier réel. Les tests simulés peuvent révéler des problèmes de processus, mais n’établissent ni la liquidité réelle, ni la capacité à changer d’échelle, ni l’aptitude à suivre une stratégie en perdant de l’argent réel.

Déterminer quelles preuves pourraient vraiment changer la conclusion

La prochaine action de Lena dépend de la cause du problème. Si un bug temporel a introduit les données de demain dans le signal d’aujourd’hui, il faut corriger l’implémentation et retirer ou remplacer clairement les résultats concernés. Si le code est juste mais que des coûts plausibles absorbent l’avantage, changer l’étiquette du graphique ne suffit pas. Si un gain exceptionnel explique presque tout le bénéfice brut, il faut examiner si cette dépendance est économiquement crédible et suffisamment représentée dans l’échantillon.

Elle peut constituer un dossier reproductible : les 120 configurations, les données synthétiques exactes, le critère de sélection, toutes les conventions de coûts et la spécification finale figée. Un autre relecteur devrait retrouver tant le résultat séduisant initial que le résultat corrigé. Garder la version défaillante révèle l’hypothèse qui a modifié la conclusion. La reproductibilité est nécessaire pour vérifier un calcul, pas une preuve que la stratégie réussira.

Une sensibilité utile sépare variation des coûts et variation des opérations. Appliquer 45 dollars au lieu de 33 aux mêmes 200 opérations augmente les coûts de 2 400 et fait passer le résultat de −1 200 à −3 600. Mais si la moindre liquidité empêche certaines exécutions, la liste des résultats bruts change elle aussi. Il faut alors une nouvelle simulation, pas une déduction supplémentaire sur l’ancienne liste. Une table précise ne doit pas cacher un problème plus large dans le modèle d’exécution.

Enfin, Lena distingue une nouvelle expérience de la poursuite de l’ancienne recherche. Une règle inspirée par l’échec du test peut être étudiée, mais sa performance sur ce même échantillon appartient désormais au développement. Une période ultérieure ne teste proprement le processus révisé que si sa spécification et ses critères sont fixés d’abord. Conclure que l’idée actuelle manque de soutien est légitime ; la revue n’est pas obligée de produire une stratégie à mettre en marché.

Où le raisonnement déraille