Test multipli: quando il miglior backtest è un caso fortunato

Una strategia presentata può nascondere mille tentativi

Un ricercatore può pubblicare un backtest allettante dopo aver provato molti segnali, valori dei parametri, attività e date del campione. Il grafico finale non mostra l'intera ricerca. Anche se nessun candidato ha un vero vantaggio, quello che appare migliore può sembrare impressionante perché alcune sequenze casuali sono favorevoli.

L'unità di analisi pertinente non è quindi soltanto la regola selezionata, ma la procedura che l'ha selezionata. Una soglia modificata dopo aver esaminato i risultati fa parte della ricerca anche senza un programma formale di ottimizzazione. Esperimenti basati sulla memoria, fogli di calcolo scartati e ispezioni visive informali possono tutti contribuire alla distorsione da selezione. Un resoconto onesto della ricerca rende visibili queste scelte.

Comprendi la semplice illustrazione delle probabilità

Se venti test indipendenti hanno ciascuno una probabilità di falso positivo del 5%, la probabilità di almeno un falso positivo è 1 − 0.95²⁰, circa il 64,2%. L'ipotesi d'indipendenza è importante: le varianti di trading sono spesso correlate, quindi questa aritmetica è illustrativa, non una correzione precisa per un programma di ricerca reale.

La lezione non è che ogni risultato positivo sia falso. È che una soglia per un singolo test non può essere interpretata allo stesso modo dopo un'ampia ricerca. Scelte di parametri correlate non creano evidenze pienamente indipendenti, ma la loro correlazione non fa scomparire la distorsione da selezione. Stimare l'ampiezza effettiva della ricerca è a sua volta incerto e non dovrebbe essere mascherato da conteggio esatto.

Un valore p non è la probabilità che un’ipotesi sia vera né che vinca la prossima operazione. Misura l’incompatibilità di una statistica con uno specifico modello nullo, sotto le ipotesi del test. Un valore piccolo può riflettere anche dipendenza ignorata, un modello del rumore inadeguato o selezione dei risultati. La significatività statistica non stabilisce se l’effetto basti a coprire spread, finanziamento e implementazione.

Proteggi l'ipotesi dalla regola di valutazione

Parti da una motivazione economica che specifichi perché una relazione potrebbe persistere e perché potrebbe smettere di funzionare. Definisci pulizia dei dati, costi e criteri di valutazione prima di osservare il risultato, ove fattibile. Ciò non elimina le distorsioni, ma riduce la libertà di adattare retroattivamente una storia a uno schema fortunato.

Tieni un registro dei tentativi con le varianti scartate e il motivo di ogni modifica. Distingui la correzione degli errori dalla modifica delle ipotesi. Correggere un errore di data e ora è diverso da spostare uno stop perché migliora la curva del patrimonio. Entrambe le modifiche vanno registrate, perché vedere i risultati può influenzare decisioni successive anche quando il cambiamento iniziale era legittimo.

Un campione mai usato ha una vita limitata

Un periodo di verifica indipendente è prezioso soltanto finché rimane estraneo allo sviluppo. Una volta che il ricercatore lo consulta ripetutamente per scegliere tra modelli, diventa un'ulteriore risorsa di addestramento. Chiamarlo fuori campione non inverte il flusso di informazioni. Potrebbe quindi servire un periodo più recente o un'altra valutazione realmente indipendente.

Procedure walk-forward, selezione annidata e ricerca sul sovra-adattamento dei backtest possono aiutare a esaminare il processo di selezione, ma nessuna trasforma dati deboli in certezza. Valuta la stabilità in intervalli ragionevoli di parametri e periodi economicamente distinti. La stabilità è incoraggiante quando valutata onestamente; cercare la statistica di stabilità dall'aspetto migliore introduce un ulteriore livello di test.

Premia la qualità delle prove, non il grafico più alto

Confronta i risultati con un benchmark semplice, costi realistici e stime dell'incertezza. Un modello complicato che migliora appena una metrica rumorosa potrebbe non giustificare i suoi ulteriori gradi di libertà. Esamina quanto del vantaggio apparente deriva da una sola operazione, un solo asset o una scelta della data iniziale.

Un rapporto utile comprende la cronologia della ricerca, la specifica finale, gli insuccessi e le ipotesi irrisolte. I risultati negativi restringono l'insieme delle idee plausibili e possono risparmiare lavoro futuro. L'obiettivo non è preservare una strategia preferita, ma scoprire se le prove disponibili sostengono un'affermazione abbastanza solida da resistere alla replicazione. Quando non è così, la conclusione disciplinata è l'incertezza, non un grafico promozionale più elaborato.

Conta le scelte che avrebbero potuto cambiare il vincitore

Cinque finestre temporali, quattro soglie d’ingresso e tre regole d’uscita formano già 60 combinazioni. Scegliere poi la data iniziale, eliminare un’attività scomoda o cambiare il criterio di valutazione amplia la libertà di selezione. Registra anche le decisioni prese manualmente. Altrimenti il numero dichiarato di strategie provate sottostima la ricerca che ha prodotto l’affermazione finale.

Per una famiglia prestabilita di 20 test validi, Bonferroni applica a ciascuno il livello 0,05 / 20 = 0,0025 per limitare al 5% la probabilità di almeno un falso rifiuto. Il limite non richiede indipendenza, pur potendo essere conservativo per test correlati. Il NIST illustra la disuguaglianza sottostante. La correzione non ripara dati distorti, test individuali invalidi o esperimenti aggiuntivi nascosti. Conoscere la divisione non equivale a conoscere la vera famiglia di ipotesi.

Evitare qualsiasi falso positivo e controllare la proporzione attesa di falsi positivi fra le scoperte sono obiettivi diversi. Nessuno dimostra da solo sostenibilità economica. Scegli il procedimento in funzione della domanda, non provando varie correzioni e conservando quella più favorevole. Controllare ripetutamente se il risultato sia diventato significativo introduce altra selezione, salvo che il disegno sequenziale tenga conto di quelle verifiche.

Valutare la selezione richiede di ripeterla. Se un ricampionamento genera altri dati ma misura soltanto la strategia già scelta, omette il vantaggio ottenuto cercando fra tanti candidati. Ogni ripetizione deve applicare ricerca dichiarata, criterio di scelta e valutazione successiva sotto un modello di dati difendibile. È più impegnativo di una banda attorno a una curva attraente, ma esamina il procedimento che ha realmente generato il risultato.