Il miglior backtest del foglio di calcolo

Il contesto iniziale

Caso didattico ipotetico. Serie dei prezzi, strategia, risultati delle operazioni e statistiche sono inventati. Non sono un dato storico, una dichiarazione di performance o un segnale utilizzabile per operare. Lena testa un'idea basata sulla media mobile su un paniere azionario sintetico. Dopo aver provato 120 combinazioni di parametri, sceglie il risultato più attraente e presenta le sue 200 operazioni simulate come prova di un vantaggio robusto. Una revisione della ricerca chiede che cosa sia stato selezionato, che cosa omesso e che cosa resti davvero inesaminato.

Ricostruisci il dato principale impressionante

La configurazione selezionata ha 110 operazioni vincenti lorde con media $180 e 90 perdenti lorde con media $160. I guadagni lordi sono $19,800 e le perdite lorde $14,400, lasciando $5,400 su 200 operazioni. La media lorda è $27 per operazione e il tasso di successo è 55%. Nessuno dei due numeri dice se la strategia sopravviva a costi realistici o se il processo di selezione abbia scoperto un segnale anziché fortuna.

Lena ipotizzava solo $2 di costo complessivo di apertura e chiusura per operazione, riducendo il risultato di $400 a $5,000. Ma la revisione fittizia dell'esecuzione stima $6 di commissioni e oneri espliciti, $12 di costo dello spread e $15 di slippage aggiuntivo per ogni operazione completata. Il totale è $33 per operazione, ovvero $6,600 sull'intero campione. A parità di risultati lordi, il risultato netto rivisto è una perdita di $1,200, pari in media a −$6 per operazione.

Definisci i costi senza contarli due volte

Questi componenti di costo hanno senso soltanto perché il backtest sintetico utilizzava prezzi di riferimento senza attriti. Se gli eseguiti fossero già stati simulati al denaro e alla lettera, sottrarre separatamente ancora l'intero spread sovrastimerebbe i costi. Analogamente, l'implementation shortfall misurato da un prezzo decisionale può già contenere spread e impatto di mercato. Il registro della ricerca richiede una definizione precisa di benchmark d'entrata, benchmark d'uscita e oneri aggiuntivi.

Una tabella di sensibilità verificherebbe diversi costi totali per operazione completa, non solo quello più favorevole alla strategia. A $15 il risultato netto è $2,400; a $27 è zero; a $45 è meno $3,600. Sono scenari aritmetici, non previsioni. Il costo di pareggio di $27 è particolarmente utile perché rivela quanto poco margine abbia il risultato lordo selezionato per incertezza di esecuzione, ordini ineseguiti ed errori operativi.

Il problema di selezione viene prima del grafico finale

Lena non ha scelto questa configurazione prima di vedere il campione. L'ha scelta perché ha superato 119 alternative sullo stesso campione. Anche strategie prive di un vantaggio predittivo durevole possono produrre un vincitore allettante quando si provano molte varianti. Come esempio volutamente stilizzato, se 120 test indipendenti avessero ciascuno il 5% di probabilità di un falso positivo, la probabilità di averne almeno uno sarebbe 1 − 0.95^120, circa 99.79%.

Le varianti effettive della strategia sono probabilmente correlate, quindi quel calcolo basato sull'indipendenza non è un p-value valido per la ricerca di Lena. Serve a evidenziare il problema dei test multipli, non a quantificarlo con precisione. Deve registrare tutte le varianti provate, inclusi indicatori scartati, finestre temporali modificate ed eccezioni manuali. Un grafico finale curato non rivela quanti esperimenti falliti si nascondano dietro.

Riserva un insieme di valutazione onesto

Un migliore progetto di ricerca fittizio separa sviluppo, validazione e un test finale mai esaminato. Lena può usare i dati di sviluppo per formulare l'idea e quelli di validazione per confrontare un insieme limitato e documentato di scelte. Una volta esaminato il test finale e modificata la strategia di conseguenza, quei dati non sono più intatti. Chiamare ripetutamente gli stessi dati «fuori campione» non ne ripristina l'indipendenza.

In un nuovo test di 60 operazioni, ipotizza 28 vincite lorde medie di $170 e 32 perdite lorde medie di $150. Il risultato lordo è $4,760 − $4,800 = meno $40. A $33 per operazione completa, i costi aggiungono $1,980 e il risultato netto è meno $2,020. Questo piccolo campione inventato non prova che la strategia non possa mai funzionare, ma non sostiene la fiducia originale. La risposta appropriata è indagare o scartare, non modificare automaticamente i parametri finché il campione riservato non diventa positivo.

La revisione mantiene separati i campioni prima di presentarne il totale. Lo sviluppo corretto perde 1.200 dollari su 200 operazioni; il nuovo test perde 2.020 su 60. Insieme sono −3.220 su 260 operazioni, circa −12,38 per operazione. La somma è corretta, ma non rende indipendente il campione utilizzato per selezionare la regola. Il test successivo ha un’altra funzione: valutare decisioni fissate prima di osservare quei risultati.

Verifica la tempistica delle informazioni e il percorso delle perdite

La revisione chiede anche se i segnali usassero dati effettivamente disponibili prima di ogni operazione modellata. Un indicatore sul prezzo di chiusura normalmente non può giustificare un'esecuzione precedente a quello stesso prezzo senza un meccanismo di esecuzione difendibile. La selezione dell'universo non dovrebbe scartare silenziosamente titoli falliti o delistati. Operazioni societarie, allineamento temporale e quotazioni obsolete possono modificare sensibilmente i risultati simulati. Ogni verifica affronta una possibile fonte d'errore invece di offrire una garanzia di redditività futura.

Infine Lena registra drawdown, perdite consecutive, rotazione e utilizzo del capitale insieme al profitto complessivo. Una strategia che alla fine recupera può comunque violare un limite di finanziamento durante il percorso. La NFA avverte che i risultati ipotetici beneficiano del senno di poi e non possono riprodurre pienamente l'esperienza del rischio finanziario reale. I test simulati possono rivelare problemi di procedura, ma non dimostrano liquidità reale, scalabilità o capacità di seguire una strategia mentre si perde denaro vero.

Decidi quali prove potrebbero cambiare davvero la conclusione

Il passo seguente di Lena dipende dalla causa. Se un errore temporale ha inserito dati futuri, occorre correggere l’implementazione e ritirare o sostituire chiaramente i risultati coinvolti. Se il codice è corretto ma costi plausibili consumano il vantaggio, cambiare l’etichetta del grafico non aiuta. Se un solo guadagno eccezionale spiega quasi tutto il profitto lordo, bisogna esaminare se quella dipendenza sia credibile economicamente e rappresentata adeguatamente nel campione.

Lena può preparare un pacchetto riproducibile: tutte le 120 configurazioni, i dati sintetici esatti, il criterio di selezione, le convenzioni sui costi e la specifica finale congelata. Un revisore dovrebbe poter ricreare sia il risultato iniziale attraente sia quello corretto. Conservare la versione fallita mostra quale ipotesi abbia cambiato la conclusione. La riproducibilità permette di verificare il calcolo, ma non dimostra che la strategia avrà successo.

Una sensibilità utile separa costi e composizione delle operazioni. Applicare 45 invece di 33 dollari alle stesse 200 operazioni aumenta gli oneri di 2.400 e porta il netto da −1.200 a −3.600. Se la minore liquidità impedisce alcune esecuzioni, cambia però anche l’elenco dei risultati lordi. Serve allora una nuova simulazione d’esecuzione, non un’ulteriore deduzione dall’elenco vecchio. Una tabella precisa non deve nascondere un problema più ampio nel modello delle esecuzioni.

Infine Lena distingue un nuovo esperimento dalla prosecuzione della ricerca precedente. Una regola ispirata dal test fallito può essere studiata, ma il risultato sullo stesso campione appartiene allo sviluppo. Un periodo successivo valuta correttamente il processo rivisto solo se specifica e criteri vengono fissati prima. Concludere che l’idea attuale non è sufficientemente sostenuta è legittimo; la revisione non è obbligata a produrre una strategia da negoziare.

Dove il ragionamento sbaglia