Walk-forward-validering: håll morgondagen utanför träningen

Testa en process, inte en slutlig formel

En framåtrullande studie anpassar upprepade gånger en modell med information som fanns tillgänglig vid ett historiskt datum, låser de resulterande besluten och utvärderar dem under ett senare intervall. Sedan flyttas sekvensen framåt. Detta efterliknar en forskningsprocess som måste fungera utan framtidskunskap. Det gör inte en strategi lönsam och tar inte bort all snedvridning.

Skriv ned vad som får ändras i varje steg. Signalparametrar, tillgångsurval, volatilitetsskattningar och kostnadsantaganden är alla delar av förfarandet. Om analytikern ändrar dem manuellt efter att ha sett en testperiod har förfarandet ändrats, och perioden är inte längre en ren bedömning. En reproducerbar tidsplan är mer informativ än ett diagram sammansatt av godtyckliga revideringar.

Välj medvetet rullande eller växande historik

Ett expanderande fönster behåller alla tidigare observationer när tiden går. Det kan stabilisera skattningar men också bevara data från inaktuella marknadsförhållanden. Ett rullande fönster använder en fast längd av den senaste historiken, vilket underlättar anpassning men ökar stickprovsbruset. Ingen metod är alltid bättre; avvägningen beror på vilket ekonomiskt samband som väntas bestå.

Välj fönsterlängder av ett försvarbart skäl innan resultaten jämförs. Att prova dussintals längder och välja den bästa flyttar bara optimeringen till en högre nivå. Dokumentera antal observationer, skilda marknadsepisoder och faktiska affärer i varje testintervall. Ett långt kalenderspann med få oberoende beslut kan ge mindre stöd än längden antyder.

Läckage gömmer sig i databearbetningen

Kronologisk uppdelning är nödvändig men inte tillräcklig. Att standardisera en variabel med hela stickprovets medelvärde låter framtida observationer påverka tidigare indata. Urval av överlevande värdepapper, reviderade makroekonomiska siffror eller användning av en rapport före publiceringstidpunkten ger andra former av efterhandskunskap. Anpassa transformationer på träningsdata och bevara den information som fanns tillgänglig vid varje tidpunkt där det är möjligt.

Även målvariabler spelar roll. Om ett träningsexempel förutsäger avkastning över de följande fem dagarna kan utfallet överlappa testperiodens början. Ta bort eller separera observationer vars utfallsfönster korsar gränsen. Programvara kan lägga in ett mellanrum mellan tränings- och testindex, men ett meningsfullt mellanrum kräver förståelse för utfallshorisonter, publiceringsfördröjningar och beroenden i just det datamaterialet.

En variabels datum är inte samma sak som tidpunkten då dess prognosmål blir känt. En måndagssignal kan använda då kända indata, men dess följande femdagarsavkastning är ännu inte färdig på tisdagen. Tisdagens omträning får inte använda den fullständiga etiketten. Urvalsregeln behöver kontrollera hela målperioden och faktisk tillgänglighet, inte bara radens startdatum.

Justera inom träningen och behåll en orörd utvärdering

Parametrar bör väljas enbart med information inom träningsområdet, eventuellt genom en inre kronologisk valideringsprocess. Det yttre testintervallet utvärderar sedan den valda processen. Denna nästling skiljer modellval från mätning av hur valet fungerar. Den gör också beräkningen dyrare, vilket är bättre än ett billigt men kontaminerat resultat.

Sammanställ de sekventiella testavkastningarna i faktisk tidsordning, inklusive perioder utan position. Tillämpa avgifter och genomförandeantaganden konsekvent. Ta inte medelvärden av attraktiva kvoter för testdelar utan att granska deras ekonomiska innebörd: ett kort lugnt intervall kan annars få samma skenbara vikt som ett långt volatilt. Visa spridningen mellan intervallen tillsammans med det sammanlagda resultatet.

Ett svagt resultat är användbara belägg

Walk-forward-resultat som försämras efter kostnader, beror på ett enda intervall eller förändras dramatiskt vid en liten tidsjustering förtjänar utredning snarare än kosmetisk reparation. Skilj ett data- eller implementationsfel från en strategi som helt enkelt saknar stöd. Att rätta en verklig bugg kan motivera en ny körning, men den tidigare insynen i resultaten måste förbli en del av forskningshistoriken.

Avsluta med en låst specifikation och en genuint ny observationsperiod med simulerad handel om ytterligare utvärdering är motiverad. Bestäm i förväg vilka data som ska samlas in och vad som skulle kullkasta antagandena. Syftet är inte att fortsätta optimera tills en attraktiv kurva uppstår, utan att fastställa om ett disciplinerat, genomförbart arbetssätt klarar tillfällen då det kan misslyckas.

Låt positioner och kapital följa med över testgränserna

Omanpassning av modellen stänger inte automatiskt innehav. Om ett test för januari–mars slutar med en position som enligt gammal regel ska stängas i april, bestäm i förväg om regeln fortsätter, ersätts dokumenterat eller om positionen stängs med kostnader. Tyst återställning till kassa vid varje del kan radera förluster, återskapa kapital eller undvika svåra övergångar.

Kapitalet måste också föras vidare. Tio procents vinst följd av tio procents förlust ger 1,10 × 0,90 = 0,99, alltså en procents förlust. Ett aritmetiskt genomsnitt på noll återskapar inte kontot. Behåll en tidsordnad serie med konsekventa kapital- och storleksregler. Vid överlappande testperioder får samma dag inte räknas dubbelt; ange modellval eller kapitalfördelning mellan parallella modeller.

Variabelurval, standardisering, hantering av saknade värden och algoritmval behöver göras inom varje träningsgräns. En transformation anpassad till hela historiken kan läcka framtid trots korrekt omträning av slutmodellen. TimeSeriesSplit hjälper till med tidsordnade indexdelningar, men känner inte finansiella måls mognad, reviderade publiceringar eller regler för öppna positioner.

Spara träningsslut, tillgängliga observationer, parametrar, första möjliga avslutstid, ingående innehav, kostnader och utgående innehav för varje del. Dokumentera bortvalda observationer och order. Efter en buggfix ska hela processen köras om konsekvent, med tidigare resultat bevarade. En korrigerad version på redan granskade data är inte ett nytt orört experiment.