Walk-forwardvalidatie: houd morgen buiten de training

Test een proces in plaats van een uiteindelijke formule

Een walk-forwardonderzoek past herhaaldelijk een model aan met informatie die op een historische datum beschikbaar was, zet de daaruit voortvloeiende beslissingen vast en beoordeelt ze over een latere periode. Daarna schuift de reeks door. Dit bootst een onderzoeksproces na dat zonder toekomstkennis moet werken. Het maakt een strategie niet winstgevend en elimineert niet alle vertekening.

Schrijf op wat bij elke stap mag veranderen. Signaalparameters, activaselectie, volatiliteitsschattingen en kostenaannames maken allemaal deel uit van de procedure. Als de onderzoeker deze handmatig aanpast na het zien van een testperiode, is de procedure veranderd en is die periode geen zuivere beoordeling meer. Een reproduceerbaar schema geeft meer inzicht dan een grafiek samengesteld uit naar eigen inzicht gemaakte herzieningen.

Kies bewust tussen voortschrijdende en uitbreidende historie

Een uitbreidend venster behoudt alle eerdere waarnemingen naarmate de tijd verstrijkt. Dat kan schattingen stabiliseren, maar ook gegevens uit achterhaalde marktomstandigheden behouden. Een voortschrijdend venster gebruikt een vaste recente periode, waardoor aanpassing makkelijker wordt maar de steekproefruis toeneemt. Geen van beide methoden is altijd beter; de relevante afweging hangt af van welk economisch verband naar verwachting standhoudt.

Kies vensterlengten op verdedigbare gronden voordat je resultaten vergelijkt. Tientallen lengten proberen en de beste kiezen verplaatst optimalisatie slechts naar een hoger niveau. Noteer in elk testinterval het aantal waarnemingen, afzonderlijke marktperioden en daadwerkelijke transacties. Een lange kalenderperiode met heel weinig onafhankelijke beslissingen kan minder bewijs leveren dan de duur suggereert.

Datalekkage verschuilt zich in de gegevensvoorbereiding

Chronologisch splitsen is noodzakelijk maar niet voldoende. Een kenmerk standaardiseren met het gemiddelde van de volledige steekproef laat toekomstige waarnemingen eerdere invoer beïnvloeden. Overlevende effecten selecteren, herziene macro-economische cijfers gebruiken of een rapportage verwerken vóór publicatie veroorzaakt andere vormen van kennis achteraf. Pas transformaties op trainingsgegevens aan en bewaar waar mogelijk de beschikbaarheid zoals die op elk moment was.

Ook labels zijn belangrijk. Als een trainingsvoorbeeld een rendement over de volgende vijf dagen voorspelt, kan de uitkomst het begin van de testperiode overlappen. Verwijder of scheid waarnemingen waarvan de labelvensters de grens overschrijden. Software kan een tussenruimte invoegen tussen trainings- en testindices, maar een zinvolle tussenruimte kiezen vereist begrip van labelhorizons, publicatievertragingen en afhankelijkheden in de betreffende gegevensset.

Scheid de datum van de kenmerken van de datum waarop de te voorspellen uitkomst bekend is. Een signaal van maandag kan uitsluitend maandag beschikbare gegevens gebruiken, terwijl zijn toekomstige vijfdaagse rendement dinsdag nog onbekend is. Een hertraining op dinsdag mag dat reeds complete label niet benutten. Toelating vereist dus controle van het volledige uitkomstvenster en de beschikbaarheid, niet alleen van het eerste tijdstempel van de rij.

Stem af binnen de training en houd de evaluatie onaangeroerd

Parameterselectie moet uitsluitend plaatsvinden met informatie binnen het trainingsvenster, eventueel via een interne chronologische validatieprocedure. Het buitenste testinterval beoordeelt vervolgens de geselecteerde procedure. Deze geneste opzet maakt onderscheid tussen het kiezen van een model en meten hoe die keuze presteert. Ze maakt de berekening ook duurder, wat beter is dan een goedkoop maar vervuild resultaat verkrijgen.

Voeg de opeenvolgende testrendementen samen in hun werkelijke tijdsvolgorde, inclusief perioden zonder positie. Pas kosten en uitvoeringsaannames consequent toe. Neem niet het gemiddelde van aantrekkelijke ratio's per testdeel zonder hun economische betekenis te onderzoeken: een kort, rustig interval kan anders even belangrijk lijken als een lang, volatiel interval. Toon naast het gecombineerde resultaat ook de spreiding tussen intervallen.

Een zwak resultaat is bruikbaar bewijs

Walk-forward-resultaten die na kosten verslechteren, van één interval afhangen of sterk veranderen bij een kleine timingaanpassing verdienen onderzoek, geen cosmetische reparatie. Maak onderscheid tussen een gegevens- of implementatiefout en een strategie waarvoor eenvoudigweg onvoldoende steun bestaat. Een echte fout herstellen kan een nieuwe testrun rechtvaardigen, maar de eerdere blootstelling aan resultaten moet deel blijven uitmaken van de onderzoeksgeschiedenis.

Sluit af met vastgelegde specificaties en een werkelijk nieuwe periode van oefenwaarnemingen als verdere evaluatie gerechtvaardigd is. Bepaal vooraf welke gegevens worden verzameld en wat de aannames zou ontkrachten. Het doel is niet blijven optimaliseren totdat een aantrekkelijke lijn verschijnt, maar vaststellen of een gedisciplineerde, uitvoerbare procedure kansen om te falen doorstaat.

Laat de portefeuille doorlopen over testgrenzen

Een model opnieuw afstellen betekent niet automatisch de portefeuille liquideren. Eindigt een test van januari tot maart met een positie waarvan de oorspronkelijke exit in april ligt, bepaal dan of zij de oude regel volgt, een gedocumenteerde nieuwe regel overneemt of met kosten wordt gesloten. Elk venster zonder geboekte sluiting naar cash terugzetten kan verliezen wissen, kapitaal verzinnen of moeilijke overgangen vermijden. Er zijn regels nodig voor bestaande posities én nieuwe voorspellingen.

Ook kapitaal moet doorlopen. Een testwinst van 10% en een daaropvolgend verlies van 10% geven 1,10 × 0,90 = 0,99: een nettoverlies van 1%. Het gemiddelde van nul reconstrueert de rekening niet. Bewaar de chronologische rendementsreeks onder consistente financierings- en grootteregels en bereken daarop de totaalcijfers. Overlappen testvensters, tel dan dezelfde rekeningrendementen niet dubbel: leg vast welk model beslist of hoe modellen kapitaal delen.

Selectie hoort binnen elke trainingsgrens, inclusief keuze van kenmerken, schaling en invullen van ontbrekende gegevens. Een transformatie die eenmaal op de hele dataset is aangepast blijft besmet, ook als de uiteindelijke schatter eerlijk opnieuw wordt getraind. TimeSeriesSplit biedt chronologische splitsingen en een optionele indexafstand, maar kent niet de rijping van financiële labels, gegevensrevisies of behandeling van open posities. Dat blijft de verantwoordelijkheid van het onderzoeksontwerp.

Houd per venster een log bij met trainingsgrens, toegestane waarnemingen, geselecteerde specificatie, eerste uitvoerbare tijdstip, beginposities, kosten en eindposities. Noteer ook redenen voor weggelaten observaties en orders. Zo kun je een zwakker mechanisme onderscheiden van een veranderd sample of grensfout. Na een bugfix wordt de procedure consistent herhaald, met behoud van het eerdere resultaat, niet gepresenteerd als een nooit eerder bekeken experiment.