Rullende validering: hold morgendagen ude af træningen

Test en proces frem for en endelig formel

En walk-forward-undersøgelse tilpasser gentagne gange en model med oplysninger, der var tilgængelige på en historisk dato, fastlåser de resulterende beslutninger og evaluerer dem over en senere periode. Derefter rykkes forløbet frem. Det efterligner en forskningsproces, som skal fungere uden viden om fremtiden. Det gør ikke en strategi rentabel eller fjerner al bias.

Skriv, hvad der må ændre sig ved hvert trin. Signalparametre, aktivudvælgelse, volatilitetsskøn og omkostningsantagelser er alle dele af proceduren. Hvis analytikeren justerer dem manuelt efter at have set en testperiode, har proceduren ændret sig, og perioden er ikke længere en ren evaluering. En reproducerbar tidsplan er mere oplysende end et diagram sammensat af skønsmæssige revisioner.

Vælg bevidst mellem rullende og voksende historik

Et voksende vindue bevarer alle tidligere observationer, efterhånden som tiden går. Det kan stabilisere skøn, men også bevare data fra forældede markedsforhold. Et rullende vindue bruger et fast nyligt tidsrum, hvilket gør tilpasning lettere, men øger stikprøvestøjen. Ingen tilgang er universelt bedre; den relevante afvejning afhænger af, hvilken økonomisk relation der forventes at bestå.

Vælg vindueslængder ud fra en forsvarlig begrundelse, før du sammenligner resultater. At prøve dusinvis af længder og vælge den bedste flytter blot optimeringen op på et højere niveau. Registrér antal observationer, særskilte markedsepisoder og faktiske handler i hvert testinterval. Et langt kalenderforløb med meget få uafhængige beslutninger kan give mindre dokumentation, end varigheden antyder.

Lækage skjuler sig i dataforberedelsen

Kronologisk opdeling er nødvendig, men ikke tilstrækkelig. Standardisering af en variabel med gennemsnittet fra hele stikprøven lader fremtidige observationer påvirke tidligere input. Udvælgelse af overlevende værdipapirer, brug af reviderede makroøkonomiske tal eller inddragelse af en indberetning før dens offentliggørelse skaber andre former for bagklogskab. Tilpas transformationer på træningsdata, og bevar så vidt muligt oplysninger om, hvad der var tilgængeligt på det pågældende tidspunkt.

Målværdier betyder også noget. Hvis et træningseksempel forudsiger et afkast målt over de næste fem dage, kan dets udfald overlappe begyndelsen af testperioden. Fjern eller adskil observationer, hvis målvinduer krydser grænsen. Software kan indsætte et mellemrum mellem trænings- og testindeks, men valg af et meningsfuldt mellemrum kræver forståelse af målværdiernes horisonter, offentliggørelsesforsinkelser og afhængigheder i det konkrete datasæt.

En forklarende variabels dato er ikke det tidspunkt, hvor prognosemålet kendes. Et mandagssignal kan bruge information tilgængelig mandag, men afkastet over de næste fem dage er ikke færdigt tirsdag. Tirsdagens genoptræning må ikke bruge den komplette målvariabel. Udvælgelsen skal kontrollere hele målperioden og faktisk tilgængelighed, ikke kun rækkens begyndelsesdato.

Tilpas inden for træningen, og bevar en urørt evaluering

Parameterudvælgelse bør kun bruge information inden for træningsområdet, eventuelt gennem en indre kronologisk valideringsprocedure. Det ydre testinterval evaluerer derefter den valgte procedure. Denne indlejring skelner mellem at vælge en model og at måle, hvordan valget klarer sig. Den gør også beregningen dyrere, hvilket er at foretrække frem for et billigt, men kontamineret resultat.

Saml de fortløbende testafkast i deres faktiske tidsrækkefølge, inklusive perioder uden position. Anvend gebyrer og antagelser om eksekvering konsekvent. Tag ikke gennemsnittet af attraktive nøgletal for enkelte testopdelinger uden at undersøge deres økonomiske betydning: ellers kan et kort, roligt interval få samme tilsyneladende vægt som et langt, volatilt interval. Vis spredningen på tværs af intervaller sammen med det samlede resultat.

Et svagt resultat er brugbar evidens

Walk-forward-resultater, der forringes efter omkostninger, afhænger af ét interval eller ændrer sig dramatisk ved en mindre timingjustering, bør undersøges frem for at blive kosmetisk repareret. Skeln mellem en data- eller implementeringsfejl og en strategi, der ganske enkelt mangler belæg. At rette en reel fejl kan retfærdiggøre en ny kørsel, men det tidligere kendskab til resultaterne skal fortsat indgå i forskningshistorikken.

Afslut med en fastlåst specifikation og en reelt ny observationsperiode med papirhandel, hvis yderligere evaluering er berettiget. Definér på forhånd, hvilke data der indsamles, og hvad der ville ugyldiggøre antagelserne. Formålet er ikke at optimere videre, indtil en tillokkende kurve dukker op; det er at fastslå, om en disciplineret, gennemførlig procedure overlever muligheder for at fejle.

Lad positioner og kapital fortsætte på tværs af testgrænser

Genoptræning lukker ikke automatisk positioner. Hvis testen januar–marts slutter med en position, som den gamle regel først lukker i april, så bestem på forhånd, om den gamle regel fortsætter, en dokumenteret ny overtager, eller positionen lukkes med omkostninger. Stiltiende nulstilling til kontanter kan slette tab, genskabe kapital eller undgå vanskelige overgange.

Kapitalen skal også videreføres. Ti procents gevinst efterfulgt af ti procents tab giver 1,10 × 0,90 = 0,99, altså én procents tab. Aritmetisk gennemsnit nul genskaber ikke kontoen. Bevar en kronologisk serie med konsekvente regler for kapital og størrelse. Ved overlappende testperioder må samme dag ikke tælles dobbelt; forklar modelvalg eller kapitalfordeling mellem parallelle modeller.

Variabeludvælgelse, standardisering, udfyldning af mangler og algoritmevalg skal gentages inden for hver træningsgrænse. En transformation tilpasset hele historikken kan lække fremtidig information trods korrekt genoptræning af slutmodellen. TimeSeriesSplit hjælper med tidsordnede indeksopdelinger, men kender ikke finansielle måls modning, reviderede meddelelser eller åbne positioners overgang.

Gem træningsslut, tilgængelige observationer, parametre, første mulige udførelse, startpositioner, omkostninger og slutpositioner for hver del. Begrund udeladte observationer og ordrer. Efter fejlrettelse skal hele processen køres konsekvent igen, og gamle resultater bevares. En rettet version på allerede undersøgte data er ikke et nyt urørt forsøg.