Rullerende validering: hold morgendagen utenfor treningen

Test en prosess fremfor en endelig formel

En rullerende fremovertest tilpasser gjentatte ganger en modell med informasjon tilgjengelig på en historisk dato, fryser de resulterende beslutningene og evaluerer dem over et senere intervall. Deretter flyttes sekvensen fremover. Dette etterligner en analyseprosess som må fungere uten fremtidskunnskap. Det gjør ikke en strategi lønnsom eller fjerner all skjevhet.

Skriv ned hva som får endres på hvert trinn. Signalparametere, aktivautvalg, volatilitetsanslag og kostnadsforutsetninger er alle deler av fremgangsmåten. Hvis analytikeren justerer disse manuelt etter å ha sett en testperiode, er fremgangsmåten endret, og perioden er ikke lenger en ren vurdering. En reproduserbar plan er mer informativ enn et diagram satt sammen av skjønnsmessige revisjoner.

Velg bevisst mellom rullerende og utvidende historikk

Et ekspanderende vindu beholder alle tidligere observasjoner etter hvert som tiden går. Det kan stabilisere anslag, men også beholde data fra utdaterte markedsforhold. Et rullerende vindu bruker et fast nyere tidsrom, noe som gjør tilpasning enklere, men øker utvalgsstøyen. Ingen av tilnærmingene er universelt best; den relevante avveiningen avhenger av hvilken økonomisk sammenheng som forventes å vedvare.

Velg vinduslengder med en forsvarlig begrunnelse før du sammenligner resultater. Å prøve dusinvis av lengder og velge den beste flytter bare optimaliseringen til et høyere nivå. Registrer antall observasjoner, atskilte markedsepisoder og faktiske handler i hvert testintervall. Et langt kalenderintervall med svært få uavhengige beslutninger kan gi mindre bevis enn varigheten antyder.

Datalekkasje skjuler seg i klargjøringen av data

Kronologisk oppdeling er nødvendig, men ikke tilstrekkelig. Å standardisere en variabel med gjennomsnittet for hele utvalget lar fremtidige observasjoner påvirke tidligere inndata. Å velge overlevende verdipapirer, bruke reviderte makrotall eller ta med en rapport før publiseringstidspunktet gir andre former for etterpåklokskap. Tilpass transformasjoner på treningsdata og bevar historisk tilgjengelighet der det er mulig.

Målvariabler er også viktige. Hvis et treningseksempel predikerer avkastning målt over de neste fem dagene, kan utfallet overlappe begynnelsen av testperioden. Fjern eller skill ut observasjoner der målvariabelens tidsvindu krysser grensen. Programvare kan legge inn et gap mellom trenings- og testindekser, men å velge et meningsfullt gap krever forståelse av målhorisonter, publiseringsforsinkelser og avhengigheter i det aktuelle datasettet.

Datoen til en forklaringsvariabel er ikke tidspunktet da prognosemålet blir kjent. Et mandagssignal kan bruke daværende inndata, men den neste femdagersavkastningen er ikke ferdig på tirsdag. Tirsdagens omtrening kan ikke bruke den komplette etiketten. Utvalgsregelen må kontrollere hele målperioden og faktisk tilgjengelighet, ikke bare radens startdato.

Juster innenfor treningsutvalget, og bevar et urørt evalueringsutvalg

Parametervalg bør bare bruke informasjon innenfor treningsperioden, eventuelt gjennom en indre kronologisk valideringsprosedyre. Det ytre testintervallet evaluerer deretter den valgte prosedyren. Denne nestingen skiller det å velge en modell fra det å måle hvordan valget presterer. Den gjør også beregningen dyrere, noe som er bedre enn å få et billig, men forurenset resultat.

Slå sammen avkastningene fra de sekvensielle testene i faktisk tidsrekkefølge, inkludert perioder uten posisjon. Bruk gebyrer og gjennomføringsforutsetninger konsekvent. Ikke gjennomsnittsberegn attraktive forholdstall fra deltestene uten å undersøke deres økonomiske betydning: et kort, rolig intervall kan ellers få samme tilsynelatende betydning som et langt, volatilt. Vis spredningen mellom intervallene sammen med det samlede resultatet.

Et svakt resultat er nyttig evidens

Walk-forward-resultater som svekkes etter kostnader, avhenger av ett intervall eller endres dramatisk med en liten tidsjustering, fortjener undersøkelse fremfor kosmetisk reparasjon. Skill en data- eller implementeringsfeil fra en strategi som ganske enkelt mangler støtte. Å rette en reell feil kan begrunne en ny kjøring, men den tidligere kjennskapen til resultatene må fortsatt være en del av analysehistorikken.

Avslutt med en låst spesifikasjon og en genuint ny observasjonsperiode med papirhandel hvis videre evaluering er berettiget. Definer på forhånd hvilke data som skal samles inn, og hva som ville avkrefte forutsetningene. Formålet er ikke å fortsette optimaliseringen til en attraktiv linje dukker opp; det er å fastslå om en disiplinert, gjennomførbar prosedyre tåler muligheter til å mislykkes.

La posisjoner og kapital følge med over testgrensene

Omtrening lukker ikke automatisk posisjoner. Hvis testen januar–mars slutter med en posisjon som etter gammel regel skal ut i april, bestem på forhånd om gammel regel fortsetter, en dokumentert ny overtar, eller posisjonen lukkes med kostnader. Stille nullstilling til kontanter i hver del kan slette tap, gjenskape kapital eller hoppe over vanskelige overganger.

Kapitalen må også videreføres. Ti prosent gevinst fulgt av ti prosent tap gir 1,10 × 0,90 = 0,99, altså én prosent tap. Aritmetisk gjennomsnitt null gjenskaper ikke kontoen. Behold en tidsordnet serie med konsekvente kapital- og størrelsesregler. Ved overlappende perioder må samme dags resultat ikke telles to ganger; forklar modellvalg eller kapitaldeling mellom parallelle modeller.

Variabelutvalg, standardisering, utfylling av mangler og algoritmevalg må gjentas innenfor hver treningsgrense. En transformasjon tilpasset hele historikken kan lekke framtidsinformasjon selv om sluttmodellen trenes på nytt korrekt. TimeSeriesSplit hjelper med tidsordnede indeksdelinger, men kjenner ikke finansielle måls modning, reviderte publiseringer eller reglene for åpne posisjoner.

Lagre treningsslutt, tilgjengelige observasjoner, parametere, første mulige utførelse, inngående posisjoner, kostnader og utgående posisjoner per del. Begrunn utelatte data og ordrer. Etter feilretting skal hele prosessen kjøres konsekvent på nytt med gamle resultater bevart. En korrigert versjon på allerede undersøkte data er ikke et nytt urørt forsøk.