Backtesting uden selvbedrag
En historisk simulering er et forskningsredskab, ikke en tidsmaskine eller et løfte om resultater i virkelig handel.
Skriv reglen, før du undersøger svaret
En backtest anvender specificerede beslutningsregler på historiske data og beregner, hvad en modelleret række handler ville have givet. Dens værdi ligger i at udsætte en hypotese for dokumentation. Hvis reglen ændres, hver gang et tabseksempel dukker op, bliver øvelsen en beskrivelse af fortiden frem for en test af en gentagelig beslutningsproces.
Begynd med instrumentunivers, observationsinterval, indgangsbetingelse, exitbetingelse, størrelsesmetode og omkostningsmodel. Definér, hvornår oplysninger bliver tilgængelige, og hvornår en ordre tidligst kunne udføres. En strategi baseret på en lukkekurs kan normalt ikke uden yderligere begrundelse antage, at den kendte den endelige lukkekurs på forhånd og blev udført til præcis samme pris.
Hold øje med information, der lækker bagud i tiden
Fremadskuende bias opstår, når simuleringen bruger information, som ikke var tilgængelig på beslutningstidspunktet. Eksempler er reviderede økonomiske data, en senere regnskabsmeddelelse eller en fremtidig liste over indeksmedlemmer. En historisk database kan være fuldstændig korrekt i dag og alligevel være uegnet til at rekonstruere, hvad en person faktisk vidste på et tidligere tidspunkt.
Overlevelsesbias opstår, når det testede univers udelader instrumenter, der er forsvundet. En strategi, der kun testes på selskaber, som stadig eksisterer, kan overse konkurser, afnoteringer og opkøb, der påvirkede de historiske muligheder. Det samme problem kan opstå med mislykkede kryptotokens eller nedlagte fonde. Dokumentér, hvordan datasættet håndterer forsvindinger, frem for stiltiende at slette besværlige poster.
Selskabshændelser kræver særskilt kontrol. Ved et aktiesplit to for én bliver 100 aktier til 40 dollar til 200 aktier til cirka 20 dollar, før andre prisændringer. Splittet halverer ikke positionens værdi. Justerede priser kombineret med ujusterede antal kan opfinde gevinster og tab. Et kontantudbytte skal ikke lægges til en serie, som allerede inkluderer geninvesteringen. Adskil signalpriser, priser man kan handle til, og positionsregnskab.
Gør eksekvering til en model, ikke en tjeneste
At et kurslys berører en limitpris beviser ikke, at hele din ordre ville være blevet eksekveret. Køplacering, tilgængelig mængde og forløbet inde i kurslyset har betydning. Hvis både stop og mål berøres i samme søjle, afslører søjlen alene måske ikke, hvad der skete først. Behandl sådan tvetydighed forsigtigt, eller brug data, der kan fastslå rækkefølgen.
Medtag spread, kurtage, finansiering, relevante låneomkostninger og plausibel slippage. Skattebehandling afhænger af jurisdiktion og omstændigheder, så en generisk simulering bør angive, om resultaterne er før skat, frem for at opfinde en universel sats. Sammenlign resultater under flere omkostningsantagelser. En metode, der kun lykkes med gratis og øjeblikkelig udførelse, er skrøbelig.
Adskil opdagelse fra vurdering
At afprøve hundredvis af parameterkombinationer og præsentere den bedste skaber et udvælgelsesproblem. En kombination kan se fremragende ud ved et tilfælde. Reservér data, der ikke blev brugt til at udvikle reglen, og undgå at konsultere reserven gentagne gange, indtil den bliver endnu en træningsstikprøve. En fremadrettet papirtest giver en anden kontrol, fordi nye observationer ankommer, efter at reglerne er fastlagt.
Rapportér mislykkede varianter, stikprøvestørrelse, datointerval og antal forsøg, ikke kun vinderdiagrammet. Undersøg, om nærliggende parametervalg opfører sig tilsvarende, eller om én isoleret indstilling skaber hele gevinsten. Hypotetiske resultater forbliver hypotetiske, selv når regnearket er præcist til flere decimaler. Likviditet, følelser og driftsproblemer gengives ikke fuldt ud af historisk regning.
Før en analyselog over dataversioner og beregningsændringer. En rettet splitjustering eller en nyligt medtaget afnotering kan ændre et resultat væsentligt, og rettelsen bør forblive synlig. Reproducerbarhed betyder, at en anden person kan genskabe samme svar ud fra de angivne input og regler. Det betyder ikke, at svaret er økonomisk nyttigt, men det er et nødvendigt skridt mod at finde ud af det.
Genskab én handel, før du stoler på tusind
Vælg en handel, og genskab tidslinjen: dataenes dato, faktisk tilgængelighed, beslutning, ordreankomst, udførelser og gebyrer. Tidspunkterne kan ikke udskiftes. En meddelelse offentliggjort efter tirsdagens lukning kan ikke begrunde en handel tirsdag morgen. Tidszoner og sommertid kan også ubemærket føre fremtidig information ind i testen.
Afstem hele kontoen, ikke kun afsluttede handler. Indgående kontanter, eksterne pengestrømme, realiserede resultater og værdien af åbne positioner skal forklare den afsluttende egenkapital. En liste over lukkede handler kan skjule store urealiserede tab. Samtidige signaler kan ikke hver bruge de samme penge. Simulatoren behøver regler for konkurrerende ordrer, utilstrækkelig købekraft og åbne positioner ved periodens slutning.
Afprøv små kunstige datasæt med kendt facit. Konstant pris uden gebyrer må ikke skabe handelsgevinst. Et rent split skal bevare formuen, når antallet justeres. Ved uændrede handler skal højere kurtage reducere resultatet præcis med merbetalingen. En manglende pris kræver dokumenteret håndtering, ikke en skjult handel til nul eller ubegrænset videreførelse af en gammel kurs.
Vælg en relevant reference. En strategi, der kun køber aktier, kan tjene på markedets generelle stigning. Sammenlign med defineret passiv eksponering på samme datoer og ens behandling af udbytte og kontanter. Tid uden for markedet ændrer også eksponering og alternativomkostning. En højere slutsaldo skal forklares; den beviser ikke automatisk dygtig timing.