Den bedste backtest i regnearket

Udgangspunktet

Hypotetisk undervisningscase. Kursserien, strategien, handelsudfaldene og statistikken er opdigtede. De er ikke historiske data, en præstationspåstand eller et handelssignal. Lena tester en idé med glidende gennemsnit på en syntetisk aktiekurv. Efter at have prøvet 120 parameterkombinationer vælger hun det mest tillokkende resultat og præsenterer dets 200 simulerede handler som dokumentation for en robust fordel. En analysegennemgang spørger, hvad der blev valgt, hvad der blev udeladt, og hvad der stadig reelt er uset.

Rekonstruér den imponerende overskrift

Den valgte konfiguration har 110 gevinsthandler før omkostninger med en gennemsnitsgevinst på $180 og 90 tabshandler før omkostninger med et gennemsnitstab på $160. Bruttogevinsterne er $19,800 og bruttotabene $14,400, så der er $5,400 tilbage på tværs af 200 handler. Bruttogennemsnittet er $27 pr. handel, og gevinstraten er 55%. Ingen af tallene fortæller, om strategien overlever realistiske omkostninger, eller om udvælgelsesprocessen fandt et signal frem for held.

Lena antog kun $2 i omkostninger pr. afsluttet handel, hvilket reducerede resultatet med $400 til $5,000. Men den fiktive eksekveringsgennemgang anslår $6 i kurtage og udtrykkelige gebyrer, $12 i spreadomkostninger og $15 i yderligere slippage pr. afsluttet køb og salg. I alt er det $33 pr. handel eller $6,600 for hele stikprøven. Med de samme bruttoresultater bliver det reviderede nettoresultat et tab på $1,200, i gennemsnit minus $6 pr. handel.

Definér omkostninger uden at tælle dem to gange

Disse omkostningskomponenter giver kun mening, fordi den syntetiske backtest brugte friktionsfrie referencekurser. Hvis eksekveringer allerede var simuleret til bud- og udbudskurs, ville særskilt fradrag af hele spreadet igen overvurdere omkostningerne. Tilsvarende kan implementeringsafvigelse målt fra en beslutningskurs allerede indeholde spread og markedspåvirkning. Analyseloggen kræver en præcis definition af indgangsbenchmark, udgangsbenchmark og yderligere gebyrer.

En følsomhedstabel ville teste flere samlede omkostninger for ind- og udgang, ikke kun den mest gunstige for strategien. Ved $15 er nettoresultatet $2,400; ved $27 er det nul; ved $45 er det minus $3,600. Det er regnescenarier, ikke prognoser. Nulresultatomkostningen på $27 er særlig nyttig, fordi den viser, hvor lidt plads det valgte bruttoresultat har til eksekveringsusikkerhed, manglende udførelser og driftsfejl.

Udvælgelsesproblemet kommer før det endelige diagram

Lena valgte ikke denne konfiguration, før hun så stikprøven. Hun valgte den, fordi den klarede sig bedre end 119 alternativer på samme stikprøve. Selv strategier uden en varig forudsigelsesfordel kan frembringe en tiltalende vinder, når mange variationer afprøves. Som en bevidst stiliseret illustration: Hvis 120 uafhængige tests hver havde 5% sandsynlighed for et falsk positivt resultat, ville sandsynligheden for mindst ét være 1 − 0.95^120, cirka 99.79%.

De faktiske strategivarianter er sandsynligvis korrelerede, så beregningen baseret på uafhængighed er ikke en gyldig p-værdi for Lenas forskning. Dens rolle er at afdække problemet med mange tests, ikke at kvantificere det præcist. Hun skal registrere alle afprøvede varianter, inklusive kasserede indikatorer, ændrede datointervaller og manuelle undtagelser. En poleret slutgraf kan ikke afsløre, hvor mange mislykkede eksperimenter der var skjult bag den.

Reserver et ærligt evalueringssæt

Et bedre fiktivt forskningsdesign adskiller udvikling, validering og en afsluttende uberørt test. Lena kan bruge udviklingsdata til at forme idéen og valideringsdata til at sammenligne et begrænset, dokumenteret udvalg af valg. Når hun undersøger den afsluttende test og ændrer strategien som reaktion, er disse data ikke længere uberørte. Gentagne gange at kalde de samme data “uden for stikprøven” genskaber ikke uafhængigheden.

I en ny test med 60 handler antages 28 bruttogevinster på gennemsnitligt $170 og 32 bruttotab på gennemsnitligt $150. Bruttoresultatet er $4,760 − $4,800 = minus $40. Ved $33 pr. samlet ind- og udgang lægger omkostningerne $1,980 til, og nettoresultatet er minus $2,020. Denne lille opdigtede stikprøve beviser ikke, at strategien aldrig kan virke, men den understøtter ikke den oprindelige tillid. Den passende reaktion er undersøgelse eller forkastelse, ikke automatiske parameterændringer, indtil det tilbageholdte testsæt bliver grønt.

Gennemgangen viser de to stikprøver hver for sig før totalen. De korrigerede 200 udviklingshandler giver −1.200 dollar, og de nye 60 testhandler −2.020. Samlet er det −3.220 på 260 handler, cirka −12,38 pr. handel. Regningen er korrekt, men sammenlægning gør ikke data brugt til udvælgelse til uafhængige beviser. Den senere test vurderer beslutninger fastlagt før dens resultater blev set.

Kontrollér oplysningernes tidspunkt og tabenes forløb

Gennemgangen spørger også, om signalerne brugte data, som faktisk var tilgængelige før hver modelleret handel. En indikator baseret på lukkekursen kan normalt ikke begrunde en tidligere udførelse til netop den lukkekurs uden en forsvarlig eksekveringsmekanisme. Udvælgelse af investeringsuniverset bør ikke stiltiende udelade konkursramte eller afnoterede værdipapirer. Selskabshændelser, synkronisering af tidsstempler og forældede kurser kan ændre simulerede udfald væsentligt. Hver kontrol adresserer en mulig fejlkilde frem for at garantere fremtidig rentabilitet.

Til sidst registrerer Lena drawdowns, tab i træk, handelsomsætning og kapitalforbrug sammen med det samlede overskud. En strategi, der til sidst genvinder det tabte, kan stadig overskride en finansieringsgrænse undervejs. NFA advarer om, at hypotetiske resultater nyder godt af bagklogskab og ikke fuldt ud kan gengive oplevelsen af reel finansiel risiko. Papirhandel kan afdække problemer i arbejdsgangen, men dokumenterer ikke faktisk likviditet, skalerbarhed eller evnen til at følge en strategi, mens man taber rigtige penge.

Bestem, hvilke beviser der faktisk kan ændre konklusionen

Lenas næste skridt afhænger af fejlkilden. En tidsstempelfejl, som lukker morgendagens data ind, kræver rettelse og tilbagetrækning eller tydelig erstatning af berørte resultater. Er koden korrekt, men rimelige omkostninger opsluger fordelen, hjælper en ny grafoverskrift ikke. Forklarer én ekstrem gevinst næsten hele bruttoresultatet, skal afhængighedens økonomiske begrundelse og dækning i stikprøven undersøges.

En reproduktionspakke bør indeholde alle 120 konfigurationer, det præcise syntetiske datasæt, udvælgelseskriteriet, omkostningsreglerne og den fastlåste slutspecifikation. En anden bedømmer skal kunne genskabe både det flotte første resultat og den svagere rettelse. Gem den mislykkede version for at vise, hvilken antagelse der ændrede konklusionen. Reproducerbarhed kontrollerer beregningen, ikke fremtidig succes.

For de samme 200 handler øger en omkostning fra 33 til 45 dollar den samlede udgift med 2.400 og flytter netto fra −1.200 til −3.600. Hvis dårligere likviditet også forhindrer nogle udførelser, ændres selve handelslisten. Det kræver en ny udførelsessimulering, ikke bare et ekstra fradrag fra den gamle.

En regel inspireret af et mislykket separat testudvalg kan undersøges, men resultatet på de samme data er nu udviklingsevidens. En senere periode kan først teste revisionen, når specifikation og vurderingskriterier er fastlagt på forhånd. En ærlig konklusion kan være, at idéen mangler støtte; gennemgangen behøver ikke levere en strategi, der skal handles.

Hvor ræsonnementet går galt