Multipel testning: når den bedste backtest er et heldigt tilfælde

Én rapporteret strategi kan skjule tusind forsøg

En analytiker kan offentliggøre én attraktiv backtest efter at have afprøvet mange signaler, parameterværdier, aktiver og stikprøveperioder. Den endelige graf viser ikke hele søgningen. Selv hvis ingen kandidater har en reel fordel, kan den flotteste kandidat virke imponerende, fordi nogle tilfældige forløb er gunstige.

Den relevante analyseenhed er derfor ikke kun den valgte regel, men også den procedure, der valgte den. En tærskel ændret efter gennemgang af resultater tæller som en del af søgningen, selv når der ikke blev kørt et formelt optimeringsprogram. Hukommelsesbaserede eksperimenter, kasserede regneark og uformel visuel inspektion kan alle bidrage til selektionsbias. En ærlig forskningslog synliggør disse valg.

Forstå den enkle sandsynlighedsillustration

Hvis tyve uafhængige tests hver har 5% sandsynlighed for et falsk positivt resultat, er sandsynligheden for mindst ét falsk positivt resultat 1 − 0.95²⁰, cirka 64.2%. Antagelsen om uafhængighed er vigtig: handelsvarianter er ofte korrelerede, så regnestykket er en illustration snarere end en præcis korrektion for et faktisk forskningsprogram.

Læren er ikke, at alle positive fund er falske. Den er, at en tærskel for én test ikke kan fortolkes på samme måde efter en bred søgning. Beslægtede parametervalg skaber ikke fuldt uafhængig dokumentation, men deres korrelation får heller ikke udvælgelsesbias til at forsvinde. At anslå søgningens effektive bredde er i sig selv usikkert og bør ikke fremstilles som et præcist antal.

En p-værdi er ikke sandsynligheden for, at hypotesen er sand, eller næste handel giver gevinst. Den beskriver en teststørrelses uforenelighed med en bestemt nulmodel under testens antagelser. En lille værdi kan også skyldes forkert støjmodel, overset afhængighed eller selektiv rapportering. Signifikans viser ikke alene, at effekten kan betale spread, finansiering og udførelse.

Beskyt hypotesen mod bedømmelsesreglen

Begynd med en økonomisk begrundelse, der præciserer, hvorfor en sammenhæng kan bestå, og hvorfor den kan holde op med at virke. Definér om muligt datarensning, omkostninger og evalueringskriterier, før du ser resultatet. Det fjerner ikke bias, men begrænser friheden til at efterkonstruere en fortælling omkring et heldigt mønster.

Før en forsøgslog med forkastede varianter og årsagen til hver ændring. Skeln mellem fejlfinding og ændring af hypotesen. At rette en tidsstempelfejl er noget andet end at flytte et stopniveau, fordi det forbedrer egenkapitalkurven. Begge ændringer bør registreres, da kendskab til resultaterne kan påvirke senere beslutninger, selv når den første ændring var berettiget.

En urørt stikprøve har begrænset levetid

En reserveret testperiode er kun værdifuld, så længe udviklingsarbejdet ikke rører den. Når en analytiker gentagne gange bruger den til at vælge mellem modeller, bliver den endnu en træningsressource. At kalde den uden for stikprøven vender ikke informationsstrømmen. En nyere periode eller en anden reelt uafhængig evaluering kan da være nødvendig.

Walk-forward-procedurer, indlejret udvælgelse og forskning i overtilpasning af backtests kan hjælpe med at undersøge udvælgelsesprocessen, men ingen af dem gør svage data til sikkerhed. Vurder stabilitet på tværs af fornuftige nærliggende parametre og økonomisk forskellige perioder. Stabilitet er opmuntrende, når den er vurderet ærligt; at lede efter den stabilitetsstatistik, der ser bedst ud, tilføjer endnu et testlag.

Beløn evidensens kvalitet frem for det højeste diagram

Sammenlign resultater med et enkelt benchmark, realistiske omkostninger og usikkerhedsskøn. En kompliceret model, der kun lige forbedrer et støjfyldt mål, retfærdiggør måske ikke sine ekstra frihedsgrader. Undersøg, hvor meget af den tilsyneladende fordel der kommer fra én handel, ét aktiv eller ét valg af startdato.

En nyttig rapport omfatter søgehistorikken, den endelige specifikation, fejlslagne forsøg og uafklarede forudsætninger. Negative fund indsnævrer mængden af plausible idéer og kan spare fremtidigt arbejde. Målet er ikke at bevare en yndlingsstrategi, men at finde ud af, om den tilgængelige dokumentation understøtter en påstand, der er stærk nok til at overleve gentagelse. Når den ikke gør, er den disciplinerede konklusion usikkerhed, ikke en mere avanceret reklamegraf.

Tæl alle valg, der kunne have ændret vinderen

Fem historiklængder, fire indgangstærskler og tre udgangsregler giver allerede 60 kombinationer. Efterfølgende valg af startdato, udeladelse af et besværligt aktiv eller skift af vurderingsmål udvider søgningen. Forsøgsloggen skal også omfatte manuelle beslutninger, ikke kun varianter fra en optimeringsrutine.

For en på forhånd fastlagt familie med 20 gyldige test sætter Bonferroni-korrektion niveauet for hver til 0,05 / 20 = 0,0025. Dermed begrænses sandsynligheden for mindst én fejlagtig forkastelse til højst fem procent. Grænsen kræver ikke uafhængighed, men kan være konservativ ved overlappende test. Den reparerer ikke skæve data, ugyldige enkelttest eller skjulte yderligere forsøg.

Kontrol af sandsynligheden for noget falsk positivt er ikke det samme som kontrol af den forventede andel falske fund blandt fundene. Ingen af delene beviser økonomisk levedygtighed. Vælg metode efter spørgsmålet, ikke ved at afprøve flere korrektioner og rapportere den mest bekvemme. Gentagne kig efter opnået signifikans skal også indgå i en sekventiel procedure.

En simulering af udvælgelsen skal gentage selve udvælgelsen. Hvis nye datasæt kun bruges til at vurdere den allerede valgte vinder, overses fordelen ved at søge blandt mange kandidater. Hver gentagelse bør gennemføre den oplyste søgning, udvælgelsesregel og efterfølgende evaluering under en forsvarlig datamodel. Et konfidensbånd omkring én flot kapitalkurve erstatter ikke dette.