Multippel testing: når den beste historiske testen er et heldig sammentreff
Spor søkeprosessen og skill en reell hypotese fra vinneren av en stor historisk konkurranse.
Én rapportert strategi kan skjule tusen forsøk
En analytiker kan publisere én attraktiv historisk test etter å ha prøvd mange signaler, parameterverdier, eiendeler og utvalgsdatoer. Det endelige diagrammet viser ikke hele søket. Selv om ingen kandidat har en reell fordel, kan den peneste se imponerende ut fordi noen tilfeldige sekvenser er gunstige.
Den relevante analyseenheten er derfor ikke bare den valgte regelen, men fremgangsmåten som valgte den. En terskel som endres etter at resultatene er undersøkt, teller som en del av søket selv om det ikke ble kjørt noe formelt optimaliseringsprogram. Hukommelsesbaserte eksperimenter, forkastede regneark og uformell visuell inspeksjon kan alle bidra til utvalgsskjevhet. En ærlig analyselogg gjør disse valgene synlige.
Forstå den enkle sannsynlighetsillustrasjonen
Hvis tjue uavhengige tester hver har 5% sannsynlighet for falskt positivt resultat, er sannsynligheten for minst ett falskt positivt resultat 1 − 0.95²⁰, omtrent 64.2%. Forutsetningen om uavhengighet er viktig: handelsvarianter er ofte korrelerte, så regnestykket er en illustrasjon og ikke en presis korreksjon for et faktisk analyseprogram.
Lærdommen er ikke at hvert positivt funn er falskt. Den er at en terskel for én enkelt test ikke kan tolkes på samme måte etter et bredt søk. Beslektede parametervalg skaper ikke fullt uavhengige bevis, men korrelasjonen mellom dem fjerner heller ikke utvalgsskjevhet. Å anslå den effektive søkebredden er i seg selv usikkert og bør ikke forkles som et nøyaktig antall.
En p-verdi er ikke sannsynligheten for at hypotesen er sann eller neste handel vinner. Den beskriver hvor uforenlig en bestemt teststatistikk er med en angitt nullmodell under testens forutsetninger. En liten verdi kan også skyldes feil støymodell, oversett avhengighet eller selektiv rapportering. Statistisk signifikans viser ikke alene at effekten dekker spread, finansiering og utførelse.
Beskytt hypotesen mot poengregelen
Start med en økonomisk begrunnelse som angir hvorfor en sammenheng kan vedvare og hvorfor den kan slutte å virke. Definer datarensing, kostnader og evalueringskriterier før du ser på resultatet, der det er mulig. Dette fjerner ikke skjevhet, men begrenser friheten til å etterkonstruere en historie rundt et heldig mønster.
Før en forsøkslogg med forkastede varianter og begrunnelsen for hver endring. Skill feilsøking fra endring av hypotesen. Å rette en tidsstempelfeil er noe annet enn å flytte et stoppnivå fordi det forbedrer kontoverdikurven. Begge endringer bør registreres, siden det å se resultater kan påvirke senere beslutninger selv når den første endringen var legitim.
Et urørt utvalg har begrenset levetid
En avsatt testperiode er bare verdifull så lenge den ikke brukes i utviklingen. Når en forsker gjentatte ganger bruker den til å velge mellom modeller, blir den en ny treningsressurs. Å kalle den utenfor utvalget reverserer ikke informasjonsflyten. Da kan det være nødvendig med en nyere periode eller en annen reelt uavhengig evaluering.
Rullerende fremovertester, nestet utvalg og forskning på overtilpasning i historiske tester kan bidra til å undersøke utvalgsprosessen, men ingen av dem gjør svake data til sikkerhet. Vurder stabilitet over fornuftige nærliggende parametervalg og økonomisk ulike perioder. Stabilitet er oppmuntrende når den er vurdert ærlig; å lete etter den stabilitetsstatistikken som ser best ut, innfører enda et lag med testing.
Belønn kvaliteten på bevisene fremfor det høyeste diagrammet
Sammenlign resultater med en enkel referanse, realistiske kostnader og usikkerhetsanslag. En komplisert modell som knapt forbedrer et støyfylt mål, rettferdiggjør kanskje ikke sine ekstra frihetsgrader. Undersøk hvor mye av det tilsynelatende fortrinnet som kommer fra én handel, ett aktivum eller ett valg av startdato.
En nyttig rapport inkluderer søkehistorikken, den endelige spesifikasjonen, mislykkede forsøk og uavklarte forutsetninger. Negative funn begrenser rommet av plausible ideer og kan spare senere arbeid. Målet er ikke å bevare en favorittstrategi, men å finne ut om tilgjengelig dokumentasjon støtter noen påstand som er sterk nok til å tåle replikasjon. Når den ikke gjør det, er den disiplinerte konklusjonen usikkerhet, ikke et mer forseggjort markedsføringsdiagram.
Tell alle valg som kunne ha endret vinneren
Fem historikklengder, fire inngangsterskler og tre utgangsregler gir allerede 60 kombinasjoner. Etterfølgende valg av startdato, fjerning av en upraktisk eiendel eller bytte av vurderingsmål utvider søket. Forsøksloggen skal inneholde manuelle beslutninger også, ikke bare variantene en optimaliserer kjørte.
For en forhåndsdefinert familie på 20 gyldige tester setter Bonferroni-korreksjon nivået for hver til 0,05 / 20 = 0,0025. Dermed begrenses sannsynligheten for minst én feilaktig forkastning til høyst fem prosent. Grensen krever ikke uavhengige tester, men kan være konservativ når de overlapper. Den reparerer ikke skjeve data, ugyldige enkelttester eller skjulte ekstra forsøk.
Å kontrollere sannsynligheten for noe falskt positivt er forskjellig fra å kontrollere forventet andel falske funn blant funnene. Ingen av delene beviser økonomisk lønnsomhet. Velg metode etter spørsmålet, ikke ved å prøve flere korreksjoner og rapportere den som slipper gjennom det beste resultatet. Gjentatte kontroller fram til signifikans må også inngå i en sekvensiell testprosedyre.
En simulering av utvelgelsen må gjenta selve utvelgelsen. Hvis nye datasett bare brukes til å vurdere den allerede valgte vinneren, overses fordelen av å søke blant mange kandidater. Hver repetisjon bør gjennomføre det oppgitte kandidatsøket, utvalgsregelen og videre evaluering med en forsvarlig datamodell. Et konfidensbånd rundt én pen kapitalkurve erstatter ikke dette.