Den beste historiske testen i regnearket

Utgangspunktet

Hypotetisk opplæringscase. Prisrekken, strategien, handelsutfallene og statistikken er oppdiktet. De er ikke historiske resultater, en avkastningspåstand eller et handelssignal. Lena tester en idé med glidende gjennomsnitt på en syntetisk aksjekurv. Etter å ha prøvd 120 parameterkombinasjoner velger hun det mest attraktive resultatet og presenterer de 200 simulerte handlene som bevis på en robust fordel. En forskningsgjennomgang spør hva som ble valgt, hva som ble utelatt, og hva som fortsatt er genuint usett.

Rekonstruer den imponerende overskriften

Den valgte konfigurasjonen har 110 brutto gevinsthandler med et gjennomsnitt på $180 og 90 brutto tapshandler med et gjennomsnitt på $160. Bruttogevinstene er $19,800 og bruttotapene $14,400, slik at $5,400 gjenstår over 200 handler. Bruttogjennomsnittet er $27 per handel, og treffraten er 55%. Ingen av tallene forteller om strategien tåler realistiske kostnader, eller om utvelgelsen fant et signal fremfor flaks.

Lena antok bare $2 i kostnader per fullført kjøp og salg, noe som reduserte resultatet med $400 til $5,000. Men den fiktive utførelsesgjennomgangen anslår $6 i provisjoner og eksplisitte avgifter, $12 i spreadkostnader og $15 i ekstra glidning per fullført kjøp og salg. Totalt blir det $33 per handel, eller $6,600 for hele utvalget. Med samme bruttoutfall blir det reviderte nettoresultatet et tap på $1,200, i gjennomsnitt minus $6 per handel.

Definer kostnader uten å telle dem to ganger

Disse kostnadskomponentene gir bare mening fordi den syntetiske historiske testen brukte friksjonsfrie referansepriser. Hvis gjennomføringene allerede var simulert til kjøps- og salgskurs, ville separat fradrag for hele spreaden igjen overdrive kostnadene. På samme måte kan gjennomføringsavvik målt fra en beslutningspris allerede inneholde spread og markedspåvirkning. Analyseloggen trenger en presis definisjon av inngangsreferansen, utgangsreferansen og tilleggskostnadene.

En sensitivitetstabell ville testet flere samlede kostnader for kjøp og salg, ikke bare den som er gunstigst for strategien. Ved $15 er nettoresultatet $2,400; ved $27 er det null; ved $45 er det minus $3,600. Dette er regnescenarioer, ikke prognoser. Nullpunktskostnaden på $27 er særlig nyttig fordi den viser hvor lite rom det valgte bruttoresultatet har for utførelsesusikkerhet, uteblitte utførelser og driftsfeil.

Utvalgsproblemet kommer før det endelige diagrammet

Lena valgte ikke denne konfigurasjonen før hun så utvalget. Hun valgte den fordi den slo 119 alternativer i samme utvalg. Selv strategier uten varig prediksjonsfordel kan gi en tiltalende vinner når mange varianter prøves. Som en bevisst stilisert illustrasjon: hvis 120 uavhengige tester hver hadde 5% sannsynlighet for falskt positivt resultat, ville sannsynligheten for minst ett være 1 − 0.95^120, omtrent 99.79%.

De faktiske strategivariantene er trolig korrelerte, så beregningen med uavhengighet er ikke en gyldig p-verdi for Lenas analyse. Formålet er å synliggjøre problemet med multippel testing, ikke å tallfeste det presist. Hun må registrere alle forsøkte varianter, inkludert forkastede indikatorer, endrede datoperioder og manuelle unntak. Et polert sluttdiagram kan ikke vise hvor mange mislykkede eksperimenter som skjuler seg bak det.

Sett av et ærlig evalueringssett

Et bedre fiktivt analyseopplegg skiller mellom utvikling, validering og en endelig urørt test. Lena kan bruke utviklingsdata til å forme ideen og valideringsdata til å sammenligne et begrenset, dokumentert sett av valg. Når hun undersøker den endelige testen og endrer strategien som svar, er disse dataene ikke lenger urørte. Å gjentatte ganger kalle de samme dataene «utenfor utvalget» gjenoppretter ikke uavhengighet.

I en ny test med 60 handler antar vi 28 bruttogevinster på gjennomsnittlig $170 og 32 bruttotap på gjennomsnittlig $150. Bruttoresultatet er $4,760 − $4,800 = minus $40. Ved $33 per kjøp og salg til sammen blir kostnadene $1,980 og nettoresultatet minus $2,020. Dette lille, oppdiktede utvalget beviser ikke at strategien aldri kan fungere, men støtter ikke den opprinnelige selvtilliten. Riktig respons er undersøkelse eller forkastelse, ikke automatiske parameterendringer til det tilbakeholdte testsettet blir grønt.

Gjennomgangen viser først de to utvalgene hver for seg. De korrigerte 200 utviklingshandlene gir −1 200 dollar, de nye 60 testhandlene −2 020. Samlet blir det −3 220 på 260 handler, omtrent −12,38 per handel. Summeringen er riktig, men gjør ikke utviklingsdata som påvirket utvalget, til uavhengige bevis. Den senere testen vurderer beslutninger fastlagt før observasjonene ble sett.

Kontroller informasjonstidspunktet og tapsforløpet

Gjennomgangen spør også om signalene brukte data som faktisk var tilgjengelige før hver modellerte handel. En indikator basert på sluttkurs kan normalt ikke begrunne en tidligere utførelse til samme sluttkurs uten en forsvarlig gjennomføringsmekanisme. Valget av investeringsunivers bør ikke i det stille utelate mislykkede eller avnoterte verdipapirer. Selskapshendelser, justering av tidsstempler og foreldede kurser kan endre simulerte resultater vesentlig. Hver kontroll tar for seg en mulig feilkilde fremfor å gi en garanti for fremtidig lønnsomhet.

Til slutt registrerer Lena verdifall, sammenhengende tap, omsetning og kapitalbruk ved siden av samlet fortjeneste. En strategi som til slutt henter seg inn, kan likevel bryte en finansieringsgrense underveis. NFA advarer om at hypotetiske resultater nyter godt av etterpåklokskap og ikke fullt ut kan gjenskape opplevelsen av reell finansiell risiko. Papirtesting kan avdekke arbeidsflytproblemer, men fastslår ikke faktisk likviditet, skalerbarhet eller evnen til å følge en strategi mens man taper ekte penger.

Bestem hvilke bevis som faktisk kan endre konklusjonen

Lenas neste steg avhenger av feilkilden. En tidsstempelfeil som slipper inn morgendagens data, krever retting og tilbaketrekking eller tydelig erstatning av berørte resultater. Er koden riktig, men realistiske kostnader spiser opp fordelen, hjelper ikke ny grafoverskrift. Forklarer én ekstrem vinner det meste av bruttoresultatet, må den økonomiske begrunnelsen og dekningen i utvalget undersøkes.

En gjenskapingspakke bør inneholde alle 120 konfigurasjoner, nøyaktig syntetisk datasett, utvalgskriteriet, kostnadsregler og fryst sluttspesifikasjon. Andre skal kunne gjenskape både det attraktive opprinnelige resultatet og den svakere korrigeringen. Bevar den mislykkede versjonen for å vise hvilket premiss som endret konklusjonen. Reproduserbarhet kontrollerer beregningen, ikke framtidig suksess.

For de samme 200 handlene øker kostnaden med 2 400 dollar når den går fra 33 til 45 per handel. Netto går fra −1 200 til −3 600. Hvis svakere likviditet også hindrer enkelte utførelser, endres selve handelslisten. Det krever ny utførelsessimulering, ikke bare enda et fradrag fra den gamle.

En regel inspirert av et mislykket forsøk på et avskilt testutvalg kan undersøkes, men resultatet på de samme dataene er nå utviklingsbevis. En senere periode kan teste revisjonen først når spesifikasjon og vurderingskriterier er låst på forhånd. En ærlig konklusjon kan være at ideen mangler støtte; gjennomgangen må ikke ende med en strategi som skal handles.

Der resonnementet svikter