Det bästa backtestet i kalkylbladet

Förutsättningarna

Hypotetiskt utbildningsfall. Prisserien, strategin, affärsutfallen och statistiken är påhittade. De är ingen historisk dokumentation, inget resultatpåstående och ingen handlingsbar signal. Lena testar en idé med glidande medelvärden på en syntetisk aktiekorg. Efter 120 parameterkombinationer väljer hon det mest attraktiva resultatet och presenterar dess 200 simulerade affärer som bevis för en robust fördel. En analysgranskning frågar vad som valdes, vad som utelämnades och vad som verkligen förblir osedd data.

Återskapa den imponerande rubriksiffran

Den valda konfigurationen har 110 bruttovinnande affärer med ett genomsnitt på 180 USD och 90 bruttoförlorande affärer med ett genomsnitt på 160 USD. Bruttovinsterna är 19 800 USD och bruttoförlusterna 14 400 USD, vilket lämnar 5 400 USD över 200 affärer. Bruttogenomsnittet är 27 USD per affär och vinstfrekvensen 55 %. Inget av talen säger om strategin klarar realistiska kostnader eller om urvalsprocessen hittade en signal snarare än tur.

Lena antog bara 2 USD i kostnad per avslutad affär, vilket minskade resultatet med 400 USD till 5 000 USD. Men den fiktiva granskningen av genomförandet uppskattar 6 USD i provisioner och uttryckliga avgifter, 12 USD i spreadkostnad och 15 USD i ytterligare prisglidning per fullständig köp- och säljcykel. Totalt blir det 33 USD per affär, eller 6 600 USD i hela urvalet. Med samma bruttoutfall blir det reviderade nettoresultatet en förlust på 1 200 USD, i genomsnitt minus 6 USD per affär.

Definiera kostnader utan att räkna dem två gånger

Dessa kostnadskomponenter är bara meningsfulla eftersom det syntetiska historiska testet använde friktionsfria referenspriser. Om avslut redan hade simulerats till köp- och säljkurs skulle ett separat avdrag för hela spreaden igen överskatta kostnaderna. På samma sätt kan genomförandeunderskott mätt från ett beslutspris redan innehålla spread och marknadspåverkan. Forskningsloggen behöver en exakt definition av referensvärdet vid inträde, referensvärdet vid utträde och tillkommande avgifter.

En känslighetstabell skulle testa flera totalkostnader för öppning och stängning, inte bara den mest gynnsamma för strategin. Vid 15 USD är nettoresultatet 2 400 USD; vid 27 USD är det noll; vid 45 USD är det minus 3 600 USD. Detta är aritmetiska scenarier, inte prognoser. Nollresultatkostnaden på 27 USD är särskilt användbar eftersom den visar hur litet utrymme det valda bruttoresultatet har för genomförandeosäkerhet, uteblivna avslut och operativa misstag.

Urvalsproblemet kommer före det slutliga diagrammet

Lena valde inte denna konfiguration innan hon såg stickprovet. Hon valde den för att den överträffade 119 alternativ i samma stickprov. Även strategier utan varaktig prognosfördel kan ge en lockande vinnare när många variationer provas. Som en avsiktligt stiliserad illustration: om 120 oberoende tester vardera hade 5 % sannolikhet för ett falskt positivt resultat skulle sannolikheten för minst ett vara 1 − 0,95^120, ungefär 99,79 %.

De faktiska strategivarianterna är troligen korrelerade, så oberoendeberäkningen är inget giltigt p-värde för Lenas forskning. Dess roll är att belysa problemet med multipla tester, inte kvantifiera det exakt. Hon måste dokumentera alla prövade varianter, inklusive kasserade indikatorer, ändrade datumfönster och manuella undantag. Ett polerat slutdiagram kan inte visa hur många misslyckade experiment som gömdes bakom det.

Avsätt en ärlig utvärderingsmängd

En bättre fiktiv forskningsdesign skiljer utveckling, validering och ett slutligt orört test åt. Lena kan använda utvecklingsdata för att utforma idén och valideringsdata för att jämföra ett begränsat, dokumenterat urval av alternativ. När hon granskar det slutliga testet och ändrar strategin som svar är dessa data inte längre orörda. Att upprepade gånger kalla samma data ”utanför urvalet” återställer inte oberoendet.

I ett nytt test med 60 affärer antar vi 28 bruttovinster med snittet 170 USD och 32 bruttoförluster med snittet 150 USD. Bruttoresultatet är 4 760 USD − 4 800 USD = minus 40 USD. Vid 33 USD per öppning och stängning tillkommer 1 980 USD i kostnader och nettoresultatet är minus 2 020 USD. Detta lilla påhittade stickprov bevisar inte att strategin aldrig kan fungera, men stöder inte det ursprungliga självförtroendet. Lämplig reaktion är utredning eller förkastande, inte automatiska parameterändringar tills testmängden blir grön.

Granskningen ska först visa de två stickproven separat. De korrigerade 200 utvecklingsaffärerna ger −1 200 dollar och de nya 60 testaffärerna −2 020. Tillsammans blir det −3 220 på 260 affärer, cirka −12,38 per affär. Summeringen är korrekt men gör inte urvalspåverkade utvecklingsdata till oberoende evidens. Det senare testet bedömer beslut som fastställts innan dessa observationer granskades.

Kontrollera informationens tidpunkt och förlusternas förlopp

Granskningen frågar också om signalerna använde data som faktiskt fanns före varje modellerad affär. En indikator baserad på stängningskurs kan normalt inte motivera ett tidigare avslut till samma stängningskurs utan en försvarbar genomförandemekanism. Urvalet av värdepapper får inte tyst utesluta misslyckade eller avnoterade bolag. Bolagshändelser, synkronisering av tidsstämplar och föråldrade kurser kan väsentligt ändra simulerade utfall. Varje kontroll behandlar en möjlig felkälla och ger ingen garanti för framtida lönsamhet.

Slutligen registrerar Lena nedgångar, förluster i följd, omsättning och kapitalanvändning tillsammans med den sammanlagda vinsten. En strategi som till slut återhämtar sig kan ändå överskrida en finansieringsgräns på vägen. NFA varnar för att hypotetiska resultat gynnas av efterklokhet och inte fullt ut kan återskapa upplevelsen av verklig finansiell risk. Simulerade tester kan avslöja problem i arbetsflödet men fastställer inte verklig likviditet, skalbarhet eller förmågan att följa en strategi medan riktiga pengar går förlorade.

Bestäm vilka belägg som faktiskt skulle ändra slutsatsen

Lenas nästa steg beror på felets källa. En tidsstämpelbugg som släpper in morgondagens data kräver rättning och att berörda resultat dras tillbaka eller tydligt ersätts. Om koden är korrekt men rimliga kostnader äter upp fördelen hjälper inte ny diagramrubrik. Om en extrem vinnare förklarar nästan allt bruttoresultat behöver beroendets ekonomiska rimlighet och täckning i stickprovet granskas.

Ett reproduktionspaket bör innehålla alla 120 konfigurationer, exakt syntetiskt dataset, urvalsmått, kostnadsregler och fryst slutspecifikation. En annan granskare ska kunna återskapa både den attraktiva ursprungsversionen och den sämre rättade. Den misslyckade versionen visar vilket antagande som ändrade slutsatsen. Reproducerbarhet verifierar beräkningen, inte framtida framgång.

För samma 200 affärer ökar kostnaden med 2 400 dollar om avgiften höjs från 33 till 45, så netto går från −1 200 till −3 600. Om sämre likviditet också lämnar order ogjorda ändras själva affärslistan. Det kräver en ny utförandesimulering, inte bara ytterligare avdrag från den gamla listan.

En regel inspirerad av ett misslyckat reserverat test kan undersökas vidare, men resultatet på samma data är nu utvecklingsevidens. En senare period kan testa den reviderade processen först sedan specifikation och kriterier fastställts. En ärlig slutsats kan vara att idén saknar stöd; granskningen måste inte leverera en strategi att handla.

Där resonemanget går fel