Multipel testning: när det bästa backtestet är en lycklig slump
Dokumentera sökprocessen och skilj en genuin hypotes från vinnaren i en stor historisk tävling.
En redovisad strategi kan dölja tusen försök
En forskare kan publicera ett attraktivt historiskt test efter att ha provat många signaler, parametervärden, tillgångar och urvalsperioder. Slutdiagrammet visar inte hela sökningen. Även om ingen kandidat har en verklig fördel kan den snyggaste kandidaten verka imponerande eftersom vissa slumpsekvenser är gynnsamma.
Den relevanta analysenheten är därför inte bara den valda regeln utan processen som valde den. En tröskel som ändras efter att resultaten granskats räknas som del av sökningen även om inget formellt optimeringsprogram kördes. Minnesbaserade experiment, kasserade kalkylblad och informell visuell granskning kan alla bidra till urvalsbias. En ärlig forskningslogg synliggör dessa val.
Förstå den enkla sannolikhetsillustrationen
Om tjugo oberoende tester vart och ett har 5 % sannolikhet för ett falskt positivt resultat är sannolikheten för minst ett falskt positivt resultat 1 − 0,95²⁰, ungefär 64,2 %. Antagandet om oberoende är viktigt: handelsvarianter är ofta korrelerade, så beräkningen är en illustration snarare än en exakt korrigering för ett faktiskt forskningsprogram.
Lärdomen är inte att varje positivt fynd är falskt. Den är att en tröskel för ett enskilt test inte kan tolkas likadant efter en bred sökning. Närliggande parameterval skapar inte helt oberoende belägg, men deras korrelation får inte urvalssnedvridningen att försvinna. Att uppskatta sökningens effektiva bredd är i sig osäkert och bör inte förkläs till ett exakt antal.
Ett p-värde är inte sannolikheten att hypotesen är sann eller att nästa affär blir lönsam. Det beskriver hur oförenlig en viss teststatistika är med en specificerad nollmodell under testets antaganden. Ett litet värde kan också bero på felaktig brusmodell, förbisett beroende eller selektiv rapportering. Signifikans visar inte i sig att effekten täcker spread, finansiering och genomförande.
Skydda hypotesen från poängsättningsregeln
Börja med ett ekonomiskt resonemang som anger varför ett samband kan bestå och varför det kan sluta fungera. Definiera datarensning, kostnader och utvärderingskriterier innan du ser resultatet där det är möjligt. Detta eliminerar inte snedvridning men begränsar friheten att i efterhand anpassa en berättelse till ett lyckosamt mönster.
För en testlogg med förkastade varianter och skälet till varje ändring. Skilj felsökning från ändring av hypotesen. Att korrigera ett tidsstämpelfel är något annat än att flytta en stoppnivå för att det förbättrar kapitalkurvan. Båda ändringarna bör dokumenteras, eftersom observerade resultat kan påverka senare beslut även när den första ändringen var legitim.
Ett orört stickprov har begränsad livslängd
En undanhållen testperiod är värdefull bara så länge den förblir orörd under utvecklingen. När en forskare upprepade gånger använder den för att välja modeller blir den ytterligare en träningsresurs. Att kalla den utanför stickprovet upphäver inte informationsflödet. Då kan en nyare period eller en annan genuint oberoende utvärdering behövas.
Framåtrullande förfaranden, nästlat urval och forskning om överanpassning av historiska tester kan hjälpa till att granska urvalsprocessen, men inget omvandlar svaga data till säkerhet. Bedöm stabiliteten kring rimliga närliggande parametervärden och under ekonomiskt skilda perioder. Stabilitet är uppmuntrande när den utvärderats ärligt; att söka efter den stabilitetsstatistik som ser bäst ut tillför ännu ett testlager.
Belöna beläggens kvalitet, inte det högsta diagrammet
Jämför resultaten med ett enkelt jämförelseindex, realistiska kostnader och osäkerhetsuppskattningar. En komplicerad modell som knappt förbättrar ett brusigt mått kanske inte motiverar sina extra frihetsgrader. Undersök hur mycket av den skenbara fördelen som kommer från en enda affär, en enda tillgång eller ett enda val av startdatum.
En användbar rapport innehåller sökhistorik, slutlig specifikation, misslyckanden och olösta antaganden. Negativa fynd begränsar mängden rimliga idéer och kan spara framtida arbete. Målet är inte att bevara en favoritstrategi, utan att upptäcka om tillgängliga belägg stöder något påstående som är starkt nog att klara upprepning. När de inte gör det är den disciplinerade slutsatsen osäkerhet, inte ett mer avancerat marknadsföringsdiagram.
Räkna alla val som kunde ha ändrat vinnaren
Fem historiklängder, fyra inträdeströsklar och tre utträdesregler ger redan 60 kombinationer. Att därefter välja startdatum, ta bort en besvärlig tillgång eller byta utvärderingsmått utökar sökningen. Försöksloggen ska fånga även manuella beslut, inte bara varianter som körts av en optimerare.
För en på förhand bestämd familj med 20 giltiga test sätter Bonferronikorrigering nivån för varje test till 0,05 / 20 = 0,0025. Då begränsas sannolikheten för minst ett felaktigt förkastande till högst fem procent. Gränsen kräver inte oberoende test, men kan vara konservativ när de överlappar. Den reparerar inte snedvridna data, ogiltiga test eller dolda ytterligare försök.
Att kontrollera risken för något falskt positivt fynd är inte samma sak som att kontrollera den förväntade andelen falska fynd bland upptäckterna. Ingetdera bevisar ekonomisk lönsamhet. Välj metod efter forskningsfrågan, inte efter vilken av flera korrigeringar som släpper igenom det bästa resultatet. Upprepade kontroller av om signifikans har uppnåtts behöver också ingå i testproceduren.
En simulering av urvalet måste upprepa själva urvalet. Om alternativa dataset bara används för att utvärdera den redan valda vinnaren missas fördelen av att söka bland många kandidater. Varje upprepning bör genomföra den deklarerade sökningen, urvalsregeln och efterföljande utvärderingen med en försvarbar datamodell. Ett konfidensband runt en attraktiv kapitalkurva ersätter inte detta.