Meervoudig toetsen: wanneer de beste backtest een gelukkig toeval is
Leg het zoekproces vast en onderscheid een echte hypothese van de winnaar van een grote historische wedstrijd.
Eén gerapporteerde strategie kan duizend proeven verbergen
Een onderzoeker kan één aantrekkelijke backtest publiceren na vele signalen, parameterwaarden, activa en steekproefperioden te hebben geprobeerd. De uiteindelijke grafiek toont niet de volledige zoektocht. Zelfs als geen enkele kandidaat een echt voordeel heeft, kan de beste kandidaat indrukwekkend lijken doordat sommige willekeurige reeksen gunstig uitpakken.
De relevante analyse-eenheid is daarom niet alleen de gekozen regel, maar ook de procedure die haar selecteerde. Een drempel die na het bekijken van resultaten is aangepast, telt mee als onderdeel van de zoektocht, ook zonder formeel optimalisatieprogramma. Experimenten uit het geheugen, weggegooide spreadsheets en informele visuele inspectie kunnen allemaal selectiebias veroorzaken. Een eerlijk onderzoeksverslag maakt die keuzes zichtbaar.
Begrijp de eenvoudige kansillustratie
Als twintig onafhankelijke toetsen elk een kans van 5% op een fout-positieve uitkomst hebben, is de kans op ten minste één fout-positieve uitkomst 1 − 0.95²⁰, ongeveer 64.2%. De aanname van onafhankelijkheid is belangrijk: handelsvarianten zijn vaak gecorreleerd, dus deze berekening is een illustratie en geen precieze correctie voor een werkelijk onderzoeksprogramma.
De les is niet dat elke positieve bevinding onjuist is. Ze is dat een drempel voor één toets na een brede zoektocht niet op dezelfde manier kan worden geïnterpreteerd. Verwante parameterkeuzes leveren geen volledig onafhankelijk bewijs, maar hun correlatie laat selectiebias niet verdwijnen. Ook de effectieve omvang van de zoektocht schatten is onzeker en mag niet als een exact aantal worden voorgesteld.
Een p-waarde is niet de kans dat een hypothese waar is, en evenmin de winstkans van de volgende transactie. Zij meet hoe onverenigbaar een toetsingsgrootheid is met een bepaald nulmodel, onder de toetsaannames. Een kleine waarde kan ook ontstaan door genegeerde afhankelijkheid, een ongeschikt ruismodel of selectieve rapportage. Statistische significantie bewijst bovendien niet dat het effect spread, financiering en uitvoeringskosten dekt.
Bescherm de hypothese tegen de scoringsregel
Begin met een economische onderbouwing die aangeeft waarom een relatie kan voortduren en waarom ze kan ophouden te werken. Definieer waar mogelijk gegevensopschoning, kosten en beoordelingscriteria voordat je het resultaat bekijkt. Dit neemt vertekening niet weg, maar beperkt de vrijheid om achteraf een verhaal rond een toevallig gunstig patroon te bouwen.
Houd een testlogboek bij met afgewezen varianten en de reden voor elke wijziging. Onderscheid foutopsporing van hypothesewijziging. Een tijdstempelfout herstellen is iets anders dan een stopniveau verplaatsen omdat dit de vermogenscurve verbetert. Leg beide veranderingen vast, want resultaten zien kan latere beslissingen beïnvloeden, ook wanneer de oorspronkelijke wijziging terecht was.
Een onaangeroerde steekproef heeft een beperkte levensduur
Een apart gehouden testperiode is alleen waardevol zolang zij buiten de ontwikkeling blijft. Zodra een onderzoeker deze herhaaldelijk raadpleegt om tussen modellen te kiezen, wordt zij opnieuw trainingsmateriaal. Haar 'out of sample' noemen keert de informatiestroom niet om. Dan kan een nieuwere periode of een andere werkelijk onafhankelijke evaluatie nodig zijn.
Walk-forwardprocedures, geneste selectie en onderzoek naar overfitting van backtests kunnen helpen het selectieproces te onderzoeken, maar geen ervan verandert zwakke gegevens in zekerheid. Beoordeel stabiliteit in zinvolle parameteromgevingen en economisch verschillende perioden. Stabiliteit is bemoedigend als ze eerlijk is beoordeeld; zoeken naar de stabiliteitsmaatstaf die het beste oogt, voegt weer een testlaag toe.
Beloon de kwaliteit van bewijs in plaats van de hoogste grafiek
Vergelijk resultaten met een eenvoudige benchmark, realistische kosten en onzekerheidsschattingen. Een ingewikkeld model dat een ruisgevoelige maatstaf nauwelijks verbetert, rechtvaardigt mogelijk zijn extra vrijheidsgraden niet. Onderzoek hoeveel van het schijnbare voordeel voortkomt uit één transactie, één activum of één gekozen begindatum.
Een nuttig verslag bevat de zoekgeschiedenis, de definitieve specificatie, mislukkingen en onopgeloste aannames. Negatieve bevindingen verkleinen de ruimte van plausibele ideeën en kunnen toekomstig werk besparen. Het doel is niet een favoriete strategie te behouden, maar te ontdekken of het beschikbare bewijs een claim ondersteunt die sterk genoeg is om replicatie te doorstaan. Zo niet, dan is de gedisciplineerde conclusie onzekerheid, niet een uitgebreidere marketinggrafiek.
Tel de keuzes die de winnaar hadden kunnen veranderen
Vijf terugkijkvensters, vier instapdrempels en drie uitstapregels vormen al zestig combinaties. Achteraf een begindatum kiezen, een lastig activum uitsluiten of het beoordelingscriterium veranderen vergroot de selectievrijheid. Leg zulke beslissingen ook vast als ze handmatig zijn genomen. Anders onderschat het gemelde aantal geteste strategieën de zoektocht die de uiteindelijke claim opleverde.
Voor een vooraf bepaalde familie van twintig geldige toetsen gebruikt Bonferroni per toets 0,05 / 20 = 0,0025 om de kans op minstens één onterechte verwerping tot 5% te begrenzen. Die bovengrens vereist geen onafhankelijkheid, al kan zij conservatief zijn bij verwante toetsen. NIST beschrijft de onderliggende ongelijkheid. De correctie herstelt geen vertekende gegevens, ongeldige afzonderlijke toetsen of verborgen extra experimenten. De deling kennen is niet hetzelfde als de echte hypothesenfamilie kennen.
Elke fout-positieve uitkomst vermijden en het verwachte aandeel fout-positieven onder ontdekkingen beheersen zijn verschillende doelen. Geen van beide toont op zichzelf economische bruikbaarheid aan. Kies een aanpak voor de onderzoeksvraag, niet door verschillende correcties te proberen en de gunstigste te melden. Voortdurend kijken of het resultaat inmiddels significant is voegt selectie toe, tenzij het sequentiële ontwerp met die herhaalde controles rekening houdt.
Selectie beoordelen vereist dat de selectie wordt herhaald. Als een simulatie andere datasets maakt maar alleen de al gekozen winnaar beoordeelt, mist zij het voordeel van zoeken tussen vele kandidaten. Elke herhaling moet de verklaarde kandidatenzoektocht, selectieregel en daaropvolgende evaluatie uitvoeren onder een verdedigbaar gegevensmodel. Dat vraagt meer dan een onzekerheidsband om één aantrekkelijke curve, maar onderzoekt het proces dat de claim daadwerkelijk heeft voortgebracht.