De beste backtest in de spreadsheet

De uitgangssituatie

Hypothetische educatieve casus. De koersreeks, strategie, transactieresultaten en statistieken zijn verzonnen. Ze vormen geen historisch overzicht, prestatieclaim of verhandelbaar signaal. Lena test een idee met voortschrijdende gemiddelden op een synthetisch aandelenmandje. Na 120 parametercombinaties kiest ze het aantrekkelijkste resultaat en presenteert de 200 gesimuleerde transacties als bewijs van een robuust voordeel. Een onderzoeksevaluatie vraagt wat geselecteerd is, wat weggelaten is en wat echt ongezien blijft.

Reconstrueer het indrukwekkende hoofdcijfer

De geselecteerde configuratie heeft 110 bruto winstgevende transacties van gemiddeld $180 en 90 bruto verliesgevende transacties van gemiddeld $160. De brutowinsten zijn $19,800 en de brutoverliezen $14,400, zodat $5,400 overblijft over 200 transacties. Het brutogemiddelde is $27 per transactie en het winstpercentage is 55%. Geen van beide cijfers vertelt of de strategie realistische kosten overleeft of dat het selectieproces een signaal in plaats van toeval heeft ontdekt.

Lena ging uit van slechts $2 kosten per volledige transactie, waardoor het resultaat met $400 daalde tot $5,000. Maar de fictieve uitvoeringsbeoordeling schat $6 aan commissies en expliciete kosten, $12 aan spreadkosten en $15 aan extra slippage per volledig afgeronde transactie. Het totaal is $33 per transactie, oftewel $6,600 voor de hele steekproef. Bij dezelfde bruto-uitkomsten is het herziene nettoresultaat een verlies van $1,200, gemiddeld negatief $6 per transactie.

Definieer kosten zonder ze dubbel te tellen

Deze kostenonderdelen zijn alleen logisch omdat de synthetische backtest wrijvingsloze referentieprijzen gebruikte. Als uitvoeringen al tegen bied- en laatprijzen waren gesimuleerd, zou het nogmaals apart aftrekken van de volledige spread de kosten overschatten. Ook kan uitvoeringsnadeel ten opzichte van een beslisprijs al spread en marktimpact bevatten. Het onderzoekslogboek heeft een precieze definitie nodig van instapbenchmark, uitstapbenchmark en aanvullende kosten.

Een gevoeligheidstabel zou meerdere totale kosten voor aan- en verkoop testen, niet alleen de gunstigste voor de strategie. Bij $15 is het nettoresultaat $2,400; bij $27 nul; bij $45 negatief $3,600. Dit zijn rekenscenario's, geen voorspellingen. De break-evenkosten van $27 zijn bijzonder nuttig omdat ze tonen hoe weinig ruimte het gekozen brutoresultaat laat voor uitvoeringsonzekerheid, gemiste uitvoeringen en operationele fouten.

Het selectieprobleem gaat vooraf aan de uiteindelijke grafiek

Lena koos deze configuratie niet voordat ze de steekproef zag. Ze koos haar omdat ze op diezelfde steekproef beter presteerde dan 119 alternatieven. Zelfs strategieën zonder duurzaam voorspellend voordeel kunnen een aantrekkelijke winnaar opleveren als veel varianten worden geprobeerd. Als bewust gestileerde illustratie: als 120 onafhankelijke toetsen elk 5% kans op een fout-positieve uitkomst hadden, was de kans op ten minste één 1 − 0.95^120, ongeveer 99.79%.

De werkelijke strategievarianten zijn waarschijnlijk gecorreleerd, dus die onafhankelijkheidsberekening is geen geldige p-waarde voor Lena's onderzoek. Ze dient om het probleem van meervoudig toetsen bloot te leggen, niet om het precies te kwantificeren. Lena moet alle uitgeprobeerde varianten vastleggen, inclusief verworpen indicatoren, gewijzigde datumvensters en handmatige uitzonderingen. Een fraaie eindgrafiek onthult niet hoeveel mislukte experimenten erachter verborgen zitten.

Reserveer een eerlijke evaluatieset

Een beter fictief onderzoeksontwerp scheidt ontwikkeling, validatie en een definitieve onaangeroerde test. Lena kan ontwikkelgegevens gebruiken om het idee te vormen en validatiegegevens om een beperkte, gedocumenteerde reeks keuzes te vergelijken. Zodra ze de definitieve test bekijkt en de strategie daarop aanpast, zijn die gegevens niet langer onaangeroerd. Dezelfde gegevens herhaaldelijk 'buiten de steekproef' noemen herstelt de onafhankelijkheid niet.

Neem in een nieuwe test van 60 transacties 28 brutowinsten van gemiddeld $170 en 32 brutoverliezen van gemiddeld $150 aan. Het brutoresultaat is $4,760 − $4,800 = negatief $40. Bij $33 per volledige aan- en verkoop bedragen de kosten $1,980 en het nettoresultaat negatief $2,020. Deze kleine verzonnen steekproef bewijst niet dat de strategie nooit kan werken, maar ondersteunt het oorspronkelijke vertrouwen niet. De passende reactie is onderzoek of verwerping, niet automatisch parameters aanpassen totdat de testset groen wordt.

De review houdt beide steekproeven gescheiden voordat zij de som geeft. De aangepaste ontwikkeling verliest 1.200 dollar over 200 transacties; de nieuwe test verliest 2.020 over zestig. Samen is dat −3.220 over 260 transacties, ongeveer −12,38 per transactie. De optelsom klopt, maar maakt de voor selectie gebruikte ontwikkelsteekproef niet onafhankelijk. De latere test heeft een andere functie: beslissingen beoordelen die vastlagen voordat die resultaten zichtbaar waren.

Controleer de timing van informatie en het verloop van verliezen

De beoordeling vraagt ook of signalen gebruikmaakten van gegevens die daadwerkelijk vóór elke gemodelleerde transactie beschikbaar waren. Een indicator op basis van de slotkoers kan normaal gesproken geen eerdere uitvoering tegen diezelfde slotkoers rechtvaardigen zonder een verdedigbaar uitvoeringsmechanisme. De selectie van het beleggingsuniversum mag failliete of van de beurs gehaalde effecten niet ongemerkt uitsluiten. Bedrijfsgebeurtenissen, de afstemming van tijdstempels en verouderde koersen kunnen gesimuleerde uitkomsten wezenlijk veranderen. Elke controle richt zich op een mogelijke foutenbron en biedt geen garantie op toekomstige winstgevendheid.

Tot slot legt Lena naast de totale winst ook drawdowns, opeenvolgende verliezen, handelsomzet en kapitaalgebruik vast. Een strategie die uiteindelijk herstelt, kan onderweg toch een financieringslimiet overschrijden. De NFA waarschuwt dat hypothetische resultaten profiteren van kennis achteraf en de ervaring van werkelijk financieel risico niet volledig kunnen nabootsen. Oefenhandel kan problemen in de werkwijze blootleggen, maar bewijst niets over werkelijke liquiditeit, schaalbaarheid of het vermogen om een strategie te volgen terwijl je echt geld verliest.

Bepaal welk bewijs de conclusie werkelijk kan veranderen

Lena’s volgende actie hangt van de oorzaak af. Heeft een tijdstempelfout toekomstige gegevens gebruikt, dan moet de implementatie worden hersteld en het betrokken resultaat ingetrokken of duidelijk vervangen. Is de code juist maar verbruiken plausibele kosten het voordeel, dan helpt een andere grafiektitel niet. Verklaart één uitzonderlijke winnaar bijna alle brutowinst, dan is de vraag of die afhankelijkheid economisch geloofwaardig en voldoende in de steekproef vertegenwoordigd is.

Ze kan een reproduceerbaar pakket maken met alle 120 configuraties, de exacte synthetische gegevens, het selectiecriterium, alle kostenconventies en de bevroren eindregel. Een andere beoordelaar moet zowel het aantrekkelijke oorspronkelijke resultaat als de correctie kunnen reconstrueren. De mislukte versie bewaren laat zien welke aanname de conclusie veranderde. Reproduceerbaarheid maakt een berekening controleerbaar, maar bewijst niet dat de strategie zal slagen.

Een nuttige gevoeligheidsanalyse scheidt kostenwijzigingen van wijzigingen in de transactielijst. Bij dezelfde tweehonderd transacties verhogen 45 in plaats van 33 dollar de kosten met 2.400 en verschuift netto van −1.200 naar −3.600. Zorgt slechtere liquiditeit er echter voor dat sommige orders niet worden uitgevoerd, dan verandert ook de brutolijst. Dat vereist een nieuwe uitvoeringssimulatie, geen extra aftrek op de oude lijst. Een precieze kostentabel mag een groter uitvoeringsprobleem niet verhullen.

Tot slot onderscheidt Lena een nieuw experiment van voortzetting van de eerdere zoektocht. Een door de mislukte test geïnspireerde regel mag worden onderzocht, maar haar resultaat op dezelfde gegevens hoort bij ontwikkeling. Een werkelijk latere periode toetst het gewijzigde proces alleen eerlijk als specificatie en criteria eerst vaststaan. De huidige gedachte onvoldoende ondersteund noemen is een geldige conclusie; de review hoeft geen strategie op te leveren waarmee gehandeld moet worden.

Waar de redenering misgaat