Der beste Backtest in der Tabelle

Die Ausgangslage

Hypothetischer Lernfall. Kursreihe, Strategie, Trades und Statistiken sind erfunden. Sie sind weder historische Aufzeichnung noch Performancebehauptung oder handelbares Signal. Lena testet eine gleitende-Durchschnitt-Idee an einem synthetischen Aktienkorb. Nach 120 Parameterkombinationen wählt sie das attraktivste Ergebnis und präsentiert dessen 200 simulierte Trades als Beleg eines robusten Vorteils. Eine Analyseprüfung fragt, was gewählt, was ausgelassen und was wirklich ungesehen blieb.

Die beeindruckende Schlagzeile rekonstruieren

Die gewählte Konfiguration hat 110 Bruttogewinntrades mit durchschnittlich $180 und 90 Bruttoverlusttrades mit durchschnittlich $160. Bruttogewinne betragen $19,800, Bruttoverluste $14,400; über 200 Trades bleiben $5,400. Der Bruttodurchschnitt beträgt $27 je Trade, die Trefferquote 55%. Keine Zahl sagt, ob die Strategie realistische Kosten übersteht oder ob die Auswahl ein Signal statt Glück gefunden hat.

Lena unterstellte nur $2 Gesamtkosten je Trade, wodurch das Ergebnis um $400 auf $5,000 sank. Die fiktive Ausführungsprüfung schätzt aber $6 Provisionen und ausdrückliche Gebühren, $12 Spreadkosten und $15 zusätzliche Slippage pro vollständigem Trade. Insgesamt sind das $33 je Trade oder $6,600 über die Stichprobe. Bei gleichen Bruttoergebnissen entsteht nun $1,200 Nettoverlust, durchschnittlich minus $6 je Trade.

Kosten definieren, ohne sie doppelt zu zählen

Diese Kostenkomponenten sind nur sinnvoll, weil der synthetische Backtest reibungsfreie Referenzpreise verwendete. Wären Ausführungen bereits zu Geld- und Briefkursen simuliert, würde ein weiterer vollständiger Spread-Abzug Kosten überzeichnen. Ebenso kann vom Entscheidungskurs gemessener Implementation Shortfall Spread und Markteinfluss bereits enthalten. Das Analyseprotokoll braucht genaue Definitionen der Ein- und Ausstiegsreferenzen sowie Zusatzgebühren.

Eine Sensitivitätstabelle testet mehrere Gesamtkosten je Trade, nicht nur die günstigsten. Bei $15 ergibt sich netto $2,400, bei $27 null, bei $45 minus $3,600. Das sind Rechenszenarien, keine Prognosen. Die Kostengewinnschwelle $27 zeigt besonders deutlich den knappen Spielraum des ausgewählten Bruttoergebnisses für unsichere Ausführung, verpasste Abschlüsse und Betriebsfehler.

Das Auswahlproblem kommt vor dem endgültigen Chart

Lena wählte diese Konfiguration nicht vor Kenntnis der Stichprobe. Sie wählte sie, weil sie auf derselben Stichprobe 119 Alternativen übertraf. Auch Strategien ohne dauerhaften Prognosevorteil können bei vielen Varianten einen attraktiven Sieger liefern. Als bewusst stilisiertes Beispiel: Hätten 120 unabhängige Tests jeweils 5% Fehlalarmchance, betrüge die Chance auf mindestens einen 1 − 0.95^120, etwa 99.79%.

Die tatsächlichen Varianten sind wahrscheinlich korreliert; die Unabhängigkeitsrechnung ist daher kein gültiger p-Wert für Lenas Untersuchung. Sie zeigt das Mehrfachtestproblem, quantifiziert es aber nicht exakt. Lena muss alle Versuche erfassen, einschließlich verworfener Indikatoren, geänderter Zeitfenster und manueller Ausnahmen. Ein polierter Endchart zeigt nicht die Zahl verborgener Fehlversuche.

Einen ehrlichen Auswertungsdatensatz reservieren

Ein besseres fiktives Forschungsdesign trennt Entwicklung, Validierung und endgültigen unangetasteten Test. Lena kann die Idee mit Entwicklungsdaten formen und mit Validierungsdaten eine begrenzte dokumentierte Auswahl vergleichen. Prüft sie den Endtest und ändert daraufhin die Strategie, ist er nicht mehr unangetastet. Dieselben Daten wiederholt „außerhalb der Stichprobe“ zu nennen stellt Unabhängigkeit nicht wieder her.

Ein neuer Test mit 60 Trades enthält angenommen 28 Bruttogewinner zu durchschnittlich $170 und 32 Bruttoverlierer zu $150. Das Bruttoergebnis ist $4,760 − $4,800 = minus $40. Bei $33 Gesamtkosten je Trade kommen $1,980 hinzu; netto bleiben minus $2,020. Diese kleine erfundene Stichprobe beweist nicht ewige Unbrauchbarkeit, stützt aber die anfängliche Zuversicht nicht. Angemessen sind Untersuchung oder Ablehnung, nicht automatische Parameteränderungen bis zum grünen Testdatensatz.

Die Auswertung hält beide Stichproben getrennt, bevor sie eine Gesamtsumme zeigt. Die überarbeiteten 200 Entwicklungsgeschäfte verlieren 1.200 Dollar, die 60 neuen Testgeschäfte 2.020. Zusammen sind es −3.220 aus 260 Geschäften oder ungefähr −12,38 Dollar je Geschäft. Diese Addition stimmt, macht aber die zur Auswahl verwendeten Entwicklungsdaten nicht unabhängig. Der spätere Test hat eine andere Aufgabe: Er bewertet Entscheidungen, die vor Beobachtung seiner Ergebnisse feststanden.

Informationszeitpunkte und Verlustpfad prüfen

Die Prüfung fragt auch, ob Signale Daten nutzten, die vor jedem modellierten Trade tatsächlich verfügbar waren. Ein auf dem Schlusskurs beruhender Indikator kann normalerweise keine frühere Ausführung zu genau diesem Schlusskurs rechtfertigen, sofern kein belastbarer Ausführungsmechanismus vorliegt. Die Auswahl des Anlageuniversums darf gescheiterte oder delistete Wertpapiere nicht stillschweigend auslassen. Kapitalmaßnahmen, Zeitstempelabgleich und veraltete Kurse können Simulationsergebnisse wesentlich verändern. Jede Prüfung adressiert eine mögliche Fehlerquelle, statt künftige Profitabilität zu garantieren.

Schließlich dokumentiert Lena neben Gesamtgewinn auch Drawdowns, Verlustfolgen, Umsatz und Kapitaleinsatz. Eine sich später erholende Strategie kann unterwegs eine Finanzierungsgrenze verletzen. Die NFA warnt, dass hypothetische Ergebnisse vom Rückblick profitieren und reales finanzielles Risiko nicht vollständig nachbilden. Papiertests können Ablaufprobleme zeigen, belegen aber weder reale Liquidität und Skalierbarkeit noch die Fähigkeit, eine Strategie bei echten Geldverlusten durchzuhalten.

Festlegen, welche Belege die Schlussfolgerung wirklich ändern könnten

Lenas nächster Schritt hängt von der Ursache ab. Hat ein Zeitstempelfehler Zukunftsdaten verwendet, muss die Implementierung korrigiert und das betroffene Ergebnis zurückgezogen oder klar ersetzt werden. Funktioniert der Code, während plausible Kosten den Vorteil aufbrauchen, hilft ein neues Diagrammetikett nicht. Erklärt ein einzelner außergewöhnlicher Gewinner fast den gesamten Bruttogewinn, muss geprüft werden, ob diese Abhängigkeit wirtschaftlich plausibel und in der Stichprobe ausreichend vertreten ist.

Sie kann ein reproduzierbares Paket aus allen 120 Konfigurationen, den genauen synthetischen Daten, dem Auswahlkriterium, sämtlichen Kostenkonventionen und der eingefrorenen Endregel erstellen. Eine andere Person sollte sowohl das attraktive ursprüngliche als auch das weniger attraktive korrigierte Ergebnis erzeugen können. Die gescheiterte Version zu bewahren zeigt, welche Annahme die Aussage verändert hat. Reproduzierbarkeit macht eine Rechnung überprüfbar, beweist aber keinen künftigen Strategieerfolg.

Eine nützliche Sensitivitätsprüfung trennt Kostenänderungen von Änderungen der Geschäfte. Für dieselben 200 vollständigen Geschäfte erhöhen 45 statt 33 Dollar die Kosten um 2.400 und verschieben das Ergebnis von −1.200 auf −3.600. Verhindert schlechtere Liquidität dagegen einzelne Ausführungen, ändert sich auch die Bruttoliste. Dann braucht es eine neue Ausführungssimulation, nicht bloß einen weiteren Gebührenabzug. Eine präzise Kostentabelle darf ein grundlegenderes Ausführungsproblem nicht verdecken.

Zuletzt unterscheidet Lena neue Experimente von der Fortsetzung der bisherigen Suche. Eine durch den fehlgeschlagenen Test angeregte Regel darf untersucht werden; ihr Ergebnis auf denselben Daten gehört nun aber zur Entwicklung. Eine wirklich spätere Periode prüft den überarbeiteten Prozess nur dann sauber, wenn Spezifikation und Bewertung zuvor festliegen. Ein ehrliches Fazit kann sein, dass die derzeitige Idee nicht gestützt wird. Die Prüfung muss keine handelbare Strategie hervorbringen.

Wo die Argumentation schiefläuft