Mehrfachtests: wenn der beste Backtest ein glücklicher Zufall ist
Dokumentieren Sie den Suchprozess und unterscheiden Sie eine echte Hypothese vom Gewinner eines großen historischen Vergleichstests.
Eine veröffentlichte Strategie kann tausend Versuche verbergen
Ein Forscher kann einen attraktiven Backtest nach vielen Signalen, Parameterwerten, Anlagen und Stichprobenterminen veröffentlichen. Der Endchart zeigt die ganze Suche nicht. Selbst ohne echten Vorteil jedes Kandidaten kann der beste beeindruckend wirken, weil manche Zufallsfolgen günstig sind.
Die relevante Analyseeinheit ist daher nicht nur die gewählte Regel, sondern ihr Auswahlverfahren. Eine nach Ergebnisprüfung geänderte Schwelle gehört zur Suche, auch ohne formales Optimierungsprogramm. Gedächtnisexperimente, verworfene Tabellen und informelle Sichtprüfung können Auswahlverzerrung erzeugen. Eine ehrliche Analyseaufzeichnung macht diese Entscheidungen sichtbar.
Die einfache Wahrscheinlichkeitsdarstellung verstehen
Haben zwanzig unabhängige Tests jeweils 5% Fehlalarmwahrscheinlichkeit, beträgt die Chance auf mindestens einen Fehlalarm 1 − 0.95²⁰, ungefähr 64.2%. Die Unabhängigkeitsannahme ist wichtig: Handelsvarianten sind oft korreliert, weshalb diese Rechnung eine Illustration ist, keine genaue Korrektur eines realen Forschungsprogramms.
Die Lektion lautet nicht, dass jeder positive Befund falsch ist. Sie lautet, dass eine Einzeltestschwelle nach einer breiten Suche nicht gleich interpretiert werden kann. Verwandte Parameterwahlen liefern keine vollständig unabhängigen Belege, doch ihre Korrelation lässt Auswahlverzerrung nicht verschwinden. Auch die Schätzung der wirksamen Suchbreite ist unsicher und sollte nicht als exakte Anzahl getarnt werden.
Ein p-Wert ist weder die Wahrscheinlichkeit, dass eine Hypothese stimmt, noch die Gewinnchance des nächsten Geschäfts. Er beschreibt die Unvereinbarkeit einer Prüfgröße mit einem bestimmten Nullmodell unter den Testannahmen. Ein kleiner Wert kann auch aus ignorierter Abhängigkeit, einem ungeeigneten Rauschmodell oder selektiver Berichterstattung entstehen. Statistische Signifikanz sagt außerdem nicht, ob die Effektgröße Spread, Finanzierung und Umsetzungskosten deckt.
Die Hypothese vor der Bewertungsregel schützen
Beginnen Sie mit einer wirtschaftlichen Begründung dafür, warum ein Zusammenhang bestehen bleiben und warum er enden könnte. Legen Sie nach Möglichkeit Datenbereinigung, Kosten und Bewertungskriterien vor Betrachtung des Ergebnisses fest. Das beseitigt Verzerrung nicht, begrenzt aber die Freiheit, nachträglich eine Geschichte um ein glückliches Muster zu bauen.
Führen Sie ein Versuchsprotokoll mit verworfenen Varianten und Gründen jeder Änderung. Unterscheiden Sie Fehlerbehebung und Hypothesenänderung. Einen Zeitstempelfehler zu korrigieren ist etwas anderes, als ein Stopniveau zur Verbesserung der Eigenkapitalkurve zu verschieben. Beide Änderungen gehören dokumentiert, denn gesehene Ergebnisse können spätere Entscheidungen beeinflussen, selbst bei berechtigter Anfangskorrektur.
Eine unangetastete Stichprobe hat eine begrenzte Lebensdauer
Eine zurückgehaltene Testperiode ist nur wertvoll, solange sie von der Entwicklung unberührt bleibt. Sobald ein Forscher sie wiederholt zur Modellauswahl heranzieht, wird sie zu einer weiteren Trainingsressource. Die Bezeichnung „außerhalb der Stichprobe“ kehrt den Informationsfluss nicht um. Dann kann eine neuere Periode oder eine andere wirklich unabhängige Auswertung erforderlich sein.
Walk-forward-Verfahren, verschachtelte Auswahl und Forschung zur Überanpassung von Backtests können helfen, den Auswahlprozess zu untersuchen; keines davon macht schwache Daten zur Gewissheit. Prüfen Sie Stabilität in sinnvollen Parameterumgebungen und wirtschaftlich unterschiedlichen Zeiträumen. Ehrlich geprüfte Stabilität ist ermutigend; die Suche nach der jeweils besten Stabilitätskennzahl fügt eine weitere Testebene hinzu.
Die Qualität der Belege belohnen, nicht den höchsten Chart
Vergleichen Sie Ergebnisse mit einfacher Referenz, realistischen Kosten und Unsicherheitsschätzungen. Ein komplexes Modell mit kaum besserer verrauschter Kennzahl rechtfertigt vielleicht keine zusätzlichen Freiheitsgrade. Prüfen Sie, wie viel scheinbarer Vorteil von einem Trade, einer Anlage oder einem Startdatum kommt.
Ein nützlicher Bericht enthält Suchhistorie, endgültige Spezifikation, Fehlschläge und offene Annahmen. Negative Befunde verkleinern den Raum plausibler Ideen und können künftige Arbeit sparen. Ziel ist nicht, eine Lieblingsstrategie zu bewahren, sondern herauszufinden, ob die Belege eine replizierbare Aussage tragen. Tun sie das nicht, lautet der disziplinierte Schluss Unsicherheit, nicht ein aufwendigerer Marketingchart.
Alle Entscheidungen zählen, die den Gewinner ändern konnten
Fünf Betrachtungsfenster, vier Einstiegsschwellen und drei Ausstiegsregeln ergeben bereits 60 Kombinationen. Danach das Anfangsdatum zu wählen, einen störenden Vermögenswert auszuschließen oder das Bewertungskriterium zu wechseln erweitert den Suchspielraum. Dokumentieren Sie solche Entscheidungen auch dann, wenn sie von Hand getroffen wurden. Andernfalls unterschätzt die veröffentlichte Zahl getesteter Strategien den tatsächlichen Auswahlprozess.
Bei einer vorher festgelegten Familie von 20 gültigen Tests verwendet Bonferroni für jeden Test das Niveau 0,05 / 20 = 0,0025, um die Wahrscheinlichkeit mindestens einer falschen Zurückweisung auf 5 % zu begrenzen. Diese Schranke setzt keine Unabhängigkeit voraus, kann bei eng zusammenhängenden Tests aber konservativ sein. NIST erläutert die zugrunde liegende Ungleichung. Das Verfahren repariert weder verzerrte Daten noch ungültige Einzeltests oder verschwiegene zusätzliche Versuche. Die Division zu kennen bedeutet nicht, die tatsächliche Hypothesenfamilie zu kennen.
Jeden Fehlalarm vermeiden zu wollen und den erwarteten Anteil falscher Entdeckungen unter allen Entdeckungen zu kontrollieren sind unterschiedliche Ziele. Keines belegt allein wirtschaftliche Tragfähigkeit. Wählen Sie das Verfahren passend zur Frage, statt mehrere Korrekturen auszuprobieren und die günstigste zu berichten. Wiederholt nachzusehen, ob das Ergebnis nun signifikant ist, fügt weitere Auswahl hinzu, sofern das sequenzielle Verfahren diese Prüfungen nicht berücksichtigt.
Wer die Auswahl bewerten will, muss die Auswahl wiederholen. Werden in einer Simulation andere Datensätze erzeugt, aber nur der bereits gewählte Gewinner bewertet, fehlt der Vorteil aus dem Durchsuchen vieler Kandidaten. Jede Wiederholung muss die erklärte Suche, Auswahlregel und anschließende Bewertung unter einem vertretbaren Datenmodell nachvollziehen. Das ist aufwendiger als ein Unsicherheitsband um eine einzelne attraktive Kurve, untersucht aber den Prozess, der die Behauptung tatsächlich hervorgebracht hat.