多重検定：最高のバックテストが幸運な偶然にすぎないとき
探索の過程を記録し、真の仮説と、大量の過去データ比較から選ばれた勝者を区別します。
報告された1戦略が1,000回の試行を隠すことがある
研究者は、多数のシグナル、パラメーター、資産、標本期間を試した後、魅力的なバックテストを1つ公表するかもしれません。最終チャートは探索の全体像を示しません。すべての候補に真の優位性がなくても、偶然の系列の一部が有利になるため、最も見栄えのよい候補は印象的に映りえます。
したがって、分析の対象は選ばれたルールだけでなく、それを選んだ手続きです。正式な最適化プログラムを実行していなくても、結果を見て閾値を変えれば、それは探索の一部です。記憶に頼る実験、捨てた表計算、非公式な目視確認も、選択バイアスにつながりえます。正直な調査記録は、こうした選択を見える形にします。
単純な確率の例を理解する
独立した20検定のそれぞれに5%の偽陽性確率があると、少なくとも1つ偽陽性が出る確率は1 − 0.95²⁰、約64.2%です。独立性の前提が重要です。取引手法の変種は相関していることが多いため、この計算は例示であって、実際の研究全体に対する厳密な補正ではありません。
教訓は、肯定的な発見がすべて誤りだということではありません。広範に探索した後では、単一検定の閾値を同じように解釈できないということです。関連するパラメーターの選択肢は完全に独立した証拠を生みませんが、相関があるからといって選択バイアスが消えるわけでもありません。実効的な探索範囲の推定自体にも不確実性があり、正確な回数であるかのように示すべきではありません。
p値は、仮説が真である確率でも、次の取引で勝つ確率でもありません。検定の前提の下で、ある検定統計量が指定した帰無モデルとどれほど整合しないかを表します。小さな値は、誤ったノイズモデル、無視した依存関係、選択的な報告からも生じます。統計的有意性だけでは、効果がスプレッド、資金調達、執行費用を上回るかは分かりません。
採点基準から仮説を守る
なぜ関係が続く可能性があり、なぜ機能しなくなる可能性があるのかを示す経済的根拠から始めます。できる限り結果を見る前に、データ処理、費用、評価基準を定めます。偏りはなくなりませんが、幸運なパターンに物語を後付けする自由度を減らせます。
却下した案と各変更理由を含む試行記録を残します。デバッグと仮説変更を区別しましょう。タイムスタンプの誤りを直すことと、資産曲線が改善するからストップ水準を動かすことは異なります。最初の変更が正当でも、結果を見たことが後の判断に影響しうるため、どちらも記録すべきです。
未使用標本の寿命には限りがある
ホールドアウト期間に価値があるのは、開発に使わずに残している間だけです。モデル選択のために研究者が何度も参照すると、それも学習用資源になります。アウトオブサンプルと呼んでも、情報の流れは逆転しません。その場合は、より新しい期間や、別の本当に独立した評価が必要になることがあります。
ウォークフォワード手法、入れ子の選択、バックテスト過剰適合の研究は、選択プロセスを調べる助けになりますが、弱いデータを確実性に変えるものではありません。合理的な近接パラメーターや経済的に異なる期間で安定性を評価しましょう。正直に評価した安定性は心強い材料ですが、最もよく見える安定性指標を探せば、さらに別の検定を重ねることになります。
最も高いチャートではなく証拠の質を評価する
単純なベンチマーク、現実的な費用、不確実性の推定と結果を比較します。ノイズの多い指標をわずかに改善するだけの複雑なモデルでは、追加の自由度を正当化できないかもしれません。見かけの優位性のどれほどが、1取引、1資産、または開始日の1つの選択から生じているか検討しましょう。
有益な報告には、探索履歴、最終仕様、失敗、未解決の前提を含めます。否定的な発見は、もっともらしいアイデアの範囲を狭め、将来の労力を節約できます。目的はお気に入りの戦略を守ることではなく、再現に耐えるほど強い主張を証拠が支えるかを確かめることです。支えないなら、規律ある結論は不確実性であり、より凝った宣伝チャートではありません。
勝者を変ええた選択をすべて数える
参照期間五通り、参入閾値四通り、退出規則三通りで、すでに60通りです。結果を見て開始日を選ぶ、不都合な資産を外す、評価指標を変えると、探索範囲はさらに広がります。試行記録には、最適化プログラムが実行した設定だけでなく、手作業の選択も残します。
事前に定義した20個の有効な検定なら、ボンフェローニ補正では個々の有意水準を0.05 / 20 = 0.0025とし、一つ以上の誤った棄却の確率を5%以下に抑えます。この上限は検定の独立性を必要としませんが、強く重複する場合には保守的です。偏ったデータ、無効な個別検定、隠した追加試行を修復するものではありません。
少なくとも一つ偽陽性が出る確率を抑えることと、発見の中の誤発見割合の期待値を抑えることは、別の目標です。どちらも経済的な実用性を保証しません。複数の補正を試して一番都合のよいものを報告するのではなく、研究目的に合う方法を選びます。有意になるまで繰り返し結果を見るなら、その確認回数も逐次的な検定手順に組み込む必要があります。
選択の影響を調べるシミュレーションでは、選択自体を繰り返します。別のデータを作っても、すでに選んだ勝者だけを評価すれば、多数の候補を探した有利さを取り逃がします。各反復で、説明した候補探索、選択規則、その後の評価を、妥当なデータモデルの下で再実行します。一つの美しい資産曲線に信頼帯を付けるだけでは代わりになりません。