多重檢驗：最佳回測何時只是幸運的偶然

一項報告中的策略可能隱藏上千次試驗

研究者可能在嘗試許多信號、參數值、資產和樣本日期後，只發佈一個漂亮的回測。最終圖表沒有展示完整搜尋過程。即使所有候選策略都沒有真實優勢，表現最好的策略也可能因某些隨機序列有利而顯得出色。

因此，相關分析單位不僅是選中的規則，還包括選出它的流程。查看結果後調整的閾值，即使沒有運行正式的優化程序，也屬於搜尋的一部分。憑記憶試驗、被丟棄的電子表格，以及非正式的目測檢查，都可能造成選擇偏差。誠實的研究記錄會把這些選擇明確呈現出來。

理解簡單的概率示例

如果二十次獨立測試各有 5% 的假陽性概率，至少出現一次假陽性的概率為 1 − 0.95²⁰，約 64.2%。獨立性假設很重要：交易變體通常相關，因此這一計算只是示例，而非對實際研究項目的精確修正。

教訓並不是每個正面發現都是假的，而是在廣泛搜尋後，不能再以相同方式解讀單次檢驗閾值。相關的參數選擇並不構成完全獨立的證據，但它們之間的相關性也不會使選擇偏差消失。有效搜尋範圍的估計本身存在不確定性，不應偽裝成精確計數。

p 值不是假設為真的機率，也不是下一筆交易獲利的機率。它衡量在指定零假設模型及其條件下，某個檢驗統計量與該模型有多不相容。較小的 p 值也可能來自錯誤的噪聲模型、被忽略的依賴關係或選擇性報告。統計顯著更不能單獨證明效應足以覆蓋買賣價差、融資和執行成本。

避免評分規則扭曲假設

從經濟邏輯出發，明確說明某種關係為何可能持續，又為何可能失效。在可行情況下，在查看結果前定義數據清洗、成本與評估標準。這不能消除偏差，但能減少圍繞幸運模式事後編造故事的自由度。

保留試驗日誌，記錄被否決的變體及每次修改的原因。區分調試和假設修改。糾正時間戳錯誤，與為了改善權益曲線而移動止損位，並不是同一回事。兩類修改都應記錄，因為即使最初修改合理，看過結果仍可能影響後續決策。

未被使用過的樣本有其有限壽命

留出期只有在開發過程未觸碰它時才有價值。研究者一旦反覆查看它來選擇模型，它就成了另一項訓練資源。稱其為樣本外，並不能逆轉信息流。此時可能需要更新的時期，或另一項真正獨立的評估。

滾動前推流程、嵌套選擇及回測過度擬合研究，可以幫助檢查選擇過程，但沒有一種能把薄弱數據變成確定性。應在合理參數鄰域和經濟特徵不同的時期評估穩定性。誠實評估出的穩定性令人鼓舞；尋找最好看的穩定性統計量，則又引入了一層檢驗。

重視證據質量，而不是最高的圖線

將結果與簡單基準、現實成本及不確定性估計比較。一個複雜模型若只是略微改善某個噪聲很大的指標，未必足以證明其額外自由度合理。檢查表面優勢中有多少來自一筆交易、一項資產或一個起始日期選擇。

有用的報告包含搜尋歷史、最終設定、失敗記錄及未解決假設。負面發現可以縮小合理想法的範圍，節省未來精力。目標不是保住偏愛的策略，而是發現現有證據是否支持足以經受復現的主張。如果不支持，嚴謹的結論應是不確定，而不是更花哨的營銷圖表。

統計所有可能改變勝出者的選擇

五種觀察期間、四種入場門檻和三種退出規則，已經組成六十個組合。看過結果後再挑起始日期、剔除表現難看的資產，或換一個評分指標，都進一步擴大了選擇空間。即使這些決定是在筆記本中手動做出的，也應納入試驗日誌。否則，報告中的“測試策略數量”會低估真正產生結論的搜索過程。

對於預先定義的一組二十項有效檢驗，Bonferroni 方法把單項顯著性水準設為 0.05 / 20 = 0.0025，從而將至少一次錯誤拒絕零假設的機率上限控制在 5%。這個上界不要求各檢驗獨立，不過檢驗高度相關時可能較保守。NIST 說明瞭其背後的不等式。該調整不能修復有偏資料、無效單項檢驗或隱瞞的其他試驗；知道除法，不等於知道真正的假設集合。

控制“出現任何偽陽性”的機率，與控制所有發現中錯誤發現比例的期望，是不同的統計目標。任何一種都不自動意味著策略經濟上可行。應按研究問題選擇方法，而不是嘗試多種修正後只保留最容易得到好結果的一種。反覆查看結果是否終於顯著，也會引入額外選擇，除非序貫檢驗方案本來就計入了這些重複查看。

評估選擇過程，必須在模擬中重做選擇。若重抽樣生成其他資料集後，只計算已選中策略的表現，就漏掉了在大量候選者中擇優的優勢。每次重複都應在可辯護的資料模型下，運行聲明的候選搜索、選擇規則和後續評估。這比給一條漂亮曲線畫置信帶更複雜，卻真正針對產生結論的程式。