多重检验：最佳回测何时只是幸运的偶然

一项报告中的策略可能隐藏上千次试验

研究者可能在尝试许多信号、参数值、资产和样本日期后，只发布一个漂亮的回测。最终图表没有展示完整搜索过程。即使所有候选策略都没有真实优势，表现最好的策略也可能因某些随机序列有利而显得出色。

因此，相关分析单位不仅是选中的规则，还包括选出它的流程。查看结果后调整的阈值，即使没有运行正式的优化程序，也属于搜索的一部分。凭记忆试验、被丢弃的电子表格，以及非正式的目测检查，都可能造成选择偏差。诚实的研究记录会把这些选择明确呈现出来。

理解简单的概率示例

如果二十次独立测试各有 5% 的假阳性概率，至少出现一次假阳性的概率为 1 − 0.95²⁰，约 64.2%。独立性假设很重要：交易变体通常相关，因此这一计算只是示例，而非对实际研究项目的精确修正。

教训并不是每个正面发现都是假的，而是在广泛搜索后，不能再以相同方式解读单次检验阈值。相关的参数选择并不构成完全独立的证据，但它们之间的相关性也不会使选择偏差消失。有效搜索范围的估计本身存在不确定性，不应伪装成精确计数。

p 值不是假设为真的概率，也不是下一笔交易获利的概率。它衡量在指定零假设模型及其条件下，某个检验统计量与该模型有多不相容。较小的 p 值也可能来自错误的噪声模型、被忽略的依赖关系或选择性报告。统计显著更不能单独证明效应足以覆盖点差、融资和执行成本。

避免评分规则扭曲假设

从经济逻辑出发，明确说明某种关系为何可能持续，又为何可能失效。在可行情况下，在查看结果前定义数据清洗、成本与评估标准。这不能消除偏差，但能减少围绕幸运模式事后编造故事的自由度。

保留试验日志，记录被否决的变体及每次修改的原因。区分调试和假设修改。纠正时间戳错误，与为了改善权益曲线而移动止损位，并不是同一回事。两类修改都应记录，因为即使最初修改合理，看过结果仍可能影响后续决策。

未被使用过的样本有其有限寿命

留出期只有在开发过程未触碰它时才有价值。研究者一旦反复查看它来选择模型，它就成了另一项训练资源。称其为样本外，并不能逆转信息流。此时可能需要更新的时期，或另一项真正独立的评估。

滚动前推流程、嵌套选择及回测过度拟合研究，可以帮助检查选择过程，但没有一种能把薄弱数据变成确定性。应在合理参数邻域和经济特征不同的时期评估稳定性。诚实评估出的稳定性令人鼓舞；寻找最好看的稳定性统计量，则又引入了一层检验。

重视证据质量，而不是最高的图线

将结果与简单基准、现实成本及不确定性估计比较。一个复杂模型若只是略微改善某个噪声很大的指标，未必足以证明其额外自由度合理。检查表面优势中有多少来自一笔交易、一项资产或一个起始日期选择。

有用的报告包含搜索历史、最终设定、失败记录及未解决假设。负面发现可以缩小合理想法的范围，节省未来精力。目标不是保住偏爱的策略，而是发现现有证据是否支持足以经受复现的主张。如果不支持，严谨的结论应是不确定，而不是更花哨的营销图表。

统计所有可能改变胜出者的选择

五种观察窗口、四种入场阈值和三种退出规则，已经组成六十个组合。看过结果后再挑起始日期、剔除表现难看的资产，或换一个评分指标，都进一步扩大了选择空间。即使这些决定是在笔记本中手动做出的，也应纳入试验日志。否则，报告中的“测试策略数量”会低估真正产生结论的搜索过程。

对于预先定义的一组二十项有效检验，Bonferroni 方法把单项显著性水平设为 0.05 / 20 = 0.0025，从而将至少一次错误拒绝零假设的概率上限控制在 5%。这个上界不要求各检验独立，不过检验高度相关时可能较保守。NIST 说明了其背后的不等式。该调整不能修复有偏数据、无效单项检验或隐瞒的其他试验；知道除法，不等于知道真正的假设集合。

控制“出现任何假阳性”的概率，与控制所有发现中假发现比例的期望，是不同的统计目标。任何一种都不自动意味着策略经济上可行。应按研究问题选择方法，而不是尝试多种修正后只保留最容易得到好结果的一种。反复查看结果是否终于显著，也会引入额外选择，除非序贯检验方案本来就计入了这些重复查看。

评估选择过程，必须在模拟中重做选择。若重抽样生成其他数据集后，只计算已选中策略的表现，就漏掉了在大量候选者中择优的优势。每次重复都应在可辩护的数据模型下，运行声明的候选搜索、选择规则和后续评估。这比给一条漂亮曲线画置信带更复杂，却真正针对产生结论的程序。