다중 검정: 최고의 백테스트가 우연한 행운일 때

발표된 전략 하나가 천 번의 시도를 숨길 수 있다

연구자는 여러 신호, 매개변수 값, 자산, 표본 기간을 시험한 뒤 매력적인 백테스트 하나를 발표할 수 있습니다. 최종 차트에는 전체 탐색 과정이 보이지 않습니다. 모든 후보에 실제 우위가 없더라도 일부 무작위 경로가 유리하기 때문에 가장 좋아 보이는 후보는 인상적으로 보일 수 있습니다.

따라서 적절한 분석 단위는 선택한 규칙뿐 아니라 그것을 선택한 절차입니다. 정식 최적화 프로그램을 실행하지 않았어도 결과를 살핀 뒤 바꾼 임계값은 탐색의 일부입니다. 기억에 의존한 실험, 버린 스프레드시트, 비공식적인 육안 검토도 모두 선택 편향을 만들 수 있습니다. 정직한 연구 기록은 이런 선택을 드러냅니다.

간단한 확률 예시 이해하기

독립적인 검정 20개 각각의 위양성 확률이 5%라면 적어도 하나의 위양성이 나올 확률은 1 − 0.95²⁰, 약 64.2%입니다. 독립성 가정이 중요합니다. 거래 변형들은 흔히 서로 상관되므로 이 계산은 실제 연구 과정의 정확한 보정법이 아니라 설명용 예시입니다.

모든 긍정적인 결과가 거짓이라는 뜻은 아닙니다. 광범위하게 탐색한 뒤에는 단일 검정의 임계값을 같은 방식으로 해석할 수 없다는 뜻입니다. 연관된 매개변수 선택은 완전히 독립된 증거를 만들지 않지만, 상관되어 있다고 선택 편향이 사라지지도 않습니다. 실질적인 탐색 범위의 추정 자체도 불확실하므로 정확한 횟수인 것처럼 표현해서는 안 됩니다.

p값은 가설이 참일 확률도, 다음 거래가 이길 확률도 아닙니다. 정해진 귀무가설과 통계 모형 아래에서 관측한 결과만큼 또는 그보다 극단적인 결과가 나올 확률입니다. 거래 비용을 뺀 경제적 이익, 실행 가능성, 표본 선택의 공정성은 별도로 검토해야 합니다.

평가 규칙에 맞춰 가설을 바꾸지 않기

어떤 관계가 지속될 수 있는 이유와 작동을 멈출 수 있는 이유를 명시하는 경제적 근거부터 세우세요. 가능하다면 결과를 보기 전에 데이터 정제, 비용, 평가 기준을 정의하세요. 편향을 없애지는 못해도 운 좋게 나온 패턴에 이야기를 사후적으로 끼워 맞출 여지를 줄일 수 있습니다.

기각한 변형과 각 변경의 이유를 포함한 실험 기록을 유지하세요. 디버깅과 가설 변경을 구분하세요. 타임스탬프 오류를 고치는 것과 자기자본 곡선이 좋아진다는 이유로 스톱 수준을 옮기는 것은 다릅니다. 최초 변경이 정당했어도 결과를 본 경험이 후속 결정에 영향을 줄 수 있으므로 둘 다 기록해야 합니다.

손대지 않은 표본의 수명은 제한적이다

유보 기간은 개발 과정에서 손대지 않는 동안에만 가치가 있습니다. 연구자가 모형을 고르려고 반복해서 참고하기 시작하면 또 다른 학습 자원이 됩니다. 표본 외라고 부른다고 정보의 흐름이 되돌아가지는 않습니다. 그때는 더 최근 기간이나 정말로 독립적인 다른 평가가 필요할 수 있습니다.

워크포워드 절차, 중첩 선택, 백테스트 과적합 연구는 선택 과정을 검토하는 데 도움이 되지만 빈약한 데이터를 확실성으로 바꾸지는 못합니다. 합리적인 인접 매개변수 범위와 경제적으로 구별되는 기간에서 안정성을 평가하세요. 정직하게 평가한 안정성은 긍정적이지만, 가장 좋아 보이는 안정성 통계를 찾는 탐색은 또 하나의 검정 층을 더합니다.

가장 높은 차트보다 증거의 질을 중시하기

단순한 벤치마크, 현실적인 비용, 불확실성 추정치와 결과를 비교하세요. 잡음이 많은 지표를 겨우 개선하는 복잡한 모형은 추가 자유도를 정당화하지 못할 수 있습니다. 겉보기 우위 중 얼마나 많은 부분이 단 한 번의 거래, 하나의 자산, 시작일 선택 하나에서 비롯되는지 살펴보세요.

유용한 보고서에는 탐색 이력, 최종 사양, 실패, 해결되지 않은 가정이 포함됩니다. 부정적인 결과는 타당한 아이디어의 범위를 좁히고 향후 노력을 절약할 수 있습니다. 목표는 좋아하는 전략을 지키는 것이 아니라 재현 검증을 견딜 만큼 강한 주장을 가용 증거가 뒷받침하는지 알아내는 것입니다. 그렇지 않다면 절제된 결론은 더 정교한 홍보 차트가 아니라 불확실성입니다.

선택 과정 전체를 하나의 실험으로 보기

지표 다섯 개, 보유 기간 네 개, 진입 기준 세 개를 조합하면 이미 60개 설정을 비교한 셈입니다. 보고서에 최종 설정 하나만 적어도 그 전에 선택한 경로는 사라지지 않습니다. 실패한 아이디어, 변경한 데이터 기간, 제외한 종목과 살펴본 성과 지표까지 연구 기록에 남겨야 실제 탐색 범위를 이해할 수 있습니다.

미리 정한 20개 검정에서 전체 유의수준을 5%로 제한하려는 Bonferroni 방식은 개별 기준을 0.05 / 20 = 0.0025로 둡니다. 각 p값이 유효하다면 검정끼리 독립이 아니어도 하나 이상의 잘못된 기각이 발생할 확률을 5% 이하로 제한합니다. 다만 보수적일 수 있으며, 기록하지 않은 추가 검정까지 자동으로 보정해 주지는 않습니다.

가족 단위 오류율은 하나라도 잘못 기각할 확률에 관한 개념입니다. 거짓 발견률은 발견했다고 판단한 결과들 중 잘못된 발견의 비율을 다른 방식으로 관리합니다. 두 목표를 혼동하면 보정 후 숫자를 과도하게 해석하게 됩니다. 데이터를 조금씩 추가하면서 유리한 p값이 나올 때마다 멈추는 행위 역시 별도의 순차적 검정 설계가 필요합니다.

선택 편향을 평가하려고 재표집한다면 우승 전략만 다시 계산하지 마세요. 각 재표본 안에서 후보 구성, 매개변수 선택과 최종 평가까지 가능한 한 같은 연구 절차를 반복해야 합니다. 그렇지 않으면 이미 선택된 승자의 조건부 변동만 보게 됩니다. 그 실험조차 원래 데이터와 모형이 빠뜨린 시장 변화까지 검증하지는 못합니다.