스프레드시트에서 가장 좋은 백테스트

상황 설정

가상의 교육용 사례입니다. 가격 시계열, 전략, 거래 결과와 통계는 모두 만들어낸 것입니다. 과거 기록, 성과 주장이나 매매 신호가 아닙니다. 레나는 합성 주식 바스켓에서 이동평균 아이디어를 시험합니다. 120개 매개변수 조합을 시도한 뒤 가장 매력적인 결과를 선택하고, 200건의 모의 거래를 견고한 우위의 증거로 제시합니다. 연구 검토에서는 무엇을 선택했는지, 무엇을 제외했는지, 무엇이 진정한 미관측 데이터로 남아 있는지 묻습니다.

인상적인 대표 수치를 재구성하세요

선택된 설정에는 비용 차감 전 평균 $180를 번 수익 거래 110건과 평균 $160를 잃은 손실 거래 90건이 있습니다. 비용 차감 전 이익 합계는 $19,800, 손실 합계는 $14,400이므로 200건 전체에서 $5,400이 남습니다. 비용 차감 전 평균은 거래당 $27이며 승률은 55%입니다. 어느 수치도 전략이 현실적인 비용을 견디는지, 또는 선택 과정이 운이 아닌 신호를 발견했는지 알려주지 않습니다.

레나는 거래당 왕복 비용을 $2로만 가정해 전체 결과에서 $400을 차감한 $5,000을 계산했습니다. 그러나 가상의 체결 검토는 완료된 왕복 거래마다 수수료와 명시적 부과금 $6, 스프레드 비용 $12, 추가 슬리피지 $15를 추정합니다. 총비용은 거래당 $33, 표본 전체로는 $6,600입니다. 같은 비용 차감 전 결과에 적용하면 수정 순성과는 $1,200 손실, 거래당 평균 −$6입니다.

비용을 이중 계산하지 않고 정의하세요

이 비용 구성은 합성 백테스트가 거래 마찰 없는 기준 가격을 사용했기 때문에 의미가 있습니다. 체결을 이미 매수·매도호가로 모의했다면 전체 스프레드를 다시 별도로 차감하는 것은 비용을 과대평가합니다. 마찬가지로 의사결정 가격을 기준으로 측정한 실행 부족분에는 이미 스프레드와 시장 충격이 포함되어 있을 수 있습니다. 연구 일지에는 진입 기준, 청산 기준과 추가 부과금의 정확한 정의가 필요합니다.

민감도 표는 전략에 가장 유리한 비용 하나만이 아니라 여러 총 왕복 비용을 시험해야 합니다. 비용이 $15면 순성과는 $2,400, $27이면 0, $45면 −$3,600입니다. 이는 계산 시나리오이지 예측이 아닙니다. 손익분기 비용 $27는 특히 유용합니다. 선택된 비용 차감 전 성과가 체결 불확실성, 미체결과 운영 실수를 감당할 여유가 얼마나 적은지 드러내기 때문입니다.

선택 문제는 최종 차트 이전에 발생합니다

레나는 표본을 보기 전에 이 설정을 선택하지 않았습니다. 같은 표본에서 다른 119개보다 성과가 좋았기 때문에 선택했습니다. 지속적인 예측 우위가 없는 전략도 많은 변형을 시도하면 매력적인 우승자를 만들 수 있습니다. 의도적으로 단순화한 예로, 120개의 독립 검정이 각각 5%의 거짓 양성 확률을 가진다면 적어도 하나가 발생할 확률은 1 − 0.95^120, 약 99.79%입니다.

실제 전략 변형들은 서로 상관되어 있을 가능성이 높으므로 이 독립성 계산은 레나의 연구에 유효한 p값이 아닙니다. 그 역할은 다중 검정 문제를 정확히 정량화하는 것이 아니라 드러내는 것입니다. 레나는 버린 지표, 변경한 날짜 구간과 수동 예외를 포함해 시도한 모든 변형을 기록해야 합니다. 잘 다듬은 최종 차트는 그 뒤에 숨은 실패한 실험의 수를 보여주지 못합니다.

정직한 평가용 데이터셋을 남겨두세요

더 나은 가상 연구 설계는 개발, 검증과 마지막 미사용 테스트를 분리합니다. 레나는 개발 데이터로 아이디어를 만들고 검증 데이터로 제한적이며 문서화된 선택지를 비교할 수 있습니다. 최종 테스트를 살펴보고 그 결과에 따라 전략을 바꾸는 순간 그 데이터는 더 이상 손대지 않은 데이터가 아닙니다. 같은 데이터를 반복해서 ‘표본 외’라고 불러도 독립성이 회복되지는 않습니다.

새로운 60건 거래 테스트에서 비용 차감 전 평균 $170의 수익 거래 28건과 평균 $150의 손실 거래 32건이 있다고 가정합니다. 비용 차감 전 결과는 $4,760 − $4,800 = −$40입니다. 왕복당 $33를 적용하면 비용 $1,980이 더해져 순성과는 −$2,020입니다. 이 작은 가상 표본은 전략이 절대로 통할 수 없음을 증명하지 않지만, 처음의 확신도 뒷받침하지 않습니다. 적절한 대응은 조사하거나 기각하는 것이지, 유보 표본이 수익으로 돌아설 때까지 자동으로 매개변수를 바꾸는 것이 아닙니다.

개발 구간 200건에서 1,200달러를 잃고 별도 평가 구간 60건에서 2,020달러를 잃었다면, 합계는 260건에서 3,220달러 손실로 거래당 약 −12.38달러입니다. 이 합계는 경제적 결과를 요약하지만 두 구간의 증거 역할을 같게 만들지는 않습니다. 개발 자료는 설정을 고르는 데 이미 사용되었으므로 독립적인 확인 자료처럼 합쳐 제시하면 안 됩니다.

정보 시점과 손실 경로를 확인하세요

검토에서는 신호가 각 모의 거래 이전에 실제로 이용 가능했던 데이터를 사용했는지도 묻습니다. 종가 지표는 타당한 체결 구조 없이 같은 종가에 더 일찍 체결했다고 일반적으로 정당화할 수 없습니다. 대상군 선정에서 실패하거나 상장폐지된 증권을 조용히 버려서는 안 됩니다. 기업행위, 타임스탬프 정렬과 오래된 호가는 모의 결과를 크게 바꿀 수 있습니다. 각 점검은 미래 수익성을 보장하는 대신 가능한 오류 원인을 다룹니다.

마지막으로 레나는 총이익과 함께 낙폭, 연속 손실, 회전율과 자본 사용량을 기록합니다. 결국 회복하는 전략도 그 과정에서 자금 조달 한도를 넘을 수 있습니다. NFA는 가상 결과가 사후 지식의 혜택을 받으며 실제 금융 위험을 경험하는 상황을 완전히 재현할 수 없다고 경고합니다. 모의 검증은 작업 흐름의 문제를 드러낼 수 있지만, 실거래 유동성, 확장 가능성이나 실제 돈을 잃으면서 전략을 따를 능력을 입증하지는 못합니다.

Lena의 실패를 수정할 때 보존해야 할 증거

먼저 구현 오류, 경제적 약점과 특정 거래의 영향을 구분하세요. 시각 정렬이나 비용 계산 오류라면 장부를 고쳐야 합니다. 비용 차감 전 우위가 실제 비용보다 작다면 전략 자체의 실행 가능성이 문제입니다. 손실 하나가 결과 대부분을 설명한다면 그 거래를 삭제하기보다 왜 발생했고 같은 유형이 다시 가능한지 살펴야 합니다.

120개 설정을 비교했다는 주장도 재현 가능해야 합니다. 사용한 데이터 버전, 설정 목록, 평가 기준, 동점 처리 방식과 최종 선택 규칙을 보존하세요. 작은 합성 데이터에서 각 설정의 예상 결과를 손으로 확인하면 탐색 코드의 오류를 찾는 데 도움이 됩니다. 코드가 같은 답을 반복해서 낸다는 사실과 그 답이 미래에 돈을 번다는 주장은 별개입니다.

개발 구간 200건의 거래당 비용이 33달러에서 45달러로 늘면 추가 비용은 2,400달러입니다. 다른 손익이 같다면 기존 −1,200달러는 −3,600달러가 됩니다. 그러나 유동성 악화 때문에 체결 수량과 시점까지 바뀐다면 비용만 더하는 계산으로는 부족합니다. 변경된 체결 규칙으로 전체 경로를 다시 계산해야 합니다.

실패한 평가 구간을 보고 새 설정을 고르면 그 구간은 이제 개발 과정에 참여한 것입니다. 수정안을 연구하는 데 다시 쓸 수는 있지만 새로운 미관측 평가라고 부를 수는 없습니다. 최초 결과, 수정 이유와 이후 평가 계획을 함께 보존하세요. 실패를 설명하는 능력과 실패를 없던 일로 만드는 편집은 구분해야 합니다.

추론이 잘못되는 지점