Kết quả kiểm định quá khứ tốt nhất trong bảng tính

Bối cảnh

Tình huống giáo dục giả định. Chuỗi giá, chiến lược, kết quả giao dịch và thống kê đều hư cấu. Chúng không phải hồ sơ lịch sử, tuyên bố hiệu suất hoặc tín hiệu có thể giao dịch. Lena thử ý tưởng trung bình động trên rổ cổ phiếu tổng hợp. Sau khi thử 120 tổ hợp tham số, cô chọn kết quả hấp dẫn nhất và trình bày 200 giao dịch mô phỏng như bằng chứng lợi thế vững chắc. Rà soát nghiên cứu hỏi đã chọn gì, bỏ gì và điều gì thật sự chưa từng được xem.

Tái dựng con số tiêu đề ấn tượng

Cấu hình được chọn có 110 giao dịch thắng gộp, trung bình $180, và 90 giao dịch thua gộp, trung bình $160. Tổng lãi gộp $19,800 và tổng lỗ gộp $14,400, còn $5,400 trên 200 giao dịch. Bình quân gộp là $27 mỗi giao dịch và tỷ lệ thắng 55%. Không con số nào cho biết chiến lược chịu được chi phí thực tế hay không, hoặc quá trình lựa chọn tìm được tín hiệu thay vì may mắn hay không.

Lena chỉ giả định chi phí khứ hồi $2 mỗi giao dịch, làm kết quả giảm $400 còn $5,000. Nhưng rà soát thực thi giả định ước tính hoa hồng và phí trực tiếp $6, chi phí chênh lệch giá $12 và trượt giá bổ sung $15 mỗi lượt khứ hồi hoàn tất. Tổng là $33 mỗi giao dịch, tức $6,600 trên mẫu. Với cùng kết quả gộp, kết quả ròng sửa đổi là lỗ $1,200, trung bình âm $6 mỗi giao dịch.

Xác định chi phí không tính trùng

Các thành phần chi phí này chỉ hợp lý vì kiểm định quá khứ tổng hợp dùng giá tham chiếu không có ma sát giao dịch. Nếu đã mô phỏng khớp lệnh theo giá mua và giá bán, việc trừ riêng toàn bộ chênh lệch giá lần nữa sẽ phóng đại chi phí. Tương tự, mức thiếu hụt thực thi đo từ giá tại thời điểm quyết định có thể đã bao gồm chênh lệch giá và tác động thị trường. Nhật ký nghiên cứu cần định nghĩa chính xác chuẩn giá vào lệnh, chuẩn giá thoát lệnh và các phí bổ sung.

Bảng độ nhạy sẽ thử nhiều mức tổng chi phí khứ hồi, không chỉ mức thuận lợi nhất cho chiến lược. Ở $15, kết quả ròng là $2,400; ở $27 bằng không; ở $45 âm $3,600. Đây là kịch bản số học, không phải dự báo. Chi phí hòa vốn $27 đặc biệt hữu ích vì cho thấy kết quả gộp đã chọn còn ít dư địa thế nào cho bất định thực thi, lệnh bỏ lỡ và lỗi vận hành.

Vấn đề lựa chọn xuất hiện trước biểu đồ cuối cùng

Lena không chọn cấu hình này trước khi xem mẫu. Cô chọn vì nó vượt 119 phương án khác trên cùng mẫu. Ngay cả chiến lược không có lợi thế dự báo bền vững cũng có thể tạo phương án thắng hấp dẫn khi thử nhiều biến thể. Trong minh họa cố ý đơn giản hóa, nếu 120 kiểm định độc lập mỗi kiểm định có xác suất dương tính giả 5%, xác suất có ít nhất một là 1 − 0.95^120, khoảng 99.79%.

Các biến thể chiến lược thực tế có lẽ tương quan với nhau, nên phép tính giả định độc lập đó không phải giá trị p hợp lệ cho nghiên cứu của Lena. Vai trò của nó là chỉ ra vấn đề kiểm định nhiều lần, không phải định lượng chính xác. Cô phải ghi mọi biến thể đã thử, gồm chỉ báo bị bỏ, khoảng ngày thay đổi và ngoại lệ thủ công. Biểu đồ cuối cùng trau chuốt không thể cho biết bao nhiêu thí nghiệm thất bại bị giấu phía sau.

Dành riêng tập đánh giá trung thực

Thiết kế nghiên cứu giả định tốt hơn tách phát triển, xác thực và bài kiểm tra cuối chưa đụng tới. Lena có thể dùng dữ liệu phát triển để hình thành ý tưởng và dữ liệu xác thực để so một tập lựa chọn hạn chế, được ghi chép. Khi cô xem bài kiểm tra cuối và đổi chiến lược theo đó, dữ liệu ấy không còn nguyên vẹn. Liên tục gọi cùng dữ liệu là “ngoài mẫu” không khôi phục tính độc lập.

Trong kiểm tra mới 60 giao dịch, giả sử 28 giao dịch thắng gộp trung bình $170 và 32 giao dịch thua gộp trung bình $150. Kết quả gộp là $4,760 − $4,800 = âm $40. Với $33 mỗi lượt khứ hồi, chi phí thêm $1,980 và kết quả ròng âm $2,020. Mẫu hư cấu nhỏ này không chứng minh chiến lược không bao giờ hoạt động, nhưng không hỗ trợ sự tự tin ban đầu. Phản ứng phù hợp là điều tra hoặc bác bỏ, không tự động đổi tham số đến khi tập giữ lại chuyển xanh.

Giai đoạn phát triển 200 giao dịch lỗ 1.200 đô la và giai đoạn đánh giá riêng 60 giao dịch lỗ 2.020 cho tổng 260 giao dịch lỗ 3.220, bình quân khoảng −12,38 đô la. Tổng hợp này mô tả kết quả kinh tế, nhưng không làm hai giai đoạn có cùng vai trò bằng chứng. Dữ liệu đã dùng chọn thiết lập không trở thành kiểm chứng độc lập khi gộp vào tổng.

Kiểm tra thời điểm thông tin và đường đi thua lỗ

Rà soát cũng hỏi tín hiệu có dùng dữ liệu thực sự sẵn có trước mỗi giao dịch mô hình không. Chỉ báo giá đóng cửa thường không thể biện minh cho lần khớp sớm hơn tại chính giá đóng đó nếu không có cơ chế thực thi có cơ sở. Chọn tập chứng khoán không nên âm thầm loại chứng khoán thất bại hoặc hủy niêm yết. Hành động doanh nghiệp, căn chỉnh dấu thời gian và báo giá cũ có thể thay đổi đáng kể kết quả mô phỏng. Mỗi kiểm tra xử lý một nguồn lỗi tiềm năng, không bảo đảm lợi nhuận tương lai.

Cuối cùng, Lena ghi sụt giảm vốn, chuỗi thua liên tiếp, vòng quay và mức sử dụng vốn bên cạnh tổng lợi nhuận. Chiến lược cuối cùng hồi phục vẫn có thể vi phạm giới hạn tài trợ trên đường đi. NFA cảnh báo kết quả giả định được hưởng lợi từ việc biết trước quá khứ và không thể tái hiện đầy đủ trải nghiệm rủi ro tài chính thực. Kiểm tra trên giấy có thể lộ vấn đề quy trình nhưng không xác lập thanh khoản thật, khả năng mở rộng hoặc khả năng theo chiến lược khi mất tiền thật.

Giữ bằng chứng khi sửa nghiên cứu của Lena

Phân biệt lỗi triển khai, điểm yếu kinh tế và ảnh hưởng của một giao dịch đặc biệt. Sai thời gian hay tính phí cần sửa sổ và mã. Lợi thế trước phí nhỏ hơn chi phí thực là vấn đề khả thi. Nếu một giao dịch giải thích phần lớn lỗ, đừng chỉ xóa nó: hãy tìm nguyên nhân và xem cùng loại sự kiện có thể lặp lại hay không.

Việc so sánh 120 cấu hình phải tái hiện được. Giữ phiên bản dữ liệu, danh sách cấu hình, chỉ tiêu chấm điểm, cách xử lý đồng hạng và quy tắc chọn cuối. Dữ liệu tổng hợp nhỏ có đáp án tính tay giúp kiểm tra mã tìm kiếm. Tái lập cùng một kết quả chứng minh tính nhất quán của phép tính, không chứng minh khả năng sinh lời tương lai.

Nếu chi phí mỗi giao dịch trong 200 giao dịch phát triển tăng từ 33 lên 45 đô la, chi phí thêm là 2.400. Giữ các yếu tố khác không đổi, lỗ −1.200 trở thành −3.600 đô la. Nhưng thanh khoản xấu đi còn có thể đổi thời điểm và số lượng khớp; khi đó phải chạy lại đường giao dịch, không chỉ trừ thêm một khoản phí.

Chọn thiết lập mới sau khi xem giai đoạn đánh giá thất bại khiến giai đoạn ấy tham gia vào phát triển. Có thể dùng lại để nghiên cứu nhưng không gọi nó là kiểm chứng chưa từng xem. Giữ kết quả đầu, lý do sửa và kế hoạch đánh giá tiếp theo. Giải thích thất bại khác với biên tập cho thất bại biến mất.

Lập luận sai ở đâu