Kiểm định nhiều lần: khi kết quả kiểm định quá khứ tốt nhất chỉ là may mắn

Một chiến lược công bố có thể che giấu nghìn lần thử

Nhà nghiên cứu có thể công bố một kết quả kiểm định quá khứ hấp dẫn sau khi thử nhiều tín hiệu, giá trị tham số, tài sản và mốc thời gian mẫu. Biểu đồ cuối không cho thấy toàn bộ quá trình tìm kiếm. Dù mọi ứng viên đều không có lợi thế thực, ứng viên đẹp nhất vẫn có thể trông ấn tượng vì một số chuỗi ngẫu nhiên thuận lợi.

Vì vậy, đơn vị phân tích liên quan không chỉ là quy tắc được chọn mà còn là quy trình đã chọn nó. Việc thay đổi ngưỡng sau khi xem kết quả được tính là một phần của quá trình tìm kiếm ngay cả khi không chạy chương trình tối ưu hóa chính thức. Thử nghiệm dựa vào trí nhớ, bảng tính bị bỏ và xem biểu đồ không chính thức đều có thể góp phần tạo thiên lệch lựa chọn. Hồ sơ nghiên cứu trung thực làm rõ những lựa chọn này.

Hiểu minh họa xác suất đơn giản

Nếu hai mươi phép kiểm định độc lập đều có xác suất dương tính giả 5%, xác suất có ít nhất một dương tính giả là 1 − 0.95²⁰, xấp xỉ 64.2%. Giả định độc lập rất quan trọng: các biến thể giao dịch thường tương quan, nên phép tính này là minh họa chứ không phải hiệu chỉnh chính xác cho chương trình nghiên cứu thực tế.

Bài học không phải mọi kết quả tích cực đều sai. Mà là không thể diễn giải ngưỡng của một phép kiểm định đơn lẻ theo cùng cách sau một cuộc tìm kiếm rộng. Các lựa chọn tham số liên quan không tạo bằng chứng hoàn toàn độc lập, nhưng tương quan của chúng không khiến thiên lệch lựa chọn biến mất. Ước tính độ rộng tìm kiếm hiệu dụng tự nó cũng bất định và không nên được ngụy trang thành con số chính xác.

Giá trị p không phải xác suất giả thuyết đúng, cũng không phải xác suất giao dịch tiếp theo có lãi. Nó được tính trong một giả thuyết không và mô hình thống kê cụ thể, cho kết quả cực đoan ít nhất như kết quả đã quan sát. Ý nghĩa kinh tế sau chi phí và khả năng thực thi vẫn cần được đánh giá riêng.

Bảo vệ giả thuyết khỏi quy tắc chấm điểm

Bắt đầu bằng cơ sở kinh tế nêu vì sao quan hệ có thể bền vững và vì sao có thể ngừng hiệu quả. Khi khả thi, xác định cách làm sạch dữ liệu, chi phí và tiêu chí đánh giá trước khi xem kết quả. Điều này không loại bỏ thiên lệch nhưng thu hẹp khả năng tùy ý dựng câu chuyện khớp với mẫu hình may mắn.

Giữ nhật ký thử nghiệm gồm những biến thể bị loại và lý do của từng thay đổi. Phân biệt sửa lỗi với thay đổi giả thuyết. Sửa lỗi dấu thời gian khác với chuyển mức dừng lỗ vì nó làm đẹp đường vốn chủ sở hữu. Cả hai thay đổi đều cần ghi lại, vì việc thấy kết quả có thể ảnh hưởng đến quyết định sau này ngay cả khi thay đổi ban đầu là chính đáng.

Mẫu chưa đụng tới có tuổi thọ giới hạn

Giai đoạn giữ lại chỉ có giá trị khi chưa bị quá trình phát triển đụng tới. Khi nhà nghiên cứu liên tục xem nó để chọn mô hình, nó trở thành nguồn huấn luyện khác. Gọi nó là ngoài mẫu không đảo ngược dòng thông tin. Khi đó có thể cần giai đoạn mới hơn hoặc đánh giá độc lập thực sự khác.

Quy trình kiểm định cuốn chiếu, lựa chọn lồng nhau và nghiên cứu về khớp quá mức trong kiểm định quá khứ có thể giúp xem xét quá trình lựa chọn, nhưng không cách nào biến dữ liệu yếu thành sự chắc chắn. Đánh giá độ ổn định trong những vùng tham số lân cận hợp lý và các giai đoạn khác biệt về kinh tế. Độ ổn định là tín hiệu đáng khích lệ khi được đánh giá trung thực; tìm chỉ tiêu ổn định nào đẹp nhất lại thêm một tầng thử nghiệm.

Đánh giá cao chất lượng bằng chứng thay vì biểu đồ cao nhất

So sánh kết quả với chuẩn đơn giản, chi phí thực tế và ước tính bất định. Mô hình phức tạp chỉ cải thiện rất ít một chỉ số nhiều nhiễu có thể không xứng đáng với số bậc tự do bổ sung. Xem xét bao nhiêu lợi thế biểu kiến đến từ một giao dịch, một tài sản hoặc một lựa chọn ngày bắt đầu.

Báo cáo hữu ích bao gồm lịch sử tìm kiếm, đặc tả cuối cùng, các thất bại và giả định chưa giải quyết. Phát hiện tiêu cực thu hẹp tập ý tưởng có vẻ hợp lý và có thể tiết kiệm công sức sau này. Mục tiêu không phải giữ lại chiến lược yêu thích, mà tìm xem bằng chứng hiện có có hỗ trợ nhận định đủ mạnh để đứng vững khi tái lập hay không. Khi không, kết luận có kỷ luật là sự bất định, không phải một biểu đồ tiếp thị cầu kỳ hơn.

Kiểm toán toàn bộ quá trình chọn người thắng

Năm chỉ báo, bốn thời gian nắm giữ và ba ngưỡng vào lệnh đã tạo 60 tổ hợp. Chỉ công bố tổ hợp thắng không xóa được những lựa chọn trước đó. Ghi cả ý tưởng thất bại, kỳ dữ liệu đã đổi, tài sản bị loại và chỉ tiêu thành tích đã xem. Nếu không biết phạm vi tìm kiếm, khó đánh giá mức độ bất ngờ của kết quả tốt nhất.

Với 20 kiểm định được xác định trước, Bonferroni dùng ngưỡng riêng 0,05 / 20 = 0,0025 để kiểm soát xác suất có ít nhất một bác bỏ sai ở mức không quá 5%. Điều này không đòi hỏi các kiểm định độc lập nếu từng giá trị p hợp lệ. Nhưng phương pháp có thể bảo thủ và không tự tính đến những thử nghiệm đã bị giấu khỏi danh sách.

Xác suất có bất kỳ kết luận dương tính giả nào trong một họ kiểm định khác với tỷ lệ phát hiện sai trong số các phát hiện. Đó là hai mục tiêu kiểm soát khác nhau. Liên tục xem kết quả rồi dừng khi thấy giá trị p thuận lợi cũng là một quy tắc lựa chọn; nó cần thiết kế kiểm định tuần tự phù hợp, không thể coi như chỉ kiểm định một lần.

Khi dùng lấy mẫu lại để đánh giá thiên lệch lựa chọn, hãy lặp lại cả quá trình tạo ứng viên, chọn tham số và đánh giá trong từng mẫu. Chỉ lấy mẫu lại chiến lược thắng sẽ đo biến động sau khi đã chọn, không phản ánh đầy đủ lợi thế do tìm kiếm. Ngay cả quy trình đầy đủ cũng không kiểm chứng những thay đổi thị trường nằm ngoài dữ liệu và giả định.