Kiểm định quá khứ mà không tự đánh lừa mình
Mô phỏng lịch sử là công cụ nghiên cứu, không phải cỗ máy thời gian hay lời hứa về kết quả thực tế.
Viết quy tắc trước khi xem câu trả lời
Kiểm định quá khứ áp dụng quy tắc quyết định đã xác định lên dữ liệu lịch sử và tính kết quả mà chuỗi giao dịch theo mô hình sẽ tạo ra. Giá trị của nó nằm ở việc đem giả thuyết đối chiếu với bằng chứng. Nếu quy tắc thay đổi mỗi khi xuất hiện ví dụ thua lỗ, bài tập trở thành cách mô tả quá khứ thay vì kiểm tra quy trình quyết định có thể lặp lại.
Bắt đầu với tập hợp công cụ, khoảng quan sát, điều kiện vào, điều kiện thoát, phương pháp xác định quy mô và mô hình chi phí. Xác định khi nào thông tin sẵn có và thời điểm sớm nhất lệnh có thể thực thi. Chiến lược dựa trên giá đóng cửa thường không thể giả định đã biết trước giá đóng cửa cuối cùng và khớp đúng giá đó nếu không có lý giải thêm.
Đề phòng thông tin tương lai rò rỉ về quá khứ
Thiên lệch nhìn trước xảy ra khi mô phỏng dùng thông tin chưa có lúc ra quyết định. Ví dụ gồm dữ liệu kinh tế đã điều chỉnh, thông báo lợi nhuận muộn hơn hoặc danh sách thành viên chỉ số tương lai. Cơ sở dữ liệu lịch sử có thể hoàn toàn chính xác hôm nay nhưng không phù hợp để tái dựng điều một người thực sự biết vào ngày trước đó.
Thiên lệch sống sót xuất hiện khi tập hợp kiểm định loại các công cụ đã biến mất. Chiến lược chỉ kiểm tra trên các công ty còn tồn tại có thể bỏ sót phá sản, hủy niêm yết và mua lại từng ảnh hưởng đến tập cơ hội lịch sử. Vấn đề tương tự có thể xảy ra với token tiền mã hóa thất bại hoặc quỹ ngừng hoạt động. Ghi rõ bộ dữ liệu xử lý sự biến mất ra sao thay vì âm thầm xóa bản ghi khó xử lý.
Phân biệt giá dùng tạo tín hiệu, giá có thể giao dịch và giá trị ghi sổ. Khi cổ phiếu tách theo tỷ lệ 2:1, 100 cổ phiếu giá 40 đô la trở thành 200 cổ phiếu giá 20 đô la; việc tách không tự tạo ra lợi nhuận. Nếu chuỗi tổng lợi nhuận đã tính cổ tức, cộng thêm cùng khoản cổ tức vào tiền mặt sẽ tính thu nhập hai lần.
Biến thực thi thành mô hình, không phải sự ưu ái
Một nến chạm giá giới hạn không chứng minh toàn bộ lệnh của bạn sẽ được khớp. Thứ tự trong hàng chờ, khối lượng có sẵn và diễn biến bên trong nến đều quan trọng. Nếu cả mức dừng lỗ lẫn mục tiêu đều được chạm trong một thanh giá, chỉ riêng thanh đó có thể không cho biết điều gì xảy ra trước. Hãy xử lý sự mơ hồ này một cách thận trọng hoặc dùng dữ liệu có thể xác định trình tự.
Tính cả chênh lệch giá, hoa hồng, tài trợ, chi phí vay nếu liên quan và mức trượt giá hợp lý. Cách tính thuế phụ thuộc vào khu vực pháp lý và hoàn cảnh, nên mô phỏng chung cần nêu rõ kết quả có phải trước thuế hay không thay vì tự đặt một thuế suất phổ quát. So sánh kết quả theo nhiều giả định chi phí. Phương pháp chỉ thành công khi thực thi miễn phí và tức thời là phương pháp mong manh.
Tách khám phá khỏi đánh giá
Thử hàng trăm tổ hợp tham số rồi trình bày tổ hợp tốt nhất tạo vấn đề lựa chọn. Một tổ hợp nào đó có thể trông xuất sắc do ngẫu nhiên. Dành riêng dữ liệu chưa dùng phát triển quy tắc và tránh liên tục tham khảo nó đến mức nó trở thành mẫu huấn luyện khác. Thử nghiệm trên giấy với dữ liệu tương lai cung cấp cách kiểm tra khác vì quan sát mới đến sau khi quy tắc đã cố định.
Hãy báo cáo các biến thể thất bại, cỡ mẫu, khoảng ngày và số thí nghiệm, không chỉ biểu đồ thắng cuộc. Xem các lựa chọn tham số lân cận có hành xử tương tự hay không, hay chỉ một thiết lập riêng biệt tạo ra toàn bộ lợi nhuận. Kết quả giả định vẫn là giả định ngay cả khi bảng tính chính xác đến nhiều chữ số thập phân. Thanh khoản, cảm xúc và vấn đề vận hành không được tái hiện đầy đủ bằng phép tính trên dữ liệu quá khứ.
Giữ nhật ký nghiên cứu về phiên bản dữ liệu và thay đổi phép tính. Sửa điều chỉnh chia tách hoặc thêm trường hợp hủy niêm yết có thể đổi kết quả đáng kể, và sửa đổi đó phải được lưu rõ. Khả năng tái lập nghĩa là người khác có thể dựng lại cùng câu trả lời từ đầu vào và quy tắc đã nêu. Nó không có nghĩa câu trả lời hữu ích về kinh tế, nhưng là bước cần thiết để tìm hiểu điều đó.
Đối chiếu dữ liệu giá với sổ tiền và vị thế
Ngày mà số liệu mô tả không nhất thiết là ngày có thể biết số liệu đó. Báo cáo cho kỳ kết thúc ngày 31 tháng 12 nhưng công bố năm sau không được dùng để ra quyết định ngày 31 tháng 12. Với dữ liệu bị điều chỉnh, cần giữ cả thời điểm công bố và phiên bản thực sự có sẵn lúc đó. Nhãn thời gian đúng trên tệp chưa đủ để loại bỏ thông tin tương lai.
Tại mỗi bước, đối chiếu tiền mặt, số lượng nắm giữ, giá trị đánh giá lại, phí, chi phí vay và lệnh còn mở. Không được dùng tiền từ một giao dịch đóng vị thế trước thời điểm tiền thực sự có thể sử dụng. Khi nhiều tín hiệu xuất hiện đồng thời, kiểm tra xem chúng có cùng sử dụng lại một hạn mức mua hay không.
Trước khi chạy dữ liệu thật, thử các bộ dữ liệu nhỏ có đáp án tính tay: giá không đổi, chỉ có chia tách, chỉ có cổ tức, hoặc lệnh gửi trong lúc ngừng giao dịch. Sai lệch ở đây có thể là lỗi triển khai chứ không phải ý tưởng đầu tư kém. Giữ lại cả kiểm thử thất bại và lý do sửa để có thể truy vết.
Chuẩn so sánh phải nhất quán về mức đầu tư, thu nhập tiền mặt và chi phí. Chiến lược thường giữ nhiều tiền mặt không có cùng mức phơi nhiễm với chỉ số luôn đầu tư toàn bộ. Nếu tính lãi tiền mặt cho một bên, giải thích cách xử lý bên còn lại. So sánh công bằng giúp xác định phạm vi kết luận, không tự chứng minh chiến lược có ưu thế.