Kiểm định cuốn chiếu: không đưa dữ liệu tương lai vào huấn luyện

Kiểm định quy trình thay vì công thức cuối cùng

Nghiên cứu cuốn chiếu liên tục khớp mô hình bằng thông tin có tại một ngày lịch sử, cố định quyết định thu được và đánh giá trong khoảng sau đó. Chuỗi quy trình tiếp tục tiến lên. Điều này mô phỏng nghiên cứu phải vận hành mà không biết tương lai. Nó không khiến chiến lược sinh lời hay loại bỏ mọi thiên lệch.

Ghi rõ điều gì được phép thay đổi ở mỗi bước. Tham số tín hiệu, lựa chọn tài sản, ước tính biến động và giả định chi phí đều thuộc quy trình. Nếu nhà nghiên cứu chỉnh thủ công chúng sau khi thấy kỳ kiểm tra, quy trình đã thay đổi và kỳ đó không còn là đánh giá độc lập sạch. Lịch trình có thể tái lập cung cấp nhiều thông tin hơn biểu đồ ghép từ các sửa đổi tùy ý.

Chủ động chọn lịch sử cuốn chiếu hoặc mở rộng

Cửa sổ mở rộng giữ lại mọi quan sát trước đó khi thời gian tiến lên. Nó có thể giúp ước lượng ổn định nhưng cũng giữ dữ liệu từ điều kiện thị trường đã lỗi thời. Cửa sổ cuốn chiếu dùng một khoảng thời gian gần đây cố định, giúp thích nghi dễ hơn nhưng tăng nhiễu lấy mẫu. Không cách nào luôn vượt trội; sự đánh đổi phù hợp tùy vào quan hệ kinh tế nào được kỳ vọng sẽ duy trì.

Chọn độ dài cửa sổ với lý do bảo vệ được trước khi so sánh kết quả. Thử hàng chục độ dài rồi chọn tốt nhất chỉ đẩy tối ưu hóa lên cấp cao hơn. Ghi số quan sát, giai đoạn thị trường riêng biệt và giao dịch thực tế trong mỗi khoảng kiểm tra. Khoảng lịch dài nhưng rất ít quyết định độc lập có thể cung cấp ít bằng chứng hơn thời lượng gợi ý.

Rò rỉ ẩn trong khâu chuẩn bị dữ liệu

Chia dữ liệu theo trình tự thời gian là cần thiết nhưng chưa đủ. Chuẩn hóa một đặc trưng bằng giá trị trung bình của toàn bộ mẫu khiến các quan sát tương lai ảnh hưởng đến đầu vào trong quá khứ. Chọn chứng khoán còn tồn tại, dùng số liệu kinh tế vĩ mô đã điều chỉnh hoặc đưa một hồ sơ công bố vào trước thời điểm phát hành đều tạo ra những dạng sai lệch do biết trước khác. Hãy ước lượng các phép biến đổi trên dữ liệu huấn luyện và bảo toàn tình trạng thông tin sẵn có tại từng thời điểm bất cứ khi nào có thể.

Nhãn cũng quan trọng. Nếu ví dụ huấn luyện dự đoán lợi suất đo trong năm ngày tiếp theo, kết quả của nó có thể chồng lấn đầu kỳ kiểm tra. Loại bỏ hoặc tách các quan sát có cửa sổ nhãn vượt ranh giới. Phần mềm có thể chèn khoảng cách giữa chỉ số huấn luyện và kiểm tra, nhưng chọn khoảng cách có ý nghĩa cần hiểu thời hạn nhãn, độ trễ công bố và tính phụ thuộc trong bộ dữ liệu cụ thể.

Cần biết khi nào kết quả dùng làm nhãn đã thực sự hoàn tất. Nếu tín hiệu thứ Hai được gắn với lợi nhuận năm phiên sau, nhãn ấy chưa có vào thứ Ba. Ngày bắt đầu quan sát thuộc quá khứ chưa đủ để đưa nó vào huấn luyện. Kiểm tra thời điểm hoàn tất nhãn và sự chồng lấn giữa các chân trời dự báo.

Tinh chỉnh trong tập huấn luyện, giữ nguyên tập đánh giá chưa dùng

Lựa chọn tham số chỉ nên dùng thông tin trong vùng huấn luyện, có thể qua quy trình xác thực theo thời gian bên trong. Khoảng kiểm tra bên ngoài sau đó đánh giá quy trình đã chọn. Cấu trúc lồng nhau này phân biệt việc chọn mô hình với đo hiệu quả của lựa chọn. Nó cũng làm tính toán tốn kém hơn, nhưng vẫn tốt hơn kết quả rẻ mà bị nhiễm thông tin.

Tổng hợp lợi nhuận kiểm tra tuần tự theo đúng thứ tự thời gian thực, gồm cả giai đoạn không có vị thế. Áp dụng phí và giả định thực thi nhất quán. Đừng lấy trung bình những tỷ số hấp dẫn ở từng phần chia mà chưa xem ý nghĩa kinh tế: nếu không, khoảng ngắn bình lặng có thể được coi quan trọng ngang khoảng dài biến động mạnh. Trình bày độ phân tán giữa các khoảng bên cạnh kết quả gộp.

Kết quả yếu là bằng chứng hữu ích

Hiệu suất kiểm định cuốn chiếu suy giảm sau chi phí, phụ thuộc vào một giai đoạn hoặc thay đổi mạnh chỉ vì điều chỉnh nhỏ về thời điểm cần được điều tra, không phải sửa cho đẹp. Hãy phân biệt lỗi dữ liệu hay triển khai với chiến lược đơn giản là thiếu bằng chứng hỗ trợ. Sửa một lỗi thực sự có thể là lý do chính đáng để chạy lại, nhưng việc đã xem kết quả trước đó phải được giữ trong lịch sử nghiên cứu.

Nếu cần đánh giá thêm, hãy kết thúc bằng một bộ đặc tả cố định và một giai đoạn quan sát mô phỏng thực sự mới. Xác định trước dữ liệu sẽ thu thập và điều gì sẽ bác bỏ các giả định. Mục đích không phải tiếp tục tối ưu đến khi có đường kết quả hấp dẫn; mà là xác định liệu một quy trình có kỷ luật, khả thi có vượt qua được những cơ hội khiến nó thất bại hay không.

Giữ đúng trình tự cả ở ranh giới các cửa sổ

Ngày huấn luyện lại mô hình không tự động là ngày đóng mọi vị thế. Quy định cách chuyển tiếp vị thế, chi phí và quyền quản lý qua ranh giới cửa sổ. Nếu tùy ý đặt lại số dư đầu mỗi cửa sổ, mô phỏng có thể tạo ra nguồn vốn hoặc cơ hội không tồn tại. Hãy nối các giai đoạn bằng một sổ tài khoản liên tục.

Lãi 10% ở cửa sổ đầu rồi lỗ 10% ở cửa sổ sau cho tổng lợi nhuận 1,10 × 0,90 − 1 = −1%, không phải trung bình 0%. Nếu các cửa sổ đánh giá chồng nhau, không cộng một ngày lãi lỗ nhiều lần. Kết hợp dự báo của nhiều mô hình và vận hành một danh mục thực tế là hai bài toán cần quy tắc riêng.

Chuẩn hóa, điền dữ liệu thiếu, chọn biến và tìm tham số đều phải diễn ra trong phần huấn luyện của mỗi lần chia. Chọn biến bằng toàn bộ dữ liệu rồi mới chia theo thời gian vẫn làm rò rỉ thông tin. Tham số gap của TimeSeriesSplit loại một số quan sát theo chỉ số; nó không tự hiểu lịch công bố hay thời điểm nhãn của từng bài toán hoàn tất.

Lưu phiên bản dữ liệu, thời điểm kết thúc huấn luyện, thiết lập đã chọn và lịch sử lệnh để tái hiện từng cửa sổ. Nếu sửa lỗi triển khai sau khi xem kết quả đánh giá, giải thích thay đổi và tính lại. Nhưng giai đoạn đã xem không trở thành dữ liệu mới chỉ vì mã đã sửa. Tính đúng kỹ thuật và tính độc lập của bằng chứng là hai yêu cầu khác nhau.