Pengesahan bergerak ke hadapan: asingkan data masa hadapan daripada latihan

Uji proses, bukan formula akhir

Kajian ke hadapan bergulir berulang kali memadankan model menggunakan maklumat yang tersedia pada tarikh sejarah, membekukan keputusan yang dihasilkan dan menilainya dalam selang kemudian. Urutan itu kemudian bergerak ke hadapan. Ini meniru proses penyelidikan yang mesti beroperasi tanpa pengetahuan masa hadapan. Ia tidak menjadikan strategi menguntungkan atau menghapuskan semua bias.

Tuliskan perkara yang dibenarkan berubah pada setiap langkah. Parameter isyarat, pemilihan aset, anggaran kemeruapan dan andaian kos semuanya sebahagian daripada prosedur. Jika penyelidik melaraskannya secara manual selepas melihat tempoh ujian, prosedur telah berubah dan tempoh itu bukan lagi penilaian yang bersih. Jadual yang boleh diulang lebih bermaklumat daripada carta yang dihimpunkan daripada semakan budi bicara.

Pilih sejarah bergulir atau berkembang dengan sengaja

Tetingkap berkembang mengekalkan semua pemerhatian terdahulu apabila masa bergerak ke hadapan. Ia boleh menstabilkan anggaran tetapi juga mengekalkan data daripada keadaan pasaran yang lapuk. Tetingkap bergulir menggunakan jangka masa terkini yang tetap, memudahkan penyesuaian sambil meningkatkan hingar pensampelan. Tiada pendekatan yang sentiasa lebih baik; pertukaran yang relevan bergantung pada hubungan ekonomi yang dijangka berterusan.

Pilih panjang tetingkap atas alasan yang boleh dipertahankan sebelum membandingkan hasil. Mencuba berpuluh-puluh panjang dan memilih yang terbaik hanya memindahkan pengoptimuman ke tahap lebih tinggi. Catat bilangan pemerhatian, episod pasaran yang berbeza dan dagangan sebenar dalam setiap selang ujian. Jangka kalendar panjang dengan sangat sedikit keputusan bebas mungkin memberikan kurang bukti daripada yang dibayangkan oleh tempohnya.

Kebocoran tersembunyi dalam penyediaan data

Pemisahan mengikut kronologi perlu tetapi tidak mencukupi. Menyeragamkan ciri menggunakan min keseluruhan sampel membolehkan pemerhatian masa hadapan mempengaruhi input lalu. Memilih sekuriti yang terus wujud, menggunakan angka makroekonomi yang disemak atau memasukkan pemfailan sebelum masa penerbitannya menghasilkan bentuk pengetahuan kemudian yang lain. Padankan transformasi pada data latihan dan kekalkan ketersediaan setakat masa berkenaan jika boleh.

Label juga penting. Jika contoh latihan meramalkan pulangan yang diukur sepanjang lima hari berikutnya, hasilnya boleh bertindih dengan permulaan tempoh ujian. Buang atau asingkan pemerhatian yang tetingkap labelnya melintasi sempadan. Perisian boleh memasukkan jurang antara indeks latihan dan ujian, tetapi memilih jurang bermakna memerlukan pemahaman tempoh label, kelewatan penerbitan dan kebergantungan dalam set data tertentu.

Tarikh ciri tidak sama dengan masa sasaran ramalan benar-benar diketahui. Isyarat Isnin boleh menggunakan input tersedia pada Isnin, tetapi pulangan lima hari berikutnya belum lengkap pada Selasa. Latihan semula Selasa tidak boleh menggunakan label lengkap itu. Peraturan pemilihan perlu menyemak seluruh tempoh sasaran dan masa ketersediaan, bukan tarikh mula baris sahaja.

Laras dalam latihan, kekalkan penilaian yang belum disentuh

Pemilihan parameter perlu berlaku menggunakan hanya maklumat dalam bahagian latihan, mungkin melalui prosedur pengesahan kronologi dalaman. Selang ujian luaran kemudian menilai prosedur yang dipilih. Penyusunan bersarang ini membezakan pemilihan model daripada pengukuran prestasi pilihan itu. Ia juga menjadikan pengiraan lebih mahal, yang lebih baik daripada memperoleh hasil murah tetapi tercemar.

Gabungkan pulangan ujian berurutan mengikut susunan masa sebenar, termasuk tempoh tanpa kedudukan. Gunakan fi dan andaian pelaksanaan secara konsisten. Jangan puratakan nisbah menarik bagi setiap lipatan tanpa meneliti makna ekonominya: jika tidak, selang kecil yang tenang boleh menerima kepentingan ketara yang sama seperti selang panjang yang meruap. Tunjukkan serakan merentas selang bersama hasil gabungan.

Hasil lemah ialah bukti yang boleh digunakan

Prestasi ke hadapan bergulir yang merosot selepas kos, bergantung pada satu selang atau berubah secara dramatik dengan pelarasan masa kecil wajar disiasat, bukan dibaiki secara kosmetik. Asingkan kecacatan data atau pelaksanaan daripada strategi yang sememangnya kurang sokongan. Membetulkan pepijat sebenar boleh mewajarkan larian baharu, tetapi pendedahan terdahulu kepada hasil mesti kekal dalam sejarah penyelidikan.

Akhiri dengan spesifikasi dibekukan dan tempoh pemerhatian simulasi yang benar-benar baharu jika penilaian lanjut wajar dilakukan. Tetapkan terlebih dahulu data yang akan dikumpulkan dan perkara yang akan membatalkan andaian. Tujuannya bukan terus mengoptimumkan sehingga muncul garisan menarik; ia untuk menentukan sama ada prosedur berdisiplin yang boleh dilaksanakan mampu bertahan apabila diberi peluang untuk gagal.

Pastikan kedudukan dan modal bersambung merentas sempadan ujian

Melatih semula model tidak menutup kedudukan secara automatik. Jika ujian Januari–Mac berakhir dengan kedudukan yang menurut aturan lama hanya keluar pada April, tentukan awal sama ada aturan lama diteruskan, aturan baharu direkodkan atau kedudukan ditutup dengan kos. Menetapkan semula setiap bahagian kepada tunai secara senyap boleh menghapuskan kerugian, mencipta semula modal atau mengelak peralihan sukar.

Modal juga mesti dibawa ke hadapan. Untung 10% diikuti rugi 10% memberikan 1.10 × 0.90 = 0.99, iaitu rugi 1%. Purata aritmetik sifar tidak membina semula akaun. Simpan siri kronologi dengan aturan modal dan saiz yang konsisten. Jika tempoh ujian bertindih, jangan kira hari yang sama dua kali; jelaskan pemilihan model atau pembahagian modal antara model selari.

Pemilihan ciri, pempiawaian, pengisian nilai hilang dan perbandingan algoritma perlu dibuat semula dalam setiap sempadan latihan. Transformasi yang dipadankan sekali kepada seluruh sejarah masih boleh membocorkan masa hadapan. TimeSeriesSplit membantu pembahagian indeks mengikut masa, tetapi tidak mengetahui kematangan label kewangan, pindaan pengumuman atau pengendalian kedudukan terbuka.

Simpan akhir latihan, pemerhatian tersedia, parameter, masa pelaksanaan pertama yang mungkin, kedudukan awal, kos dan kedudukan akhir bagi setiap bahagian. Jelaskan data dan pesanan yang dilangkau. Selepas membaiki kecacatan, jalankan semula seluruh proses secara konsisten dan simpan hasil lama. Versi dibaiki pada data yang sudah dilihat bukan eksperimen baharu yang belum disentuh.