Pengujian berganda: ketika backtest terbaik hanyalah kebetulan yang beruntung

Satu strategi yang dilaporkan bisa menyembunyikan seribu percobaan

Seorang peneliti mungkin menerbitkan satu backtest menarik setelah mencoba banyak sinyal, nilai parameter, aset, dan tanggal sampel. Grafik akhir tidak menunjukkan seluruh pencarian tersebut. Sekalipun setiap kandidat tidak memiliki keunggulan nyata, kandidat yang terlihat terbaik dapat tampak mengesankan karena beberapa urutan acak kebetulan menguntungkan.

Karena itu, unit analisis yang relevan bukan hanya aturan yang dipilih, tetapi juga prosedur yang memilihnya. Ambang batas yang diubah setelah memeriksa hasil termasuk bagian dari pencarian, sekalipun tidak ada program optimalisasi formal yang dijalankan. Eksperimen berdasarkan ingatan, lembar kerja yang dibuang, dan pemeriksaan visual informal semuanya dapat berkontribusi pada bias seleksi. Catatan riset yang jujur memperlihatkan pilihan-pilihan ini.

Pahami ilustrasi probabilitas sederhana

Jika dua puluh pengujian independen masing-masing memiliki probabilitas positif palsu 5%, peluang setidaknya satu positif palsu adalah 1 − 0.95²⁰, sekitar 64.2%. Asumsi independensi penting: varian trading sering berkorelasi, sehingga perhitungan ini merupakan ilustrasi, bukan koreksi presisi untuk program riset yang sebenarnya.

Pelajarannya bukan bahwa setiap temuan positif itu salah, melainkan bahwa ambang batas untuk satu pengujian tidak dapat ditafsirkan dengan cara yang sama setelah pencarian luas. Pilihan parameter yang terkait tidak menciptakan bukti yang sepenuhnya independen, tetapi korelasinya juga tidak menghilangkan bias seleksi. Estimasi keluasan pencarian efektif itu sendiri tidak pasti dan tidak boleh disamarkan sebagai jumlah yang eksak.

Nilai p bukan peluang bahwa hipotesis benar atau transaksi berikutnya akan untung. Nilai itu mengukur ketidakcocokan statistik tertentu dengan model hipotesis nol di bawah asumsi pengujian. Nilai kecil juga dapat berasal dari model derau yang keliru, ketergantungan yang diabaikan, atau pelaporan selektif. Signifikansi saja tidak memastikan besarnya efek cukup untuk menutup spread, pembiayaan, dan eksekusi.

Lindungi hipotesis dari aturan penilaian

Mulailah dengan alasan ekonomi yang menjelaskan mengapa suatu hubungan mungkin bertahan dan mengapa hubungan itu mungkin berhenti berlaku. Jika memungkinkan, tetapkan pembersihan data, biaya, dan kriteria evaluasi sebelum melihat hasil. Ini tidak menghilangkan bias, tetapi mempersempit kebebasan untuk menyesuaikan cerita dengan pola yang kebetulan beruntung.

Simpan log percobaan yang memuat varian yang ditolak dan alasan setiap perubahan. Bedakan perbaikan kesalahan dari perubahan hipotesis. Memperbaiki kesalahan cap waktu berbeda dengan menggeser tingkat stop karena memperbaiki kurva ekuitas. Kedua perubahan harus dicatat karena melihat hasil dapat memengaruhi keputusan berikutnya sekalipun perubahan awal memang sah.

Sampel yang belum disentuh memiliki masa guna terbatas

Periode holdout hanya bernilai selama tetap tidak tersentuh oleh pengembangan. Setelah peneliti berulang kali merujuknya untuk memilih antar-model, periode itu menjadi sumber daya pelatihan lainnya. Menyebutnya di luar sampel tidak membalik aliran informasi. Periode yang lebih baru atau evaluasi lain yang benar-benar independen mungkin kemudian diperlukan.

Prosedur walk-forward, seleksi bertingkat, dan riset tentang overfitting backtest dapat membantu memeriksa proses seleksi, tetapi tidak satu pun mengubah data lemah menjadi kepastian. Nilai kestabilan di sekitar nilai parameter yang masuk akal dan pada periode yang berbeda secara ekonomi. Kestabilan menggembirakan ketika dievaluasi dengan jujur; mencari statistik kestabilan mana pun yang terlihat paling baik menambahkan lapisan pengujian lain.

Hargai kualitas bukti, bukan grafik tertinggi

Bandingkan hasil dengan tolok ukur sederhana, biaya realistis, dan estimasi ketidakpastian. Model rumit yang hanya sedikit memperbaiki metrik bising mungkin tidak membenarkan tambahan derajat kebebasannya. Periksa berapa banyak keunggulan yang tampak berasal dari satu transaksi, satu aset, atau satu pilihan tanggal mulai.

Laporan yang berguna mencakup riwayat pencarian, spesifikasi akhir, kegagalan, dan asumsi yang belum terselesaikan. Temuan negatif mempersempit ruang gagasan yang masuk akal dan dapat menghemat upaya mendatang. Tujuannya bukan mempertahankan strategi favorit, tetapi menemukan apakah bukti yang tersedia mendukung klaim yang cukup kuat untuk bertahan saat direplikasi. Jika tidak, kesimpulan yang disiplin adalah ketidakpastian, bukan grafik pemasaran yang lebih rumit.

Hitung seluruh pilihan yang dapat mengubah kandidat pemenang

Lima panjang pengamatan, empat ambang masuk, dan tiga aturan keluar sudah menghasilkan 60 kombinasi. Memilih tanggal awal setelah melihat hasil, membuang aset yang buruk, atau mengganti ukuran penilaian menambah ruang pencarian. Log percobaan harus mencatat keputusan manual juga, bukan hanya konfigurasi yang dijalankan pengoptimal.

Untuk keluarga 20 uji valid yang ditentukan sebelumnya, koreksi Bonferroni menetapkan tingkat tiap uji sebesar 0,05 / 20 = 0,0025. Peluang setidaknya satu penolakan keliru dibatasi paling tinggi 5%. Batas ini tidak mensyaratkan independensi, walaupun dapat konservatif ketika uji saling berkaitan. Koreksi tidak memperbaiki data bias, uji yang tidak valid, atau percobaan tambahan yang disembunyikan.

Mengendalikan peluang munculnya satu saja positif palsu berbeda dari mengendalikan ekspektasi proporsi temuan palsu di antara semua temuan. Keduanya pun tidak membuktikan kelayakan ekonomi. Pilih metode berdasarkan pertanyaan penelitian, bukan mencoba beberapa koreksi lalu melaporkan yang paling menguntungkan. Pemeriksaan berulang hingga hasil menjadi signifikan perlu diperhitungkan dalam prosedur sekuensial.

Simulasi seleksi harus mengulang seleksinya. Jika data diambil ulang tetapi hanya strategi pemenang lama yang dinilai, keuntungan dari pencarian banyak kandidat terabaikan. Setiap pengulangan perlu menjalankan ruang kandidat, aturan pemilihan, dan evaluasi lanjutan yang dinyatakan, dengan model data yang dapat dipertanggungjawabkan. Pita kepercayaan di sekitar satu kurva yang menarik tidak menggantikan pengujian proses tersebut.