Backtest terbaik dalam spreadsheet

Situasi awal

Kasus edukatif hipotetis. Deret harga, strategi, hasil transaksi, dan statistik adalah rekaan. Ini bukan catatan historis, klaim kinerja, atau sinyal yang dapat diperdagangkan. Lena menguji gagasan rata-rata bergerak pada keranjang saham sintetis. Setelah mencoba 120 kombinasi parameter, ia memilih hasil yang paling menarik dan menyajikan 200 transaksi simulasinya sebagai bukti keunggulan yang kuat. Peninjauan riset menanyakan apa yang dipilih, apa yang diabaikan, dan apa yang masih benar-benar belum dilihat.

Rekonstruksi angka utama yang mengesankan

Konfigurasi terpilih memiliki 110 transaksi untung bruto dengan rata-rata $180 dan 90 transaksi rugi bruto dengan rata-rata $160. Keuntungan bruto $19,800 dan kerugian bruto $14,400, menyisakan $5,400 dari 200 transaksi. Rata-rata bruto $27 per transaksi, dan tingkat kemenangan 55%. Kedua angka itu tidak menjelaskan apakah strategi bertahan setelah biaya realistis atau apakah proses seleksi menemukan sinyal, bukan keberuntungan.

Lena mengasumsikan biaya pulang-pergi hanya $2 per transaksi, sehingga hasil berkurang $400 menjadi $5,000. Namun, peninjauan eksekusi fiktif mengestimasi komisi dan biaya eksplisit $6, biaya spread $12, serta tambahan slippage $15 per transaksi pulang-pergi yang selesai. Totalnya $33 per transaksi, atau $6,600 untuk seluruh sampel. Dengan hasil bruto yang sama, hasil bersih yang direvisi adalah kerugian $1,200, rata-rata negatif $6 per transaksi.

Definisikan biaya tanpa menghitungnya dua kali

Komponen biaya ini hanya masuk akal karena backtest sintetis menggunakan harga acuan tanpa friksi. Jika eksekusi sudah disimulasikan pada bid dan ask, mengurangkan seluruh spread lagi secara terpisah akan melebih-lebihkan biaya. Demikian pula, implementation shortfall yang diukur dari harga keputusan mungkin sudah mencakup spread dan dampak pasar. Log riset memerlukan definisi yang tepat tentang tolok ukur masuk, tolok ukur keluar, dan biaya tambahan.

Tabel sensitivitas akan menguji beberapa total biaya pulang-pergi, bukan hanya yang paling menguntungkan bagi strategi. Pada $15, hasil bersihnya $2,400; pada $27, hasilnya nol; pada $45, hasilnya negatif $3,600. Ini skenario perhitungan, bukan prakiraan. Biaya impas $27 sangat berguna karena mengungkap betapa sempit ruang yang tersedia pada hasil bruto terpilih untuk ketidakpastian eksekusi, order yang tidak terpenuhi, dan kesalahan operasional.

Masalah seleksi muncul sebelum grafik akhir

Lena tidak memilih konfigurasi ini sebelum melihat sampelnya. Ia memilihnya karena konfigurasi itu mengungguli 119 alternatif pada sampel yang sama. Bahkan strategi tanpa keunggulan prediktif yang bertahan lama dapat menghasilkan pemenang menarik ketika banyak variasi dicoba. Sebagai ilustrasi yang sengaja disederhanakan, jika 120 pengujian independen masing-masing memiliki peluang positif palsu 5%, peluang setidaknya satu positif palsu adalah 1 − 0.95^120, sekitar 99.79%.

Varian strategi sebenarnya kemungkinan berkorelasi, sehingga perhitungan independensi itu bukan nilai-p yang valid untuk riset Lena. Fungsinya mengungkap masalah pengujian berganda, bukan mengukurnya secara tepat. Ia harus mencatat seluruh varian yang dicoba, termasuk indikator yang dibuang, jendela tanggal yang diubah, dan pengecualian manual. Grafik akhir yang dipoles tidak dapat mengungkap berapa banyak eksperimen gagal yang tersembunyi di baliknya.

Sisihkan kumpulan evaluasi yang jujur

Desain riset fiktif yang lebih baik memisahkan pengembangan, validasi, dan pengujian akhir yang belum disentuh. Lena dapat menggunakan data pengembangan untuk membentuk gagasan dan data validasi untuk membandingkan pilihan yang terbatas dan terdokumentasi. Setelah ia memeriksa pengujian akhir dan mengubah strategi sebagai respons, data tersebut tidak lagi belum disentuh. Terus menyebut data yang sama “di luar sampel” tidak memulihkan independensi.

Dalam pengujian baru dengan 60 transaksi, asumsikan 28 keuntungan bruto dengan rata-rata $170 dan 32 kerugian bruto dengan rata-rata $150. Hasil bruto adalah $4,760 − $4,800 = negatif $40. Pada $33 per transaksi pulang-pergi, biaya bertambah $1,980 dan hasil bersih negatif $2,020. Sampel rekaan kecil ini tidak membuktikan strategi tidak pernah bisa berhasil, tetapi tidak mendukung keyakinan awal. Respons yang tepat adalah penyelidikan atau penolakan, bukan perubahan parameter otomatis hingga sampel cadangan menunjukkan keuntungan.

Tinjauan penelitian harus memisahkan kedua sampel sebelum menjumlahkannya. Hasil pengembangan 200 transaksi yang diperbaiki adalah −1.200 dolar; 60 transaksi baru menghasilkan −2.020. Totalnya −3.220 dalam 260 transaksi, sekitar −12,38 per transaksi. Aritmetikanya benar, tetapi penggabungan tidak mengubah sampel yang dipakai memilih strategi menjadi bukti independen. Pengujian kemudian menilai keputusan yang dibekukan sebelum hasil itu dilihat.

Periksa waktu informasi dan lintasan kerugian

Peninjauan juga menanyakan apakah sinyal menggunakan data yang benar-benar tersedia sebelum setiap transaksi yang dimodelkan. Indikator harga penutupan biasanya tidak dapat membenarkan eksekusi lebih awal pada harga penutupan yang sama tanpa mekanisme eksekusi yang dapat dipertanggungjawabkan. Pemilihan himpunan instrumen tidak boleh diam-diam membuang efek yang gagal atau dihapus dari pencatatan. Aksi korporasi, penyelarasan cap waktu, dan kuotasi usang dapat mengubah hasil simulasi secara material. Setiap pemeriksaan menangani sumber kesalahan yang mungkin, bukan menawarkan jaminan keuntungan di masa depan.

Terakhir, Lena mencatat drawdown, kerugian beruntun, perputaran, dan penggunaan modal bersama laba agregat. Strategi yang pada akhirnya pulih tetap bisa melanggar batas pendanaan selama perjalanannya. NFA memperingatkan bahwa hasil hipotetis diuntungkan oleh pengetahuan setelah kejadian dan tidak dapat sepenuhnya mereproduksi pengalaman risiko keuangan nyata. Pengujian simulasi dapat mengungkap masalah alur kerja, tetapi tidak membuktikan likuiditas aktual, skalabilitas, atau kemampuan mengikuti strategi saat kehilangan uang sungguhan.

Tentukan bukti yang benar-benar dapat mengubah kesimpulan

Langkah Lena bergantung pada sumber masalah. Kesalahan cap waktu yang memasukkan data besok memerlukan perbaikan dan penarikan atau penggantian hasil secara jelas. Jika kode benar tetapi biaya realistis menghabiskan keunggulan, mengganti judul grafik tidak membantu. Jika satu keuntungan luar biasa menjelaskan hampir seluruh laba, periksa alasan ekonomi ketergantungan itu dan kecukupan sampelnya.

Paket reproduksi memuat 120 konfigurasi, data buatan yang persis sama, aturan pemilihan, semua konvensi biaya, dan spesifikasi final yang dibekukan. Penelaah lain harus dapat menghasilkan versi awal yang menarik maupun versi koreksi yang buruk. Menyimpan versi gagal memperlihatkan asumsi yang mengubah kesimpulan. Dapat direproduksi berarti perhitungannya dapat diperiksa, bukan strategi pasti berhasil.

Pada 200 transaksi yang sama, menaikkan biaya dari 33 menjadi 45 dolar menambah biaya 2.400 dan mengubah hasil −1.200 menjadi −3.600. Jika likuiditas buruk juga menyebabkan order tidak terlaksana, daftar transaksi dasarnya ikut berubah. Itu memerlukan simulasi eksekusi baru, bukan sekadar pengurangan biaya tambahan.

Aturan yang terinspirasi kegagalan sampel uji yang disisihkan boleh diteliti, tetapi hasilnya pada sampel tersebut kini termasuk bukti pengembangan. Periode baru hanya dapat menguji versi revisi jika spesifikasi dan kriteria ditetapkan sebelumnya. Kesimpulan jujur dapat berupa belum adanya dukungan bagi gagasan ini; tinjauan tidak harus menghasilkan strategi siap diperdagangkan.

Di mana penalarannya keliru