Ujian sejarah terbaik dalam hamparan

Latar keadaan

Kes pendidikan hipotetikal. Siri harga, strategi, hasil dagangan dan statistik adalah rekaan. Ia bukan rekod sejarah, dakwaan prestasi atau isyarat boleh dagang. Lena menguji idea purata bergerak pada bakul saham sintetik. Selepas mencuba 120 gabungan parameter, dia memilih hasil paling menarik dan membentangkan 200 dagangan simulasinya sebagai bukti kelebihan kukuh. Semakan penyelidikan bertanya apa yang dipilih, apa yang diketepikan dan apa yang benar-benar masih belum dilihat.

Bina semula angka utama yang mengagumkan

Konfigurasi terpilih mempunyai 110 dagangan untung kasar dengan purata $180 dan 90 dagangan rugi kasar dengan purata $160. Keuntungan kasar ialah $19,800 dan kerugian kasar $14,400, meninggalkan $5,400 bagi 200 dagangan. Purata kasar ialah $27 setiap dagangan dan kadar kemenangan 55%. Kedua-dua nombor tidak memberitahu sama ada strategi mampu menampung kos realistik atau sama ada proses pemilihan menemukan isyarat dan bukan tuah.

Lena mengandaikan hanya $2 kos pergi balik setiap dagangan, mengurangkan hasil sebanyak $400 kepada $5,000. Namun, semakan pelaksanaan rekaan menganggarkan $6 komisen dan caj nyata, $12 kos spread serta $15 gelinciran harga tambahan bagi setiap pusingan lengkap. Jumlahnya $33 setiap dagangan, atau $6,600 merentas sampel. Dengan hasil kasar sama, keputusan bersih disemak semula ialah kerugian $1,200, berpurata negatif $6 setiap dagangan.

Takrifkan kos tanpa mengiranya dua kali

Komponen kos ini hanya masuk akal kerana ujian sejarah sintetik menggunakan harga rujukan tanpa geseran. Jika pelaksanaan sudah disimulasikan pada bidaan dan tawaran, menolak keseluruhan spread sekali lagi secara berasingan akan melebihnyatakan kos. Begitu juga, kekurangan pelaksanaan yang diukur daripada harga keputusan mungkin sudah mengandungi spread dan impak pasaran. Log penyelidikan memerlukan takrif tepat bagi penanda aras masuk, penanda aras keluar dan caj tambahan.

Jadual sensitiviti akan menguji beberapa jumlah kos pergi balik, bukan hanya yang paling memihak kepada strategi. Pada $15, keputusan bersih ialah $2,400; pada $27 sifar; pada $45 negatif $3,600. Ini senario aritmetik, bukan ramalan. Kos pulang modal $27 amat berguna kerana mendedahkan betapa sedikit ruang dalam hasil kasar terpilih untuk ketidakpastian pelaksanaan, pesanan terlepas dan kesilapan operasi.

Masalah pemilihan mendahului carta akhir

Lena tidak memilih konfigurasi ini sebelum melihat sampel. Dia memilihnya kerana ia mengatasi 119 alternatif pada sampel yang sama. Malah strategi tanpa kelebihan ramalan berkekalan boleh menghasilkan pemenang menarik apabila banyak variasi dicuba. Sebagai ilustrasi yang sengaja dipermudah, jika 120 ujian bebas masing-masing mempunyai peluang 5% positif palsu, peluang sekurang-kurangnya satu ialah 1 − 0.95^120, kira-kira 99.79%.

Varian strategi sebenar mungkin berkorelasi, maka pengiraan kebebasan itu bukan nilai-p yang sah bagi penyelidikan Lena. Tujuannya untuk mendedahkan masalah pengujian berbilang, bukan mengukurnya dengan tepat. Dia mesti merekodkan semua varian yang dicuba, termasuk penunjuk dibuang, tetingkap tarikh diubah dan pengecualian manual. Carta akhir yang diperelok tidak dapat menunjukkan berapa banyak eksperimen gagal tersembunyi di sebaliknya.

Simpan set penilaian yang jujur

Reka bentuk penyelidikan rekaan yang lebih baik mengasingkan pembangunan, pengesahan dan ujian akhir yang belum disentuh. Lena boleh menggunakan data pembangunan untuk membentuk idea dan data pengesahan untuk membandingkan set pilihan terhad yang didokumentasikan. Sebaik sahaja dia memeriksa ujian akhir dan mengubah strategi sebagai tindak balas, data itu tidak lagi belum disentuh. Memanggil data sama “di luar sampel” berulang kali tidak memulihkan kebebasannya.

Dalam ujian baharu 60 dagangan, andaikan 28 kemenangan kasar berpurata $170 dan 32 kerugian kasar berpurata $150. Hasil kasar ialah $4,760 − $4,800 = negatif $40. Pada $33 setiap pusingan lengkap, kos menambah $1,980 dan hasil bersih ialah negatif $2,020. Sampel rekaan kecil ini tidak membuktikan strategi tidak akan pernah berjaya, tetapi ia tidak menyokong keyakinan asal. Tindak balas sesuai ialah penyiasatan atau penolakan, bukan perubahan parameter automatik sehingga sampel simpanan menjadi hijau.

Semakan penyelidikan perlu memaparkan dua sampel secara berasingan sebelum jumlahnya. Hasil 200 dagangan pembangunan yang dibetulkan ialah −1,200 dolar; 60 dagangan baharu memberikan −2,020. Jumlahnya −3,220 dalam 260 dagangan, sekitar −12.38 setiap dagangan. Aritmetik betul, tetapi penggabungan tidak menjadikan sampel pemilihan strategi sebagai bukti bebas. Ujian kemudian menilai keputusan yang telah ditetapkan sebelum hasil itu dilihat.

Semak pemasaan maklumat dan laluan kerugian

Semakan itu juga bertanya sama ada isyarat menggunakan data yang benar-benar tersedia sebelum setiap dagangan bermodel. Penunjuk harga penutupan lazimnya tidak boleh membenarkan pelaksanaan lebih awal pada harga penutupan sama tanpa mekanisme pelaksanaan yang boleh dipertahankan. Pemilihan himpunan tidak patut membuang sekuriti gagal atau dinyahsenarai secara senyap. Tindakan korporat, penjajaran cap masa dan sebut harga lapuk boleh mengubah hasil simulasi dengan ketara. Setiap semakan menangani kemungkinan punca ralat, bukannya menjamin keuntungan masa hadapan.

Akhir sekali, Lena merekodkan susut nilai dari puncak, kerugian berturut-turut, pusing ganti dan penggunaan modal bersama keuntungan agregat. Strategi yang akhirnya pulih mungkin masih melanggar had pendanaan dalam perjalanan. NFA mengingatkan bahawa hasil hipotetikal mendapat manfaat daripada pengetahuan kemudian dan tidak dapat menghasilkan semula pengalaman risiko kewangan sebenar sepenuhnya. Ujian simulasi boleh mendedahkan masalah aliran kerja, tetapi tidak membuktikan kecairan sebenar, kebolehskalaan atau keupayaan mengikuti strategi sambil kehilangan wang sebenar.

Tentukan bukti yang benar-benar boleh mengubah kesimpulan

Langkah Lena bergantung pada punca masalah. Kesilapan cap masa yang memasukkan data esok memerlukan pembetulan serta penarikan atau penggantian hasil terjejas secara jelas. Jika kod betul tetapi kos munasabah menghabiskan kelebihan, menukar tajuk carta tidak membantu. Jika satu keuntungan luar biasa menjelaskan hampir seluruh hasil kasar, semak alasan ekonomi kebergantungan itu dan liputannya dalam sampel.

Pakej kebolehulangan perlu mengandungi semua 120 tetapan, set data sintetik yang tepat, ukuran pemilihan, konvensyen kos dan spesifikasi akhir yang dibekukan. Penyemak lain patut dapat menghasilkan versi awal yang menarik dan versi pembetulan yang buruk. Menyimpan versi gagal menjelaskan andaian yang mengubah keputusan. Kebolehulangan menyemak pengiraan, bukan membuktikan kejayaan masa hadapan.

Bagi 200 dagangan yang sama, kos dinaikkan daripada 33 kepada 45 dolar menambah 2,400 dan mengubah hasil −1,200 kepada −3,600. Jika kecairan lemah turut menghalang pelaksanaan pesanan, senarai dagangan asas berubah. Itu memerlukan simulasi pelaksanaan baharu, bukan hanya potongan kos tambahan pada senarai lama.

Aturan yang diilhamkan oleh kegagalan sampel ujian berasingan boleh dikaji, tetapi hasilnya pada sampel sama kini merupakan bukti pembangunan. Tempoh kemudian hanya menguji versi baharu jika spesifikasi dan kriteria ditetapkan dahulu. Kesimpulan jujur boleh menyatakan idea semasa belum disokong; semakan tidak wajib menghasilkan strategi sedia didagangkan.

Di mana penaakulan tersasar