Maramihang pagsubok: kapag tsamba lamang ang pinakamahusay na backtest
Subaybayan ang proseso ng paghahanap at ihiwalay ang tunay na hypothesis sa nagwagi lamang sa malaking paligsahan gamit ang makasaysayang datos.
Maaaring magtago ng isang libong pagsubok ang iisang iniulat na estratehiya
Maaaring maglathala ang mananaliksik ng isang kaakit-akit na backtest matapos subukan ang maraming signal, halaga ng parameter, asset at petsa ng sample. Hindi ipinapakita ng huling chart ang buong paghahanap. Kahit walang tunay na kalamangan ang bawat kandidato, maaaring magmukhang kahanga-hanga ang pinakamahusay sa kanila dahil may mga random na seryeng paborable.
Kaya ang kaugnay na yunit ng pagsusuri ay hindi lamang ang napiling tuntunin kundi ang prosesong pumili rito. Bahagi ng paghahanap ang threshold na binago matapos tingnan ang resulta kahit walang pormal na optimization program na pinatakbo. Maaaring mag-ambag sa selection bias ang eksperimento mula sa memorya, itinapong spreadsheet at di-pormal na pagtingin sa mga chart. Inilalantad ng tapat na rekord ng pananaliksik ang mga pagpiling ito.
Unawain ang simpleng ilustrasyon ng probabilidad
Kung bawat isa sa dalawampung independiyenteng pagsusubok ay may 5% probabilidad ng false positive, ang tsansa ng kahit isang false positive ay 1 − 0.95²⁰, humigit-kumulang 64.2%. Mahalaga ang palagay na independiyente ang mga ito: madalas magkakaugnay ang mga variant ng trading, kaya halimbawa lamang ang aritmetikang ito, hindi eksaktong pagwawasto para sa aktuwal na programa ng pananaliksik.
Hindi ang aral na mali ang bawat positibong natuklasan. Ang aral ay hindi maaaring bigyan ng parehong interpretasyon ang threshold ng iisang pagsubok matapos ang malawak na paghahanap. Hindi lumilikha ng ganap na independiyenteng ebidensiya ang magkakaugnay na pagpili ng parameter, ngunit hindi inaalis ng correlation nila ang selection bias. Hindi rin tiyak ang pagtatantiya sa epektibong lawak ng paghahanap at hindi ito dapat ikubli bilang eksaktong bilang.
Hindi posibilidad na tama ang hypothesis o kikita ang susunod na trade ang p-value. Sinusukat nito ang hindi pagtugma ng statistic sa isang null model sa ilalim ng mga palagay ng test. Maaaring makapanlinlang ang hindi isinamang dependence at piling pag-uulat. Hindi rin katumbas ng economic value ang statistical significance.
Protektahan ang hypothesis mula sa tuntunin ng pagmamarka
Magsimula sa pangangatwirang pang-ekonomiya na tumutukoy kung bakit maaaring magpatuloy ang ugnayan at bakit ito maaaring tumigil sa paggana. Itakda ang paglilinis ng datos, gastos at pamantayan sa pagsusuri bago tingnan ang resulta kung maaari. Hindi nito inaalis ang bias, ngunit nililimitahan nito ang kalayaang mag-angkop ng kuwento sa isang mapalad na pattern.
Magpanatili ng talaan ng pagsubok na naglalaman ng mga tinanggihang baryasyon at dahilan ng bawat pagbabago. Ihiwalay ang debugging sa pagbabago ng hypothesis. Iba ang pagwawasto ng error sa timestamp sa paglilipat ng stop level dahil pinapaganda nito ang equity curve. Dapat itala ang parehong pagbabago, dahil maaaring maimpluwensiyahan ng pagkakita sa mga resulta ang susunod na mga pasiya kahit lehitimo ang unang pagbabago.
Limitado ang buhay ng sample na hindi pa nagagamit
Mahalaga lamang ang holdout period habang hindi ito ginagalaw sa pagbuo ng modelo. Kapag paulit-ulit itong tinitingnan ng mananaliksik upang pumili sa mga modelo, nagiging isa na rin itong mapagkukunan para sa training. Hindi mababaligtad ng pagtawag dito na out of sample ang daloy ng impormasyon. Maaaring kailanganin na ang mas bagong panahon o ibang tunay na independiyenteng pagsusuri.
Makatutulong ang mga walk-forward procedure, nested selection at pananaliksik sa backtest overfitting upang suriin ang proseso ng pagpili, ngunit wala sa mga ito ang ginagawang katiyakan ang mahinang datos. Suriin ang katatagan sa mga makatuwirang kalapit na parameter at magkakaibang panahong pang-ekonomiya. Nakahihikayat ang katatagan kung tapat itong sinuri; nagdaragdag ng isa pang antas ng testing ang paghahanap sa alinmang estadistika ng katatagan na mukhang pinakamahusay.
Pahalagahan ang kalidad ng ebidensiya sa halip na ang pinakamataas na chart
Ihambing ang mga resulta sa isang simpleng benchmark, makatotohanang gastos at mga pagtataya ng kawalang-katiyakan. Maaaring hindi makatwiran ang dagdag na degrees of freedom ng masalimuot na modelong bahagya lamang nagpapahusay sa isang maingay na sukatan. Suriin kung gaano kalaki sa nakikitang kalamangan ang nagmumula sa iisang trade, iisang asset o iisang pagpili ng petsa ng pagsisimula.
Isinasama ng kapaki-pakinabang na ulat ang kasaysayan ng paghahanap, huling espesipikasyon, mga kabiguan, at hindi pa nalulutas na mga palagay. Pinaliliit ng mga negatibong natuklasan ang saklaw ng mga kapani-paniwalang ideya at maaaring makatipid ng pagsisikap sa hinaharap. Hindi layunin ang panatilihin ang paboritong estratehiya kundi tuklasin kung sinusuportahan ng magagamit na ebidensiya ang anumang pahayag na sapat ang tibay upang makapasa sa pag-uulit. Kung hindi, kawalang-katiyakan ang disiplinadong konklusyon, hindi isang mas magarbong chart sa marketing.
Bilangin ang bawat pagpiling maaaring magpalit ng nanalo
Limang haba ng kasaysayan, apat na entry threshold at tatlong exit rule ang bumubuo ng 60 kombinasyon. Dagdag na paghahanap din ang pagpili ng petsa o pagtanggal ng hindi magandang asset matapos makita ang resulta. Isama ang mga manu-manong desisyon sa experiment log.
Sa pamilyang may 20 wastong test na itinakda bago magsimula, ang Bonferroni threshold ay 0.05 / 20 = 0.0025 bawat isa. Nililimitahan nito sa hindi hihigit sa 5% ang posibilidad ng kahit isang maling rejection. Hindi kailangan ang independence, bagaman maaaring maging konserbatibo sa magkakaugnay na test.
Hindi nito inaayos ang biased na datos, hindi wastong test o lihim na mga pagsubok. Magkaiba ang pagkontrol sa anumang false discovery at sa inaasahang bahagi ng false discoveries. Piliin ang pamamaraan ayon sa tanong, hindi ayon sa pinakamagandang kinalabasan.
Ulitin sa simulation ang mismong paghahanap, pagpili at pagsusuri. Ang pag-sample lamang ng dati nang napiling winner ay hindi nagsasama ng benepisyo ng malawak na paghahanap. Dapat ding isama sa disenyo ang paulit-ulit na pagtingin kung significant na ang resulta.