Ang pinakamahusay na backtest sa spreadsheet

Ang sitwasyon

Kathang-isip na kasong pang-edukasyon. Gawa-gawa ang serye ng presyo, estratehiya, resulta ng trade, at estadistika. Hindi ito makasaysayang rekord, pahayag ng performance, o signal na maaaring i-trade. Sinusubukan ni Lena ang ideya ng moving average sa synthetic na basket ng stock. Matapos subukan ang 120 kombinasyon ng parameter, pinili niya ang pinakakaakit-akit na resulta at ipinakita ang 200 simulated na trade nito bilang ebidensiya ng matibay na kalamangan. Itinatanong ng pagsusuri sa pananaliksik kung ano ang pinili, ano ang hindi isinama, at ano ang tunay na hindi pa nakita.

Muling buuin ang kahanga-hangang pangunahing bilang

May 110 gross na panalong trade ang napiling configuration na may average na $180 at 90 gross na talong trade na may average na $160. $19,800 ang gross na tubo at $14,400 ang gross na lugi, kaya $5,400 ang natitira sa 200 trade. $27 bawat trade ang gross na average, at 55% ang win rate. Wala sa dalawang numero ang nagsasabi kung makaliligtas ang estratehiya sa makatotohanang gastos o kung signal sa halip na suwerte ang natuklasan ng proseso ng pagpili.

$2 lamang na gastos sa pagpasok at paglabas bawat trade ang ipinagpalagay ni Lena, na nagbawas ng $400 sa resulta upang maging $5,000. Ngunit tinataya ng kathang-isip na execution review ang $6 komisyon at tahasang singil, $12 gastos sa spread at $15 dagdag na slippage bawat nakumpletong pagpasok at paglabas. $33 bawat trade ang kabuuan, o $6,600 sa buong sample. Sa parehong gross na resulta, $1,200 pagkalugi ang binagong netong resulta, na may average na negatibong $6 bawat trade.

Tukuyin ang mga gastos nang hindi binibilang nang dalawang beses

May saysay lamang ang mga bahaging ito ng gastos dahil gumamit ang synthetic na backtest ng reference price na walang friction. Kung na-simulate na ang mga fill sa bid at ask, sosobra ang gastos kung hiwalay na ibabawas muli ang buong spread. Gayundin, maaaring kasama na sa implementation shortfall na sinusukat mula sa presyo sa oras ng pasiya ang spread at market impact. Kailangan ng research log ang eksaktong depinisyon ng entry benchmark, exit benchmark, at dagdag na singil.

Susubukin ng sensitivity table ang ilang kabuuang gastos sa pagpasok at paglabas, hindi lamang ang pinakapaborable sa estratehiya. Sa $15, $2,400 ang netong resulta; sa $27, sero ito; sa $45, negatibong $3,600. Mga senaryong aritmetika ito, hindi hula. Lalong kapaki-pakinabang ang $27 break-even na gastos dahil ipinapakita nito kung gaano kaliit ang puwang ng napiling kabuuang resulta para sa kawalang-katiyakan sa execution, hindi nakuhang fill at pagkakamali sa operasyon.

Nauuna ang problema sa pagpili bago ang huling chart

Hindi pinili ni Lena ang configuration na ito bago makita ang sample. Pinili niya ito dahil mas mahusay ito kaysa sa 119 na alternatibo sa parehong sample. Kahit ang mga estratehiyang walang pangmatagalang kalamangan sa paghula ay maaaring magbigay ng kaakit-akit na panalo kapag maraming baryasyon ang sinubukan. Bilang sadyang pinasimpleng halimbawa, kung bawat isa sa 120 independiyenteng pagsusubok ay may 5% tsansa ng false positive, ang tsansa ng kahit isa ay 1 − 0.95^120, humigit-kumulang 99.79%.

Malamang na magkakaugnay ang aktuwal na mga variant ng estratehiya, kaya hindi balidong p-value para sa pananaliksik ni Lena ang pagkalkulang umaasa sa independence. Layunin nitong ilantad ang problema ng multiple testing, hindi sukatin ito nang eksakto. Kailangan niyang itala ang lahat ng sinubukang variant, kabilang ang mga itinapong indicator, binagong date window at manwal na eksepsiyon. Hindi maipapakita ng makinis na huling chart kung ilang bigong eksperimento ang nakatago sa likod nito.

Maglaan ng tapat na evaluation set

Pinaghihiwalay ng mas mahusay na kathang-isip na disenyo ng pananaliksik ang development, validation at panghuling test na hindi pa nagagamit. Maaaring gamitin ni Lena ang development data upang buuin ang ideya at ang validation data upang paghambingin ang isang limitado at dokumentadong hanay ng mga pagpipilian. Kapag sinuri na niya ang panghuling test at binago ang estratehiya bilang tugon, hindi na sariwa ang datos na iyon. Hindi naibabalik ang pagiging independiyente sa paulit-ulit na pagtawag sa parehong datos na “out of sample.”

Sa bagong pagsusubok na may 60 trade, ipagpalagay ang 28 kabuuang panalo na may average na $170 at 32 kabuuang pagkalugi na may average na $150. Ang kabuuang resulta ay $4,760 − $4,800 = negatibong $40. Sa $33 bawat pagpasok at paglabas, nagdadagdag ang gastos ng $1,980 at negatibong $2,020 ang netong resulta. Hindi pinatutunayan ng maliit na kathang-isip na sample na ito na hindi kailanman gagana ang estratehiya, ngunit hindi nito sinusuportahan ang orihinal na kumpiyansa. Pagsisiyasat o pagtanggi ang angkop na tugon, hindi awtomatikong pagbabago ng parameter hanggang maging positibo ang holdout.

Ipakita muna nang hiwalay ang dalawang sample. Ang 200 corrected development trades ay −1,200 dolyar, at ang 60 bago ay −2,020. Ang kabuuan ay −3,220 sa 260, o humigit-kumulang −12.38 kada trade. Hindi ginagawang independiyente ng wastong pagdaragdag ang datos na ginamit sa pagpili.

Suriin ang tiyempo ng impormasyon at ang landas ng mga pagkalugi

Tinatanong din sa pagsusuri kung gumamit ang mga signal ng datos na talagang available bago ang bawat trade sa modelo. Hindi karaniwang maipangangatwiran ng indicator na gumagamit ng closing price ang mas maagang fill sa parehong closing price nang walang maipagtatanggol na mekanismo ng pagpapatupad. Hindi dapat tahimik na alisin ng pagpili ng universe ang mga nabigo o na-delist na seguridad. Maaaring malaki ang maging pagbabago sa resulta ng simulation dahil sa mga corporate action, pagtutugma ng timestamp at lumang quote. Tinutugunan ng bawat pagsusuri ang posibleng pinagmumulan ng pagkakamali sa halip na magbigay ng garantiya ng kita sa hinaharap.

Sa huli, itinatala ni Lena ang mga drawdown, sunod-sunod na pagkalugi, turnover at paggamit ng kapital kasama ng kabuuang tubo. Maaaring lumampas sa limitasyon ng pagpopondo ang estratehiya bago ito tuluyang makabawi. Nagbababala ang NFA na nakikinabang sa kaalaman sa nangyari na ang mga haka-hakang resulta at hindi nito lubos na matutularan ang karanasan ng tunay na panganib sa pananalapi. Maaaring maglantad ng problema sa proseso ang paper testing, ngunit hindi nito pinatutunayan ang aktuwal na liquidity, kakayahang palakihin ang saklaw, o kakayahang sundin ang estratehiya habang nalulugi ng tunay na salapi.

Tukuyin kung anong ebidensiya ang talagang magbabago ng konklusyon

Nakadepende sa sanhi ang susunod na hakbang. Ang timestamp error na nagpapasok ng future data ay nangangailangan ng pag-ayos at malinaw na pagbawi o pagpapalit sa naapektuhang resulta. Kung makatwirang gastos ang umubos sa edge, hindi solusyon ang bagong pamagat ng chart.

Itago ang lahat ng 120 configuration, eksaktong synthetic data, selection criterion, cost conventions at frozen final specification. Dapat maulit ng ibang reviewer ang maganda at corrected na resulta. Pinatutunayan ng reproducibility ang kalkulasyon, hindi ang kita sa hinaharap.

Sa parehong 200 trade, ang pagtaas ng cost mula 33 tungong 45 ay nagdaragdag ng 2,400 at nagpapalit sa net mula −1,200 tungong −3,600. Kung may fills na hindi na posible dahil sa liquidity, magbabago ang trade list at kailangan ng bagong simulation.

Ang rule na hango sa bigong holdout ay bahagi na ng development. Hindi independent validation ang pagsusuri rito sa parehong datos. Maaaring ang tapat na konklusyon ay kulang ang suporta sa kasalukuyang ideya; hindi kailangang laging makagawa ng tradable strategy ang review.

Kung saan nagkakamali ang pangangatwiran