Walk-forward validation: huwag isama ang bukas sa pagsasanay

Subukin ang proseso sa halip na ang pinal na formula

Paulit-ulit na bina-fit ng walk-forward study ang isang modelo gamit ang impormasyong makukuha sa isang makasaysayang petsa, pinananatiling nakapirmi ang mga nabuo nitong pasiya, at sinusuri ang mga ito sa mas huling pagitan ng panahon. Pagkatapos ay umuusad ang pagkakasunod-sunod. Ginagaya nito ang proseso ng pananaliksik na kailangang gumana nang walang kaalaman sa hinaharap. Hindi nito ginagawang kumikita ang estratehiya o inaalis ang lahat ng bias.

Isulat kung ano ang pinapayagang magbago sa bawat hakbang. Bahagi ng pamamaraan ang mga parameter ng signal, pagpili ng asset, tantiya ng volatility at mga palagay sa gastos. Kung mano-manong binabago ng mananaliksik ang mga ito matapos makita ang test period, nagbago na ang pamamaraan at hindi na malinis na pagtatasa ang panahong iyon. Mas nagbibigay ng impormasyon ang iskedyul na kayang ulitin kaysa sa chart na binuo mula sa mga rebisyong ayon lamang sa sariling pagpapasya.

Sadyang piliin kung gumugulong o lumalawak na kasaysayan ang gagamitin

Pinananatili ng expanding window ang lahat ng naunang obserbasyon habang lumilipas ang panahon. Maaari nitong patatagin ang mga tantiya ngunit panatilihin din ang datos mula sa lipas nang kondisyon ng merkado. Gumagamit ang rolling window ng takdang haba ng kamakailang panahon, na nagpapadali sa pag-angkop ngunit nagpapataas ng ingay mula sa sampling. Walang paraang laging mas mahusay; nakasalalay ang kaugnay na kapalit sa kung anong ugnayang pang-ekonomiya ang inaasahang magpapatuloy.

Pumili ng haba ng mga window na may mapagtatanggol na dahilan bago ihambing ang mga resulta. Ang pagsubok sa dose-dosenang haba at pagpili ng pinakamahusay ay paglilipat lamang ng optimization sa mas mataas na antas. Itala ang bilang ng mga obserbasyon, magkakaibang yugto ng merkado, at aktuwal na trade sa bawat pagitan ng pagsubok. Maaaring mas kaunti ang ebidensiya ng mahabang panahon sa kalendaryo na napakakaunti ang independiyenteng pasiya kaysa sa ipinahihiwatig ng tagal nito.

Nakatago ang pagtagas ng impormasyon sa paghahanda ng datos

Kailangan ang paghahati ayon sa panahon ngunit hindi ito sapat. Pinahihintulutan ng pag-standardize sa feature gamit ang mean ng buong sample na maimpluwensiyahan ng mga obserbasyon sa hinaharap ang nakaraang mga input. Nagbubunga ng ibang anyo ng hindsight ang pagpili ng mga nakaligtas na seguridad, paggamit ng nirebisang datos sa macroeconomics o pagsasama ng filing bago ang oras ng publikasyon nito. I-fit ang mga transformation sa training data at panatilihin ang availability sa mismong panahon hangga't maaari.

Mahalaga rin ang mga label. Kung hinuhulaan ng isang halimbawa sa training ang return na sinusukat sa susunod na limang araw, maaaring mag-overlap ang resulta nito sa simula ng test period. Alisin o ihiwalay ang mga obserbasyong ang saklaw ng panahon ng label ay tumatawid sa hangganan. Maaaring maglagay ang software ng agwat sa pagitan ng train at test index, ngunit upang makapili ng makabuluhang agwat, kailangang maunawaan ang mga saklaw ng panahon ng label, pagkaantala ng publikasyon at pagkakaugnay sa mismong dataset.

Hindi ibig sabihin na alam ang inputs noong Lunes ay alam na rin ang susunod na limang araw na return. Hindi puwedeng gamitin sa retraining noong Martes ang target na hindi pa tapos ang panahon. Suriin ang buong target interval at tunay na availability.

Mag-tune sa loob ng pagsasanay, panatilihin ang pagsusuring hindi pa nagagamit

Dapat pumili ng parameter gamit lamang ang impormasyon sa loob ng training region, na maaaring sa pamamagitan ng panloob na validation na ayon sa pagkakasunod ng panahon. Pagkatapos, sinusuri ng panlabas na test interval ang napiling pamamaraan. Inihihiwalay ng pagsasapaw na ito ang pagpili ng modelo sa pagsukat kung paano gumaganap ang pagpili. Ginagawa rin nitong mas mahal ang pagkalkula, na mas mabuti kaysa sa murang resultang nakontamina.

Pagsamahin ang mga return ng magkakasunod na pagsusubok ayon sa tunay na pagkakasunod sa panahon, kasama ang mga panahong walang posisyon. Ilapat nang pare-pareho ang mga bayarin at palagay sa execution. Huwag kunin ang average ng kaakit-akit na ratio ng bawat fold nang hindi sinusuri ang pang-ekonomiyang kahulugan nito: kung hindi, maaaring magmukhang kasinghalaga ng mahaba at pabagu-bagong pagitan ang isang maikli at tahimik na pagitan. Ipakita ang pagkakaiba-iba sa mga pagitan kasama ng pinagsamang resulta.

Kapaki-pakinabang na ebidensiya ang mahinang resulta

Ang walk-forward performance na humihina matapos ang mga gastos, umaasa sa iisang pagitan o malaki ang pagbabago sa bahagyang pagsasaayos ng tiyempo ay dapat siyasatin, hindi basta pagandahin. Ihiwalay ang depekto sa datos o implementasyon sa estratehiyang kulang lamang sa suporta. Maaaring maging makatuwiran ang bagong pagtakbo matapos ayusin ang tunay na bug, ngunit kailangang manatiling bahagi ng kasaysayan ng pananaliksik ang naunang pagkakita sa mga resulta.

Tapusin sa isang nakapirming espesipikasyon at talagang bagong panahon ng obserbasyon nang walang aktuwal na trade kung kailangan pa ng pagsusuri. Itakda nang maaga kung anong datos ang kokolektahin at ano ang magpapawalang-bisa sa mga palagay. Hindi layuning patuloy na mag-optimize hanggang lumitaw ang magandang linya; layunin nitong alamin kung ang isang disiplinado at maisasagawang proseso ay makatatagal sa mga pagkakataong maaari itong pumalya.

Ipagpatuloy ang posisyon at kapital sa pagitan ng mga window

Hindi awtomatikong nagsasara ng posisyon ang retraining. Kung may posisyong bukas sa katapusan ng Marso ngunit Abril ang nakatakdang exit, magtakda muna ng pagpapatuloy, dokumentadong pagbabago o pagsasara na may gastos. Maaaring magbura ng loss ang tahimik na reset sa cash.

Dapat magpatuloy ang kapital. Ang +10% na sinusundan ng −10% ay 1.10 × 0.90 = 0.99, o 1% na pagkawala. Sa overlapping tests, huwag bilangin nang dalawang beses ang parehong araw; ipaliwanag ang model selection o capital allocation.

Gawin sa loob ng bawat training window ang feature selection, standardization at pagpuno sa missing values. Maaaring mag-leak ang hinaharap sa transformation na fit sa buong kasaysayan kahit tama ang retraining ng modelo. Hindi alam ng time splitter ang lahat ng financial timing.

Itago ang training cutoff, parameters, unang posibleng trade, panimulang posisyon, gastos at huling estado. Pagkatapos mag-ayos ng bug, ulitin ang buong proseso at panatilihin ang lumang resulta. Ang datos na nakita na ay hindi na maituturing na bagong hanay para sa isang independiyenteng pagsusuri.