Slīdošā validācija: neiekļaujiet rītdienu apmācībā

Pārbaudiet procesu, nevis galīgo formulu

Secīgā pārbaudē ar virzību uz priekšu modeli atkārtoti pielāgo, izmantojot informāciju, kas bija pieejama vēsturiskā datumā, fiksē iegūtos lēmumus un vērtē tos vēlākā intervālā. Pēc tam secība virzās uz priekšu. Tas atdarina izpētes procesu, kam jādarbojas bez nākotnes zināšanām. Tas nepadara stratēģiju ienesīgu un nenovērš visus aizspriedumus.

Pierakstiet, ko katrā solī drīkst mainīt. Signāla parametri, aktīvu atlase, svārstīguma aplēses un izmaksu pieņēmumi ir procedūras daļas. Ja pētnieks tos manuāli pielāgo pēc testa perioda aplūkošanas, procedūra ir mainījusies un šis periods vairs nav tīrs novērtējums. Reproducējams grafiks ir informatīvāks par grafiku, kas salikts no subjektīvām pārskatīšanām.

Apzināti izvēlieties slīdošu vai paplašināmu vēsturi

Paplašinošs logs, laikam ejot, saglabā visus agrākos novērojumus. Tas var stabilizēt aplēses, bet arī saglabāt datus no novecojušiem tirgus apstākļiem. Slīdošs logs izmanto fiksētu nesenu periodu, atvieglojot pielāgošanos, bet palielinot izlases troksni. Neviena pieeja nav universāli pārāka; kompromiss atkarīgs no tā, kādas ekonomiskās sakarības noturība tiek gaidīta.

Pirms rezultātu salīdzināšanas izvēlieties logu garumus ar aizstāvamu pamatojumu. Izmēģināt desmitiem garumu un atlasīt labāko nozīmē vienkārši pārcelt optimizāciju augstākā līmenī. Katrā pārbaudes intervālā pierakstiet novērojumu, atšķirīgu tirgus epizožu un faktisko darījumu skaitu. Ilgs kalendārais periods ar ļoti maz neatkarīgiem lēmumiem var sniegt mazāk pierādījumu, nekā liecina tā ilgums.

Noplūde slēpjas datu sagatavošanā

Hronoloģiska sadalīšana ir nepieciešama, bet nepietiekama. Standartizējot pazīmi ar visas izlases vidējo vērtību, nākotnes novērojumi ietekmē pagātnes ievaddatus. Izdzīvojušu vērtspapīru atlase, pārskatītu makroekonomisko datu izmantošana vai pārskata iekļaušana pirms tā publicēšanas rada citas retrospektīvas informācijas izmantošanas formas. Pārveidojumus pielāgojiet apmācības datiem un, kad vien iespējams, saglabājiet informācijas pieejamību attiecīgajā brīdī.

Svarīgas ir arī mērķvērtības. Ja apmācības piemērs paredz ienesīgumu nākamajās piecās dienās, tā iznākums var pārklāties ar testa perioda sākumu. Izņemiet vai atdaliet novērojumus, kuru mērķvērtības logi šķērso robežu. Programmatūra var ievietot atstarpi starp apmācības un testa indeksiem, taču jēgpilnas atstarpes izvēlei jāizprot mērķvērtību periodi, publicēšanas kavējumi un atkarība konkrētajā datu kopā.

Ievades mainīgā datums nav brīdis, kad zināma mērķvērtība. Pirmdienas signāls var izmantot tobrīd pieejamus datus, bet tā nākamo piecu dienu ienesīgums otrdien vēl nav beidzies. Otrdienas pārapmācība nedrīkst izmantot pilnu mērķi. Pārbaudiet visu mērķa intervālu.

Pielāgojiet apmācības laikā, saglabājot neskartu novērtējumu

Parametru atlase jāveic, izmantojot tikai apmācības daļā pieejamo informāciju, iespējams, ar iekšēju hronoloģiskās validācijas procedūru. Ārējais testa intervāls pēc tam novērtē atlasīto procedūru. Šāda ligzdota pieeja nošķir modeļa izvēli no izvēles rezultātu mērīšanas. Tā arī palielina aprēķinu izmaksas, kas ir labāk nekā iegūt lētu, bet ar informācijas noplūdi sagrozītu rezultātu.

Apvienojiet secīgo testu ienesīgumus to faktiskajā laika secībā, iekļaujot periodus bez pozīcijas. Konsekventi piemērojiet maksas un izpildes pieņēmumus. Neaprēķiniet pievilcīgu atsevišķu posmu attiecību vidējo vērtību, neizvērtējot to ekonomisko nozīmi: citādi īss, mierīgs intervāls var šķist tikpat svarīgs kā ilgs, svārstīgs. Līdzās apvienotajam rezultātam parādiet izkliedi starp intervāliem.

Vājš rezultāts ir izmantojams pierādījums

Secīgas pārbaudes rezultāti, kas pasliktinās pēc izmaksām, ir atkarīgi no viena intervāla vai krasi mainās pēc nelielas laika korekcijas, ir jāizpēta, nevis kosmētiski jāpielabo. Nošķiriet datu vai īstenošanas kļūdu no stratēģijas, kurai vienkārši trūkst pamatojuma. Īstas kļūdas novēršana var pamatot jaunu pārbaudi, taču iepriekšējai rezultātu redzēšanai jāpaliek pētījuma vēsturē.

Ja turpmāka izvērtēšana ir pamatota, noslēdziet ar fiksētu specifikāciju un patiešām jaunu simulētas novērošanas periodu. Iepriekš nosakiet, kādi dati tiks vākti un kas atspēkotu pieņēmumus. Mērķis nav turpināt optimizēt, līdz parādās pievilcīga līkne; mērķis ir noteikt, vai disciplinēta, īstenojama procedūra iztur pārbaudījumus, kuros tā varētu neizdoties.

Pārnesiet pozīcijas un kapitālu pāri testu robežām

Modeļa pārapmācība automātiski neslēdz pozīcijas. Ja janvāra–marta tests beidzas ar pozīciju līdz aprīlim, iepriekš nosakiet vecā noteikuma turpināšanu, dokumentētu maiņu vai slēgšanu ar izmaksām. Klusa atgriešanās naudā var izdzēst zaudējumus un sarežģītas pārejas.

Arī kapitālam jāturpinās. Desmit procentu peļņa un desmit procentu zaudējums dod 1,10 × 0,90 = 0,99, proti, 1 % zaudējumu. Nulles aritmētiskais vidējais neatjauno kontu. Pārklājošos testos neskaitiet vienu dienu divreiz; nosakiet modeļa izvēli vai kapitāla sadali.

Mainīgo atlasi, standartizāciju, trūkstošo vērtību aizpildīšanu un algoritmu salīdzinājumu atkārtojiet katra apmācības loga iekšienē. Visai vēsturei pielāgota transformācija var nopludināt nākotni. TimeSeriesSplit sadala indeksus laikā, bet nezina finanšu mērķu beigas, datu labojumus vai atvērtas pozīcijas.

Saglabājiet apmācības robežas, pieejamos novērojumus, parametrus, pirmo izpildāmo darījumu, sākuma pozīcijas, izmaksas un beigu stāvokli. Pēc kļūdas labojuma konsekventi atkārtojiet visu procesu un saglabājiet vecos rezultātus. Jau apskatīti dati nekļūst par jaunu neaizskartu eksperimentu.