Validacija pomeranjem unapred: ne uključujte sutrašnjicu u obuku

Testirajte postupak, a ne konačnu formulu

Studija sa pomeranjem prozora ponovljeno prilagođava model koristeći informacije dostupne na istorijski datum, fiksira dobijene odluke i ocenjuje ih tokom kasnijeg intervala. Niz se zatim pomera napred. Ovo oponaša istraživački postupak koji mora raditi bez znanja o budućnosti. Ne čini strategiju profitabilnom niti uklanja sve pristrasnosti.

Zapišite šta sme da se menja u svakom koraku. Parametri signala, izbor imovine, procene volatilnosti i pretpostavke o troškovima delovi su postupka. Ako ih istraživač ručno prilagođava nakon što vidi testni period, postupak se promenio i taj period više nije nezavisna provera. Ponovljiv raspored je informativniji od grafikona sastavljenog od proizvoljnih izmena.

Svesno izaberite klizni ili rastući istorijski uzorak

Proširujući prozor zadržava sva prethodna zapažanja kako vreme odmiče. Može da stabilizuje procene, ali i da zadrži podatke iz zastarelih tržišnih uslova. Klizni prozor koristi fiksni noviji period, što olakšava prilagođavanje, ali povećava šum uzorka. Nijedan pristup nije uvek bolji; relevantan kompromis zavisi od toga koji se ekonomski odnos očekuje da opstane.

Izaberite dužine prozora iz opravdanog razloga pre poređenja rezultata. Isprobavanje desetina dužina i izbor najbolje samo premešta optimizaciju na viši nivo. Beležite broj opažanja, različite tržišne epizode i stvarne trgovine u svakom testnom intervalu. Dug kalendarski period sa vrlo malo nezavisnih odluka može pružiti manje dokaza nego što njegovo trajanje sugeriše.

Curenje informacija krije se u pripremi podataka

Hronološka podela je neophodna, ali nije dovoljna. Standardizovanje karakteristike prosekom celog uzorka dopušta budućim zapažanjima da utiču na prošle ulaze. Izbor preživelih hartija, korišćenje revidiranih makroekonomskih podataka ili uključivanje izveštaja pre njegovog objavljivanja stvara druge oblike korišćenja naknadnog znanja. Prilagođavajte transformacije na podacima za obuku i gde god je moguće čuvajte dostupnost podataka prema stvarnom trenutku.

Važne su i ciljne oznake. Ako primer za obuku predviđa prinos meren tokom narednih pet dana, njegov ishod može preklopiti početak testnog perioda. Uklonite ili odvojite posmatranja čiji vremenski prozori oznaka prelaze granicu. Softver može umetnuti razmak između indeksa obuke i testa, ali izbor smislenog razmaka zahteva razumevanje vremenskih horizonata oznaka, kašnjenja objave i zavisnosti u konkretnom skupu podataka.

Datum ulazne varijable nije trenutak kada je poznat cilj prognoze. Signal u ponedeljak može koristiti tada dostupne podatke, ali njegov sledeći petodnevni prinos u utorak još nije završen. Ponovno učenje u utorak ne sme koristiti punu ciljnu vrednost. Izbor podataka treba proveriti ceo ciljni period i stvarnu dostupnost, ne samo početni datum reda.

Podešavajte unutar obuke, sačuvajte netaknut skup za procenu

Parametre treba birati samo uz informacije iz oblasti za obuku, po potrebi kroz unutrašnji hronološki postupak validacije. Spoljni testni interval zatim procenjuje izabrani postupak. Ovo ugnježđivanje razdvaja izbor modela od merenja uspešnosti tog izbora. Takođe poskupljuje računanje, što je bolje od jeftinog, ali kontaminiranog rezultata.

Objedinite prinose uzastopnih testova njihovim stvarnim vremenskim redosledom, uključujući periode bez pozicije. Dosledno primenjujte naknade i pretpostavke o izvršenju. Ne izračunavajte prosek privlačnih pokazatelja pojedinačnih poduzoraka bez ispitivanja njihovog ekonomskog značenja: kratak miran interval inače može dobiti prividno isti značaj kao dug i nestabilan. Prikažite rasipanje rezultata po intervalima uz objedinjeni rezultat.

Slab rezultat je upotrebljiv dokaz

Rezultati sekvencijalnog testiranja koji se pogoršavaju nakon troškova, zavise od jednog intervala ili se drastično menjaju uz malu promenu vremena zahtevaju istraživanje, a ne kozmetičku popravku. Razlikujte grešku u podacima ili implementaciji od strategije koja jednostavno nema potvrdu. Ispravljanje stvarne greške može opravdati novo pokretanje, ali prethodno poznavanje rezultata mora ostati deo istorije istraživanja.

Ako je dalja procena opravdana, završite fiksiranom specifikacijom i zaista novim periodom posmatranja na papiru. Unapred definišite koji će se podaci prikupljati i šta bi opovrglo pretpostavke. Cilj nije nastavljati optimizaciju dok se ne pojavi privlačna linija, već utvrditi da li disciplinovan i primenljiv postupak opstaje kada dobije priliku da zakaže.

Prenesite pozicije i kapital preko granica testova

Ponovno učenje ne zatvara pozicije samo po sebi. Ako test januar–mart završava s pozicijom koja po starom pravilu izlazi u aprilu, unapred odredite nastavak pravila, dokumentovanu promenu ili zatvaranje uz troškove. Tiho vraćanje svakog dela na gotovinu može izbrisati gubitke, obnoviti kapital ili zaobići teške prelaze.

I kapital se mora nastaviti. Dobitak 10 % pa gubitak 10 % daju 1,10 × 0,90 = 0,99, odnosno gubitak 1 %. Aritmetički prosek nula ne rekonstruiše račun. Sačuvajte hronološku seriju s doslednim pravilima kapitala i veličine. Ako se testni periodi preklapaju, ne brojite isti dan dvaput; objasnite izbor modela ili podelu kapitala.

Izbor varijabli, standardizaciju, popunjavanje nedostajućih vrednosti i poređenje algoritama ponovite unutar svakog perioda učenja. Transformacija prilagođena celoj istoriji može propustiti budućnost čak i uz pravilno ponovno učenje modela. TimeSeriesSplit pomaže vremenskoj podeli indeksa, ali ne poznaje završetak finansijskih ciljnih perioda, revizije objava ni prenos otvorenih pozicija.

Za svaki deo spremite kraj učenja, dostupna posmatranja, parametre, prvo izvedivo izvršenje, početne pozicije, troškove i završne pozicije. Obrazložite izostavljene podatke i naloge. Nakon popravka greške dosledno ponovite ceo proces i sačuvajte stare rezultate. Ispravljena verzija na već viđenim podacima nije nov, netaknut eksperiment.