Validacija pomičnim vremenskim prozorom: isključite sutrašnjicu iz učenja

Testirajte postupak, a ne konačnu formulu

Postupno napredujuće istraživanje više puta prilagođava model koristeći informacije dostupne na povijesni datum, fiksira dobivene odluke i ocjenjuje ih tijekom kasnijeg razdoblja. Zatim se slijed pomiče naprijed. To oponaša istraživački postupak koji mora raditi bez znanja o budućnosti. Ne čini strategiju profitabilnom niti uklanja sve pristranosti.

Zapišite što se smije mijenjati u svakom koraku. Parametri signala, odabir imovine, procjene volatilnosti i pretpostavke troškova dijelovi su postupka. Ako ih istraživač ručno prilagodi nakon što vidi testno razdoblje, postupak se promijenio i to razdoblje više nije čista procjena. Ponovljiv raspored pruža više informacija od grafikona sastavljenog iz diskrecijskih izmjena.

Namjerno odaberite pomični ili proširujući povijesni uzorak

Proširujući prozor zadržava sva ranija opažanja kako vrijeme napreduje. Može stabilizirati procjene, ali i zadržati podatke iz zastarjelih tržišnih uvjeta. Pomični prozor koristi fiksno nedavno razdoblje, olakšavajući prilagodbu uz povećanje uzoračke buke. Nijedan pristup nije univerzalno bolji; važan kompromis ovisi o tome za koji se ekonomski odnos očekuje da će trajati.

Odaberite duljine razdoblja iz opravdanog razloga prije usporedbe rezultata. Isprobavanje desetaka duljina i odabir najbolje samo premješta optimizaciju na višu razinu. Zabilježite broj opažanja, zasebnih tržišnih epizoda i stvarnih transakcija u svakom testnom intervalu. Dugo kalendarsko razdoblje s vrlo malo neovisnih odluka može pružiti manje dokaza nego što njegovo trajanje sugerira.

Curenje informacija skriva se u pripremi podataka

Kronološka podjela nužna je, ali nije dovoljna. Standardiziranje značajke prosjekom cijelog uzorka dopušta budućim opažanjima da utječu na prošle ulazne podatke. Odabir preživjelih vrijednosnica, upotreba revidiranih makroekonomskih podataka ili uključivanje izvještaja prije vremena njegove objave stvaraju druge oblike naknadne pameti. Prilagođavajte transformacije na podacima za učenje i gdje god je moguće sačuvajte informaciju o dostupnosti u danom trenutku.

Važne su i ciljne oznake. Ako primjer za učenje predviđa prinos mjeren tijekom sljedećih pet dana, njegov ishod može se preklapati s početkom testnog razdoblja. Uklonite ili odvojite opažanja čiji prozori ciljnih oznaka prelaze granicu. Softver može umetnuti razmak između indeksa za učenje i testiranje, ali odabir smislenog razmaka zahtijeva razumijevanje vremenskih horizonata oznaka, kašnjenja objava i ovisnosti u konkretnom skupu podataka.

Datum ulazne varijable nije trenutak kada je poznat cilj prognoze. Signal u ponedjeljak može koristiti tada dostupne podatke, ali njegov sljedeći petodnevni prinos u utorak još nije dovršen. Ponovno učenje u utorak ne smije koristiti punu ciljnu vrijednost. Izbor podataka treba provjeriti cijelo ciljano razdoblje i stvarnu dostupnost, ne samo početni datum retka.

Podešavajte unutar uzorka za učenje i sačuvajte netaknut uzorak za procjenu

Parametre treba birati samo prema informacijama unutar područja za učenje, po mogućnosti unutarnjim kronološkim postupkom provjere. Vanjski testni interval zatim ocjenjuje odabrani postupak. Ta ugniježđena struktura razlikuje odabir modela od mjerenja uspješnosti tog odabira. Ujedno poskupljuje izračun, što je bolje od jeftinog, ali kontaminiranog rezultata.

Objedinite prinose uzastopnih testova njihovim stvarnim vremenskim redoslijedom, uključujući razdoblja bez pozicije. Dosljedno primjenjujte naknade i pretpostavke izvršenja. Nemojte prosječiti privlačne omjere pojedinih testnih dijelova bez provjere njihova ekonomskog značenja: inače malo mirno razdoblje može dobiti jednaku prividnu važnost kao dugo volatilno. Uz kombinirani rezultat prikažite raspršenost među razdobljima.

Slab rezultat upotrebljiv je dokaz

Uspješnost postupnog testiranja koja se pogoršava nakon troškova, ovisi o jednom razdoblju ili se dramatično mijenja uz malu vremensku prilagodbu zaslužuje istragu, a ne kozmetički popravak. Odvojite nedostatak podataka ili provedbe od strategije kojoj jednostavno nedostaje potpora. Ispravljanje stvarne pogreške može opravdati novi test, ali raniji uvid u rezultate mora ostati dio povijesti istraživanja.

Završite zaključanom specifikacijom i uistinu novim razdobljem simuliranog opažanja ako je daljnja procjena opravdana. Unaprijed definirajte podatke koji će se prikupljati i što bi opovrgnulo pretpostavke. Svrha nije nastaviti optimizirati dok se ne pojavi privlačna linija, nego utvrditi preživljava li discipliniran i provediv postupak prilike za neuspjeh.

Prenesite pozicije i kapital preko granica testova

Ponovno učenje ne zatvara pozicije samo od sebe. Ako test siječanj–ožujak završava s pozicijom koja po starom pravilu izlazi u travnju, unaprijed odredite nastavak pravila, dokumentiranu promjenu ili zatvaranje uz troškove. Tiho vraćanje svakog dijela na gotovinu može izbrisati gubitke, obnoviti kapital ili zaobići teške prijelaze.

I kapital se mora nastaviti. Dobitak 10 % pa gubitak 10 % daju 1,10 × 0,90 = 0,99, odnosno gubitak 1 %. Aritmetički prosjek nula ne rekonstruira račun. Sačuvajte kronološku seriju s dosljednim pravilima kapitala i veličine. Ako se testna razdoblja preklapaju, ne brojite isti dan dvaput; objasnite odabir modela ili podjelu kapitala.

Odabir varijabli, standardizaciju, popunjavanje nedostajućih vrijednosti i usporedbu algoritama ponovite unutar svakog razdoblja učenja. Transformacija prilagođena cijeloj povijesti može propustiti budućnost čak i uz pravilno ponovno učenje modela. TimeSeriesSplit pomaže vremenskoj podjeli indeksa, ali ne poznaje završetak financijskih ciljnih razdoblja, revizije objava ni prijenos otvorenih pozicija.

Za svaki dio spremite kraj učenja, dostupna opažanja, parametre, prvo izvedivo izvršenje, početne pozicije, troškove i završne pozicije. Obrazložite izostavljene podatke i naloge. Nakon popravka pogreške dosljedno ponovite cijeli proces i sačuvajte stare rezultate. Ispravljena verzija na već viđenim podacima nije nov, netaknut eksperiment.