Etenevä validointi: pidä huominen poissa opetusdatasta

Testaa prosessia, älä vain lopullista kaavaa

Etenevässä testauksessa malli sovitetaan toistuvasti historiallisena päivänä saatavilla olleisiin tietoihin, syntyneet päätökset lukitaan ja niitä arvioidaan myöhemmällä jaksolla. Tämän jälkeen jaksoa siirretään eteenpäin. Tämä jäljittelee tutkimusprosessia, jonka on toimittava ilman tulevaisuuden tietoa. Se ei tee strategiasta kannattavaa eikä poista kaikkea harhaa.

Kirjaa, mikä saa muuttua kussakin vaiheessa. Signaaliparametrit, omaisuuserien valinta, volatiliteettiarviot ja kuluoletukset ovat kaikki menettelyn osia. Jos tutkija muuttaa niitä käsin nähtyään testijakson, menettely on muuttunut eikä jakso enää ole puhdas arviointi. Toistettava aikataulu kertoo enemmän kuin harkinnanvaraisista muutoksista koottu kaavio.

Valitse liukuva tai laajeneva historia tietoisesti

Laajeneva ikkuna säilyttää kaikki aiemmat havainnot ajan kuluessa. Se voi vakauttaa estimaatteja mutta myös säilyttää vanhentuneiden markkinaolojen tietoja. Liukuva ikkuna käyttää kiinteän pituista viimeaikaista jaksoa, mikä helpottaa sopeutumista mutta lisää otantakohinaa. Kumpikaan ei ole yleispätevästi parempi; olennainen kompromissi riippuu siitä, minkä taloudellisen yhteyden odotetaan säilyvän.

Valitse ikkunoiden pituudet puolustettavasta syystä ennen tulosten vertailua. Kymmenien pituuksien kokeileminen ja parhaan valitseminen vain siirtää optimoinnin ylemmälle tasolle. Kirjaa havaintojen, erillisten markkinajaksojen ja todellisten kauppojen määrä kullakin testijaksolla. Pitkä kalenterijakso, jolla on hyvin vähän riippumattomia päätöksiä, voi tarjota vähemmän näyttöä kuin kesto antaa ymmärtää.

Tietovuoto piilee datan valmistelussa

Ajallinen jako on välttämätön mutta ei riittävä. Piirteen standardointi koko otoksen keskiarvolla antaa tulevien havaintojen vaikuttaa menneisiin lähtötietoihin. Selviytyneiden arvopaperien valinta, tarkistettujen makrolukujen käyttö tai asiakirjan sisällyttäminen ennen julkaisuhetkeä tuottaa muita jälkiviisauden muotoja. Sovita muunnokset opetusaineistoon ja säilytä tietojen ajankohdan mukainen saatavuus aina kun mahdollista.

Myös tavoitemuuttujat ovat tärkeitä. Jos opetusesimerkki ennustaa seuraavien viiden päivän aikana mitattua tuottoa, sen tulos voi ulottua testijakson alkuun. Poista tai erota havainnot, joiden tavoitemuuttujan aikaikkuna ylittää rajan. Ohjelmisto voi jättää välin opetus- ja testihavaintojen indeksien väliin, mutta tarkoituksenmukaisen välin valinta edellyttää kyseisen aineiston ennustehorisonttien, julkaisuviiveiden ja riippuvuuksien ymmärtämistä.

Syötemuuttujan päiväys ei ole hetki, jolloin ennustettava tulos tunnetaan. Maanantain signaali voi käyttää silloin saatavilla olevia tietoja, mutta seuraava viiden päivän tuotto ei ole valmis tiistaina. Tiistain uudelleenkoulutus ei saa käyttää koko tätä tavoitearvoa. Tarkista tavoitteen koko aikaväli.

Säädä opetusdatalla ja säilytä koskematon arviointiaineisto

Parametrit pitäisi valita käyttäen vain opetusalueen tietoja, mahdollisesti sisäisellä ajallisella validointimenettelyllä. Ulompi testijakso arvioi sitten valittua menettelyä. Tämä sisäkkäisyys erottaa mallin valinnan sen mittaamisesta, miten valinta toimii. Se myös lisää laskentakustannusta, mikä on parempi kuin halpa mutta saastunut tulos.

Yhdistä peräkkäisten testien tuotot todellisessa aikajärjestyksessä, myös jaksot ilman positiota. Sovella palkkioita ja toteutusoletuksia johdonmukaisesti. Älä laske houkuttelevien osajaksojen tunnuslukujen keskiarvoa tutkimatta niiden taloudellista merkitystä: pieni rauhallinen jakso voi muuten saada yhtä suuren näennäisen painon kuin pitkä epävakaa jakso. Esitä jaksojen välinen hajonta yhdistetyn tuloksen rinnalla.

Heikko tulos on käyttökelpoista näyttöä

Eteenpäin rullaavan testin tulos, joka heikkenee kulujen jälkeen, riippuu yhdestä jaksosta tai muuttuu rajusti pienen ajoitusmuutoksen vuoksi, vaatii tutkimista eikä kosmeettista korjausta. Erota aineisto- tai toteutusvirhe strategiasta, jolle ei vain löydy tukea. Todellisen ohjelmavirheen korjaaminen voi oikeuttaa uuden ajon, mutta aiempi tulosten näkeminen on säilytettävä osana tutkimushistoriaa.

Päätä lukittuun määrittelyyn ja aidosti uuteen paperihavaintojaksoon, jos lisäarviointi on perusteltua. Määrittele etukäteen kerättävä aineisto ja oletukset kumoavat seikat. Tarkoitus ei ole jatkaa optimointia houkuttelevan viivan ilmestymiseen asti vaan selvittää, kestääkö kurinalainen, toteuttamiskelpoinen menettely mahdollisuudet epäonnistua.

Siirrä positiot ja pääoma testijaksojen yli

Mallin uudelleenkoulutus ei automaattisesti sulje positioita. Jos tammi–maaliskuun testi päättyy huhtikuuhun jatkuvaan positioon, määrittele etukäteen vanhan säännön jatkaminen, dokumentoitu muutos tai sulkeminen kuluineen. Hiljainen palautus käteiseksi voi hävittää tappioita ja vaikeita siirtymiä.

Myös pääoman on jatkuttava. Kymmenen prosentin voitto ja kymmenen prosentin tappio antavat 1,10 × 0,90 = 0,99 eli prosentin tappion. Nolla aritmeettisena keskiarvona ei rekonstruoi tiliä. Päällekkäisissä testeissä samaa päivää ei saa laskea kahdesti; määrittele mallin valinta tai pääoman jako.

Muuttujavalinta, standardointi, puuttuvien arvojen täyttö ja algoritmien vertailu tehdään uudelleen jokaisen koulutusikkunan sisällä. Koko historiaan sovitettu muunnos voi vuotaa tulevaisuutta. TimeSeriesSplit jakaa indeksit ajallisesti mutta ei tunne taloudellisten tavoitteiden päättymistä, tietojen revisioita tai avoimia positioita.

Säilytä koulutuksen rajat, saatavilla olevat havainnot, parametrit, ensimmäinen toteuttamiskelpoinen kauppa, alkupositiot, kulut ja lopputila. Virheen korjaamisen jälkeen aja koko menettely johdonmukaisesti uudelleen ja säilytä aiemmat tulokset. Jo katsottu aineisto ei muutu uudeksi koskemattomaksi kokeeksi.