Edasi liikuv valideerimine: hoia homne treeningandmetest väljas

Testi protsessi, mitte lõplikku valemit

Edasiliikuva testimise uuring sobitab mudelit korduvalt ajaloolisel kuupäeval kättesaadava teabe põhjal, lukustab saadud otsused ja hindab neid hilisemal perioodil. Seejärel liigub jada edasi. See jäljendab uurimisprotsessi, mis peab töötama tulevikku teadmata. See ei muuda strateegiat kasumlikuks ega kõrvalda kogu kallutatust.

Pane kirja, mida võib igas etapis muuta. Signaaliparameetrid, varavalik, volatiilsushinnangud ja kulueeldused on kõik protseduuri osad. Kui uurija kohandab neid käsitsi pärast testiperioodi nägemist, on protseduur muutunud ja see periood pole enam puhas hinnang. Korratav ajakava on informatiivsem kui kaalutluslikest parandustest kokku pandud graafik.

Vali liikuv või laienev ajalugu teadlikult

Laienev aken säilitab aja edenedes kõik varasemad vaatlused. See võib hinnanguid stabiliseerida, kuid säilitada ka andmeid aegunud turutingimustest. Liikuv aken kasutab kindlat hiljutist ajavahemikku, lihtsustades kohanemist, kuid suurendades valimimüra. Kumbki lähenemine ei ole universaalselt parem; asjakohane kompromiss sõltub sellest, millise majandusliku seose püsimist eeldatakse.

Vali akende pikkused põhjendatult enne tulemuste võrdlemist. Kümnete pikkuste proovimine ja parima valimine viib optimeerimise lihtsalt kõrgemale tasemele. Registreeri igas testiperioodis vaatluste, eristuvate turuepisoodide ja tegelike tehingute arv. Pikk kalendriperiood väga väheste sõltumatute otsustega võib anda vähem tõendeid, kui selle kestus lubab arvata.

Leke peitub andmete ettevalmistuses

Kronoloogiline jaotamine on vajalik, kuid mitte piisav. Tunnuse standardiseerimine kogu valimi keskmisega laseb tulevastel vaatlustel mineviku sisendeid mõjutada. Säilinud väärtpaberite valimine, parandatud makromajandusnäitajate kasutamine või aruande kaasamine enne avaldamisaega tekitab muid tagantjäreleteadmise vorme. Sobita teisendused treeningandmetel ja säilita võimaluse korral teabe tegelik kättesaadavusaeg.

Olulised on ka sihtmärgendid. Kui treeningnäide ennustab järgmise viie päeva tootlust, võib selle tulemus kattuda testiperioodi algusega. Eemalda või eralda vaatlused, mille sihtmärgendi ajavahemikud ületavad piiri. Tarkvara saab lisada treening- ja testiindeksite vahele vahe, kuid sisuka vahe valimine nõuab konkreetse andmestiku sihtperioodide, avaldamisviivituste ja sõltuvuste mõistmist.

Sisendtunnuse kuupäev ei ole hetk, mil sihtväärtus teatavaks saab. Esmaspäevane signaal võib kasutada siis olemasolevaid andmeid, kuid järgnev viiepäevane tootlus pole teisipäeval veel valmis. Teisipäevane uuesti treenimine ei tohi kogu sihtväärtust kasutada. Kontrolli sihi täielikku ajavahemikku.

Häälesta treeningvalimis ja säilita puutumata hindamisvalim

Parameetrite valik peaks kasutama ainult treeningpiirkonnas olevat teavet, vajaduse korral sisemise kronoloogilise valideerimisprotseduuri kaudu. Välimine testivahemik hindab seejärel valitud protseduuri. See pesastamine eristab mudeli valimist valiku toimivuse mõõtmisest. See muudab ka arvutuse kulukamaks, mis on parem kui odav, kuid saastunud tulemus.

Koonda järjestikuste testide tootlused nende tegelikus ajalises järjekorras, sealhulgas positsioonita perioodid. Rakenda tasusid ja täitmise eeldusi järjepidevalt. Ära keskmista ahvatlevaid testijaotuste suhtarve nende majanduslikku tähendust uurimata: muidu võib väike rahulik periood saada näiliselt sama kaalu kui pikk kõikuv periood. Näita koondtulemuse kõrval ka tulemuste hajuvust perioodide vahel.

Nõrk tulemus on kasutatav tõend

Järjestikuste ajatestide tulemus, mis pärast kulusid halveneb, sõltub ühest perioodist või muutub väikese ajastusmuudatuse tõttu järsult, väärib uurimist, mitte iluravi. Erista andme- või teostusviga strateegiast, millel lihtsalt puudub toetus. Tõelise vea parandamine võib õigustada uut testi, kuid varasem tulemuste nägemine peab jääma uurimisajaloo osaks.

Kui edasine hindamine on põhjendatud, lõpeta lukustatud spetsifikatsiooni ja tõeliselt uue demovaatlusperioodiga. Määra ette, milliseid andmeid kogutakse ja mis eeldused ümber lükkaks. Eesmärk ei ole optimeerida seni, kuni ilmub ahvatlev joon, vaid selgitada, kas distsiplineeritud ja rakendatav protseduur peab vastu võimalustele ebaõnnestuda.

Kanna positsioonid ja kapital testi piiridest üle

Mudeli uuesti treenimine ei sulge positsioone automaatselt. Kui jaanuari–märtsi test lõpeb aprillini kestva positsiooniga, määra ette vana reegli jätkamine, dokumenteeritud muutus või kuludega sulgemine. Vaikne rahaks lähtestamine võib kustutada kahjumeid ja keerulisi üleminekuid.

Ka kapital peab jätkuma. Kümneprotsendiline kasum ja kümneprotsendiline kahjum annavad 1,10 × 0,90 = 0,99 ehk üheprotsendilise kaotuse. Nulline aritmeetiline keskmine ei taasta kontot. Kattuvates testides ära loe sama päeva kaks korda; määra mudeli valik või kapitali jaotus.

Tunnuste valik, standardimine, puuduvate väärtuste täitmine ja algoritmide võrdlus tuleb korrata iga treeningakna sees. Kogu ajaloo põhjal sobitatud teisendus võib tulevikku lekitada. TimeSeriesSplit jagab indeksid ajaliselt, kuid ei tunne finantssihtide lõppu, andmeparandusi ega avatud positsioone.

Säilita treeningupiirid, kättesaadavad vaatlused, parameetrid, esimene teostatav tehing, algpositsioonid, kulud ja lõppseis. Pärast veaparandust korda kogu protsessi järjekindlalt ja hoia vanad tulemused alles. Juba vaadatud andmed ei muutu uueks puutumata eksperimendiks.