Gördülő validáció: a holnap ne kerüljön a tanítóadatokba
Tervezz időrendi kutatási folyamatot, amely a teljes döntési eljárást értékeli, nem egy tökéletesített múltbeli szabályt.
Folyamatot tesztelj, ne végső képletet
A walk-forward vizsgálat ismételten egy történeti időpontban rendelkezésre álló információkra illeszt modellt, rögzíti az ebből következő döntéseket, majd egy későbbi időszakon értékeli őket. Ezután a folyamat előrelép. Ez olyan kutatási folyamatot utánoz, amelynek a jövő ismerete nélkül kell működnie. Nem tesz nyereségessé egy stratégiát, és nem szüntet meg minden torzítást.
Írja le, mi változhat az egyes lépésekben. A jelzésparaméterek, eszközválasztás, volatilitásbecslések és költségfeltételezések mind az eljárás részei. Ha a kutató egy tesztidőszak megtekintése után kézzel módosítja ezeket, az eljárás megváltozott, és az az időszak már nem tiszta értékelés. A reprodukálható ütemterv informatívabb, mint egy szubjektív módosításokból összeállított grafikon.
Tudatosan válassz gördülő vagy bővülő előzményablakot
A bővülő ablak az idő előrehaladtával minden korábbi megfigyelést megtart. Stabilizálhatja a becsléseket, de elavult piaci körülmények adatait is megőrizheti. A gördülő ablak rögzített hosszúságú közelmúltbeli időszakot használ, ami könnyíti az alkalmazkodást, de növeli a mintavételi zajt. Egyik megközelítés sem általánosan jobb; a lényeges kompromisszum attól függ, milyen gazdasági kapcsolat fennmaradását várjuk.
Az eredmények összehasonlítása előtt védhető indokkal válasszuk meg az ablakok hosszát. Több tucat hossz kipróbálása és a legjobb kiválasztása csak magasabb szintre helyezi az optimalizálást. Minden tesztintervallumban rögzítsük a megfigyelések, elkülönülő piaci epizódok és tényleges ügyletek számát. Egy hosszú naptári időszak nagyon kevés független döntéssel kevesebb bizonyítékot adhat, mint amit időtartama sugall.
Az adatszivárgás az előkészítésben rejtőzik
Az időrendi felosztás szükséges, de nem elégséges. Ha egy jellemzőt a teljes minta átlagával standardizálunk, a jövőbeli megfigyelések befolyásolják a múltbeli bemeneteket. A fennmaradt értékpapírok kiválasztása, a felülvizsgált makrogazdasági adatok használata vagy egy jelentés közzététel előtti beépítése az utólagos tudás más formáit eredményezi. Az átalakításokat a tanítóadatokra illesszük, és ahol lehet, őrizzük meg az adott időpontban ténylegesen elérhető információkat.
A címkék is számítanak. Ha egy tanítópélda a következő öt nap alatt mért hozamot jelzi előre, kimenetele átfedhet a tesztidőszak kezdetével. Távolítsa el vagy válassza külön azokat a megfigyeléseket, amelyek címkeablaka átnyúlik a határon. A szoftver beilleszthet rést a tanító- és tesztindexek közé, de értelmes rés választásához ismerni kell az adott adatkészlet címkeidőtávjait, közzétételi késéseit és függőségeit.
A bemeneti változó dátuma nem azonos a célérték megismerésének idejével. A hétfői jelzés használhatja a hétfőn elérhető adatokat, de következő ötnapos hozama kedden még nem ismert. A keddi újratanítás nem használhatja a teljes célértéket. A cél teljes időintervallumát ellenőrizd.
A tanítómintán hangolj, az értékelési mintát hagyd érintetlenül
A paramétereket kizárólag a tanítási tartományon belüli információkból kell kiválasztani, esetleg belső időrendi validálási eljárással. A külső tesztidőszak ezután értékeli a kiválasztott eljárást. E beágyazás megkülönbözteti a modellválasztást attól, hogy megmérjük a választás teljesítményét. A számítást is költségesebbé teszi, ami előnyösebb egy olcsó, de szennyezett eredménynél.
Az egymást követő teszthozamokat tényleges időrendjükben összesítsük, a pozíció nélküli időszakokkal együtt. Következetesen alkalmazzuk a díjakat és a végrehajtási feltételezéseket. Ne átlagoljunk vonzó részintervallum-szintű arányszámokat gazdasági jelentésük megvizsgálása nélkül: különben egy rövid, nyugodt időszak ugyanolyan jelentőségűnek tűnhet, mint egy hosszú, volatilis. Az összesített eredmény mellett mutassuk be az intervallumok közötti szóródást is.
A gyenge eredmény használható bizonyíték
A költségek után romló, egyetlen időszaktól függő vagy kis időzítési módosításra drámaian változó gördülő előretesztelési teljesítmény kivizsgálást érdemel, nem kozmetikázást. Különítse el az adat- vagy megvalósítási hibát attól a stratégiától, amelyet egyszerűen nem támasztanak alá az eredmények. Valódi hiba javítása indokolhat új futtatást, de a korábbi eredmények megismerésének a kutatástörténet részének kell maradnia.
Ha további értékelés indokolt, zárjuk a munkát rögzített specifikációval és valóban új demómegfigyelési időszakkal. Előre határozzuk meg a gyűjtendő adatokat és azt, mi tenné érvénytelenné a feltételezéseket. Nem az a cél, hogy addig optimalizáljunk, amíg vonzó görbe nem jelenik meg, hanem hogy megállapítsuk: egy fegyelmezett, megvalósítható eljárás kiállja-e azokat a helyzeteket, amelyekben kudarcot vallhat.
Vidd tovább a pozíciókat és a tőkét a tesztablakok között
Az újratanítás nem zárja le automatikusan a pozíciókat. Ha a január–márciusi teszt áprilisig tartó pozícióval végződik, előre határozd meg a régi szabály folytatását, dokumentált módosítását vagy költséges zárását. A csendes készpénzre állítás eltüntethet veszteségeket és nehéz átmeneteket.
A tőke is folytatódik. Tízszázalékos nyereség és tízszázalékos veszteség 1,10 × 0,90 = 0,99 értéket, azaz 1 % veszteséget ad. A nulla számtani átlag nem állítja helyre a számlát. Átfedő teszteknél ne számold kétszer ugyanazt a napot; rögzítsd a modellválasztást vagy tőkeelosztást.
A változóválasztást, standardizálást, hiánypótlást és algoritmus-összevetést minden tanítóablakon belül ismételd meg. A teljes történetre illesztett átalakítás jövőbeli információt szivárogtathat. A TimeSeriesSplit időrendben osztja az indexeket, de nem ismeri a pénzügyi célintervallumok végét, adatfelülvizsgálatokat vagy nyitott pozíciókat.
Őrizd meg a tanítás határait, elérhető megfigyeléseket, paramétereket, első végrehajtható ügyletet, nyitó pozíciókat, költségeket és záróállapotot. Hibajavítás után egységesen futtasd újra a folyamatot, és tartsd meg a régi eredményt. A már megtekintett adat nem válik új, érintetlen kísérletté.