Priebežné overovanie: zajtrajšok nepatrí do tréningu

Testujte postup, nie konečný vzorec

Štúdia walk-forward opakovane prispôsobí model pomocou informácií dostupných k historickému dátumu, zafixuje výsledné rozhodnutia a vyhodnotí ich v neskoršom období. Potom sa postup posunie ďalej. Napodobňuje výskum, ktorý musí fungovať bez znalosti budúcnosti. Nerobí stratégiu ziskovou ani neodstraňuje všetky skreslenia.

Zapíšte si, čo sa smie v každom kroku meniť. Parametre signálu, výber aktív, odhady volatility a nákladové predpoklady sú súčasťou postupu. Ak ich výskumník po zhliadnutí testovacieho obdobia ručne upraví, postup sa zmenil a toto obdobie už nie je čistým hodnotením. Reprodukovateľný harmonogram je informatívnejší než graf zostavený z úprav podľa vlastného uváženia.

Posuvnú alebo rozširujúcu sa históriu vyberajte zámerne

Rozširujúce sa okno si s postupom času ponecháva všetky skoršie pozorovania. Môže stabilizovať odhady, ale aj zachovávať údaje zo zastaraných trhových podmienok. Posuvné okno používa pevne dlhé nedávne obdobie, čo uľahčuje prispôsobovanie, no zvyšuje výberový šum. Ani jeden prístup nie je univerzálne lepší; príslušný kompromis závisí od toho, aký ekonomický vzťah má podľa očakávaní pretrvať.

Dĺžky období vyberte z obhájiteľného dôvodu pred porovnávaním výsledkov. Skúšanie desiatok dĺžok a výber najlepšej iba presúva optimalizáciu na vyššiu úroveň. V každom testovacom intervale zaznamenajte počet pozorovaní, odlišných trhových epizód a skutočných obchodov. Dlhé kalendárne rozpätie s veľmi malým počtom nezávislých rozhodnutí môže poskytovať menej dôkazov, než naznačuje jeho trvanie.

Únik informácií sa skrýva v príprave údajov

Chronologické rozdelenie je nevyhnutné, ale nestačí. Štandardizácia premennej priemerom celej vzorky umožňuje budúcim pozorovaniam ovplyvniť minulé vstupy. Výber preživších cenných papierov, použitie revidovaných makroekonomických údajov alebo zahrnutie výkazu pred jeho zverejnením vytvárajú ďalšie formy spätného pohľadu. Transformácie odhadujte na tréningových údajoch a všade, kde je to možné, zachovávajte dostupnosť k danému dátumu.

Dôležité sú aj cieľové premenné. Ak tréningový príklad predpovedá výnos meraný počas nasledujúcich piatich dní, jeho výsledok môže zasahovať do začiatku testovacieho obdobia. Odstráňte alebo oddeľte pozorovania, ktorých okná cieľových premenných prekračujú hranicu. Softvér môže vložiť medzeru medzi tréningové a testovacie indexy, ale výber zmysluplnej medzery vyžaduje pochopenie horizontov cieľových premenných, oneskorení zverejnenia a závislostí v konkrétnom súbore údajov.

Dátum vstupnej premennej nie je okamih poznania cieľa predpovede. Pondelkový signál môže používať informácie známe v pondelok, no nasledujúci päťdňový výnos ešte v utorok neskončil. Utorkové preučenie nesmie používať úplnú cieľovú hodnotu. Výber dát má preverovať celý interval cieľa a skutočnú dostupnosť, nielen začiatočný dátum riadka.

Laďte v rámci tréningu, hodnotenie ponechajte nedotknuté

Výber parametrov by mal prebiehať iba pomocou informácií v tréningovej oblasti, prípadne vnútorným chronologickým validačným postupom. Vonkajší testovací interval potom hodnotí zvolený postup. Toto vnorenie rozlišuje výber modelu od merania výkonnosti výberu. Zvyšuje aj výpočtovú náročnosť, čo je lepšie než získať lacný, ale kontaminovaný výsledok.

Spojte výnosy postupných testov v ich skutočnom časovom poradí vrátane období bez pozície. Poplatky a predpoklady realizácie uplatňujte konzistentne. Nepriemerujte príťažlivé pomerové ukazovatele jednotlivých častí bez preskúmania ich ekonomického významu: krátky pokojný interval by inak mohol získať rovnakú zdanlivú dôležitosť ako dlhý volatilný interval. Popri celkovom výsledku ukážte rozptyl medzi intervalmi.

Slabý výsledok je použiteľný dôkaz

Výsledok postupného testovania, ktorý sa po nákladoch zhorší, závisí od jediného intervalu alebo sa dramaticky zmení pri malej úprave načasovania, si zaslúži preskúmanie, nie kozmetickú opravu. Oddeľte chybu údajov či implementácie od stratégie, ktorú jednoducho nepodporujú dôkazy. Oprava skutočnej chyby môže odôvodniť nový beh, no skoršie oboznámenie sa s výsledkami musí zostať súčasťou histórie výskumu.

Ak je ďalšie hodnotenie opodstatnené, ukončite prácu pevne stanovenou špecifikáciou a skutočne novým obdobím cvičného pozorovania. Vopred definujte, aké údaje budete zbierať a čo by vyvrátilo predpoklady. Cieľom nie je optimalizovať dovtedy, kým sa objaví lákavá krivka; ide o overenie, či disciplinovaný a realizovateľný postup obstojí pri príležitostiach zlyhať.

Prenášajte pozície a kapitál cez hranice testov

Preučenie automaticky nezatvára pozície. Ak test január–marec končí s pozíciou, ktorá má podľa starej stratégie vystúpiť v apríli, vopred rozhodnite o pokračovaní starého pravidla, zdokumentovanej zmene alebo uzavretí s nákladmi. Tiché resetovanie na hotovosť môže vymazať straty, obnoviť kapitál alebo obísť náročné prechody.

Aj kapitál musí pokračovať. Desaťpercentný zisk a následná desaťpercentná strata dávajú 1,10 × 0,90 = 0,99, teda stratu 1 %. Aritmetický priemer nula účet nereprodukuje. Uchovajte chronologickú sériu s jednotnými pravidlami kapitálu a veľkosti. Ak sa testy prekrývajú, nepočítajte rovnaký deň dvakrát; vysvetlite výber modelu alebo rozdelenie kapitálu.

Výber premenných, štandardizáciu, doplnenie chýbajúcich hodnôt a porovnanie algoritmov robte znovu v každom trénovacom okne. Transformácia prispôsobená celej histórii môže prepúšťať budúcnosť aj pri správne preučenom modeli. TimeSeriesSplit pomáha s časovým delením indexov, nepozná však dokončenie finančných cieľových intervalov, revízie oznámení ani prenos otvorených pozícií.

Pre každú časť uložte koniec trénovania, dostupné pozorovania, parametre, prvý vykonateľný obchod, počiatočné pozície, náklady a konečný stav. Zdôvodnite vynechané dáta a pokyny. Po oprave chyby spustite celý proces jednotne a zachovajte staré výsledky. Opravená verzia na už prezretých dátach nie je nový nedotknutý experiment.