Průběžná validace: zítřek nesmí do tréninku

Testujte postup, nikoli konečný vzorec

Studie walk-forward opakovaně přizpůsobuje model pomocí informací dostupných k historickému datu, zmrazí výsledná rozhodnutí a vyhodnotí je v pozdějším intervalu. Poté se postup posune dál. Napodobuje výzkumný proces, který musí fungovat bez znalosti budoucnosti. Nečiní strategii ziskovou ani neodstraňuje všechna zkreslení.

Zapište, co se v každém kroku smí změnit. Parametry signálu, výběr aktiv, odhady volatility a nákladové předpoklady jsou součástmi postupu. Pokud je výzkumník ručně upraví po zhlédnutí testovacího období, postup se změnil a období již není čistým hodnocením. Reprodukovatelný harmonogram je informativnější než graf sestavený z volných revizí.

Zvolte vědomě klouzavou nebo rozšiřující se historii

Rozšiřující se okno při postupu času zachovává všechna dřívější pozorování. Může stabilizovat odhady, ale také zachovat data ze zastaralých tržních podmínek. Klouzavé okno používá pevné nedávné období, usnadňuje adaptaci, ale zvyšuje výběrový šum. Žádný přístup není univerzálně lepší; příslušný kompromis závisí na ekonomickém vztahu, jehož přetrvání se očekává.

Délky oken volte z obhajitelného důvodu ještě před porovnáním výsledků. Vyzkoušet desítky délek a vybrat nejlepší pouze přesouvá optimalizaci na vyšší úroveň. V každém testovacím intervalu zaznamenejte počet pozorování, odlišných tržních epizod a skutečných obchodů. Dlouhé kalendářní období s velmi málo nezávislými rozhodnutími může poskytovat méně důkazů, než jeho délka naznačuje.

Únik informací se skrývá v přípravě dat

Chronologické rozdělení je nutné, ale nestačí. Standardizace příznaku pomocí průměru celého vzorku umožňuje budoucím pozorováním ovlivňovat minulé vstupy. Výběr přeživších cenných papírů, používání revidovaných makroekonomických údajů nebo zahrnutí výkazu před jeho zveřejněním vytvářejí další formy zpětného pohledu. Transformace odhadujte na trénovacích datech a pokud možno zachovávejte dostupnost informací k danému okamžiku.

Záleží i na cílových proměnných. Pokud trénovací příklad předpovídá výnos za následujících pět dní, může se jeho výsledek překrývat se začátkem testovacího období. Odstraňte nebo oddělte pozorování, jejichž cílová časová okna překračují hranici. Software může mezi trénovací a testovací indexy vložit mezeru, ale smysluplná volba mezery vyžaduje pochopení horizontů cílových proměnných, publikačních prodlev a závislostí v daných datech.

Datum vstupní proměnné není okamžik poznání cíle předpovědi. Pondělní signál může používat informace známé v pondělí, ale následující pětidenní výnos ještě v úterý neskončil. Úterní přeučení nesmí použít úplnou cílovou hodnotu. Výběr dat musí kontrolovat celý interval cíle a skutečnou dostupnost, nejen počáteční datum řádku.

Laďte uvnitř tréninku a zachovejte nedotčené vyhodnocení

Výběr parametrů by měl probíhat pouze s informacemi uvnitř trénovací oblasti, případně prostřednictvím vnitřního chronologického validačního postupu. Vnější testovací interval pak hodnotí vybraný postup. Toto vnoření odlišuje výběr modelu od měření výkonnosti tohoto výběru. Také zvyšuje výpočetní náročnost, což je lepší než získat levný, ale kontaminovaný výsledek.

Spojte výnosy postupných testů v jejich skutečném časovém pořadí, včetně období bez pozice. Poplatky a předpoklady realizace uplatňujte konzistentně. Neprůměrujte atraktivní poměrové ukazatele jednotlivých úseků bez prozkoumání jejich ekonomického významu: malý klidný interval by jinak mohl získat zdánlivě stejnou důležitost jako dlouhý volatilní interval. Vedle celkového výsledku ukažte rozptyl napříč intervaly.

Slabý výsledek je použitelný důkaz

Výkonnost postupného testování, která se po nákladech zhoršuje, závisí na jediném intervalu nebo se dramaticky mění při drobné úpravě načasování, si zaslouží prozkoumání, nikoli kosmetickou opravu. Oddělte chybu dat nebo implementace od strategie, která jednoduše nemá oporu. Oprava skutečné chyby může odůvodnit nové spuštění, ale předchozí seznámení s výsledky musí zůstat součástí historie výzkumu.

Pokud má další hodnocení smysl, zakončete práci zmrazenou specifikací a skutečně novým obdobím pozorování nanečisto. Předem určete, jaká data se budou sbírat a co by předpoklady vyvrátilo. Cílem není pokračovat v optimalizaci, dokud se neobjeví atraktivní křivka; jde o ověření, zda disciplinovaný a proveditelný postup obstojí při příležitostech k selhání.

Přenášejte pozice a kapitál přes hranice testů

Přeučení modelu automaticky neuzavírá pozice. Jestliže test leden–březen končí s pozicí, která má podle původního pravidla vystoupit v dubnu, rozhodněte předem o pokračování starého pravidla, zdokumentované změně nebo uzavření s náklady. Tiché resetování na hotovost může vymazat ztráty, obnovit kapitál nebo obejít obtížné přechody.

Také kapitál musí pokračovat. Desetiprocentní zisk následovaný desetiprocentní ztrátou dává 1,10 × 0,90 = 0,99, tedy ztrátu 1 %. Aritmetický průměr nula účet nereprodukuje. Zachovejte chronologickou řadu s jednotnými pravidly kapitálu a velikosti. Překrývají-li se testy, nepočítejte stejný den dvakrát; vysvětlete výběr modelu či rozdělení kapitálu.

Výběr proměnných, standardizaci, doplnění chybějících hodnot a srovnání algoritmů provádějte v každém trénovacím okně znovu. Transformace přizpůsobená celé historii může propouštět budoucnost i při správně přeučeném modelu. TimeSeriesSplit pomáhá s časovým rozdělením indexů, ale nezná dokončení finančních cílových intervalů, revize oznámení ani přenos otevřených pozic.

Pro každou část uchovejte konec trénování, dostupná pozorování, parametry, první proveditelný obchod, počáteční pozice, náklady a konečný stav. Zdůvodněte vynechaná data a pokyny. Po opravě chyby spusťte celý proces jednotně a zachovejte staré výsledky. Opravená verze na již prohlédnutých datech není nový nedotčený experiment.