Nejlepší backtest v tabulce

Výchozí situace

Hypotetický vzdělávací případ. Cenová řada, strategie, výsledky obchodů a statistiky jsou smyšlené. Nejde o historický záznam, tvrzení o výkonnosti ani obchodovatelný signál. Lena testuje myšlenku klouzavého průměru na syntetickém akciovém koši. Po vyzkoušení 120 kombinací parametrů vybere nejatraktivnější výsledek a jeho 200 simulovaných obchodů předkládá jako důkaz robustní výhody. Výzkumná revize se ptá, co bylo vybráno, co vynecháno a co zůstává skutečně neviděné.

Zrekonstruujte působivé hlavní číslo

Vybraná konfigurace má 110 hrubě ziskových obchodů s průměrem $180 a 90 hrubě ztrátových obchodů s průměrem $160. Hrubé zisky činí $19 800 a hrubé ztráty $14 400, což zanechává $5 400 za 200 obchodů. Hrubý průměr je $27 na obchod a úspěšnost 55 %. Ani jedno číslo neříká, zda strategie přežije realistické náklady nebo zda proces výběru objevil signál, nikoli štěstí.

Lena předpokládala náklady na kompletní obchod jen 2 $, což snížilo výsledek o 400 $ na 5 000 $. Fiktivní přezkum realizace však odhaduje 6 $ provizí a výslovných poplatků, 12 $ nákladů spreadu a 15 $ dodatečného skluzu na každý kompletní obchod. Celkem je to 33 $ na obchod, tedy 6 600 $ za celý vzorek. Při stejných hrubých výsledcích je upravený čistý výsledek ztráta 1 200 $, v průměru záporných 6 $ na obchod.

Definujte náklady bez dvojího započítání

Tyto složky nákladů dávají smysl jen proto, že syntetický zpětný test používal referenční ceny bez tržních frikcí. Pokud by již realizace byly simulovány na nákupních a prodejních kotacích, samostatné opětovné odečtení celého spreadu by náklady nadhodnotilo. Stejně tak náklady nedokonalé realizace měřené od rozhodovací ceny mohou již zahrnovat spread a dopad na trh. Výzkumný deník potřebuje přesné vymezení vstupního benchmarku, výstupního benchmarku a dodatečných poplatků.

Tabulka citlivosti by testovala několik celkových nákladů na kompletní obchod, nejen ty nejpříznivější pro strategii. Při 15 $ je čistý výsledek 2 400 $; při 27 $ je nulový; při 45 $ je záporných 3 600 $. Jde o aritmetické scénáře, nikoli prognózy. Náklad na hranici rentability 27 $ je zvlášť užitečný, protože ukazuje, jak málo prostoru má vybraný hrubý výsledek pro nejistotu realizace, neuskutečněná plnění a provozní chyby.

Problém výběru předchází konečnému grafu

Lena tuto konfiguraci nezvolila před zhlédnutím vzorku. Vybrala ji, protože na stejném vzorku překonala 119 alternativ. I strategie bez trvalé predikční výhody mohou při vyzkoušení mnoha variant vytvořit lákavého vítěze. Jako záměrně stylizovaná ilustrace: pokud by 120 nezávislých testů mělo každý 5% pravděpodobnost falešně pozitivního výsledku, pravděpodobnost alespoň jednoho by byla 1 − 0,95^120, přibližně 99,79 %.

Skutečné varianty strategií jsou pravděpodobně korelované, takže výpočet předpokládající nezávislost není platnou p-hodnotou pro výzkum Leny. Jeho úlohou je ukázat problém mnohonásobného testování, nikoli jej přesně vyčíslit. Musí zaznamenat všechny vyzkoušené varianty včetně vyřazených indikátorů, změněných časových oken a ručních výjimek. Vyleštěný výsledný graf neukáže, kolik neúspěšných experimentů se za ním skrývá.

Vyhraďte poctivou hodnoticí sadu

Lepší fiktivní výzkumný návrh odděluje vývoj, validaci a závěrečný nedotčený test. Lena může použít vývojová data k vytvoření myšlenky a validační data k porovnání omezené zdokumentované sady voleb. Jakmile prozkoumá závěrečný test a podle něj změní strategii, tato data již nejsou nedotčená. Opakované označování stejných dat za „mimo vzorek“ neobnoví nezávislost.

V novém testu 60 obchodů předpokládejte 28 hrubých výher s průměrem 170 $ a 32 hrubých proher s průměrem 150 $. Hrubý výsledek je 4 760 $ − 4 800 $ = ztráta 40 $. Při 33 $ za kompletní obchod přidají náklady 1 980 $ a čistý výsledek je ztráta 2 020 $. Tento malý vymyšlený vzorek nedokazuje, že strategie nikdy nemůže fungovat, ale nepodporuje původní důvěru. Vhodnou reakcí je zkoumání nebo odmítnutí, nikoli automatické úpravy parametrů, dokud oddělený testovací vzorek nezezelená.

Výzkumný přezkum nejprve ukáže oba vzorky odděleně. Opravených 200 vývojových obchodů dává −1 200 dolarů, nových šedesát −2 020. Celkem jde o −3 220 ve 260 obchodech, asi −12,38 na obchod. Součet je správný, ale nepromění data použitá při výběru v nezávislé důkazy. Pozdější test hodnotí rozhodnutí stanovená před prohlédnutím těchto pozorování.

Ověřte načasování informací a průběh ztrát

Kontrola se také ptá, zda signály používaly data skutečně dostupná před každým modelovaným obchodem. Ukazatel ze zavírací ceny obvykle nemůže ospravedlnit dřívější plnění za tutéž zavírací cenu bez obhajitelného realizačního mechanismu. Výběr souboru aktiv nesmí potichu vyřadit zkrachovalé nebo delistované cenné papíry. Korporátní události, sladění časových značek a zastaralé kotace mohou podstatně změnit simulované výsledky. Každá kontrola řeší možný zdroj chyby, nikoli záruku budoucí ziskovosti.

Nakonec Lena vedle celkového zisku zaznamená propady, po sobě jdoucí ztráty, obrat a využití kapitálu. Strategie, která se nakonec zotaví, může cestou přesto překročit limit financování. NFA upozorňuje, že hypotetické výsledky těží ze zpětného pohledu a nemohou plně reprodukovat zkušenost se skutečným finančním rizikem. Testování nanečisto může odhalit problémy pracovního postupu, ale neprokazuje skutečnou likviditu, škálovatelnost ani schopnost dodržovat strategii při ztrátě skutečných peněz.

Určete, jaké důkazy by skutečně změnily závěr

Další krok Leny závisí na příčině. Chyba časového razítka propouštějící zítřejší data vyžaduje opravu a stažení nebo jasné nahrazení dotčených výsledků. Je-li kód správný, ale věrohodné náklady spotřebují výhodu, nový nadpis grafu nepomůže. Vysvětluje-li jediný mimořádný zisk většinu výsledku, je třeba prozkoumat ekonomické zdůvodnění závislosti a její zastoupení ve vzorku.

Reprodukční balíček má obsahovat všech 120 konfigurací, přesná syntetická data, výběrové kritérium, nákladové konvence a zmrazenou konečnou specifikaci. Jiný hodnotitel musí obnovit atraktivní původní i slabší opravený výsledek. Zachování neúspěšné verze ukáže, který předpoklad změnil závěr. Reprodukovatelnost ověřuje výpočet, nikoli budoucí úspěch.

U stejných 200 obchodů zvýšení nákladu z 33 na 45 dolarů přidá 2 400 a posune čistý výsledek z −1 200 na −3 600. Pokud horší likvidita navíc znemožní některá plnění, změní se samotný seznam obchodů. To vyžaduje novou simulaci realizace, ne další odpočet ze starého seznamu.

Pravidlo inspirované neúspěšným odloženým testem lze zkoumat, ale výsledek na stejných datech je už vývojový důkaz. Pozdější období může revizi ověřovat až po předchozím stanovení specifikace a kritérií. Poctivý závěr může znít, že současný nápad nemá podporu; přezkum nemusí vytvořit strategii k obchodování.

Kde se uvažování mýlí