Najlepší spätný test v tabuľke

Východisková situácia

Hypotetický vzdelávací prípad. Cenový rad, stratégia, výsledky obchodov a štatistiky sú vymyslené. Nie sú historickým záznamom, tvrdením o výkonnosti ani obchodovateľným signálom. Lena testuje myšlienku kĺzavého priemeru na syntetickom koši akcií. Po vyskúšaní 120 kombinácií parametrov vyberie najlákavejší výsledok a jeho 200 simulovaných obchodov predstaví ako dôkaz robustnej výhody. Kontrola výskumu sa pýta, čo bolo vybrané, čo vynechané a čo zostáva skutočne nevidené.

Zrekonštruujte pôsobivý hlavný údaj

Zvolená konfigurácia má 110 hrubo ziskových obchodov s priemerom 180 $ a 90 hrubo stratových obchodov s priemerom 160 $. Hrubé zisky sú 19 800 $ a hrubé straty 14 400 $, takže naprieč 200 obchodmi zostáva 5 400 $. Hrubý priemer je 27 $ na obchod a úspešnosť 55 %. Ani jedno číslo nehovorí, či stratégia prežije realistické náklady alebo či výberový proces objavil signál namiesto šťastia.

Lena predpokladala náklady iba 2 $ na jeden úplný obchod, čo znížilo výsledok o 400 $ na 5 000 $. Fiktívne posúdenie realizácie však odhaduje provízie a priame poplatky 6 $, náklad rozpätia 12 $ a dodatočný sklz 15 $ na jeden dokončený nákup a predaj. Celkovo je to 33 $ na obchod, čiže 6 600 $ v celej vzorke. Pri rovnakých hrubých výsledkoch je upravený čistý výsledok strata 1 200 $, v priemere mínus 6 $ na obchod.

Definujte náklady bez dvojitého započítania

Tieto nákladové zložky dávajú zmysel iba preto, že syntetický spätný test používal referenčné ceny bez transakčných nákladov. Ak by už boli plnenia simulované pri nákupnej a predajnej cene, ďalšie samostatné odpočítanie celého spreadu by náklady nadhodnotilo. Podobne odchýlka realizácie meraná od rozhodovacej ceny už môže obsahovať spread a trhový vplyv. Výskumný denník potrebuje presnú definíciu vstupného benchmarku, výstupného benchmarku a dodatočných poplatkov.

Tabuľka citlivosti by testovala viacero celkových nákladov celého obchodu, nielen tie najpriaznivejšie pre stratégiu. Pri 15 $ je čistý výsledok 2 400 $; pri 27 $ je nulový; pri 45 $ je mínus 3 600 $. Ide o aritmetické scenáre, nie prognózy. Nákladová hranica vyrovnania 27 $ je obzvlášť užitočná, pretože ukazuje, ako málo priestoru má vybraný hrubý výsledok na neistotu realizácie, nevyplnené pokyny a prevádzkové chyby.

Problém výberu prichádza pred záverečným grafom

Lena si túto konfiguráciu nevybrala pred tým, než uvidela vzorku. Vybrala si ju, pretože na rovnakej vzorke prekonala 119 alternatív. Aj stratégie bez trvalej predikčnej výhody môžu pri skúšaní mnohých variantov vytvoriť príťažlivého víťaza. Ako zámerne zjednodušená ilustrácia: ak by každý zo 120 nezávislých testov mal 5 % pravdepodobnosť falošne pozitívneho výsledku, pravdepodobnosť aspoň jedného by bola 1 − 0.95^120, približne 99,79 %.

Skutočné varianty stratégií pravdepodobne korelujú, preto tento výpočet nezávislosti nie je platnou p-hodnotou Leniného výskumu. Jeho úlohou je odhaliť problém viacnásobného testovania, nie ho presne kvantifikovať. Musí zaznamenať všetky vyskúšané varianty vrátane vyradených indikátorov, zmenených dátumových okien a ručných výnimiek. Uhladený konečný graf nemôže ukázať, koľko neúspešných experimentov sa za ním skrývalo.

Vyhraďte poctivú hodnotiacu množinu

Lepší fiktívny výskumný návrh oddeľuje vývoj, validáciu a konečný nedotknutý test. Lena môže vývojové údaje použiť na vytvorenie myšlienky a validačné údaje na porovnanie obmedzeného, zdokumentovaného súboru možností. Keď si prezrie konečný test a podľa neho stratégiu zmení, údaje už nie sú nedotknuté. Opakované označovanie tých istých údajov za „mimo vzorky“ neobnoví nezávislosť.

V novom teste so 60 obchodmi predpokladajte 28 hrubých ziskov s priemerom 170 $ a 32 hrubých strát s priemerom 150 $. Hrubý výsledok je 4 760 $ − 4 800 $ = mínus 40 $. Pri 33 $ za celý obchod pridajú náklady 1 980 $ a čistý výsledok je mínus 2 020 $. Táto malá vymyslená vzorka nedokazuje, že stratégia nikdy nemôže fungovať, no nepodporuje pôvodnú dôveru. Primeranou reakciou je preskúmanie alebo zamietnutie, nie automatické zmeny parametrov, kým odložená vzorka nezačne vykazovať zisk.

Výskumné preskúmanie najprv ukáže obe vzorky samostatne. Opravených 200 vývojových obchodov dáva −1 200 dolárov, nových šesťdesiat −2 020. Spolu je to −3 220 pri 260 obchodoch, asi −12,38 na obchod. Súčet je správny, ale nemení dáta použité pri výbere na nezávislé dôkazy. Neskorší test hodnotí rozhodnutia stanovené pred preskúmaním týchto pozorovaní.

Overte načasovanie informácií a priebeh strát

Preskúmanie sa pýta aj na to, či signály používali údaje skutočne dostupné pred každým modelovaným obchodom. Indikátor zatváracej ceny zvyčajne nemôže odôvodniť skoršiu realizáciu za tú istú zatváraciu cenu bez obhájiteľného mechanizmu realizácie. Výber investičného univerza nesmie potichu vyraďovať skrachované alebo z burzy stiahnuté cenné papiere. Korporátne udalosti, zosúladenie časových značiek a zastarané kotácie môžu významne zmeniť simulované výsledky. Každá kontrola rieši možný zdroj chyby, nie záruku budúcej ziskovosti.

Napokon Lena zaznamenáva popri celkovom zisku aj poklesy, po sebe idúce straty, obrat a využitie kapitálu. Stratégia, ktorá sa napokon zotaví, môže cestou prekročiť limit financovania. NFA upozorňuje, že hypotetické výsledky ťažia zo spätného pohľadu a nedokážu plne reprodukovať skúsenosť so skutočným finančným rizikom. Cvičné testovanie môže odhaliť problémy pracovného postupu, ale nepreukazuje živú likviditu, škálovateľnosť ani schopnosť dodržiavať stratégiu pri strate skutočných peňazí.

Určte dôkazy, ktoré by naozaj zmenili záver

Ďalší krok Leny závisí od príčiny. Chyba časovej značky prepúšťajúca zajtrajšie dáta vyžaduje opravu a stiahnutie alebo jasné nahradenie ovplyvnených výsledkov. Ak je kód správny, ale vierohodné náklady spotrebujú výhodu, nový nadpis grafu nepomôže. Ak jediný mimoriadny zisk vysvetľuje väčšinu výsledku, treba preskúmať ekonomické zdôvodnenie závislosti a jej pokrytie vo vzorke.

Reprodukčný balík má obsahovať všetkých 120 konfigurácií, presné syntetické dáta, výberové kritérium, nákladové konvencie a zmrazenú konečnú špecifikáciu. Iný hodnotiteľ má vedieť obnoviť atraktívny pôvodný aj slabší opravený výsledok. Zachovanie neúspešnej verzie ukáže, ktorý predpoklad zmenil záver. Reprodukovateľnosť overuje výpočet, nie budúci úspech.

Pri rovnakých 200 obchodoch zvýšenie nákladu z 33 na 45 dolárov pridá 2 400 a posunie čistý výsledok z −1 200 na −3 600. Ak horšia likvidita navyše zabráni niektorým plneniam, mení sa samotný zoznam obchodov. Potrebná je nová simulácia realizácie, nie ďalší odpočet zo starého zoznamu.

Pravidlo inšpirované neúspešným vyhradeným testom možno skúmať, ale výsledok na tých istých dátach je už vývojový dôkaz. Neskoršie obdobie môže revíziu overovať až po predchádzajúcom stanovení špecifikácie a kritérií. Poctivý záver môže znieť, že súčasná myšlienka nemá podporu; preskúmanie nemusí vytvoriť stratégiu na obchodovanie.

Kde uvažovanie zlyháva