Vícenásobné testování: když je nejlepší backtest šťastná náhoda

Jedna vykázaná strategie může skrývat tisíc pokusů

Výzkumník může zveřejnit jeden atraktivní zpětný test po vyzkoušení mnoha signálů, parametrů, aktiv a období vzorku. Konečný graf neukazuje celé hledání. I když žádný kandidát nemá skutečnou výhodu, ten nejlépe vypadající může působit přesvědčivě, protože některé náhodné posloupnosti jsou příznivé.

Relevantní jednotkou analýzy proto není jen vybrané pravidlo, ale také postup, který je vybral. Prahová hodnota změněná po prohlédnutí výsledků je součástí hledání, i když nebyl spuštěn žádný formální optimalizační program. K výběrovému zkreslení mohou přispívat experimentování zpaměti, odložené tabulky i neformální vizuální prohlížení. Poctivý výzkumný záznam tyto volby zviditelňuje.

Pochopte jednoduchý příklad pravděpodobnosti

Pokud má dvacet nezávislých testů každý 5% pravděpodobnost falešně pozitivního výsledku, pravděpodobnost alespoň jednoho takového výsledku je 1 − 0,95²⁰, přibližně 64,2 %. Předpoklad nezávislosti je důležitý: obchodní varianty jsou často korelované, takže tato aritmetika je ilustrací, nikoli přesnou korekcí skutečného výzkumného programu.

Poučení nespočívá v tom, že každý pozitivní nález je nepravdivý. Jde o to, že práh pro jediný test nelze po rozsáhlém hledání interpretovat stejně. Související volby parametrů nevytvářejí zcela nezávislé důkazy, ale jejich korelace neodstraňuje výběrové zkreslení. Odhad účinné šíře hledání je sám nejistý a neměl by být vydáván za přesný počet.

Hodnota p není pravděpodobnost pravdivosti hypotézy ani zisku příštího obchodu. Měří neslučitelnost určité testové statistiky se zadaným nulovým modelem za předpokladů testu. Malá hodnota může vzniknout i chybným modelem šumu, opomenutou závislostí nebo selektivním vykazováním. Významnost sama neříká, zda efekt pokryje spread, financování a realizaci.

Chraňte hypotézu před hodnoticím pravidlem

Začněte ekonomickým zdůvodněním, které stanoví, proč by vztah mohl přetrvávat a proč by mohl přestat fungovat. Pokud je to možné, definujte čištění dat, náklady a kritéria hodnocení před zhlédnutím výsledku. Zkreslení to neodstraní, ale omezí to volnost dodatečně přizpůsobit příběh šťastně nalezenému vzorci.

Veďte záznam pokusů obsahující zamítnuté varianty a důvod každé změny. Rozlišujte opravu chyb od změny hypotézy. Oprava chybného časového údaje se liší od posunutí stop úrovně, protože zlepšuje křivku kapitálu. Obě změny je třeba zaznamenat, protože znalost výsledků může ovlivnit pozdější rozhodnutí, i když původní změna byla oprávněná.

Nedotčený vzorek má omezenou životnost

Vyhrazené testovací období má hodnotu pouze tehdy, dokud zůstává vývojem nedotčeno. Jakmile jej výzkumník opakovaně používá k výběru mezi modely, stává se dalším trénovacím zdrojem. Označení mimo vzorek tok informací neobrátí. Poté může být potřeba novější období nebo jiné skutečně nezávislé hodnocení.

Postupy walk-forward, vnořený výběr a výzkum přeučení zpětných testů mohou pomoci prověřit proces výběru, žádný však nepromění slabá data v jistotu. Posuzujte stabilitu v rozumném okolí parametrů a ekonomicky odlišných obdobích. Stabilita je povzbudivá, pokud byla hodnocena poctivě; hledání statistiky stability, která vypadá nejlépe, přidává další vrstvu testování.

Oceňujte kvalitu důkazů, ne nejvyšší graf

Porovnávejte výsledky s jednoduchým měřítkem, realistickými náklady a odhady nejistoty. Složitý model, který jen nepatrně zlepší zašuměný ukazatel, nemusí odůvodnit své další stupně volnosti. Zkoumejte, kolik zdánlivé výhody pochází z jediného obchodu, aktiva nebo volby počátečního data.

Užitečná zpráva obsahuje historii hledání, konečnou specifikaci, neúspěchy a nevyřešené předpoklady. Negativní zjištění zužují prostor věrohodných nápadů a mohou ušetřit budoucí úsilí. Cílem není zachránit oblíbenou strategii, ale zjistit, zda dostupné důkazy podporují nějaké tvrzení dostatečně silné, aby obstálo při replikaci. Pokud ne, disciplinovaným závěrem je nejistota, nikoli propracovanější marketingový graf.

Spočítejte všechny volby, které mohly změnit vítěze

Pět délek historie, čtyři vstupní prahy a tři výstupní pravidla tvoří již 60 kombinací. Následný výběr počátečního data, vypuštění nepohodlného aktiva nebo změna hodnoticího kritéria hledání rozšiřují. Deník pokusů musí zahrnovat i ruční rozhodnutí, nejen automaticky spuštěné varianty.

Pro předem vymezenou rodinu 20 platných testů nastaví Bonferroniho korekce hladinu každého na 0,05 / 20 = 0,0025. Pravděpodobnost alespoň jednoho chybného zamítnutí tím omezí nejvýše na 5 %. Hranice nevyžaduje nezávislost, ale při překrývajících se testech může být konzervativní. Neopraví zkreslená data, neplatné testy ani zatajené další pokusy.

Kontrola pravděpodobnosti jakéhokoli falešně pozitivního nálezu se liší od kontroly očekávaného podílu falešných objevů mezi objevy. Ani jedna nezaručuje ekonomickou životaschopnost. Metodu volte podle otázky, ne zkoušením několika oprav a zveřejněním té nejpříznivější. Opakované kontrolování, zda už výsledek dosáhl významnosti, musí být součástí sekvenčního postupu.

Simulace výběru musí opakovat samotný výběr. Hodnocení pouze již vybraného vítěze na nových vzorcích pomíjí výhodu prohledání mnoha kandidátů. Každé opakování má provést deklarované hledání, pravidlo výběru a následné hodnocení pod obhajitelným datovým modelem. Pás spolehlivosti kolem jediné pěkné kapitálové křivky to nenahrazuje.