Viacnásobné testovanie: keď je najlepší spätný test šťastná náhoda
Zaznamenávajte proces hľadania a oddeľte skutočnú hypotézu od víťaza rozsiahlej historickej súťaže.
Jedna vykázaná stratégia môže skrývať tisíc pokusov
Výskumník môže zverejniť jeden príťažlivý spätný test po vyskúšaní mnohých signálov, hodnôt parametrov, aktív a dátumov vzorky. Konečný graf neukazuje celé hľadanie. Aj keď žiadny kandidát nemá skutočnú výhodu, najlepšie vyzerajúci kandidát môže pôsobiť pôsobivo, pretože niektoré náhodné sekvencie sú priaznivé.
Relevantnou jednotkou analýzy preto nie je iba vybrané pravidlo, ale aj postup, ktorý ho vybral. Prah zmenený po preskúmaní výsledkov sa počíta do hľadania, aj keď nebežal žiadny formálny optimalizačný program. Experimentovanie spamäti, vyradené tabuľky a neformálna vizuálna kontrola môžu prispievať k výberovému skresleniu. Poctivý záznam výskumu tieto voľby zviditeľňuje.
Pochopte jednoduchú ilustráciu pravdepodobnosti
Ak má každý z dvadsiatich nezávislých testov 5 % pravdepodobnosť falošne pozitívneho výsledku, pravdepodobnosť aspoň jedného takého výsledku je 1 − 0.95²⁰, približne 64,2 %. Predpoklad nezávislosti je dôležitý: obchodné varianty často korelujú, preto je tento výpočet ilustráciou, nie presnou korekciou skutočného výskumného programu.
Poučením nie je, že každé kladné zistenie je nepravdivé. Je ním, že prah jediného testu nemožno po rozsiahlom hľadaní interpretovať rovnako. Príbuzné voľby parametrov nevytvárajú úplne nezávislé dôkazy, no ich korelácia neodstraňuje výberové skreslenie. Odhad efektívneho rozsahu hľadania je sám neistý a nemal by sa maskovať ako presný počet.
Hodnota p nie je pravdepodobnosť pravdivosti hypotézy ani zisku nasledujúceho obchodu. Vyjadruje nezlučiteľnosť určitej testovej štatistiky so zadaným nulovým modelom za predpokladov testu. Malá hodnota môže vzniknúť aj chybným modelom šumu, prehliadnutou závislosťou alebo výberovým vykazovaním. Významnosť sama nehovorí, či efekt pokryje spread, financovanie a realizáciu.
Chráňte hypotézu pred pravidlom hodnotenia
Začnite ekonomickým zdôvodnením, ktoré uvádza, prečo by vzťah mohol pretrvať a prečo by mohol prestať fungovať. Ak je to možné, definujte čistenie údajov, náklady a hodnotiace kritériá pred pohľadom na výsledok. Neodstráni to skreslenie, ale obmedzí voľnosť dodatočne prispôsobiť príbeh šťastnému vzoru.
Veďte denník pokusov obsahujúci zamietnuté varianty a dôvod každej zmeny. Rozlišujte odstraňovanie chýb od úpravy hypotézy. Oprava chyby časovej značky je iná než posunutie úrovne stop pokynu, pretože zlepšuje krivku vlastného kapitálu. Zaznamenajte obe zmeny, keďže znalosť výsledkov môže ovplyvniť neskoršie rozhodnutia aj vtedy, keď bola pôvodná zmena oprávnená.
Nedotknutá vzorka má obmedzenú životnosť
Odložené testovacie obdobie má hodnotu iba dovtedy, kým zostáva nedotknuté vývojom. Keď doň výskumník opakovane nahliada pri výbere modelov, stáva sa ďalším tréningovým zdrojom. Označenie „mimo vzorky“ nezvráti tok informácií. Potom môže byť potrebné novšie obdobie alebo iné skutočne nezávislé hodnotenie.
Postupy walk-forward, vnorený výber a výskum nadmerného prispôsobenia spätných testov môžu pomôcť preskúmať výberový proces, no žiadny nemení slabé údaje na istotu. Posudzujte stabilitu v rozumnom okolí parametrov a v ekonomicky odlišných obdobiach. Stabilita je povzbudivá, ak bola hodnotená poctivo; hľadanie ľubovoľnej najlepšie vyzerajúcej štatistiky stability pridáva ďalšiu vrstvu testovania.
Oceňujte kvalitu dôkazov, nie najvyšší graf
Porovnávajte výsledky s jednoduchou referenciou, realistickými nákladmi a odhadmi neistoty. Zložitý model, ktorý len mierne zlepšuje zašumený ukazovateľ, nemusí ospravedlniť ďalšie stupne voľnosti. Skúmajte, koľko zdanlivej výhody pochádza z jedného obchodu, jedného aktíva alebo jednej voľby počiatočného dátumu.
Užitočná správa obsahuje históriu hľadania, konečnú špecifikáciu, neúspechy a nevyriešené predpoklady. Negatívne zistenia zužujú priestor vierohodných myšlienok a môžu ušetriť budúce úsilie. Cieľom nie je zachrániť obľúbenú stratégiu, ale zistiť, či dostupné dôkazy podporujú tvrdenie dostatočne silné na to, aby obstálo pri replikácii. Ak nie, disciplinovaným záverom je neistota, nie prepracovanejší marketingový graf.
Spočítajte všetky voľby, ktoré mohli zmeniť víťaza
Päť dĺžok histórie, štyri vstupné prahy a tri výstupné pravidlá tvoria už 60 kombinácií. Neskorší výber počiatočného dátumu, vypustenie nepohodlného aktíva alebo zmena hodnotiaceho kritéria hľadanie rozširujú. Denník pokusov musí obsahovať aj ručné rozhodnutia, nielen automaticky spustené varianty.
Pre vopred určenú rodinu dvadsiatich platných testov nastavuje Bonferroniho korekcia hladinu každého na 0,05 / 20 = 0,0025. Pravdepodobnosť aspoň jedného chybného zamietnutia tým obmedzí najviac na 5 %. Hranica nevyžaduje nezávislosť, pri prekrývaní však môže byť konzervatívna. Neopraví skreslené dáta, neplatné testy ani zatajené ďalšie pokusy.
Kontrola pravdepodobnosti akéhokoľvek falošne pozitívneho nálezu sa líši od kontroly očakávaného podielu falošných objavov medzi objavmi. Ani jedna nezaručuje ekonomickú životaschopnosť. Metódu zvoľte podľa otázky, nie skúšaním viacerých opráv a zverejnením najpriaznivejšej. Opakované sledovanie, či výsledok už dosiahol významnosť, musí zohľadniť sekvenčný postup.
Simulácia výberu musí opakovať samotný výber. Hodnotenie iba vybraného víťaza na nových vzorkách prehliada výhodu prehľadania mnohých kandidátov. Každé opakovanie má vykonať oznámené hľadanie, pravidlo výberu a následné hodnotenie pod obhájiteľným dátovým modelom. Pás spoľahlivosti okolo jedinej peknej kapitálovej krivky to nenahrádza.