Večkratno testiranje: ko je najboljši zgodovinski test srečno naključje
Spremljaj proces iskanja in loči pravo hipotezo od zmagovalca obsežnega zgodovinskega tekmovanja.
Ena predstavljena strategija lahko skriva tisoč poskusov
Raziskovalec lahko objavi en privlačen zgodovinski preizkus, potem ko je preizkusil veliko signalov, vrednosti parametrov, sredstev in datumov vzorcev. Končni grafikon ne pokaže celotnega iskanja. Tudi če noben kandidat nima resnične prednosti, je lahko najboljši videti impresivno, ker so nekatera naključna zaporedja ugodna.
Ustrezna enota analize zato ni le izbrano pravilo, temveč tudi postopek njegove izbire. Prag, spremenjen po pregledu rezultatov, šteje kot del iskanja, tudi če ni bil uporabljen formalni optimizacijski program. Poskusi po spominu, zavržene preglednice in neformalni vizualni pregledi lahko vsi prispevajo k pristranskosti izbora. Pošten raziskovalni zapis te odločitve razkrije.
Razumi preprosto ponazoritev verjetnosti
Če ima vsak od dvajsetih neodvisnih preizkusov 5-odstotno verjetnost lažno pozitivnega rezultata, je verjetnost vsaj enega lažno pozitivnega rezultata 1 − 0,95²⁰, približno 64,2 %. Predpostavka neodvisnosti je pomembna: trgovalne različice so pogosto povezane, zato je ta izračun ponazoritev, ne natančen popravek dejanskega raziskovalnega programa.
Nauk ni, da je vsaka pozitivna ugotovitev napačna. Gre za to, da praga enega preizkusa po širokem iskanju ni mogoče razlagati enako. Sorodne izbire parametrov ne ustvarjajo povsem neodvisnih dokazov, njihova korelacija pa tudi ne odpravi pristranskosti izbora. Sama ocena dejanske širine iskanja je negotova in je ne bi smeli prikazovati kot natančno število.
Vrednost p ni verjetnost resničnosti hipoteze ali dobička naslednjega posla. Opisuje neskladnost testne statistike z določenim ničelnim modelom ob predpostavkah testa. Majhna vrednost lahko nastane tudi zaradi napačnega modela šuma, odvisnosti ali izbirnega poročanja. Statistična značilnost ne dokazuje, da učinek pokrije stroške.
Zaščiti hipotezo pred pravilom ocenjevanja
Začni z ekonomsko utemeljitvijo, ki pojasni, zakaj bi razmerje lahko vztrajalo in zakaj bi lahko prenehalo delovati. Kjer je mogoče, pred ogledom rezultata določi čiščenje podatkov, stroške in merila ocenjevanja. To ne odpravi pristranskosti, vendar omeji svobodo naknadnega prilagajanja zgodbe srečnemu vzorcu.
Vodi dnevnik poskusov z zavrnjenimi različicami in razlogom za vsako spremembo. Loči odpravljanje napak od spreminjanja hipoteze. Popravek napake v časovni oznaki ni isto kot premik stop ravni, ker izboljša krivuljo vrednosti računa. Obe spremembi zabeleži, saj lahko ogled rezultatov vpliva na poznejše odločitve tudi ob upravičeni začetni spremembi.
Nedotaknjen vzorec ima omejeno življenjsko dobo
Izločeno preverjalno obdobje je dragoceno le, dokler ostaja nedotaknjeno pri razvoju. Ko ga raziskovalec večkrat preverja za izbiro modelov, postane dodaten vir učnih podatkov. Oznaka »zunaj vzorca« ne obrne toka informacij. Tedaj je lahko potrebno novejše obdobje ali drugo resnično neodvisno ocenjevanje.
Postopki drsečega preverjanja naprej, vgnezdena izbira in raziskave pretiranega prilagajanja zgodovinskih preizkusov lahko pomagajo preučiti izbirni postopek, vendar noben ne spremeni šibkih podatkov v gotovost. Oceni stabilnost v smiselnih okolnih vrednostih parametrov in gospodarsko različnih obdobjih. Stabilnost je spodbudna, če je bila pošteno ocenjena; iskanje statistike stabilnosti, ki je videti najboljša, uvaja novo plast preizkušanja.
Nagrajuj kakovost dokazov, ne najvišjega grafikona
Rezultate primerjaj s preprostim merilom, realističnimi stroški in ocenami negotovosti. Zapleten model, ki komaj izboljša šumno merilo, morda ne upraviči dodatnih prostostnih stopenj. Preveri, koliko navidezne prednosti izvira iz enega posla, enega sredstva ali ene izbire začetnega datuma.
Koristno poročilo vključuje zgodovino iskanja, končno specifikacijo, neuspehe in nerazrešene predpostavke. Negativne ugotovitve zmanjšajo nabor verjetnih zamisli in lahko prihranijo prihodnji trud. Cilj ni ohraniti priljubljene strategije, temveč ugotoviti, ali razpoložljivi dokazi podpirajo kakršno koli trditev, ki zdrži ponovitev. Kadar je ne, je discipliniran sklep negotovost, ne bolj dodelan marketinški grafikon.
Preštej vse izbire, ki bi lahko spremenile zmagovalca
Pet dolžin zgodovine, štirje vstopni pragovi in tri izstopna pravila dajo že 60 kombinacij. Sprememba začetnega datuma, odstranitev neprijetne naložbe ali izbira novega merila razširi iskanje. Raziskovalni dnevnik mora vsebovati tudi ročne odločitve, ne le samodejno preizkušenih nastavitev.
Za vnaprej določeno družino dvajsetih veljavnih testov Bonferronijev popravek postavi raven vsakega na 0,05 / 20 = 0,0025. Verjetnost vsaj ene napačne zavrnitve je največ 5 %. Neodvisnost ni potrebna, meja pa je lahko konservativna. Ne popravi neveljavnih testov ali zamolčanih dodatnih poskusov.
Nadzor verjetnosti katerekoli lažne najdbe ni enak nadzoru pričakovanega deleža lažnih najdb med vsemi najdbami. Metodo izberi glede na vprašanje, ne glede na najprijetnejši rezultat. Ponavljajoče preverjanje, ali je značilnost že dosežena, mora biti vključeno v zaporedni postopek.
Simulacija raziskave mora ponoviti tudi izbor. Ocena samo že izbranega zmagovalca izpusti prednost pregleda številnih kandidatov. Vsaka ponovitev mora vsebovati napovedano iskanje, izbirno pravilo in poznejše vrednotenje. Pas zaupanja okoli ene lepe krivulje kapitala tega ne nadomesti.