Višestruko testiranje: kada je najbolji povijesni test sretan slučaj
Pratite proces pretraživanja i razlikujte stvarnu hipotezu od pobjednika velikog povijesnog natjecanja.
Jedna prikazana strategija može skrivati tisuću pokušaja
Istraživač može objaviti jedan privlačan povijesni test nakon isprobavanja mnogih signala, vrijednosti parametara, vrsta imovine i datuma uzorka. Završni grafikon ne pokazuje cijelu pretragu. Čak i ako nijedan kandidat nema stvarnu prednost, onaj koji izgleda najbolje može djelovati impresivno jer su neki slučajni nizovi povoljni.
Relevantna jedinica analize stoga nije samo odabrano pravilo nego i postupak kojim je odabrano. Prag promijenjen nakon pregleda rezultata računa se kao dio pretrage čak i kada nije pokrenut formalni program optimizacije. Eksperimentiranje prema sjećanju, odbačene proračunske tablice i neformalna vizualna provjera mogu pridonijeti pristranosti odabira. Poštena istraživačka evidencija čini te izbore vidljivima.
Razumijte jednostavnu ilustraciju vjerojatnosti
Ako svaki od dvadeset neovisnih testova ima vjerojatnost lažno pozitivnog rezultata od 5%, vjerojatnost barem jednog takvog rezultata iznosi 1 − 0.95²⁰, približno 64.2%. Pretpostavka neovisnosti važna je: varijante trgovanja često su korelirane, pa je ovaj izračun ilustracija, a ne precizna korekcija stvarnog istraživačkog programa.
Pouka nije da je svaki pozitivan nalaz lažan. Pouka je da se prag pojedinačnog testa nakon širokog pretraživanja ne može tumačiti na isti način. Povezani izbori parametara ne stvaraju potpuno neovisne dokaze, ali njihova korelacija ne uklanja pristranost odabira. Procjena efektivne širine pretraživanja i sama je neizvjesna i ne smije se prikazivati kao točan broj.
Vrijednost p nije vjerojatnost istinitosti hipoteze ni dobiti sljedeće transakcije. Opisuje neusklađenost određene testne statistike sa zadanim nultim modelom pod pretpostavkama testa. Mala vrijednost može nastati i zbog pogrešnog modela šuma, zanemarene ovisnosti ili selektivnog izvještavanja. Značajnost sama ne govori pokriva li učinak spread, financiranje i izvršenje.
Zaštitite hipotezu od pravila ocjenjivanja
Počnite ekonomskim obrazloženjem koje navodi zašto bi neki odnos mogao opstati i zašto bi mogao prestati funkcionirati. Kad je izvedivo, definirajte čišćenje podataka, troškove i kriterije ocjenjivanja prije pregleda rezultata. To ne uklanja pristranost, ali sužava prostor za naknadno prilagođavanje priče sretnom obrascu.
Vodite evidenciju pokusa koja sadrži odbačene varijante i razlog svake promjene. Razlikujte ispravljanje pogrešaka od promjene hipoteze. Ispravljanje pogreške vremenske oznake razlikuje se od pomicanja stop razine zato što poboljšava krivulju kapitala. Obje promjene treba zabilježiti jer uvid u rezultate može utjecati na kasnije odluke čak i kada je početna promjena bila opravdana.
Netaknuti uzorak ima ograničen vijek trajanja
Izdvojeno razdoblje za provjeru vrijedno je samo dok se ne upotrebljava u razvoju. Kada ga istraživač opetovano provjerava radi odabira među modelima, ono postaje još jedan izvor podataka za učenje. Nazvati ga razdobljem izvan uzorka ne može poništiti protok informacija. Tada može biti potrebno novije razdoblje ili druga doista neovisna provjera.
Postupno napredujući postupci, ugniježđeni odabir i istraživanja pretjeranog prilagođavanja povijesnih testova mogu pomoći ispitati postupak odabira, ali nijedan ne pretvara slabe podatke u sigurnost. Procijenite stabilnost u razumnom susjedstvu parametara i ekonomski različitim razdobljima. Stabilnost ohrabruje kada je pošteno procijenjena; traženje one statistike stabilnosti koja izgleda najbolje uvodi novi sloj testiranja.
Nagradite kvalitetu dokaza, a ne najviši grafikon
Usporedite rezultate s jednostavnom referentnom vrijednošću, realističnim troškovima i procjenama neizvjesnosti. Složen model koji jedva poboljšava šumovit pokazatelj možda ne opravdava dodatne stupnjeve slobode. Provjerite koliko prividne prednosti dolazi od jedne transakcije, jedne imovine ili jednog izbora početnog datuma.
Koristan izvještaj uključuje povijest pretraživanja, konačnu specifikaciju, neuspjehe i neriješene pretpostavke. Negativni nalazi sužavaju prostor uvjerljivih ideja i mogu uštedjeti budući trud. Cilj nije sačuvati omiljenu strategiju, nego otkriti podupiru li dostupni dokazi ijednu tvrdnju dovoljno snažnu da izdrži ponavljanje. Kada ne podupiru, discipliniran zaključak jest neizvjesnost, a ne složeniji marketinški grafikon.
Prebrojite sve izbore koji su mogli promijeniti pobjednika
Pet duljina povijesti, četiri ulazna praga i tri izlazna pravila već daju 60 kombinacija. Naknadni izbor početnog datuma, izbacivanje nezgodne imovine ili promjena kriterija proširuju pretragu. Dnevnik pokušaja treba uključivati i ručne odluke, ne samo automatski pokrenute varijante.
Za unaprijed određenu obitelj od dvadeset valjanih testova Bonferronijeva korekcija postavlja razinu svakoga na 0,05 / 20 = 0,0025. Time je vjerojatnost barem jednog pogrešnog odbacivanja najviše 5 %. Granica ne traži neovisnost, premda može biti konzervativna kod preklapanja. Ne popravlja pristrane podatke, nevaljane testove ili skrivene dodatne pokušaje.
Kontrola vjerojatnosti bilo kojeg lažno pozitivnog nalaza razlikuje se od kontrole očekivanog udjela lažnih otkrića među otkrićima. Nijedna ne jamči ekonomsku održivost. Metodu birajte prema pitanju, ne iskušavanjem više korekcija i objavom najpovoljnije. Ponovljeno provjeravanje je li rezultat već značajan mora biti uključeno u sekvencijalni postupak.
Simulacija odabira mora ponoviti sam odabir. Ocjenjivanje samo prethodno izabranog pobjednika na novim uzorcima propušta prednost pretraživanja brojnih kandidata. Svako ponavljanje treba provesti deklariranu pretragu, pravilo izbora i kasniju procjenu pod opravdanim modelom podataka. Pojas pouzdanosti oko jedne lijepe krivulje kapitala nije zamjena.