Višestruko testiranje: kada je najbolji istorijski test srećna slučajnost
Pratite postupak pretrage i razlikujte istinsku hipotezu od pobednika velikog nadmetanja na istorijskim podacima.
Jedna prikazana strategija može kriti hiljadu pokušaja
Istraživač može objaviti jedan privlačan istorijski test nakon isprobavanja brojnih signala, vrednosti parametara, vrsta imovine i datuma uzorka. Završni grafikon ne prikazuje celu pretragu. Čak i ako nijedan kandidat nema stvarnu prednost, kandidat koji izgleda najbolje može delovati impresivno jer su neki slučajni nizovi povoljni.
Relevantna jedinica analize zato nije samo odabrano pravilo, već postupak kojim je odabrano. Prag promenjen nakon pregleda rezultata računa se kao deo pretrage čak i kada nije pokrenut formalni program optimizacije. Eksperimentisanje po sećanju, odbačene tabele i neformalni vizuelni pregled mogu doprineti pristrasnosti izbora. Poštena istraživačka evidencija čini ove odluke vidljivim.
Razumite jednostavnu ilustraciju verovatnoće
Ako dvadeset nezavisnih testova svaki ima verovatnoću lažno pozitivnog rezultata od 5%, verovatnoća bar jednog takvog rezultata je 1 − 0.95²⁰, približno 64.2%. Pretpostavka nezavisnosti je važna: varijante trgovanja često su korelisane, pa je ovaj obračun ilustracija, a ne precizna korekcija stvarnog istraživačkog programa.
Pouka nije da je svaki pozitivan nalaz pogrešan. Pouka je da se prag za jedan test ne može tumačiti isto nakon široke pretrage. Povezani izbori parametara ne stvaraju potpuno nezavisne dokaze, ali njihova korelacija ne uklanja pristrasnost izbora. Procena efektivne širine pretrage i sama je neizvesna i ne treba je prikazivati kao tačan broj.
Vrednost p nije verovatnoća istinitosti hipoteze ni dobiti sledeće transakcije. Opisuje neusklađenost određene testne statistike sa zadanim nultim modelom pod pretpostavkama testa. Mala vrednost može nastati i zbog pogrešnog modela šuma, zanemarene zavisnosti ili selektivnog izveštavanja. Značajnost sama ne govori pokriva li učinak spread, finansiranje i izvršenje.
Zaštitite hipotezu od pravila ocenjivanja
Počnite ekonomskim obrazloženjem koje navodi zašto bi odnos mogao da opstane i zašto bi mogao prestati da funkcioniše. Gde je moguće, definišite čišćenje podataka, troškove i kriterijume procene pre gledanja rezultata. To ne uklanja pristrasnost, ali sužava slobodu naknadnog uklapanja priče u srećno pronađen obrazac.
Vodite evidenciju pokušaja koja sadrži odbačene varijante i razlog svake promene. Razlikujte otklanjanje grešaka od menjanja hipoteze. Ispravljanje greške vremenske oznake nije isto što i pomeranje stop nivoa zato što poboljšava krivu kapitala. Obe promene treba zabeležiti, jer uvid u rezultate može uticati na kasnije odluke čak i kada je početna promena bila opravdana.
Netaknuti uzorak ima ograničen vek
Izdvojeni testni period vredan je samo dok ostaje netaknut tokom razvoja. Kada ga istraživač više puta proverava radi izbora modela, on postaje još jedan resurs za obuku. Nazivanje tog perioda podacima van uzorka ne poništava tok informacija. Tada može biti potreban noviji period ili druga zaista nezavisna procena.
Postupci pomeranja prozora, ugnježđena selekcija i istraživanja prekomernog prilagođavanja istorijskim testovima mogu pomoći da se ispita selekcija, ali nijedan ne pretvara slabe podatke u izvesnost. Procenite stabilnost kroz razumne susedne parametre i ekonomski različite periode. Stabilnost ohrabruje kada je pošteno ocenjena; traženje statistike stabilnosti koja najbolje izgleda uvodi još jedan sloj testiranja.
Vrednujte kvalitet dokaza, ne najviši grafikon
Uporedite rezultate sa jednostavnom referentnom merom, realističnim troškovima i procenama neizvesnosti. Složen model koji jedva poboljšava šumovit pokazatelj možda ne opravdava dodatne stepene slobode. Ispitajte koliko prividne prednosti potiče od jedne trgovine, jedne imovine ili jednog izbora početnog datuma.
Koristan izveštaj sadrži istoriju pretrage, konačnu specifikaciju, neuspehe i nerazrešene pretpostavke. Negativni nalazi sužavaju prostor verodostojnih ideja i mogu uštedeti budući trud. Cilj nije očuvati omiljenu strategiju, već otkriti da li dostupni dokazi podržavaju ijednu tvrdnju dovoljno snažnu da izdrži ponavljanje provere. Kada to nije slučaj, disciplinovan zaključak je neizvesnost, a ne složeniji marketinški grafikon.
Prebrojite sve izbore koji su mogli promeniti pobednika
Pet dužina istorijskih podataka, četiri ulazna praga i tri izlazna pravila već daju 60 kombinacija. Naknadni izbor početnog datuma, izbacivanje nezgodne imovine ili promena kriterijuma proširuju pretragu. Dnevnik pokušaja treba uključivati i ručne odluke, ne samo automatski pokrenute varijante.
Za unapred određenu porodicu od dvadeset validnih testova Bonferronijeva korekcija postavlja nivo svakog testa na 0,05 / 20 = 0,0025. Time je verovatnoća barem jednog pogrešnog odbacivanja najviše 5 %. Granica ne traži nezavisnost, premda može biti konzervativna kod preklapanja. Ne popravlja pristrane podatke, nevalidne testove ili skrivene dodatne pokušaje.
Kontrola verovatnoće bilo kojeg lažno pozitivnog nalaza razlikuje se od kontrole očekivanog udela lažnih otkrića među otkrićima. Nijedna ne garantuje ekonomsku održivost. Metodu birajte prema pitanju, ne iskušavanjem više korekcija i objavom najpovoljnije. Ponovljeno proveravanje je li rezultat već značajan mora biti uključeno u sekvencijalni postupak.
Simulacija izbora mora ponoviti sam izbor. Ocenjivanje samo prethodno izabranog pobednika na novim uzorcima propušta prednost pretraživanja brojnih kandidata. Svako ponavljanje treba sprovesti deklarisanu pretragu, pravilo izbora i kasniju procenu pod opravdanim modelom podataka. Pojas pouzdanosti oko jedne lepe krive kapitala nije zamena.