Moninkertainen testaus: kun paras historiallinen testi on onnekas sattuma

Yksi raportoitu strategia voi kätkeä tuhat kokeilua

Tutkija voi julkaista yhden houkuttelevan historiatestin kokeiltuaan monia signaaleja, parametriarvoja, omaisuuseriä ja otospäivämääriä. Lopullinen kuvaaja ei näytä koko hakua. Vaikka yhdelläkään ehdokkaalla ei olisi todellista etua, parhaalta näyttävä voi vaikuttaa vaikuttavalta, koska jotkin satunnaiset jaksot ovat suotuisia.

Olennainen analyysiyksikkö ei siksi ole vain valittu sääntö vaan sen valinnut menettely. Tulosten tarkastelun jälkeen muutettu raja-arvo on osa hakua, vaikka muodollista optimointiohjelmaa ei olisi ajettu. Muistinvarainen kokeilu, hylätyt taulukot ja epämuodollinen silmämääräinen tarkastelu voivat kaikki lisätä valintaharhaa. Rehellinen tutkimuskirjanpito tekee nämä valinnat näkyviksi.

Ymmärrä yksinkertainen todennäköisyyshavainnollistus

Jos kahdenkymmenen riippumattoman testin kunkin väärän positiivisen tuloksen todennäköisyys on 5%, ainakin yhden väärän positiivisen tuloksen todennäköisyys on 1 − 0.95²⁰ eli noin 64.2%. Riippumattomuusoletus on tärkeä: kaupankäyntimuunnelmat korreloivat usein, joten laskelma on havainnollistus eikä täsmällinen korjaus todelliselle tutkimusohjelmalle.

Opetus ei ole, että jokainen myönteinen löydös on väärä. Se on, ettei yhden testin rajaa voi tulkita samalla tavalla laajan haun jälkeen. Toisiinsa liittyvät parametrivalinnat eivät luo täysin riippumatonta näyttöä, mutta niiden korrelaatio ei poista valintaharhaa. Tehollisen hakulaajuuden arviointi on itsessään epävarmaa, eikä sitä pidä naamioida tarkaksi lukumääräksi.

P-arvo ei ole hypoteesin totuuden tai seuraavan kaupan voiton todennäköisyys. Se kuvaa testisuureen yhteensopimattomuutta määritellyn nollamallin kanssa testin oletuksilla. Pieni arvo voi johtua myös väärästä kohinamallista, riippuvuudesta tai valikoivasta raportoinnista. Tilastollinen merkitsevyys ei osoita, että vaikutus kattaa kaupankäyntikulut.

Suojaa hypoteesi pisteytyssäännön vaikutukselta

Aloita taloudellisesta perustelusta, joka määrittää, miksi yhteys voisi säilyä ja miksi se voisi lakata toimimasta. Määritä mahdollisuuksien mukaan aineiston puhdistus, kulut ja arviointikriteerit ennen tuloksen katsomista. Tämä ei poista harhaa mutta rajoittaa vapautta sovittaa jälkikäteen tarina onnekkaan kuvion ympärille.

Pidä kokeilulokia hylätyistä muunnelmista ja jokaisen muutoksen syystä. Erota virheenkorjaus hypoteesin muuttamisesta. Aikaleimavirheen korjaaminen eroaa stop-tason siirtämisestä pääomakäyrän parantamiseksi. Molemmat muutokset tulee kirjata, sillä tulosten näkeminen voi vaikuttaa myöhempiin päätöksiin, vaikka alkuperäinen muutos oli perusteltu.

Koskemattoman otoksen käyttöikä on rajallinen

Erillinen testijakso on arvokas vain niin kauan kuin kehitystyö ei koske siihen. Kun tutkija tarkastelee sitä toistuvasti mallien valitsemiseksi, siitä tulee uusi opetusaineisto. Sen kutsuminen otoksen ulkopuoliseksi ei käännä tiedonkulkua. Tällöin voidaan tarvita uudempi jakso tai toinen aidosti riippumaton arviointi.

Etenevät testausmenetelmät, sisäkkäinen valinta ja historiallisen testauksen ylisovittamista koskeva tutkimus voivat auttaa valintaprosessin tarkastelussa, mutta mikään niistä ei muuta heikkoa aineistoa varmuudeksi. Arvioi vakautta järkevillä lähialueen parametreilla ja taloudellisesti erilaisilla jaksoilla. Vakaus on rohkaisevaa, jos se arvioitiin rehellisesti; parhaimmalta näyttävän vakausmittarin etsiminen lisää uuden testauskerroksen.

Palkitse näytön laatua korkeimman käyrän sijaan

Vertaa tuloksia yksinkertaiseen vertailukohtaan, realistisiin kuluihin ja epävarmuusarvioihin. Monimutkainen malli, joka parantaa kohinaista mittaria vain hieman, ei välttämättä oikeuta lisääntyneitä vapausasteitaan. Tutki, kuinka suuri osa näennäisestä edusta tulee yhdestä kaupasta, yhdestä omaisuuserästä tai yhdestä aloituspäivän valinnasta.

Hyödyllinen raportti sisältää hakuhistorian, lopullisen määrittelyn, epäonnistumiset ja ratkaisemattomat oletukset. Kielteiset löydökset rajaavat uskottavien ideoiden joukkoa ja voivat säästää myöhempää työtä. Tavoite ei ole säilyttää suosikkistrategiaa vaan selvittää, tukeeko saatavilla oleva näyttö mitään väitettä niin vahvasti, että se kestää toistamisen. Jos ei tue, kurinalainen johtopäätös on epävarmuus, ei hienostuneempi markkinointikaavio.

Laske kaikki voittajaan vaikuttaneet valinnat

Viisi historiapituutta, neljä tulokynnystä ja kolme poistumissääntöä muodostavat jo 60 yhdistelmää. Aloituspäivän vaihtaminen, hankalan sijoituskohteen poistaminen ja arviointikriteerin muuttaminen laajentavat hakua. Tutkimuspäiväkirjaan kuuluvat myös käsin tehdyt valinnat, eivät vain automaattisesti ajetut vaihtoehdot.

Ennalta määritellylle 20 pätevän testin perheelle Bonferroni-korjaus asettaa kunkin tason arvoon 0,05 / 20 = 0,0025. Vähintään yhden virheellisen hylkäyksen todennäköisyys on tällöin enintään 5 %. Riippumattomuutta ei tarvita, mutta raja voi olla varovainen. Se ei korjaa virheellisiä testejä tai salattuja lisäkokeita.

Minkä tahansa väärän löydöksen todennäköisyyden hallinta eroaa väärien löydösten odotetun osuuden hallinnasta. Valitse menetelmä tutkimuskysymyksen, älä mieluisimman tuloksen mukaan. Jatkuva tarkistaminen, onko merkitsevyys jo saavutettu, pitää myös ottaa huomioon peräkkäisessä menettelyssä.

Tutkimussimulaation on toistettava itse valinta. Jos arvioidaan vain valmiiksi valittua voittajaa, useiden ehdokkaiden läpikäynnin etu jää pois. Jokaisen toiston pitää sisältää ilmoitettu haku, valintaperuste ja myöhempi arviointi perustellussa datamallissa. Yhden kauniin pääomakäyrän luottamusvyöhyke ei korvaa tätä.