Mitmene testimine: kui parim tagasitest on õnnelik juhus

Üks avaldatud strateegia võib peita tuhandet katset

Uurija võib pärast paljude signaalide, parameetriväärtuste, varade ja valimikuupäevade proovimist avaldada ühe ahvatleva järeltesti. Lõplik graafik ei näita kogu otsingut. Isegi kui ühelgi kandidaadil pole tegelikku eelist, võib parima välimusega kandidaat paista muljetavaldav, sest mõned juhuslikud jadad on soodsad.

Seetõttu ei ole asjakohane analüüsiüksus üksnes valitud reegel, vaid ka selle valinud protseduur. Pärast tulemuste vaatamist muudetud lävend kuulub otsingu hulka ka siis, kui ametlikku optimeerimisprogrammi ei kasutatud. Mälupõhised katsed, kõrvale jäetud tabelid ja mitteametlik visuaalne vaatlus võivad kõik valikukallet suurendada. Aus uurimispäevik teeb need valikud nähtavaks.

Mõista lihtsat tõenäosusnäidet

Kui kahekümnel sõltumatul testil on igaühel 5% valepositiivse tulemuse tõenäosus, on vähemalt ühe valepositiivse tulemuse võimalus 1 − 0.95²⁰ ehk ligikaudu 64.2%. Sõltumatuse eeldus on oluline: kauplemisvariandid on sageli korrelatsioonis, seega on see arvutus näide, mitte tegeliku uurimisprogrammi täpne parandus.

Õppetund ei ole, et iga positiivne leid oleks vale. Õppetund on, et ühe testi lävendit ei saa pärast laia otsingut samamoodi tõlgendada. Seotud parameetrivalikud ei loo täiesti sõltumatuid tõendeid, kuid nende korrelatsioon ei kaota valikukallutatust. Tõhusa otsinguulatuse hindamine on ise ebakindel ja seda ei tohiks maskeerida täpseks arvuks.

P-väärtus ei ole hüpoteesi tõesuse ega järgmise tehingu kasumi tõenäosus. See kirjeldab teststatistiku sobimatust etteantud nullmudeliga testi eelduste korral. Väike väärtus võib tekkida ka valest müramudelist, sõltuvusest või valikulisest aruandlusest. Statistiline olulisus ei tõesta kulusid ületavat majanduslikku väärtust.

Kaitse hüpoteesi hindamisreegli mõju eest

Alusta majanduslikust põhjendusest, mis täpsustab, miks seos võiks püsida ja miks see võiks lakata toimimast. Võimaluse korral määra andmete puhastamine, kulud ja hindamiskriteeriumid enne tulemuse vaatamist. See ei kõrvalda kallutatust, kuid piirab vabadust õnneliku mustri ümber tagantjärele lugu sobitada.

Pea katsetuslogi, mis sisaldab tagasilükatud variante ja iga muudatuse põhjust. Erista vigade parandamist hüpoteesi muutmisest. Ajatempli vea parandamine erineb stopptaseme nihutamisest seetõttu, et see parandab omakapitali kõverat. Mõlemad muudatused tuleb registreerida, sest tulemuste nägemine võib hilisemaid otsuseid mõjutada ka siis, kui algne muudatus oli põhjendatud.

Puutumata valimil on piiratud eluiga

Kõrvale jäetud testperiood on väärtuslik vaid seni, kuni seda arenduses ei kasutata. Kui uurija vaatab seda mudelite valimiseks korduvalt, muutub see veel üheks treeningressursiks. Selle nimetamine valimiväliseks ei pööra infovoogu tagasi. Siis võib vaja minna uuemat perioodi või muud tõeliselt sõltumatut hindamist.

Edasiliikuva testimise protseduurid, pesastatud valik ja tagasitesti ülesobitamise uuringud võivad aidata valikuprotsessi uurida, kuid ükski ei muuda nõrku andmeid kindluseks. Hinda stabiilsust mõistlike lähestikuste parameetrite ja majanduslikult erinevate perioodide lõikes. Ausalt hinnatud stabiilsus on julgustav; kõige paremini paistva stabiilsusnäitaja otsimine lisab veel ühe testimiskihi.

Eelista tõendite kvaliteeti kõige kõrgemale graafikule

Võrdle tulemusi lihtsa võrdlusaluse, realistlike kulude ja ebakindlushinnangutega. Keeruline mudel, mis parandab mürarikast näitajat vaevu, ei pruugi õigustada oma täiendavaid vabadusastmeid. Uuri, kui suur osa näilisest eelisest tuleb ühest tehingust, ühest varast või ühest alguskuupäeva valikust.

Kasulik aruanne sisaldab otsinguajalugu, lõplikku spetsifikatsiooni, ebaõnnestumisi ja lahendamata eeldusi. Negatiivsed leiud vähendavad usutavate ideede hulka ja võivad säästa tulevast vaeva. Eesmärk ei ole lemmikstrateegiat säilitada, vaid avastada, kas olemasolevad tõendid toetavad väidet, mis on piisavalt tugev kordusuuringus püsimiseks. Kui ei toeta, on distsiplineeritud järeldus ebakindlus, mitte keerukam turundusgraafik.

Loenda kõik valikud, mis võisid võitjat muuta

Viis ajaloo pikkust, neli sisenemisläve ja kolm väljumisreeglit annavad juba 60 kombinatsiooni. Alguskuupäeva vahetamine, ebamugava vara kõrvaldamine või hindamiskriteeriumi muutmine laiendab otsingut. Uurimispäevik peab hõlmama ka käsitsi tehtud valikuid, mitte ainult automaatseid konfiguratsioone.

Eelnevalt määratud kahekümne korrektse testi pere puhul seab Bonferroni parandus iga testi tasemeks 0,05 / 20 = 0,0025. Vähemalt ühe eksliku tagasilükkamise tõenäosus on siis kõige rohkem 5 %. Sõltumatust pole vaja, kuid piir võib olla konservatiivne. See ei paranda vigaseid teste ega varjatud lisakatseid.

Mistahes valepositiivse leiu tõenäosuse kontroll erineb valede leidude oodatava osakaalu kontrollist kõigi leidude hulgas. Vali meetod küsimuse, mitte meeldivaima tulemuse järgi. Korduv kontroll, kas olulisus on juba saavutatud, vajab samuti järjestikuses menetluses arvestamist.

Uuringu simulatsioon peab kordama ka valikut ennast. Ainult juba valitud võitja hindamine jätab paljude kandidaatide läbivaatamise eelise arvestamata. Iga kordus peab sisaldama deklareeritud otsingut, valikureeglit ja hilisemat hindamist põhjendatud andmemudelis. Ühe ilusa kapitalikõvera usaldusriba pole asendus.