Daudzkārtēja testēšana: kad labākais vēsturiskais tests ir veiksmīga nejaušība

Viena uzrādīta stratēģija var slēpt tūkstoš izmēģinājumu

Pētnieks var publicēt vienu pievilcīgu vēsturisko pārbaudi pēc daudzu signālu, parametru vērtību, aktīvu un izlases datumu izmēģināšanas. Gala grafiks neparāda visu meklēšanu. Pat ja nevienam kandidātam nav reālas priekšrocības, vislabāk izskatīgais var šķist iespaidīgs, jo dažas nejaušas secības ir labvēlīgas.

Tāpēc būtiskā analīzes vienība ir ne tikai izvēlētais noteikums, bet arī procedūra, ar kuru tas atlasīts. Sliekšņa maiņa pēc rezultātu apskates ir daļa no meklēšanas, pat ja nav palaista formāla optimizācijas programma. Eksperimentēšana pēc atmiņas, atmestas izklājlapas un neformāla vizuāla apskate var veicināt atlases neobjektivitāti. Godīgs pētījuma pieraksts padara šīs izvēles redzamas.

Izprotiet vienkāršo varbūtības ilustrāciju

Ja divdesmit neatkarīgiem testiem katram ir 5% kļūdaini pozitīva rezultāta varbūtība, iespēja iegūt vismaz vienu kļūdaini pozitīvu rezultātu ir 1 − 0.95²⁰ jeb aptuveni 64.2%. Neatkarības pieņēmums ir svarīgs: tirdzniecības varianti bieži ir korelēti, tāpēc šis aprēķins ir ilustrācija, nevis precīza korekcija reālai pētījumu programmai.

Secinājums nav tāds, ka katrs pozitīvs atradums ir kļūdains. Tas ir tāds, ka pēc plašas meklēšanas viena testa slieksni nevar interpretēt tāpat. Saistītas parametru izvēles nerada pilnīgi neatkarīgus pierādījumus, taču to korelācija arī nenovērš atlases nobīdi. Arī faktiskā meklēšanas plašuma novērtējums ir nenoteikts, un to nedrīkst pasniegt kā precīzu skaitu.

P vērtība nav hipotēzes patiesuma vai nākamā darījuma peļņas varbūtība. Tā raksturo testa statistikas nesaderību ar nulles modeli pie testa pieņēmumiem. Maza vērtība var rasties arī nepareiza trokšņa modeļa, atkarības vai atlasītas ziņošanas dēļ. Statistiskā nozīmība nepierāda izmaksu segšanu.

Pasargājiet hipotēzi no vērtēšanas noteikuma

Sāciet ar ekonomisku pamatojumu, kas norāda, kāpēc sakarība varētu saglabāties un kāpēc tā varētu pārstāt darboties. Ja iespējams, definējiet datu tīrīšanu, izmaksas un novērtēšanas kritērijus pirms rezultāta aplūkošanas. Tas nenovērš aizspriedumus, taču ierobežo iespējas pēc fakta pielāgot stāstu veiksmīgam rakstam datos.

Uzturiet izmēģinājumu žurnālu, kurā ir noraidītie varianti un katras izmaiņas iemesls. Nošķiriet kļūdu labošanu no hipotēzes mainīšanas. Laika zīmoga kļūdas labošana atšķiras no stopa līmeņa pārvietošanas, lai uzlabotu pašu kapitāla līkni. Abas izmaiņas jāreģistrē, jo rezultātu redzēšana var ietekmēt vēlākos lēmumus pat tad, ja sākotnējā izmaiņa bija pamatota.

Neskartai izlasei ir ierobežots mūžs

Atlikts pārbaudes periods ir vērtīgs tikai tikmēr, kamēr tas nav izmantots izstrādē. Kad pētnieks to atkārtoti pārbauda, lai izvēlētos starp modeļiem, tas kļūst par vēl vienu apmācības resursu. Nosaukšana par ārpusizlases pārbaudi nemaina informācijas plūsmas virzienu. Tad var būt vajadzīgs jaunāks periods vai cits patiesi neatkarīgs novērtējums.

Secīgas pārbaudes ar virzību uz priekšu, ligzdota atlase un pētījumi par vēsturiskās pārbaudes pārmērīgu pielāgošanu var palīdzēt pārbaudīt atlases procesu, taču nekas no tā nepārvērš vājus datus drošā pārliecībā. Vērtējiet stabilitāti saprātīgos blakus esošu parametru diapazonos un ekonomiski atšķirīgos periodos. Stabilitāte iedrošina, ja tā novērtēta godīgi; tā statistikas rādītāja meklēšana, kas izskatās vislabāk, pievieno vēl vienu testēšanas slāni.

Atalgojiet pierādījumu kvalitāti, nevis augstāko grafiku

Salīdziniet rezultātus ar vienkāršu etalonu, reālistiskām izmaksām un nenoteiktības aplēsēm. Sarežģīts modelis, kas tikai nedaudz uzlabo trokšņainu rādītāju, var neattaisnot papildu brīvības pakāpes. Pārbaudiet, cik liela daļa šķietamās priekšrocības rodas no viena darījuma, viena aktīva vai vienas sākuma datuma izvēles.

Noderīgs pārskats ietver meklēšanas vēsturi, galīgo specifikāciju, neveiksmes un neatrisinātos pieņēmumus. Negatīvi rezultāti sašaurina ticamo ideju loku un var ietaupīt turpmāku darbu. Mērķis nav saglabāt iecienītu stratēģiju, bet noskaidrot, vai pieejamie pierādījumi pamato kādu pietiekami spēcīgu apgalvojumu, lai tas izturētu atkārtošanu. Ja ne, disciplinēts secinājums ir nenoteiktība, nevis vēl izsmalcinātāks reklāmas grafiks.

Saskaitiet visas izvēles, kas varēja mainīt uzvarētāju

Pieci vēstures garumi, četri ieejas sliekšņi un trīs izejas noteikumi jau veido 60 kombinācijas. Sākuma datuma maiņa, neērta aktīva izņemšana vai jauns vērtēšanas kritērijs paplašina meklēšanu. Pētījuma žurnālam jāietver arī manuālās izvēles, ne tikai automātiski palaistie varianti.

Iepriekš noteiktai divdesmit derīgu testu saimei Bonferoni korekcija nosaka katra līmeni 0,05 / 20 = 0,0025. Vismaz viena kļūdaina noraidījuma varbūtība nepārsniedz 5 %. Neatkarība nav vajadzīga, bet robeža var būt konservatīva. Tā nelabo nederīgus testus vai slēptus papildu mēģinājumus.

Jebkura kļūdaina atklājuma varbūtības kontrole atšķiras no sagaidāmās kļūdaino atklājumu daļas kontroles starp visiem atklājumiem. Metodi izvēlieties pēc jautājuma, ne patīkamākā rezultāta. Arī atkārtota pārbaudīšana, vai nozīmība jau sasniegta, jāiekļauj secīgajā procedūrā.

Pētījuma simulācijai jāatkārto pati atlase. Tikai jau izvēlētā uzvarētāja vērtēšana izlaiž daudzu kandidātu pārskatīšanas priekšrocību. Katrā atkārtojumā jābūt deklarētai meklēšanai, izvēles kritērijam un vēlākai pārbaudei. Ticamības josla ap vienu skaistu kapitāla līkni to neaizstāj.