Testimi i shumëfishtë: kur testi më i mirë historik është rastësi fatlume

Një strategji e raportuar mund të fshehë një mijë prova

Një studiues mund të publikojë një test historik tërheqës pasi ka provuar shumë sinjale, vlera parametrash, aktive dhe data kampionësh. Grafiku përfundimtar nuk tregon të gjithë kërkimin. Edhe nëse asnjë kandidat nuk ka avantazh real, kandidati më i bukur mund të duket mbresëlënës sepse disa sekuenca të rastësishme janë të favorshme.

Prandaj, njësia përkatëse e analizës nuk është vetëm rregulli i zgjedhur, por edhe procedura që e zgjodhi. Një prag i ndryshuar pasi u shqyrtuan rezultatet llogaritet si pjesë e kërkimit, edhe kur nuk u ekzekutua ndonjë program formal optimizimi. Eksperimentimi i mbështetur në kujtesë, tabelat e hedhura poshtë dhe shqyrtimi pamor joformal mund të kontribuojnë të gjitha në anshmërinë e përzgjedhjes. Një regjistër i ndershëm kërkimor i bën të dukshme këto zgjedhje.

Kupto ilustrimin e thjeshtë të probabilitetit

Nëse njëzet teste të pavarura kanë secili një probabilitet 5% të rezultatit pozitiv të rremë, mundësia për të paktën një rezultat pozitiv të rremë është 1 − 0.95²⁰, afërsisht 64.2%. Supozimi i pavarësisë është i rëndësishëm: variantet e tregtimit shpesh janë të korreluara, ndaj kjo aritmetikë është një ilustrim dhe jo një korrigjim i saktë për një program kërkimor real.

Mësimi nuk është se çdo gjetje pozitive është e rreme. Është se pragu i një testi të vetëm nuk mund të interpretohet njësoj pas një kërkimi të gjerë. Zgjedhjet e lidhura të parametrave nuk krijojnë prova plotësisht të pavarura, por korrelacioni i tyre nuk e zhduk anshmërinë e përzgjedhjes. Vlerësimi i gjerësisë efektive të kërkimit është vetë i pasigurt dhe nuk duhet maskuar si numërim i saktë.

Vlera p nuk është probabiliteti që hipoteza të jetë e vërtetë apo që tregtimi tjetër të fitojë. Ajo përshkruan papajtueshmërinë e statistikës me modelin zero, sipas supozimeve të testit. Vlerë e vogël mund të vijë edhe nga model i gabuar zhurme, varësi ose raportim përzgjedhës. Rëndësia statistikore nuk provon mbulimin e kostove.

Mbroje hipotezën nga rregulli i pikëzimit

Filloni me një arsyetim ekonomik që përcakton pse një marrëdhënie mund të vazhdojë dhe pse mund të pushojë së funksionuari. Kur është e mundur, përcaktoni pastrimin e të dhënave, kostot dhe kriteret e vlerësimit përpara se të shihni rezultatin. Kjo nuk e eliminon anshmërinë, por kufizon lirinë për të përshtatur më pas një histori rreth një modeli fatlum.

Mbani një regjistër provash që përmban variantet e refuzuara dhe arsyen për çdo ndryshim. Dalloni korrigjimin e gabimeve nga ndryshimi i hipotezës. Korrigjimi i një gabimi në shënimin kohor ndryshon nga zhvendosja e nivelit stop sepse përmirëson kurbën e kapitalit. Të dy ndryshimet duhen regjistruar, sepse shikimi i rezultateve mund të ndikojë vendimet e mëvonshme edhe kur ndryshimi fillestar ishte legjitim.

Një kampion i paprekur ka jetë të kufizuar

Një periudhë e lënë mënjanë ka vlerë vetëm sa kohë mbetet e paprekur nga zhvillimi. Sapo një studiues e konsulton vazhdimisht për të zgjedhur midis modeleve, ajo bëhet një burim tjetër trajnimi. Emërtimi «jashtë kampionit» nuk e përmbys rrjedhën e informacionit. Atëherë mund të nevojitet një periudhë më e re ose një vlerësim tjetër vërtet i pavarur.

Procedurat e vlerësimit hap pas hapi përpara, përzgjedhja e ndërthurur dhe kërkimet mbi mbipërshtatjen e testimeve historike mund të ndihmojnë të shqyrtohet procesi i përzgjedhjes, por asnjëra nuk i kthen të dhënat e dobëta në siguri. Vlerësoni qëndrueshmërinë në zona të arsyeshme parametrash të afërt dhe në periudha ekonomikisht të dallueshme. Qëndrueshmëria është inkurajuese kur vlerësohet me ndershmëri; kërkimi i cilësdo statistikë qëndrueshmërie që duket më mirë shton një shtresë tjetër testimi.

Vlerëso cilësinë e provave, jo grafikun më të lartë

Krahasoni rezultatet me një referencë të thjeshtë, kosto realiste dhe vlerësime pasigurie. Një model i ndërlikuar që mezi përmirëson një tregues me zhurmë mund të mos i justifikojë shkallët e tij shtesë të lirisë. Shqyrtoni sa nga avantazhi i dukshëm vjen nga një tregtim, një aktiv ose një zgjedhje e datës së fillimit.

Një raport i dobishëm përfshin historinë e kërkimit, specifikimin përfundimtar, dështimet dhe supozimet e pazgjidhura. Gjetjet negative e ngushtojnë hapësirën e ideve të besueshme dhe mund të kursejnë përpjekje të ardhshme. Synimi nuk është të ruhet një strategji e parapëlqyer, por të zbulohet nëse provat e disponueshme mbështesin ndonjë pretendim mjaftueshëm të fortë për t'i mbijetuar riprodhimit. Kur nuk e bëjnë, përfundimi i disiplinuar është pasiguria, jo një grafik marketingu më i ndërlikuar.

Numëro çdo zgjedhje që mund të ndryshonte fituesin

Pesë gjatësi historie, katër pragje hyrjeje dhe tri rregulla daljeje japin 60 kombinime. Ndryshimi i datës fillestare, heqja e një aktivi të papërshtatshëm ose kriteri i ri e zgjerojnë kërkimin. Ditari i kërkimit duhet të përmbajë edhe vendimet manuale, jo vetëm konfigurimet automatike.

Për një familje të paracaktuar prej njëzet testesh të vlefshme, korrigjimi Bonferroni vendos nivelin e secilit në 0,05 / 20 = 0,0025. Probabiliteti i të paktën një refuzimi të gabuar është jo më shumë se 5 %. Pavarësia nuk kërkohet, por kufiri mund të jetë konservator. Ai nuk rregullon teste të pavlefshme ose prova të fshehura.

Kontrolli i probabilitetit të çfarëdo zbulimi të rremë ndryshon nga kontrolli i pjesës së pritshme të zbulimeve të rreme mes gjithë zbulimeve. Zgjidh metodën sipas pyetjes, jo rezultatit më të këndshëm. Kontrollimi i përsëritur nëse rëndësia është arritur duhet të përfshihet në procedurë.

Simulimi i kërkimit duhet të përsërisë edhe përzgjedhjen. Vlerësimi vetëm i fituesit të zgjedhur më parë lë jashtë avantazhin e kërkimit mes shumë kandidatëve. Çdo përsëritje duhet të përfshijë kërkimin, kriterin dhe vlerësimin e mëvonshëm. Brezi i besimit rreth një kurbe të bukur kapitali nuk mjafton.