Daugybinis testavimas: kai geriausias istorinis testas tėra sėkmingas atsitiktinumas
Fiksuokite paieškos procesą ir atskirkite tikrą hipotezę nuo didelio istorinių bandymų konkurso nugalėtojos.
Viena pateikta strategija gali slėpti tūkstantį bandymų
Tyrėjas gali paskelbti vieną patrauklų istorinį testą prieš tai išbandęs daugybę signalų, parametrų reikšmių, turto rūšių ir imties datų. Galutinis grafikas neparodo visos paieškos. Net jei nė vienas kandidatas neturi tikro pranašumo, geriausiai atrodantis gali pasirodyti įspūdingas, nes kai kurios atsitiktinės sekos būna palankios.
Todėl svarbus analizės vienetas yra ne vien pasirinkta taisyklė, bet ir ją atrinkusi procedūra. Peržiūrėjus rezultatus pakeista riba yra paieškos dalis net tada, kai nebuvo paleista oficiali optimizavimo programa. Bandymas iš atminties, atmestos skaičiuoklės ir neformali vaizdinė peržiūra gali prisidėti prie atrankos šališkumo. Sąžiningi tyrimo įrašai atskleidžia šiuos pasirinkimus.
Supraskite paprastą tikimybės iliustraciją
Jei dvidešimt nepriklausomų testų kiekvienas turi 5% klaidingai teigiamo rezultato tikimybę, bent vieno klaidingai teigiamo rezultato tikimybė yra 1 − 0.95²⁰, maždaug 64.2%. Nepriklausomumo prielaida svarbi: prekybos variantai dažnai koreliuoja, todėl šis skaičiavimas yra iliustracija, o ne tiksli realios tyrimų programos pataisa.
Pamoka nėra ta, kad kiekvienas teigiamas atradimas klaidingas. Esmė ta, kad po plačios paieškos vieno testo ribos negalima interpretuoti taip pat. Susiję parametrų pasirinkimai nesukuria visiškai nepriklausomų įrodymų, tačiau jų koreliacija nepanaikina atrankos šališkumo. Pats veiksmingo paieškos masto įvertinimas neapibrėžtas ir jo nereikėtų pateikti kaip tikslaus skaičiaus.
P reikšmė nėra hipotezės teisingumo ar kito sandorio pelno tikimybė. Ji apibūdina testo statistikos nesuderinamumą su nuliniu modeliu pagal testo prielaidas. Maža reikšmė gali atsirasti ir dėl neteisingo triukšmo modelio, priklausomybės ar atrankinio skelbimo. Statistinis reikšmingumas neįrodo, kad efektas padengs sąnaudas.
Apsaugokite hipotezę nuo vertinimo taisyklės
Pradėkite nuo ekonominio pagrindimo, paaiškinančio, kodėl ryšys galėtų išlikti ir kodėl galėtų nustoti veikti. Kai įmanoma, prieš žiūrėdami į rezultatą apibrėžkite duomenų valymą, sąnaudas ir vertinimo kriterijus. Tai nepanaikina šališkumo, tačiau sumažina laisvę pritaikyti pasakojimą prie sėkmingai susiklosčiusio šablono.
Veskite bandymų žurnalą, kuriame būtų atmesti variantai ir kiekvieno pakeitimo priežastis. Atskirkite klaidų taisymą nuo hipotezės keitimo. Laiko žymos klaidos taisymas skiriasi nuo stop lygio perkėlimo dėl to, kad pagerėja kapitalo kreivė. Abu pakeitimus reikia užrašyti, nes pamatyti rezultatai gali paveikti vėlesnius sprendimus net tada, kai pradinis pakeitimas buvo pagrįstas.
Neliestos imties naudingumas ribotas
Atidėtas tikrinimo laikotarpis vertingas tik tol, kol jo nenaudoja kūrimo procesas. Kai tyrėjas nuolat jį peržiūri rinkdamasis modelius, jis tampa dar vienu mokymo ištekliumi. Pavadinimas „už imties ribų“ neapverčia informacijos srauto. Tuomet gali prireikti naujesnio laikotarpio ar kito iš tikrųjų nepriklausomo vertinimo.
Slenkančio testavimo procedūros, įdėtinė atranka ir istorinių testų perteklinio pritaikymo tyrimai gali padėti nagrinėti atrankos procesą, tačiau nė vienas nepaverčia silpnų duomenų tikrumu. Vertinkite stabilumą artimų prasmingų parametrų srityse ir ekonomiškai skirtingais laikotarpiais. Sąžiningai įvertintas stabilumas džiugina; ieškant geriausiai atrodančio stabilumo rodiklio atsiranda dar vienas testavimo sluoksnis.
Vertinkite įrodymų kokybę, ne aukščiausią kreivę
Palyginkite rezultatus su paprastu atskaitos rodikliu, tikroviškomis sąnaudomis ir neapibrėžtumo įverčiais. Sudėtingas modelis, vos pagerinantis triukšmingą rodiklį, gali nepateisinti papildomų laisvės laipsnių. Ištirkite, kiek tariamo pranašumo suteikia vienas sandoris, viena turto rūšis ar vienas pradžios datos pasirinkimas.
Naudinga ataskaita apima paieškos istoriją, galutinę specifikaciją, nesėkmes ir neišspręstas prielaidas. Neigiamos išvados siaurina tikėtinų idėjų lauką ir gali sutaupyti būsimų pastangų. Tikslas – ne išsaugoti mėgstamą strategiją, o nustatyti, ar turimi įrodymai palaiko bent vieną teiginį, pakankamai tvirtą, kad atlaikytų pakartotinį patikrinimą. Kai nepalaiko, disciplinuota išvada yra neapibrėžtumas, o ne įmantresnis reklaminis grafikas.
Suskaičiuokite visus pasirinkimus, galėjusius pakeisti laimėtoją
Penki istorijos ilgiai, keturi įėjimo slenksčiai ir trys išėjimo taisyklės jau sudaro 60 derinių. Pradžios datos keitimas, nepatogaus aktyvo pašalinimas ar naujas vertinimo kriterijus plečia paiešką. Tyrimo žurnale turi būti ir rankiniai sprendimai, ne tik automatiškai paleistos konfigūracijos.
Iš anksto apibrėžtai dvidešimties tinkamų testų šeimai Bonferroni pataisa kiekvieno lygmenį nustato 0,05 / 20 = 0,0025. Bent vieno klaidingo atmetimo tikimybė tuomet neviršija 5 %. Nepriklausomybė nereikalinga, bet riba gali būti konservatyvi. Pataisa neištaiso netinkamų testų ar paslėptų papildomų bandymų.
Bet kurio klaidingo atradimo tikimybės kontrolė skiriasi nuo tikėtinos klaidingų atradimų dalies tarp visų atradimų kontrolės. Metodą rinkitės pagal klausimą, ne maloniausią rezultatą. Pakartotinis tikrinimas, ar reikšmingumas jau pasiektas, taip pat turi būti įtrauktas į nuoseklią procedūrą.
Tyrimo simuliacija turi kartoti ir pačią atranką. Vertinant tik jau pasirinktą laimėtoją praleidžiama daugelio kandidatų peržiūros nauda. Kiekvienas kartojimas apima deklaruotą paiešką, atrankos taisyklę ir vėlesnį vertinimą. Pasikliautinoji juosta aplink gražią kapitalo kreivę to neatstoja.