Testarea multiplă: când cel mai bun rezultat istoric este un accident norocos
Urmărește procesul de căutare și separă o ipoteză autentică de câștigătorul unui amplu concurs istoric.
O singură strategie prezentată poate ascunde o mie de încercări
Un cercetător poate publica o testare istorică atractivă după ce a încercat numeroase semnale, valori de parametri, active și date de eșantionare. Graficul final nu arată întreaga căutare. Chiar dacă niciun candidat nu are avantaj real, cel care arată cel mai bine poate părea impresionant deoarece unele secvențe aleatoare sunt favorabile.
Unitatea relevantă de analiză nu este, așadar, doar regula selectată, ci și procedura care a selectat-o. Un prag modificat după inspectarea rezultatelor face parte din căutare chiar dacă nu a fost rulat niciun program formal de optimizare. Experimentele bazate pe memorie, foile de calcul abandonate și inspecția vizuală informală pot contribui toate la distorsiunea de selecție. O evidență onestă a cercetării face aceste alegeri vizibile.
Înțelege ilustrația simplă de probabilitate
Dacă douăzeci de teste independente au fiecare o probabilitate de rezultat fals pozitiv de 5%, probabilitatea de a avea cel puțin un fals pozitiv este 1 − 0,95²⁰, aproximativ 64,2%. Ipoteza independenței este importantă: variantele de tranzacționare sunt adesea corelate, astfel că acest calcul este o ilustrare, nu o corecție precisă pentru un program real de cercetare.
Lecția nu este că orice constatare pozitivă este falsă. Este că un prag pentru un singur test nu poate fi interpretat la fel după o căutare amplă. Alegerile înrudite de parametri nu creează dovezi complet independente, dar corelația lor nu elimină părtinirea de selecție. Estimarea amplorii efective a căutării este ea însăși incertă și nu trebuie mascată drept un număr exact.
Valoarea p nu este probabilitatea ca ipoteza să fie adevărată sau ca următoarea tranzacție să câștige. Ea măsoară incompatibilitatea unei statistici cu modelul nul specificat, sub ipotezele testului. O valoare mică poate proveni și din model greșit al zgomotului, dependență ignorată sau raportare selectivă. Semnificația statistică nu arată singură dacă efectul acoperă spreadul, finanțarea și execuția.
Protejează ipoteza de regula de punctare
Începe cu o justificare economică ce precizează de ce o relație ar putea persista și de ce ar putea înceta să funcționeze. Definește curățarea datelor, costurile și criteriile de evaluare înainte de a privi rezultatul, când este posibil. Aceasta nu elimină părtinirea, dar reduce libertatea de a potrivi retrospectiv o poveste unui tipar norocos.
Păstrează un jurnal al încercărilor care conține variantele respinse și motivul fiecărei modificări. Distinge depanarea de modificarea ipotezei. Corectarea unei erori de marcaj temporal diferă de mutarea unui nivel stop fiindcă îmbunătățește curba capitalului. Ambele modificări trebuie consemnate, deoarece vederea rezultatelor poate influența deciziile ulterioare chiar și când schimbarea inițială a fost legitimă.
Un eșantion neatins are o durată de viață limitată
O perioadă rezervată pentru testare este valoroasă doar cât timp rămâne nefolosită în dezvoltare. Odată ce un cercetător o consultă repetat pentru a alege între modele, ea devine încă o resursă de antrenare. Numirea ei „în afara eșantionului” nu inversează fluxul informației. Poate fi necesară atunci o perioadă mai nouă sau o altă evaluare cu adevărat independentă.
Procedurile de testare progresivă, selecția imbricată și cercetările privind supraajustarea testelor retrospective pot ajuta la examinarea procesului de selecție, dar niciuna nu transformă datele slabe în certitudine. Evaluează stabilitatea în vecinătăți rezonabile ale parametrilor și în perioade distincte economic. Stabilitatea este încurajatoare când a fost evaluată onest; căutarea statisticii de stabilitate care arată cel mai bine introduce un alt nivel de testare.
Recompensează calitatea dovezilor, nu cel mai înalt grafic
Compară rezultatele cu un reper simplu, costuri realiste și estimări ale incertitudinii. Un model complicat care îmbunătățește doar marginal un indicator zgomotos poate să nu își justifice gradele de libertate suplimentare. Examinează cât din avantajul aparent provine dintr-o singură tranzacție, un singur activ sau alegerea unei anumite date de început.
Un raport util include istoricul căutării, specificația finală, eșecurile și ipotezele nerezolvate. Constatările negative reduc spațiul ideilor plauzibile și pot economisi efort viitor. Scopul nu este păstrarea unei strategii favorite, ci descoperirea faptului dacă dovezile disponibile susțin vreo afirmație suficient de solidă pentru a rezista replicării. Când nu o susțin, concluzia disciplinată este incertitudinea, nu un grafic de marketing mai elaborat.
Numără toate alegerile care puteau schimba câștigătorul
Cinci lungimi de observație, patru praguri de intrare și trei reguli de ieșire dau deja 60 de combinații. Alegerea ulterioară a datei de început, eliminarea unui activ incomod sau schimbarea criteriului extind căutarea. Registrul încercărilor trebuie să includă și deciziile manuale, nu doar configurațiile rulate de un optimizator.
Pentru o familie prestabilită de 20 de teste valide, corecția Bonferroni folosește nivelul 0,05 / 20 = 0,0025 pentru fiecare. Astfel, probabilitatea cel puțin unei respingeri eronate este limitată la 5%. Limita nu cere independență, deși poate fi conservatoare când testele se suprapun. Nu repară date părtinitoare, teste individuale nevalide sau încercări suplimentare ascunse.
Controlul probabilității oricărui rezultat fals pozitiv diferă de controlul proporției așteptate de descoperiri false printre descoperiri. Niciunul nu garantează viabilitate economică. Alege metoda pentru întrebare, nu încerca mai multe corecții pentru a păstra rezultatul cel mai convenabil. Verificarea repetată până apare semnificația trebuie inclusă în procedura secvențială.
O simulare a selecției trebuie să refacă selecția. Dacă pe alte seturi de date evaluezi doar câștigătorul deja ales, omiți avantajul căutării printre mulți candidați. Fiecare repetare trebuie să execute căutarea declarată, regula de alegere și evaluarea ulterioară, sub un model de date justificat. O bandă de încredere în jurul unei singure curbe frumoase nu înlocuiește acest proces.