Повеќекратно тестирање: кога најдобриот ретроспективен тест е среќна случајност

Една пријавена стратегија може да крие илјада обиди

Истражувач може да објави еден привлечен историски тест откако испробал многу сигнали, вредности на параметри, средства и датуми на примероци. Конечниот графикон не го покажува целото пребарување. Дури и ако секој кандидат нема реална предност, најдобриот кандидат може да изгледа импресивно бидејќи некои случајни низи се поволни.

Затоа релевантната единица на анализа не е само избраното правило, туку постапката што го избрала. Праг променет по преглед на резултатите се смета за дел од пребарувањето дури и кога не е извршена формална програма за оптимизација. Експериментирање по сеќавање, отфрлени табели и неформален визуелен преглед можат сите да придонесат за пристрасност при изборот. Чесната истражувачка евиденција ги прави овие избори видливи.

Разберете ја едноставната илустрација со веројатност

Ако дваесет независни тестови имаат по 5% веројатност за лажно позитивен резултат, шансата за барем еден лажно позитивен резултат е 1 − 0.95²⁰, приближно 64.2%. Претпоставката за независност е важна: трговските варијанти често се корелирани, па оваа аритметика е илустрација, а не точна корекција за реална истражувачка програма.

Поуката не е дека секој позитивен наод е лажен. Таа е дека праг за еден тест не може да се толкува исто по широко пребарување. Поврзаните избори на параметри не создаваат целосно независни докази, но нивната корелација не ја отстранува пристрасноста при изборот. Проценувањето на ефективната ширина на пребарувањето и самото е неизвесно и не треба да се маскира како точен број.

P-вредноста не е веројатност хипотезата да е вистинита или следната трансакција да биде профитабилна. Таа ја опишува неусогласеноста на тест-статистиката со нултиот модел под претпоставките на тестот. Мала вредност може да настане и поради погрешен модел на шум, зависност или селективно прикажување. Значајноста не докажува покривање на трошоците.

Заштитете ја хипотезата од правилото за оценување

Почнете со економско образложение што наведува зошто односот би можел да опстои и зошто би можел да престане да работи. Дефинирајте ги чистењето на податоците, трошоците и критериумите за оценување пред да го погледнете резултатот, каде што е изводливо. Ова не ја отстранува пристрасноста, но ја стеснува слободата накнадно да се приспособи приказна околу среќен образец.

Водете дневник на обиди со отфрлените варијанти и причината за секоја промена. Разликувајте отстранување грешки од менување хипотеза. Исправање грешка во временска ознака е различно од поместување стоп-ниво затоа што ја подобрува кривата на капиталот. Двете промени треба да се евидентираат, бидејќи гледањето резултати може да влијае врз подоцнежни одлуки дури и кога првичната промена била оправдана.

Недопрен примерок има ограничен век

Издвоениот период за проверка е вреден само додека останува недопрен од развојот. Штом истражувачот повторено го консултира за да избира меѓу модели, тој станува уште еден ресурс за обучување. Нарекувањето „надвор од примерокот“ не го обраќа текот на информации. Тогаш можеби е потребен понов период или друга навистина независна евалуација.

Постапките со последователно поместување напред, вгнездениот избор и истражувањата за прекумерно приспособување на историски тестови можат да помогнат да се испита процесот на избор, но ниту една не претвора слаби податоци во сигурност. Оценувајте ја стабилноста низ разумни соседни вредности на параметрите и економски различни периоди. Стабилноста е охрабрувачка кога е чесно оценета; барањето статистика за стабилност што изгледа најдобро воведува уште еден слој тестирање.

Наградувајте го квалитетот на доказите, а не највисокиот графикон

Споредете ги резултатите со едноставен репер, реалистични трошоци и процени на неизвесност. Сложен модел што едвај подобрува шумна мерка можеби не ги оправдува дополнителните степени на слобода. Испитајте колкав дел од привидната предност доаѓа од една трансакција, едно средство или еден избор на почетен датум.

Корисниот извештај ги вклучува историјата на пребарување, конечната спецификација, неуспесите и неразрешените претпоставки. Негативните наоди го намалуваат просторот на веродостојни идеи и можат да заштедат идни напори. Целта не е да се зачува омилена стратегија, туку да се открие дали достапните докази поддржуваат тврдење доволно силно да издржи повторување. Кога не поддржуваат, дисциплинираниот заклучок е неизвесност, а не посложен маркетиншки графикон.

Преброј ги сите избори што можеле да го сменат победникот

Пет должини на историја, четири влезни прага и три излезни правила создаваат 60 комбинации. Менување почетен датум, отстранување неповолен инструмент или избор на нов критериум го прошируваат пребарувањето. Дневникот на истражување мора да ги содржи и рачните одлуки.

За однапред определено семејство од дваесет валидни тестови, Бонферони-корекцијата го поставува нивото на секој на 0,05 / 20 = 0,0025. Веројатноста за барем едно погрешно отфрлање е најмногу 5 %. Не е потребна независност, но границата може да биде конзервативна. Не поправа невалидни тестови или скриени дополнителни обиди.

Контролата на веројатноста за кој било лажен наод е различна од контролата на очекуваниот удел лажни наоди меѓу сите наоди. Методот избери го според прашањето, не според најубавиот резултат. Повторното проверување дали значајноста е веќе достигната исто така мора да се земе предвид.

Симулацијата на истражувањето мора да го повторува и изборот. Оценувањето само на веќе избраниот победник ја испушта предноста од разгледување многу кандидати. Секое повторување треба да ги содржи пребарувањето, критериумот и подоцнежната проверка. Довербен појас околу една убава капитална крива не е замена.