Többszörös tesztelés: amikor a legjobb visszateszt szerencsés véletlen
Kövesd a keresési folyamatot, és különítsd el a valódi hipotézist egy nagy historikus verseny győztesétől.
Egy bemutatott stratégia ezer próbát is elrejthet
Egy kutató sok jelzés, paraméterérték, eszköz és mintadátum kipróbálása után közölhet egy vonzó visszatesztet. A végső grafikon nem mutatja a teljes keresést. Még ha egyik jelöltnek sincs valódi előnye, a legszebb meggyőzőnek tűnhet, mert egyes véletlen sorozatok kedvezőek.
Az elemzés releváns egysége tehát nem csupán a kiválasztott szabály, hanem az azt kiválasztó eljárás. Az eredmények megtekintése után módosított küszöb a keresés részének számít akkor is, ha nem futott formális optimalizáló program. Az emlékezetre építő kísérletezés, az elvetett táblázatok és az informális vizuális ellenőrzés mind hozzájárulhatnak a szelekciós torzításhoz. A tisztességes kutatási nyilvántartás láthatóvá teszi ezeket a döntéseket.
Értsd meg az egyszerű valószínűségi példát
Ha húsz független teszt mindegyikének 5% a téves pozitív valószínűsége, legalább egy téves pozitív eredmény esélye 1 − 0,95²⁰, körülbelül 64,2%. A függetlenségi feltételezés fontos: a kereskedési változatok gyakran korreláltak, ezért ez a számítás szemléltetés, nem egy tényleges kutatási program pontos korrekciója.
A tanulság nem az, hogy minden pozitív eredmény hamis. Hanem az, hogy széles körű keresés után egy egyedi teszthez tartozó küszöb nem értelmezhető ugyanúgy. A kapcsolódó paraméterválasztások nem adnak teljesen független bizonyítékot, de korrelációjuk nem tünteti el a kiválasztási torzítást. A keresés tényleges szélességének becslése maga is bizonytalan, és nem szabad pontos darabszámnak álcázni.
A p-érték nem a hipotézis igazságának vagy a következő ügylet nyereségének valószínűsége. A próbastatisztika és a megadott nullmodell összeegyeztethetetlenségét méri a próba feltételei mellett. Kis értéket hibás zajmodell, függőség vagy válogatott beszámolás is okozhat. A szignifikancia nem bizonyítja a költségeket meghaladó gazdasági hasznot.
Védd a hipotézist a pontozási szabálytól
Kezdj olyan gazdasági indoklással, amely meghatározza, miért maradhat fenn egy kapcsolat, és miért szűnhet meg működni. Ahol lehetséges, az eredmény megtekintése előtt határozd meg az adattisztítást, költségeket és értékelési szempontokat. Ez nem szünteti meg a torzítást, de csökkenti a szabadságot, hogy szerencsés mintához utólag történetet illessz.
Vezessünk kísérleti naplót az elvetett változatokról és minden módosítás okáról. Különítsük el a hibajavítást a hipotézis megváltoztatásától. Egy időbélyeghiba javítása más, mint a stopszint módosítása azért, mert szebb lesz tőle a tőkegörbe. Mindkettőt rögzíteni kell, mert az eredmények megismerése a későbbi döntésekre akkor is hathat, ha az első módosítás jogos volt.
Az érintetlen minta élettartama korlátozott
Az elkülönített tesztidőszak csak addig értékes, amíg a fejlesztés nem érinti. Ha a kutató újra és újra felhasználja a modellek közötti választáshoz, újabb tanítási erőforrássá válik. A mintán kívülinek nevezés nem fordítja vissza az információáramlást. Ekkor újabb időszakra vagy más valóban független értékelésre lehet szükség.
A walk-forward eljárások, a beágyazott kiválasztás és a visszatesztek túlillesztésének kutatása segíthet megvizsgálni a kiválasztási folyamatot, de egyik sem alakít gyenge adatokat bizonyossággá. Értékeljük a stabilitást észszerű paraméterkörnyezetekben és gazdaságilag eltérő időszakokban. A stabilitás biztató, ha tisztességesen értékelték; a legjobbnak látszó stabilitási statisztika keresése újabb tesztelési réteget hoz létre.
A bizonyíték minőségét jutalmazd, ne a legmagasabb grafikont
Hasonlítsd össze az eredményeket egyszerű referenciaértékkel, reális költségekkel és bizonytalansági becslésekkel. Egy bonyolult modell, amely alig javít egy zajos mutatón, nem feltétlenül indokolja a többlet-szabadságfokait. Vizsgáld meg, a látszólagos előnyből mennyi származik egyetlen ügyletből, eszközből vagy kezdődátum megválasztásából.
Egy hasznos jelentés tartalmazza a keresés előzményeit, a végleges specifikációt, a kudarcokat és a tisztázatlan feltételezéseket. A negatív eredmények szűkítik a hihető ötletek körét, és későbbi munkát takaríthatnak meg. Nem egy kedvenc stratégia megőrzése a cél, hanem annak feltárása, hogy a rendelkezésre álló bizonyíték alátámaszt-e bármilyen, megismételhető vizsgálatot is kiálló állítást. Ha nem, a fegyelmezett következtetés a bizonytalanság, nem egy még kidolgozottabb marketinggrafikon.
Számolj minden választással, amely megváltoztathatja a győztest
Öt múltbeli ablak, négy belépési küszöb és három kilépési szabály már 60 kombináció. A kezdődátum cseréje, egy kellemetlen eszköz elhagyása vagy az értékelési szempont módosítása tovább bővíti a keresést. A kutatási naplóban a kézi döntéseknek is szerepelniük kell.
Előre kijelölt húsz érvényes próba esetén a Bonferroni-korrekció minden próba szintjét 0,05 / 20 = 0,0025 értékre állítja. Legalább egy téves elutasítás valószínűsége így legfeljebb 5 %. Függetlenség nem szükséges, de a korlát konzervatív lehet. Hibás tesztet vagy eltitkolt újabb próbát nem javít ki.
Bármely hamis találat valószínűségének szabályozása más, mint a hamis találatok várható arányának szabályozása az összes találat között. A módszert a kérdéshez válaszd, ne a legkedvezőbb eredményhez. Az ismételt ellenőrzést, hogy elértük-e már a szignifikanciát, szintén figyelembe kell venni.
A kutatási szimulációnak a kiválasztást is meg kell ismételnie. Csak a korábban kiválasztott győztes értékelése kihagyja a sok jelölt átvizsgálásának előnyét. Minden ismétlés tartalmazza a bejelentett keresést, döntési szabályt és későbbi ellenőrzést. Egy szép tőkegörbe körüli konfidenciasáv nem helyettesíti ezt.