Najboljši zgodovinski test v preglednici

Izhodišče

Hipotetičen izobraževalni primer. Cenovna serija, strategija, izidi poslov in statistični podatki so izmišljeni. Niso zgodovinski zapis, trditev o donosnosti ali signal za trgovanje. Lena preizkuša zamisel z drsečim povprečjem na sintetični košarici delnic. Po preizkusu 120 kombinacij parametrov izbere najprivlačnejši rezultat in njegovih 200 simuliranih poslov predstavi kot dokaz trdne prednosti. Raziskovalni pregled preveri, kaj je bilo izbrano, kaj izpuščeno in kaj še resnično ni bilo pregledano.

Rekonstruiraj impresiven glavni rezultat

Izbrana nastavitev ima 110 bruto dobičkonosnih poslov s povprečnim dobičkom 180 $ in 90 bruto izgubaških poslov s povprečno izgubo 160 $. Bruto dobički znašajo 19.800 $, bruto izgube pa 14.400 $, kar pri 200 poslih pomeni 5.400 $ razlike. Bruto povprečje je 27 $ na posel, delež dobičkonosnih poslov pa 55 %. Nobena od teh številk ne pove, ali strategija prenese realistične stroške oziroma ali je izbirni postopek odkril signal in ne le sreče.

Lena je predpostavila le 2 $ stroškov na celoten posel z vstopom in izstopom, kar rezultat zmanjša za 400 $ na 5.000 $. Izmišljeni pregled izvedbe pa oceni 6 $ provizij in izrecnih pristojbin, 12 $ stroška razpona ter 15 $ dodatnega zdrsa na vsak zaključen posel. Skupaj je to 33 $ na posel oziroma 6.600 $ v celotnem vzorcu. Pri enakih bruto izidih je popravljeni neto rezultat izguba 1.200 $, povprečno torej minus 6 $ na posel.

Opredeli stroške brez dvojnega štetja

Te stroškovne sestavine so smiselne le zato, ker je sintetični preizkus na zgodovinskih podatkih uporabljal referenčne cene brez tržnih trenj. Če bi bile izvršitve že simulirane po nakupni in prodajni ceni, bi ponovno ločeno odštevanje celotnega razpona precenilo stroške. Prav tako lahko izvedbeni primanjkljaj, merjen glede na ceno ob odločitvi, že vsebuje razpon in vpliv na trg. Raziskovalni dnevnik potrebuje natančno opredelitev referenčne cene ob vstopu, referenčne cene ob izstopu in dodatnih pristojbin.

Tabela občutljivosti bi preizkusila več skupnih stroškov vstopa in izstopa, ne le tistega, ki je za strategijo najugodnejši. Pri 15 $ je neto rezultat 2.400 $, pri 27 $ je nič, pri 45 $ pa minus 3.600 $. To so računski scenariji, ne napovedi. Strošek praga rentabilnosti 27 $ je posebej uporaben, saj razkrije, kako malo prostora izbrani bruto rezultat dopušča za negotovost izvedbe, neizvršene naloge in operativne napake.

Težava izbire nastane pred končnim grafom

Lena te nastavitve ni izbrala, preden je videla vzorec. Izbrala jo je zato, ker je na istem vzorcu presegla 119 drugih možnosti. Tudi strategije brez trajne napovedne prednosti lahko dajo privlačnega zmagovalca, če preizkusimo veliko različic. Kot namenoma poenostavljena ponazoritev: če bi imel vsak od 120 neodvisnih preizkusov 5-odstotno verjetnost lažno pozitivnega rezultata, bi bila verjetnost vsaj enega takega rezultata 1 − 0,95^120, približno 99,79 %.

Dejanske različice strategije so verjetno povezane, zato ta izračun ob predpostavki neodvisnosti ni veljavna p-vrednost za Lenino raziskavo. Njegov namen je razkriti težavo večkratnega preizkušanja, ne pa je natančno ovrednotiti. Zabeležiti mora vse preizkušene različice, tudi zavržene kazalnike, spremenjena časovna okna in ročne izjeme. Dodelan končni graf ne more razkriti, koliko neuspešnih poskusov se skriva za njim.

Prihrani pošten nabor za ocenjevanje

Boljša izmišljena raziskovalna zasnova loči razvoj, validacijo in končni nedotaknjeni preizkus. Lena lahko razvojne podatke uporabi za oblikovanje zamisli, validacijske pa za primerjavo omejenega in dokumentiranega nabora možnosti. Ko pregleda končni preizkus in na njegovi podlagi spremeni strategijo, ti podatki niso več nedotaknjeni. Ponavljanje, da so isti podatki »zunaj vzorca«, ne obnovi njihove neodvisnosti.

V novem preizkusu s 60 posli predpostavimo 28 bruto dobičkonosnih poslov s povprečjem 170 $ in 32 bruto izgubaških poslov s povprečjem 150 $. Bruto rezultat je 4.760 $ − 4.800 $ = minus 40 $. Pri 33 $ na celoten posel stroški dodajo 1.980 $, neto rezultat pa je minus 2.020 $. Ta majhen izmišljeni vzorec ne dokazuje, da strategija nikoli ne more delovati, vendar ne podpira prvotne samozavesti. Ustrezen odziv je preiskava ali zavrnitev, ne samodejno spreminjanje parametrov, dokler rezervirani vzorec ne postane pozitiven.

Vzorca pokaži ločeno. Popravljenih dvesto razvojnih poslov daje −1.200 dolarjev, novih šestdeset pa −2.020. Skupaj je −3.220 v 260 poslih oziroma približno −12,38 na posel. Pravilen seštevek podatkov, uporabljenih pri izbiri, ne spremeni v neodvisne dokaze.

Preveri časovno razpoložljivost informacij in pot izgub

Pregled preverja tudi, ali so signali uporabljali podatke, ki so bili dejansko na voljo pred vsakim modeliranim poslom. Kazalnik na podlagi zaključne cene praviloma ne more upravičiti zgodnejše izvršitve po tej isti zaključni ceni brez utemeljivega mehanizma izvedbe. Izbor nabora vrednostnih papirjev ne sme tiho izločiti propadlih ali z borze umaknjenih papirjev. Korporacijska dejanja, uskladitev časovnih oznak in zastarele kotacije lahko bistveno spremenijo simulirane izide. Vsako preverjanje obravnava mogoč vir napake, ne zagotavlja pa prihodnje dobičkonosnosti.

Nazadnje Lena poleg skupnega dobička beleži padce vrednosti, zaporedne izgube, promet in porabo kapitala. Strategija, ki si sčasoma opomore, lahko na poti še vedno preseže omejitev financiranja. NFA opozarja, da hipotetični rezultati izkoriščajo naknadno poznavanje dogodkov in ne morejo v celoti poustvariti izkušnje resničnega finančnega tveganja. Trgovanje na papirju lahko razkrije težave v poteku dela, ne dokazuje pa dejanske likvidnosti, možnosti povečevanja obsega ali sposobnosti slediti strategiji med izgubljanjem pravega denarja.

Določi dokaze, ki bi res spremenili sklep

Lenin naslednji korak je odvisen od vzroka. Časovna napaka, ki uporablja jutrišnje podatke, potrebuje popravek in umik ali jasno zamenjavo rezultatov. Če je koda pravilna, a verjetni stroški porabijo prednost, nov naslov ne pomaga. Odvisnost od enega velikega dobička zahteva ločeno ekonomsko razlago.

Paket za ponovitev mora vključevati vseh 120 nastavitev, natančne sintetične podatke, izbirno merilo, stroškovna pravila in zamrznjeno končno specifikacijo. Drug raziskovalec mora obnoviti privlačen izvirni in šibkejši popravljeni rezultat. Ponovljivost preverja izračun, ne prihodnjega uspeha.

Pri istih dvestotih poslih dvig stroška s 33 na 45 dolarjev doda 2.400 in spremeni neto rezultat z −1.200 na −3.600. Če slabša likvidnost prepreči nekatere izvršitve, se spremeni sam seznam poslov. Takrat je potrebna nova simulacija, ne še en odbitek od stare vsote.

Pravilo, navdahnjeno z neuspelim odloženim testom, je mogoče raziskovati, vendar so isti podatki zdaj razvojni. Poznejše obdobje preverja popravek šele po predhodni določitvi pravil in meril. Pošten sklep je lahko pomanjkanje podpore; analiza ni dolžna izdelati pripravljene trgovalne strategije.

Kje se sklepanje zalomi