Testiranje na zgodovinskih podatkih brez samoprevare
Zgodovinska simulacija je raziskovalno orodje, ne časovni stroj ali obljuba dejanskih rezultatov.

Zapiši pravilo, preden pregledaš odgovor
Zgodovinski test uporabi določena pravila odločanja na zgodovinskih podatkih in izračuna, kaj bi prineslo modelirano zaporedje poslov. Njegova vrednost je v soočenju hipoteze z dokazi. Če se pravilo spremeni ob vsakem primeru izgube, vaja postane opisovanje preteklosti namesto preverjanja ponovljivega postopka odločanja.
Začni z naborom instrumentov, intervalom opazovanja, pogojem vstopa, pogojem izstopa, metodo določanja velikosti pozicije in modelom stroškov. Določi, kdaj so informacije na voljo in kdaj bi bilo naročilo prvič mogoče izvršiti. Strategija, ki temelji na zaključni ceni, brez dodatne utemeljitve praviloma ne more predpostavljati, da je končno zaključno ceno poznala vnaprej in posel izvršila po povsem isti ceni.
Pazi na uhajanje informacij nazaj v čas
Pristranskost zaradi vpogleda v prihodnost nastane, ko simulacija uporabi informacije, ki ob odločitvi niso bile na voljo. Primeri so revidirani gospodarski podatki, poznejša objava poslovnih rezultatov ali prihodnji seznam članov indeksa. Zgodovinska zbirka podatkov je lahko danes povsem točna, a neprimerna za rekonstrukcijo tega, kar je človek dejansko vedel na nek prejšnji datum.
Pristranskost preživelih nastane, ko testirani nabor izključuje instrumente, ki so izginili. Strategija, preizkušena le na podjetjih, ki še obstajajo, lahko spregleda stečaje, umike z borze in prevzeme, ki so vplivali na zgodovinski nabor priložnosti. Enaka težava se lahko pojavi pri propadlih kriptožetonih ali ukinjenih skladih. Dokumentiraj, kako zbirka podatkov obravnava izginotja, namesto da tiho brišeš težavne zapise.
Korporacijska dejanja potrebujejo dosledno evidenco. Pri delitvi delnice dve za eno se sto delnic po 40 dolarjev spremeni v dvesto po približno 20 dolarjev, če ni drugih premikov. Sama delitev ne prepolovi vrednosti pozicije. Prilagojena cena z neprilagojeno količino ustvari izmišljen rezultat; ponovno dodajanje že upoštevane dividende jo šteje dvakrat.
Izvršitev obravnavaj kot model, ne kot uslugo
Dotik sveče z limitno ceno ne dokazuje, da bi bilo celotno naročilo izvršeno. Pomembni so mesto v čakalni vrsti, razpoložljiva količina in pot cene znotraj sveče. Če sta v eni sveči dosežena tako stop kot cilj, sama sveča morda ne razkrije, kaj se je zgodilo prej. Takšno dvoumnost obravnavaj konservativno ali uporabi podatke, ki lahko razjasnijo zaporedje.
Vključi razmik, provizije, financiranje, po potrebi stroške izposoje in verjeten zdrs. Davčna obravnava je odvisna od jurisdikcije in okoliščin, zato naj splošna simulacija navede, ali so rezultati pred obdavčitvijo, namesto da si izmisli univerzalno stopnjo. Primerjaj rezultate pri več predpostavkah o stroških. Metoda, ki uspe le ob brezplačni in takojšnji izvršitvi, je krhka.
Loči odkrivanje od vrednotenja
Preizkušanje stotin kombinacij parametrov in predstavitev najboljše ustvari težavo izbire. Nekatera kombinacija je lahko po naključju videti odlična. Prihrani podatke, ki niso bili uporabljeni za razvoj pravila, in jih ne pregleduj znova in znova, dokler ne postanejo še en učni vzorec. Vnaprejšnji preizkus s simuliranim trgovanjem ponuja drugačno preverjanje, saj nova opažanja prihajajo po določitvi pravil.
Poročaj o neuspešnih različicah, velikosti vzorca, časovnem obdobju in številu poskusov, ne le o zmagovalnem grafikonu. Preveri, ali se bližnje izbire parametrov vedejo podobno ali pa ves dobiček ustvari ena osamljena nastavitev. Hipotetični rezultati ostanejo hipotetični, tudi ko je preglednica natančna na več decimalnih mest. Zgodovinski izračuni ne poustvarijo v celoti likvidnosti, čustev in operativnih težav.
Vodi raziskovalni dnevnik različic podatkov in sprememb izračunov. Popravljena prilagoditev za delitev delnic ali novo vključen umik z borze lahko bistveno spremeni rezultat, popravek pa mora ostati viden. Ponovljivost pomeni, da lahko druga oseba iz navedenih vhodnih podatkov in pravil rekonstruira isti odgovor. Ne pomeni, da je odgovor ekonomsko uporaben, je pa nujen korak k ugotovitvi tega.
Obnovi en posel, preden verjameš tisočim
Za izbrani posel zapiši datum podatka, dejansko razpoložljivost, odločitev, prihod naročila in izvršitev. Podatek, objavljen po torkovem zaprtju, ne more utemeljiti torkovega jutranjega nakupa. Tudi časovni pasovi in prehod na poletni čas lahko neopazno vnesejo prihodnje informacije.
Uskladi ves račun, ne le zaključenih poslov. Začetni denar, zunanji tokovi, realizirani rezultat in vrednost odprtih pozicij morajo pojasniti končni kapital. Sočasni signali ne morejo vsak zase porabiti istega denarja. Simulator potrebuje prednostni vrstni red naročil in pravila za nezadostno kupno moč.
Preizkusi majhne umetne nize z znanim odgovorom. Stalna cena brez stroškov ne sme ustvarjati trgovalnega dobička. Pri istem seznamu poslov večja provizija zmanjša rezultat natančno za dodatni strošek. Manjkajoča cena zahteva določen postopek, ne izvršitve po nič ali neskončno stare kotacije.
Primerjavo izberi glede na vprašanje. Strategija, ki delnice samo kupuje, lahko služi zaradi splošne rasti trga. Pasivno merilo mora uporabljati iste datume ter enako obravnavo dividend in denarja. Višji končni saldo sam po sebi ne dokazuje spretnosti pri izbiri trenutka.