Najbolji istorijski test u tabeli

Postavka

Hipotetički edukativni primer. Niz cena, strategija, ishodi transakcija i statistika su izmišljeni. Ne predstavljaju istorijske podatke, tvrdnju o učinku niti signal za trgovanje. Lena ispituje ideju zasnovanu na pokretnom proseku na sintetičkoj korpi akcija. Nakon isprobavanja 120 kombinacija parametara, bira najprivlačniji rezultat i predstavlja njegovih 200 simuliranih transakcija kao dokaz pouzdane prednosti. Istraživačka revizija pita šta je odabrano, šta izostavljeno i šta je zaista ostalo neviđeno.

Rekonstruišite impresivan glavni rezultat

Izabrana konfiguracija ima 110 bruto dobitnih transakcija sa prosekom od $180 i 90 bruto gubitnih transakcija sa prosekom od $160. Bruto dobici su $19,800, a bruto gubici $14,400, što ostavlja $5,400 kroz 200 transakcija. Bruto prosek je $27 po transakciji, a stopa dobitka 55%. Nijedan broj ne govori da li strategija opstaje uz realne troškove niti da li je proces izbora otkrio signal umesto sreće.

Lena je pretpostavila samo $2 troška ulaska i izlaska po trgovini, smanjujući rezultat za $400 na $5,000. Međutim, izmišljeni pregled izvršenja procenjuje $6 provizija i izričitih naknada, $12 troška raspona i $15 dodatnog proklizavanja po završenom ulasku i izlasku. Ukupno je $33 po trgovini, odnosno $6,600 za ceo uzorak. Uz iste bruto ishode, revidirani neto rezultat je gubitak od $1,200, prosečno negativnih $6 po trgovini.

Definišite troškove bez dvostrukog računanja

Ove komponente troškova imaju smisla samo zato što je sintetički istorijski test koristio referentne cene bez tržišnih troškova. Da su izvršenja već simulirana po kupovnim i prodajnim kotacijama, dodatno oduzimanje celog raspona ponovo bi precenilo troškove. Isto tako, odstupanje realizacije mereno od cene u trenutku odluke možda već obuhvata raspon i tržišni uticaj. Istraživački dnevnik zahteva preciznu definiciju referentne cene ulaska, referentne cene izlaska i dodatnih naknada.

Tabela osetljivosti testirala bi nekoliko ukupnih troškova ulaska i izlaska, a ne samo onaj najpovoljniji za strategiju. Pri $15 neto rezultat je $2,400; pri $27 je nula; pri $45 je negativnih $3,600. To su aritmetički scenariji, a ne prognoze. Trošak pokrića od $27 posebno je koristan jer otkriva koliko malo prostora odabrani bruto rezultat ostavlja za neizvesnost izvršenja, propuštena izvršenja i operativne greške.

Problem izbora prethodi završnom grafikonu

Lena nije izabrala ovu konfiguraciju pre nego što je videla uzorak. Izabrala ju je jer je na istom uzorku nadmašila 119 alternativa. Čak i strategije bez trajne prediktivne prednosti mogu dati privlačnog pobednika kada se isproba mnogo varijanti. Kao namerno stilizovana ilustracija, kada bi 120 nezavisnih testova svaki imao 5% verovatnoće lažno pozitivnog rezultata, verovatnoća bar jednog bila bi 1 − 0.95^120, oko 99.79%.

Stvarne varijante strategije verovatno su korelisane, pa taj obračun nezavisnosti nije važeća p-vrednost za Lenino istraživanje. Njegova uloga je da otkrije problem višestrukog testiranja, a ne da ga precizno izmeri. Ona mora evidentirati sve isprobane varijante, uključujući odbačene indikatore, promenjene datumske prozore i ručne izuzetke. Doteran završni grafikon ne može otkriti koliko se neuspešnih eksperimenata krije iza njega.

Odvojite nepristrasan skup za ocenu

Bolji izmišljeni istraživački plan razdvaja razvoj, validaciju i završni netaknuti test. Lena može koristiti razvojne podatke za oblikovanje ideje, a validacione za poređenje ograničenog, dokumentovanog skupa izbora. Kada pregleda završni test i na osnovu njega promeni strategiju, ti podaci više nisu netaknuti. Ponavljano nazivanje istih podataka „van uzorka” ne vraća nezavisnost.

U novom testu sa 60 transakcija pretpostavite 28 bruto dobitaka prosečno $170 i 32 bruto gubitka prosečno $150. Bruto rezultat je $4,760 − $4,800 = negativnih $40. Pri $33 po otvaranju i zatvaranju pozicije, troškovi dodaju $1,980, a neto rezultat je negativnih $2,020. Ovaj mali izmišljeni uzorak ne dokazuje da strategija nikada ne može funkcionisati, ali ne podržava prvobitno samopouzdanje. Odgovarajuća reakcija je istraživanje ili odbacivanje, a ne automatsko menjanje parametara dok izdvojeni uzorak ne postane pozitivan.

Pregled istraživanja najpre pokazuje dva uzorka odvojeno. Ispravljenih 200 razvojnih transakcija daje −1.200 dolara, novih šezdeset −2.020. Ukupno je −3.220 u 260 transakcija, oko −12,38 po transakciji. Zbir je ispravan, ali ne pretvara podatke korišćene pri izboru u nezavisne dokaze. Kasniji test procenjuje odluke utvrđene pre pregleda njegovih rezultata.

Proverite vreme dostupnosti informacija i putanju gubitaka

Provera takođe ispituje da li su signali koristili podatke koji su zaista bili dostupni pre svake modelirane trgovine. Pokazatelj zasnovan na ceni zatvaranja obično ne može opravdati ranije izvršenje po istoj toj ceni bez odbranjivog mehanizma izvršenja. Izbor skupa hartija ne sme prećutno izbaciti propale ili delistirane hartije. Korporativne radnje, usklađivanje vremenskih oznaka i zastarele kotacije mogu značajno promeniti simulirane ishode. Svaka provera obrađuje mogući izvor greške, a ne daje garanciju buduće profitabilnosti.

Na kraju, Lena beleži padove vrednosti, uzastopne gubitke, promet i upotrebu kapitala uz ukupnu dobit. Strategija koja se na kraju oporavi ipak može usput prekršiti ograničenje finansiranja. NFA upozorava da hipotetički rezultati imaju korist od naknadnog znanja i ne mogu potpuno reprodukovati iskustvo stvarnog finansijskog rizika. Testiranje na papiru može otkriti probleme postupka, ali ne dokazuje stvarnu likvidnost, skalabilnost niti sposobnost praćenja strategije uz gubitak pravog novca.

Odredite dokaze koji bi stvarno promenili zaključak

Lenin sledeći korak zavisi od uzroku. Pogrešna vremenska oznaka koja propušta sutrašnje podatke traži popravak i povlačenje ili jasno zamenjivanje zahvaćenih rezultata. Ako je kod tačan, ali realni troškovi pojedu prednost, novi naslov grafa ne pomaže. Ako jedan izuzetan dobitak objašnjava većinu rezultata, treba istražiti ekonomsku opravdanost zavisnosti i njenu pokrivenost uzorkom.

Paket za reprodukciju treba obuhvatiti svih 120 konfiguracija, tačne sintetičke podatke, kriterijum izbora, troškove i zamrznutu konačnu specifikaciju. Drugi procenjivač treba obnoviti privlačan početni i slabiji ispravljeni rezultat. Čuvanje neuspešne verzije pokazuje koja je pretpostavka promenila zaključak. Ponovljivost proverava račun, ne budući uspeh.

Kod istih 200 transakcija rast troška s 33 na 45 dolara dodaje 2.400 te menja neto rezultat s −1.200 na −3.600. Ako slabija likvidnost takođe onemogući neka izvršenja, menja se sam spisak transakcija. To traži novu simulaciju, ne još jedan odbitak od starog spiska.

Pravilo nadahnuto neuspelim izdvojenim testom može se istraživati, ali rezultat na istim podacima sada je razvojni dokaz. Kasniji period može proveravati reviziju tek nakon prethodnog utvrđivanja specifikacije i kriterijuma. Pošten zaključak može biti da sadašnja ideja nema podršku; pregled ne mora proizvesti strategiju za trgovanje.

Gde rasuđivanje greši