Labākais vēsturiskais tests izklājlapā
Spēcīgākā rezultāta izvēle no daudziem eksperimentiem var radīt mākslīgu pārliecību pat tad, ja reālistiska izpilde izdzēš šķietamo priekšrocību.
Konceptuāla ilustrācija, nevis faktiskie tirgus dati. Diagrammas apzīmējumos var būt izmantots atsevišķs vienkāršots piemērs, kas atšķiras no gadījuma.
Sākuma situācija
Hipotētisks mācību piemērs. Cenu rinda, stratēģija, darījumu rezultāti un statistika ir izdomāti. Tie nav vēsturiski dati, apgalvojums par ienesīgumu vai izmantojams tirdzniecības signāls. Lena pārbauda slīdošā vidējā ideju ar sintētisku akciju grozu. Izmēģinājusi 120 parametru kombinācijas, viņa izvēlas pievilcīgāko rezultātu un tā 200 simulētos darījumus uzrāda kā pierādījumu noturīgai priekšrocībai. Pētījuma pārskatā tiek jautāts, kas tika atlasīts, kas tika izlaists un kas patiešām vēl nav redzēts.
Rekonstruējiet iespaidīgo galveno rezultātu
Izvēlētajā konfigurācijā ir 110 bruto peļņas darījumi ar vidējo peļņu $180 un 90 bruto zaudējumu darījumi ar vidējiem zaudējumiem $160. Bruto peļņa ir $19,800 un bruto zaudējumi — $14,400, tādējādi 200 darījumos paliek $5,400. Bruto vidējais rezultāts ir $27 darījumā, un peļņas darījumu īpatsvars ir 55%. Neviens no šiem skaitļiem neparāda, vai stratēģija iztur reālistiskas izmaksas un vai atlases procesā atrasta likumsakarība, nevis veiksme.
Lēna pieņēma tikai $2 izmaksas par pilnu darījuma ciklu, samazinot rezultātu par $400 līdz $5,000. Taču izdomātajā izpildes pārskatā komisijas un tiešās maksas aplēstas $6, cenu starpības izmaksas — $12, bet papildu izslīde — $15 par pabeigtu darījuma ciklu. Kopā tie ir $33 par darījumu jeb $6,600 visā izlasē. Pie tiem pašiem bruto iznākumiem pārskatītais neto rezultāts ir $1,200 zaudējumi, vidēji zaudējumi $6 par darījumu.
Definējiet izmaksas, neuzskaitot tās divreiz
Šīm izmaksu sastāvdaļām ir jēga tikai tāpēc, ka sintētiskajā vēsturiskajā pārbaudē izmantotas atsauces cenas bez darījumu izmaksām. Ja izpilde jau būtu simulēta pēc pirkšanas un pārdošanas kotējumiem, visa spreda atkārtota atskaitīšana pārspīlētu izmaksas. Tāpat izpildes novirze, kas mērīta no lēmuma brīža cenas, jau var ietvert spredu un tirgus ietekmi. Pētījuma žurnālā precīzi jādefinē pozīcijas atvēršanas etalons, slēgšanas etalons un papildu maksājumi.
Jutīguma tabulā jāpārbauda vairākas pilna darījuma cikla kopējās izmaksas, nevis tikai stratēģijai vislabvēlīgākās. Pie $15 neto rezultāts ir $2,400; pie $27 tas ir nulle; pie $45 tie ir zaudējumi $3,600. Tie ir aritmētiski scenāriji, nevis prognozes. Bezzaudējuma izmaksu līmenis $27 ir īpaši noderīgs, jo atklāj, cik maz izvēlētajā bruto rezultātā paliek vietas izpildes nenoteiktībai, neizpildītiem darījumiem un darbības kļūdām.
Atlases problēma rodas pirms galīgā grafika
Lena neizvēlējās šo konfigurāciju pirms izlases apskates. Viņa to izvēlējās, jo tajā pašā izlasē tā pārspēja 119 alternatīvas. Pat stratēģijas bez noturīgas prognozēšanas priekšrocības var radīt pievilcīgu uzvarētāju, ja izmēģina daudz variāciju. Apzināti vienkāršotā ilustrācijā, ja 120 neatkarīgiem testiem katram būtu 5% kļūdaini pozitīva rezultāta iespēja, vismaz viena šāda rezultāta varbūtība būtu 1 − 0.95^120 jeb aptuveni 99.79%.
Faktiskie stratēģijas varianti, visticamāk, ir savstarpēji korelēti, tāpēc šis neatkarības aprēķins nav derīga p vērtība Lēnas pētījumam. Tā uzdevums ir atklāt vairākkārtējas testēšanas problēmu, nevis to precīzi izmērīt. Viņai jāreģistrē visi izmēģinātie varianti, tostarp atmestie indikatori, mainītie datumu intervāli un manuālie izņēmumi. Noslīpēts gala grafiks nevar atklāt, cik neveiksmīgu eksperimentu aiz tā paslēpti.
Atvēliet godīgu novērtēšanas datu kopu
Labāks izdomāts izpētes plāns nošķir izstrādi, validāciju un galīgo neskarto pārbaudi. Lēna var izmantot izstrādes datus idejas veidošanai un validācijas datus ierobežota, dokumentēta izvēļu kopuma salīdzināšanai. Tiklīdz viņa apskata galīgo pārbaudi un tās iespaidā maina stratēģiju, šie dati vairs nav neskarti. Atkārtota to pašu datu saukšana par „ārpusizlases” datiem neatjauno neatkarību.
Jaunā 60 darījumu pārbaudē pieņemsim 28 bruto peļņas darījumus ar vidējo peļņu $170 un 32 bruto zaudējumu darījumus ar vidējiem zaudējumiem $150. Bruto rezultāts ir $4,760 − $4,800 = zaudējumi $40. Pie $33 par pilnu darījuma ciklu izmaksas palielinās par $1,980, un neto rezultāts ir zaudējumi $2,020. Šī mazā izdomātā izlase nepierāda, ka stratēģija nekad nevar darboties, taču tā neapstiprina sākotnējo pārliecību. Atbilstoša reakcija ir izpēte vai noraidīšana, nevis automātiska parametru maiņa, līdz atliktās izlases rezultāts kļūst pozitīvs.
Parādiet abas izlases atsevišķi. Labotie divsimt izstrādes darījumi dod −1 200 dolāru, jaunie sešdesmit −2 020. Kopā ir −3 220 260 darījumos jeb aptuveni −12,38 uz darījumu. Pareiza summa nepārvērš izvēlei izmantotus datus neatkarīgos pierādījumos.
Pārbaudiet informācijas pieejamības laiku un zaudējumu norisi
Pārskatā arī jautā, vai signāli izmantoja datus, kas patiešām bija pieejami pirms katra modelētā darījuma. Slēgšanas cenas indikators parasti nevar pamatot agrāku izpildi par to pašu slēgšanas cenu bez aizstāvama izpildes mehānisma. Instrumentu kopas atlase nedrīkst klusējot atmest bankrotējušus vai no biržas izslēgtus vērtspapīrus. Korporatīvie pasākumi, laika zīmogu saskaņošana un novecojuši kotējumi var būtiski mainīt simulētos rezultātus. Katra pārbaude risina iespējamu kļūdas avotu, nevis garantē nākotnes ienesīgumu.
Visbeidzot Lena līdzās kopējai peļņai reģistrē kapitāla kritumus, secīgus zaudējumus, apgrozījumu un kapitāla izmantojumu. Stratēģija, kas galu galā atgūstas, pa ceļam tomēr var pārsniegt finansējuma limitu. NFA brīdina, ka hipotētiskie rezultāti izmanto atpakaļskata priekšrocību un nevar pilnībā atveidot īsta finanšu riska pieredzi. Simulēta pārbaude var atklāt darba procesa problēmas, bet tā nepierāda reālu likviditāti, mērogojamību vai spēju ievērot stratēģiju, zaudējot īstu naudu.
Nosakiet pierādījumus, kas tiešām mainītu secinājumu
Lenas nākamais solis atkarīgs no cēloņa. Laika zīmoga kļūda, kas ielaiž rītdienas datus, prasa labojumu un rezultātu atsaukšanu vai skaidru aizstāšanu. Ja kods pareizs, bet ticamas izmaksas apēd priekšrocību, jauns virsraksts nepalīdz. Atkarībai no viena liela ieguvuma vajag ekonomisku skaidrojumu.
Atkārtošanas pakotnei jāsatur visas 120 konfigurācijas, precīzi sintētiskie dati, izvēles kritērijs, izmaksu noteikumi un iesaldēta galīgā specifikācija. Citam pētniekam jāatjauno gan pievilcīgais sākotnējais, gan vājākais labotais rezultāts. Atkārtojamība pārbauda aprēķinu, ne nākotnes panākumus.
Tiem pašiem divsimt darījumiem izmaksu kāpums no 33 uz 45 dolāriem pievieno 2 400 un maina neto rezultātu no −1 200 uz −3 600. Ja sliktāka likviditāte liedz dažas izpildes, mainās pats darījumu saraksts. Tad vajag jaunu simulāciju, ne vēl vienu atskaitījumu.
Neveiksmīga atliktā testa iedvesmotu noteikumu drīkst pētīt, bet tie paši dati tagad ir izstrādes dati. Vēlāks periods pārbauda izmaiņu tikai pēc iepriekš fiksētiem noteikumiem un kritērijiem. Godīgs secinājums var būt atbalsta trūkums; analīzei nav obligāti jāizveido gatava stratēģija.
Kur argumentācija kļūst kļūdaina
Ziņošana tikai par veiksmīgo eksperimentu
Meklēšanas vēsture ir svarīga, jo izvēlētā konfigurācija guva labumu no atlases.
Atliktās pārbaudes izlases atkārtota izmantošana
Stratēģijas maiņa pēc pārbaudes apskatīšanas izlieto šo pārbaudi kā neatkarīgu pierādījumu.
Atsauces cenu uzskatīšana par izpildes cenām
Praksē īstenojamiem rezultātiem vajadzīgi pamatoti pieņēmumi par izpildi un izmaksām.
Pārbaudiet lēmumu, nevis savu atmiņu.
Jaunā simulētā izlasē ir 45 peļņas darījumi ar vidējo peļņu $220 un 55 zaudējumu darījumi ar vidējiem zaudējumiem $140. Kādas ir maksimālās vidējās pilna darījuma cikla izmaksas, pirms neto peļņa kļūst negatīva? Kas notiek pie $25 par darījumu?
Parādīt atrisinājumu
Bruto peļņa veiksmīgajos darījumos ir 45 × $220 = $9,900. Bruto zaudējumi ir 55 × $140 = $7,700. Bruto rezultāts ir $2,200 no 100 darījumiem, tātad bezzaudējuma izmaksu līmenis ir $22 par darījumu. Pie $25 kopējās izmaksas ir $2,500 un neto rezultāts ir mīnus $300. Šis aprēķins nenovērš atlases neobjektivitāti vai datu noplūdi.