Laskentataulukon paras historiallinen testi

Lähtötilanne

Hypoteettinen opetustapaus. Hintasarja, strategia, kauppatulokset ja tilastot ovat keksittyjä. Ne eivät ole historiallinen aineisto, suorituskykyväite eivätkä kaupankäyntisignaali. Lena testaa liukuvan keskiarvon ideaa synteettisellä osakekorilla. Kokeiltuaan 120 parametriyhdistelmää hän valitsee houkuttelevimman tuloksen ja esittää sen 200 simuloitua kauppaa näyttönä vahvasta edusta. Tutkimusarvio kysyy, mitä valittiin, mitä jätettiin pois ja mikä on yhä aidosti näkemättä.

Rekonstruoi vaikuttava otsikkoluku

Valitussa kokoonpanossa on 110 bruttovoitollista kauppaa, joiden keskiarvo on $180, ja 90 bruttotappiollista kauppaa, joiden keskiarvo on $160. Bruttovoitot ovat $19,800 ja bruttotappiot $14,400, jolloin jäljelle jää $5,400 yhteensä 200 kaupasta. Bruttokeskiarvo on $27 kauppaa kohden ja voittoprosentti 55%. Kumpikaan luku ei kerro, kestääkö strategia realistiset kulut tai löysikö valintaprosessi signaalia onnen sijaan.

Lena oletti edestakaisen kaupan kuluiksi vain $2, mikä pienensi tulosta $400:lla arvoon $5,000. Kuvitteellinen toteutusarvio kuitenkin arvioi välityspalkkioiksi ja erillisiksi maksuiksi $6, spread-kuluksi $12 ja lisäliukumaksi $15 valmista edestakaista kauppaa kohden. Yhteensä kulu on $33 kauppaa kohden eli $6,600 koko otoksessa. Samoilla bruttotuloksilla tarkistettu nettotulos on $1,200 tappio, keskimäärin miinus $6 kauppaa kohden.

Määritä kulut laskematta niitä kahdesti

Nämä kuluerät ovat järkeviä vain siksi, että synteettinen jälkitesti käytti kitkattomia viitehintoja. Jos toteutukset olisi jo simuloitu osto- ja myyntitarjouksiin, koko spreadin erillinen uudelleenvähennys liioittelisi kuluja. Samoin päätöshinnasta mitattu toteutusvaje voi jo sisältää spreadin ja markkinavaikutuksen. Tutkimusloki tarvitsee täsmällisen määritelmän avauksen vertailuhinnasta, sulkemisen vertailuhinnasta ja lisämaksuista.

Herkkyystaulukko testaisi useita edestakaisen kaupan kokonaiskuluja, ei vain strategialle suotuisinta. Kululla $15 nettotulos on $2,400; kululla $27 se on nolla; kululla $45 se on miinus $3,600. Nämä ovat laskuskenaarioita, eivät ennusteita. $27 kannattavuusrajakulu on erityisen hyödyllinen, koska se paljastaa, kuinka vähän valittu bruttotulos jättää tilaa toteutusepävarmuudelle, toteutumattomille kaupoille ja operatiivisille virheille.

Valintaongelma tulee ennen lopullista kaaviota

Lena ei valinnut tätä asetusta ennen otoksen näkemistä. Hän valitsi sen, koska se päihitti 119 vaihtoehtoa samassa otoksessa. Jopa strategiat ilman kestävää ennuste-etua voivat tuottaa houkuttelevan voittajan, kun monia muunnelmia kokeillaan. Tarkoituksella yksinkertaistetussa esimerkissä, jos 120 riippumattomalla testillä olisi kullakin 5% väärän positiivisen tuloksen todennäköisyys, ainakin yhden todennäköisyys olisi 1 − 0.95^120 eli noin 99.79%.

Todelliset strategiamuunnelmat todennäköisesti korreloivat, joten riippumattomuuslaskelma ei ole pätevä p-arvo Lenan tutkimukselle. Sen tarkoitus on paljastaa monitestausongelma, ei mitata sitä täsmällisesti. Hänen on kirjattava kaikki kokeillut muunnelmat, myös hylätyt indikaattorit, muutetut päivämääräikkunat ja manuaaliset poikkeukset. Viimeistelty loppukuvaaja ei paljasta, montako epäonnistunutta koetta sen taakse on piilotettu.

Varaa rehellinen arviointijoukko

Parempi kuvitteellinen tutkimusasetelma erottaa kehittämisen, validoinnin ja lopullisen koskemattoman testin. Lena voi käyttää kehitysaineistoa idean muodostamiseen ja validointiaineistoa rajallisten, dokumentoitujen vaihtoehtojen vertailuun. Kun hän tarkastelee lopullista testiä ja muuttaa strategiaa sen perusteella, aineisto ei enää ole koskematon. Saman aineiston toistuva kutsuminen ”otoksen ulkopuoliseksi” ei palauta riippumattomuutta.

Uudessa 60 kaupan testissä oletetaan 28 bruttovoittoa keskimäärin $170 ja 32 bruttotappiota keskimäärin $150. Bruttotulos on $4,760 − $4,800 = miinus $40. Kun edestakainen kauppa maksaa $33, kuluja kertyy $1,980 ja nettotulos on miinus $2,020. Tämä pieni keksitty otos ei todista, ettei strategia voisi koskaan toimia, mutta se ei tue alkuperäistä luottamusta. Oikea vastaus on tutkiminen tai hylkääminen, ei automaattinen parametrien muuttaminen, kunnes erillinen testijoukko näyttää vihreää.

Esitä kaksi otosta erikseen. Korjatut 200 kehityskauppaa tuottavat −1 200 dollaria ja uudet kuusikymmentä −2 020. Yhteensä tulos on −3 220 dollarin tappio 260 kaupassa eli noin −12,38 kauppaa kohti. Oikea summa ei muuta valinnassa käytettyä aineistoa riippumattomaksi näytöksi.

Tarkista tiedon ajoitus ja tappioiden kehityskulku

Arvioinnissa kysytään myös, käyttivätkö signaalit tietoja, jotka olivat todella saatavilla ennen kutakin mallinnettua kauppaa. Päätöskurssiin perustuva indikaattori ei yleensä voi perustella aiempaa toteutusta samalla päätöskurssilla ilman uskottavaa toteutusmekanismia. Sijoitusuniversumin valinta ei saa huomaamatta karsia epäonnistuneita tai listalta poistuneita arvopapereita. Yhtiötapahtumat, aikaleimojen kohdistus ja vanhentuneet noteeraukset voivat muuttaa simuloituja tuloksia olennaisesti. Jokainen tarkistus käsittelee mahdollista virhelähdettä eikä takaa tulevaa kannattavuutta.

Lopuksi Lena kirjaa arvonalenemat, peräkkäiset tappiot, vaihtuvuuden ja pääoman käytön kokonaistuloksen rinnalle. Lopulta toipuva strategia voi silti rikkoa rahoitusrajan matkan varrella. NFA varoittaa, että kuvitteelliset tulokset hyötyvät jälkiviisaudesta eivätkä voi täysin jäljitellä todellisen taloudellisen riskin kokemusta. Paperitestaus voi paljastaa työnkulun ongelmia, mutta se ei osoita todellista likviditeettiä, skaalautuvuutta tai kykyä noudattaa strategiaa oikeaa rahaa menetettäessä.

Määrittele näyttö, joka muuttaisi johtopäätöstä

Lenan seuraava askel riippuu syystä. Huomisen tietoa vuotava aikaleimavirhe vaatii korjauksen sekä tulosten peruuttamisen tai selkeän korvaamisen. Jos koodi on oikea mutta uskottavat kulut syövät edun, uusi otsikko ei auta. Yhden suuren voiton varassa oleva tulos vaatii erillisen taloudellisen perustelun.

Toistopaketin tulee sisältää kaikki 120 asetusta, tarkka synteettinen aineisto, valintakriteeri, kulukäytännöt ja lukittu lopullinen määrittely. Toisen tutkijan on voitava palauttaa sekä houkutteleva alkuperäinen että heikompi korjattu tulos. Toistettavuus tarkistaa laskelman, ei tulevaa onnistumista.

Samoissa 200 kaupassa kulun nousu 33:sta 45 dollariin lisää kustannuksia 2 400 ja muuttaa nettotuloksen −1 200:sta −3 600:aan. Jos heikompi likviditeetti estää joitakin toteutuksia, itse kauppalista muuttuu. Silloin tarvitaan uusi simulaatio, ei vain lisävähennystä vanhasta summasta.

Epäonnistuneen sivuun jätetyn testin inspiroimaa sääntöä saa tutkia, mutta sama aineisto on nyt kehitysaineistoa. Myöhempi jakso arvioi muutosta vasta etukäteen lukittujen sääntöjen ja kriteerien perusteella. Rehellinen päätelmä voi olla tuen puuttuminen; tutkimuksen ei tarvitse päättyä kaupankäyntivalmiiseen strategiaan.

Missä päättely menee vikaan