Tabeli parim tagasitest
Paljudest katsetest tugevaima valimine võib tekitada kindlustunde isegi siis, kui realistlik täitmine näilise eelise kaotab.

Kontseptuaalne illustratsioon, mitte tegelikud turuandmed. Diagrammi sildid võivad kasutada juhtumist eraldi lihtsustatud näidet.
Lähteolukord
Hüpoteetiline õppejuhtum. Hinnajärgnevus, strateegia, tehingutulemused ja statistika on välja mõeldud. Need ei ole ajalooline andmestik, tulemusväide ega kaubeldav signaal. Lena katsetab sünteetilisel aktsiakorvil libiseva keskmise ideed. Pärast 120 parameetrikombinatsiooni proovimist valib ta kõige ahvatlevama tulemuse ja esitab selle 200 simuleeritud tehingut tugeva eelise tõendina. Uurimuse ülevaatus küsib, mida valiti, mida jäeti välja ja mis on veel tõeliselt nägemata.
Taasta muljetavaldava pealkirja arvutus
Valitud konfiguratsioonis on 110 brutovõiduga tehingut keskmisega $180 ja 90 brutokahjumiga tehingut keskmisega $160. Brutovõidud on $19,800 ja brutokahjumid $14,400, jättes 200 tehingu peale $5,400. Brutokeskmine on $27 tehingu kohta ja võidumäär 55%. Kumbki arv ei ütle, kas strateegia talub realistlikke kulusid või kas valikuprotsess leidis õnne asemel signaali.
Lena eeldas tehingu edasi-tagasi kuluks vaid $2, vähendades tulemust $400 võrra $5,000-ni. Väljamõeldud täitmisülevaade hindab aga iga lõpetatud edasi-tagasi tehingu komisjonitasudeks ja otsesteks tasudeks $6, hinnavahe kuluks $12 ning täiendavaks hinnalibisemiseks $15. Kokku on see $33 tehingu kohta ehk $6,600 kogu valimis. Samade brutotulemuste puhul on uuendatud netotulemus $1,200 kahjum, keskmiselt miinus $6 tehingu kohta.
Määra kulud ilma topeltarvestuseta
Need kulukomponendid on mõttekad ainult seetõttu, et sünteetiline järeltest kasutas kuludeta võrdlushindu. Kui täitmisi oleks juba simuleeritud ostu- ja müügipakkumise hindadel, hindaks kogu hinnavahe uuesti eraldi mahaarvamine kulud üle. Samuti võib otsustushinnast mõõdetud täitmispuudujääk juba sisaldada hinnavahet ja turumõju. Uurimislogi vajab sisenemise võrdlushinna, väljumise võrdlushinna ja lisatasude täpset määratlust.
Tundlikkustabel katsetaks mitut edasi-tagasi tehingu kogukulu, mitte üksnes strateegiale soodsaimat. $15 puhul on netotulemus $2,400; $27 puhul null; $45 puhul miinus $3,600. Need on arvutuslikud stsenaariumid, mitte prognoosid. Tasuvuspiiri kulu $27 on eriti kasulik, sest näitab, kui vähe ruumi jätab valitud brutotulemus täitmise ebakindlusele, saamata jäänud täitmistele ja tegevusvigadele.
Valikuprobleem tekib enne lõplikku graafikut
Lena ei valinud seda seadistust enne valimi nägemist. Ta valis selle, sest see ületas samas valimis 119 alternatiivi. Isegi püsiva ennustuseeliseta strateegiad võivad paljude variantide proovimisel anda ahvatleva võitja. Teadlikult lihtsustatud näitena: kui 120 sõltumatul testil oleks igaühel 5% valepositiivse tulemuse võimalus, oleks vähemalt ühe tõenäosus 1 − 0.95^120 ehk umbes 99.79%.
Tegelikud strateegiavariandid on tõenäoliselt korreleerunud, mistõttu sõltumatuse eeldusel tehtud arvutus ei anna Lena uurimusele kehtivat p-väärtust. Selle ülesanne on tuua esile mitmese testimise probleem, mitte seda täpselt mõõta. Ta peab kirja panema kõik proovitud variandid, sealhulgas kõrvale jäetud indikaatorid, muudetud kuupäevavahemikud ja käsitsi tehtud erandid. Viimistletud lõppgraafik ei paljasta, mitu ebaõnnestunud katset selle taha peideti.
Jäta kõrvale aus hindamisandmestik
Parem väljamõeldud uurimiskava eraldab arenduse, valideerimise ja lõpliku puutumatu testi. Lena võib kasutada arendusandmeid idee kujundamiseks ning valideerimisandmeid piiratud ja dokumenteeritud valikute võrdlemiseks. Kui ta vaatab lõpptulemust ja muudab selle põhjal strateegiat, ei ole need andmed enam puutumata. Samade andmete korduv nimetamine „valimiväliseks” ei taasta sõltumatust.
Uues 60 tehingu testis eelda 28 brutovõitu keskmiselt $170 ja 32 brutokahjumit keskmiselt $150. Brutotulemus on $4,760 − $4,800 = miinus $40. Kui edasi-tagasi tehingu kulu on $33, lisandub $1,980 kulusid ning netotulemus on miinus $2,020. See väike väljamõeldud valim ei tõesta, et strateegia ei saa kunagi toimida, kuid ei toeta esialgset kindlust. Asjakohane reaktsioon on uurimine või tagasilükkamine, mitte automaatsed parameetrimuudatused, kuni kõrvalejäetud testandmed näitavad rohelist.
Näita kahte valimit eraldi. Parandatud kakssada arendustehingut annavad −1 200 dollarit ja uued kuuskümmend −2 020. Kokku on see −3 220 dollarit 260 tehingus ehk umbes −12,38 tehingu kohta. Õige summa ei muuda valikul kasutatud andmeid sõltumatuks tõendiks.
Kontrolli teabe ajastust ja kahjumite kulgu
Ülevaatus küsib ka, kas signaalid kasutasid enne iga modelleeritud tehingut tegelikult kättesaadavaid andmeid. Sulgemishinna indikaator ei saa tavaliselt õigustada varasemat täitmist sama sulgemishinnaga ilma põhjendatava täitmismehhanismita. Väärtpaberite universumi valik ei tohiks märkamatult kõrvale jätta ebaõnnestunud või börsilt eemaldatud väärtpabereid. Ettevõtete sündmused, ajatemplite joondamine ja aegunud noteeringud võivad simuleeritud tulemusi oluliselt muuta. Iga kontroll käsitleb võimalikku veaallikat, mitte ei taga tulevast kasumlikkust.
Lõpuks registreerib Lena lisaks kogukasumile langused tipust, järjestikused kahjumid, käibe ja kapitalikasutuse. Strateegia, mis lõpuks taastub, võib teel siiski rahastamispiiri ületada. NFA hoiatab, et hüpoteetilised tulemused saavad kasu tagantjärele tarkusest ega suuda täielikult taastoota tegeliku finantsriski kogemust. Demotestimine võib paljastada töövooprobleeme, kuid ei tõesta päristuru likviidsust, skaleeritavust ega võimet järgida strateegiat pärisraha kaotades.
Määra tõendid, mis järeldust päriselt muudaksid
Lena järgmine samm sõltub põhjusest. Homseid andmeid lekitav ajatempliviga nõuab parandust ning tulemuste tagasivõtmist või selget asendamist. Kui kood on õige, kuid usutavad kulud söövad eelise, uus pealkiri ei aita. Ühest suurest võidust sõltuv tulemus vajab eraldi majanduslikku põhjendust.
Korduspakett peab sisaldama kõiki 120 konfiguratsiooni, täpseid sünteetilisi andmeid, valikukriteeriumi, kulureegleid ja lukustatud lõplikku spetsifikatsiooni. Teine uurija peab taastama nii ilusa algse kui ka nõrgema parandatud tulemuse. Korratavus kontrollib arvutust, mitte tulevast edu.
Sama kahesaja tehingu puhul lisab kulu tõus 33-lt 45 dollarile 2 400 ning muudab netotulemuse −1 200-lt −3 600-ni. Kui halvem likviidsus välistab mõne täitmise, muutub tehinguloend ise. Siis on vaja uut simulatsiooni, mitte veel üht mahaarvamist vanast summast.
Ebaõnnestunud kõrvalejäetud testist inspireeritud reeglit võib uurida, kuid sama andmestik on nüüd arendusmaterjal. Hilisem periood kontrollib muudatust alles pärast reeglite ja kriteeriumide eelnevat lukustamist. Aus järeldus võib olla toetuse puudumine; analüüs ei pea tootma valmis kauplemisstrateegiat.
Kus arutluskäik läheb valesti
Ainult võitnud katsest teatamine
Otsinguajalugu on oluline, sest valitud konfiguratsioon sai valikuprotsessist kasu.
Kõrvalejäetud testandmete taaskasutamine
Strateegia muutmine pärast testi vaatamist kasutab selle testi sõltumatu tõendina ära.
Võrdlushindade käsitlemine täitmishindadena
Kaubeldavad tulemused nõuavad põhjendatavaid täitmis- ja kulueeldusi.
Kontrolli otsust, mitte mälu.
Uues simuleeritud valimis on 45 võitu keskmiselt $220 ja 55 kaotust keskmiselt $140. Kui suur on maksimaalne keskmine edasi-tagasi tehingukulu enne netokasumi negatiivseks muutumist? Mis juhtub $25 kulu korral tehingu kohta?
Näita lahenduskäiguga vastust
Brutovõidud on 45 × $220 = $9,900. Brutokahjumid on 55 × $140 = $7,700. Brutokasum on 100 tehingu peale $2,200, mis annab tasuvuspiiri kuluks $22 tehingu kohta. $25 korral on kogukulud $2,500 ja netotulemus negatiivne $300. See arvutus ei paranda valikunihet ega andmeleket.