Testi më i mirë historik në tabelë
Përzgjedhja e eksperimentit më të fortë nga shumë të tillë mund të krijojë besim artificial edhe kur ekzekutimi realist e zhduk avantazhin e dukshëm.

Ilustrim konceptual, jo të dhëna reale tregu. Etiketat e diagramit mund të përdorin një shembull tjetër të thjeshtuar, të ndryshëm nga rasti.
Situata fillestare
Rast hipotetik mësimor. Seria e çmimeve, strategjia, rezultatet e transaksioneve dhe statistikat janë të sajuara. Ato nuk janë regjistër historik, pretendim performance ose sinjal i tregtueshëm. Lena teston një ide të mesatares lëvizëse mbi një shportë sintetike aksionesh. Pasi provon 120 kombinime parametrash, ajo zgjedh rezultatin më tërheqës dhe paraqet 200 transaksionet e tij të simuluara si provë të një avantazhi të qëndrueshëm. Një shqyrtim kërkimor pyet çfarë u përzgjodh, çfarë u la jashtë dhe çfarë mbetet vërtet e paparë.
Rindërto shifrën mbresëlënëse kryesore
Konfigurimi i përzgjedhur ka 110 transaksione fituese bruto me mesatare $180 dhe 90 transaksione humbëse bruto me mesatare $160. Fitimet bruto janë $19,800 dhe humbjet bruto $14,400, duke lënë $5,400 nga 200 transaksione. Mesatarja bruto është $27 për transaksion dhe norma e fitoreve është 55%. Asnjëra shifër nuk na tregon nëse strategjia u mbijeton kostove reale ose nëse procesi i përzgjedhjes zbuloi një sinjal dhe jo fat.
Lena supozoi vetëm $2 kosto hyrjeje dhe daljeje për transaksion, duke e ulur rezultatin me $400 në $5,000. Por shqyrtimi imagjinar i ekzekutimit vlerëson $6 komisione dhe tarifa të shprehura, $12 kosto të diferencës blerje-shitje dhe $15 rrëshqitje shtesë çmimi për çdo cikël të plotë hyrjeje-daljeje. Totali është $33 për transaksion, ose $6,600 në të gjithë kampionin. Mbi të njëjtat rezultate bruto, rezultati neto i rishikuar është humbje prej $1,200, me mesatare negative $6 për transaksion.
Përcakto kostot pa i numëruar dy herë
Këta komponentë kostosh kanë kuptim vetëm sepse testi sintetik historik përdori çmime reference pa kosto tregtimi. Nëse ekzekutimet do të ishin simuluar tashmë me bid dhe ask, zbritja veçmas sërish e gjithë spread-it do t'i mbivlerësonte kostot. Po ashtu, diferenca e zbatimit e matur nga çmimi i vendimit mund të përmbajë tashmë spread-in dhe ndikimin në treg. Regjistri kërkimor ka nevojë për përkufizim të saktë të referencës së hyrjes, referencës së daljes dhe tarifave shtesë.
Një tabelë ndjeshmërie do të testonte disa kosto totale hyrjeje dhe daljeje, jo vetëm atë më të favorshmen për strategjinë. Me $15, rezultati neto është $2,400; me $27 është zero; me $45 është negativ me $3,600. Këta janë skenarë aritmetikë, jo parashikime. Kostoja e barazimit prej $27 është veçanërisht e dobishme sepse zbulon sa pak hapësirë ka rezultati bruto i përzgjedhur për pasiguri ekzekutimi, urdhra të paekzekutuar dhe gabime operative.
Problemi i përzgjedhjes vjen përpara grafikut përfundimtar
Lena nuk e zgjodhi këtë konfigurim përpara se të shihte kampionin. Ajo e zgjodhi sepse tejkaloi 119 alternativa në po atë kampion. Edhe strategjitë pa avantazh të qëndrueshëm parashikues mund të prodhojnë një fitues tërheqës kur provohen shumë variante. Si ilustrim qëllimisht i thjeshtuar, nëse 120 teste të pavarura do të kishin secili 5% mundësi për rezultat pozitiv të rremë, mundësia e të paktën njërit do të ishte 1 − 0.95^120, rreth 99.79%.
Variantet reale të strategjisë ka të ngjarë të jenë të korreluara, ndaj ajo llogaritje pavarësie nuk është një vlerë p e vlefshme për kërkimin e Lena-s. Roli i saj është të nxjerrë në pah problemin e testimit të shumëfishtë, jo ta përcaktojë saktë nga ana sasiore. Ajo duhet të regjistrojë të gjitha variantet e provuara, përfshirë treguesit e hedhur poshtë, intervalet e ndryshuara të datave dhe përjashtimet manuale. Një grafik përfundimtar i lëmuar nuk mund të zbulojë sa eksperimente të dështuara fshihen pas tij.
Rezervo një grup të ndershëm vlerësimi
Një projektim më i mirë imagjinar kërkimi ndan zhvillimin, validimin dhe një test përfundimtar të paprekur. Lena mund të përdorë të dhënat e zhvillimit për të formuar idenë dhe ato të validimit për të krahasuar një grup të kufizuar e të dokumentuar zgjedhjesh. Sapo shqyrton testin përfundimtar dhe ndryshon strategjinë në përgjigje të tij, ato të dhëna nuk janë më të paprekura. Ta quash vazhdimisht të njëjtin grup të dhënash “jashtë kampionit” nuk e rikthen pavarësinë.
Në një test të ri me 60 transaksione, supozoni 28 fitore bruto me mesatare $170 dhe 32 humbje bruto me mesatare $150. Rezultati bruto është $4,760 − $4,800 = negativ me $40. Me $33 për hyrje-dalje, kostot shtojnë $1,980 dhe rezultati neto është negativ me $2,020. Ky kampion i vogël i sajuar nuk provon se strategjia nuk mund të funksionojë kurrë, por nuk e mbështet besimin fillestar. Reagimi i përshtatshëm është hetimi ose refuzimi, jo ndryshime automatike parametrash derisa kampioni i lënë mënjanë të dalë pozitiv.
Paraqiti kampionet veçmas. Dyqind tregtimet e korrigjuara të zhvillimit japin −1 200 dollarë dhe gjashtëdhjetë të rejat −2 020. Gjithsej janë −3 220 në 260 tregtime, rreth −12,38 për tregtim. Shuma e saktë nuk i bën të pavarura të dhënat e përdorura për përzgjedhje.
Kontrolloni kohën e disponueshmërisë së informacionit dhe ecurinë e humbjeve
Shqyrtimi pyet gjithashtu nëse sinjalet përdorën të dhëna që ishin realisht të disponueshme përpara çdo transaksioni të modeluar. Një tregues i çmimit të mbylljes zakonisht nuk mund të justifikojë një ekzekutim më të hershëm në po atë çmim mbylljeje pa një mekanizëm të mbrojtshëm ekzekutimi. Përzgjedhja e universit nuk duhet të përjashtojë në heshtje titujt e dështuar ose të hequr nga listimi. Veprimet korporative, përputhja e vulave kohore dhe kuotimet e vjetruara mund t'i ndryshojnë ndjeshëm rezultatet e simuluara. Çdo kontroll trajton një burim të mundshëm gabimi, në vend që të ofrojë garanci për rentabilitet të ardhshëm.
Së fundi, Lena regjistron rëniet nga kulmi, humbjet e njëpasnjëshme, qarkullimin dhe përdorimin e kapitalit krahas fitimit të përgjithshëm. Një strategji që përfundimisht rikuperohet mund të shkelë përsëri një kufi financimi gjatë rrugës. NFA paralajmëron se rezultatet hipotetike përfitojnë nga njohja e së kaluarës dhe nuk mund të riprodhojnë plotësisht përvojën e rrezikut financiar real. Testimi i simuluar mund të zbulojë probleme të rrjedhës së punës, por nuk vërteton likuiditetin real, aftësinë për t'u zbatuar në përmasa më të mëdha ose aftësinë për të ndjekur një strategji duke humbur para të vërteta.
Përcakto provat që do ta ndryshonin vërtet përfundimin
Hapi tjetër i Lenës varet nga shkaku. Gabimi kohor që fut të dhëna të nesërme kërkon korrigjim dhe tërheqje ose zëvendësim të qartë të rezultateve. Nëse kodi është i saktë, por kostot e besueshme e konsumojnë avantazhin, titulli i ri nuk ndihmon. Varësia nga një fitim i madh kërkon shpjegim ekonomik.
Paketa e riprodhimit duhet të përmbajë të 120 konfigurimet, të dhënat sintetike të sakta, kriterin, rregullat e kostove dhe specifikimin përfundimtar të ngrirë. Një studiues tjetër duhet të rindërtojë si rezultatin fillestar tërheqës, ashtu edhe atë të dobët të korrigjuar. Riprodhueshmëria kontrollon llogaritjen, jo suksesin e ardhshëm.
Për të njëjtat dyqind tregtime, rritja e kostos nga 33 në 45 dollarë shton 2 400 dhe e ndryshon neton nga −1 200 në −3 600. Nëse likuiditeti më i dobët pengon disa ekzekutime, ndryshon lista e tregtimeve. Atëherë duhet simulim i ri, jo zbritje tjetër nga shuma e vjetër.
Rregulli i frymëzuar nga testi i veçuar i dështuar mund të studiohet, por të njëjtat të dhëna tani janë zhvillimore. Periudha e mëvonshme e kontrollon ndryshimin vetëm pas fiksimit paraprak të rregullave dhe kritereve. Përfundimi i ndershëm mund të jetë mungesë mbështetjeje; analiza nuk është e detyruar të prodhojë strategji gati për tregtim.
Ku gabon arsyetimi
Raportimi vetëm i eksperimentit fitues
Historia e kërkimit ka rëndësi sepse konfigurimi i zgjedhur përfitoi nga përzgjedhja.
Ripërdorimi i kampionit të rezervuar
Ndryshimi i strategjisë pasi shihni një test e konsumon atë test si provë të pavarur.
Trajtimi i çmimeve të referimit si ekzekutime
Rezultatet e zbatueshme në treg kërkojnë supozime të mbrojtshme për ekzekutimin dhe kostot.
Testo vendimin, jo kujtesën.
Një kampion i ri i simuluar ka 45 fitore me mesatare $220 dhe 55 humbje me mesatare $140. Sa është kostoja mesatare maksimale e hapjes dhe mbylljes përpara se fitimi neto të bëhet negativ? Çfarë ndodh me $25 për tregtim?
Shfaq përgjigjen e zgjidhur
Fitimet bruto janë 45 × $220 = $9,900. Humbjet bruto janë 55 × $140 = $7,700. Fitimi bruto është $2,200 në 100 tregti, duke dhënë një kosto barazimi prej $22 për tregti. Me $25, kostot totale janë $2,500 dhe rezultati neto është negativ me $300. Kjo llogaritje nuk korrigjon paragjykimin e përzgjedhjes ose rrjedhjen e të dhënave.