Cel mai bun test istoric din tabel

Situația inițială

Caz educațional ipotetic. Seria de prețuri, strategia, rezultatele tranzacțiilor și statisticile sunt inventate. Nu reprezintă un istoric, o afirmație de performanță sau un semnal tranzacționabil. Lena testează o idee cu medii mobile pe un coș sintetic de acțiuni. După ce încearcă 120 de combinații de parametri, selectează rezultatul cel mai atractiv și prezintă cele 200 de tranzacții simulate drept dovadă a unui avantaj robust. O evaluare a cercetării întreabă ce a fost selectat, ce a fost omis și ce rămâne cu adevărat nevăzut.

Reconstruiește rezultatul impresionant din titlu

Configurația selectată are 110 tranzacții câștigătoare brute, cu o medie de 180 USD, și 90 de tranzacții pierzătoare brute, cu o medie de 160 USD. Câștigurile brute sunt de 19.800 USD, iar pierderile brute de 14.400 USD, rămânând 5.400 USD din 200 de tranzacții. Media brută este de 27 USD per tranzacție, iar rata de câștig este de 55%. Niciun număr nu ne spune dacă strategia rezistă costurilor realiste sau dacă procesul de selecție a descoperit semnal, nu noroc.

Lena a presupus costuri de numai 2 USD pentru deschiderea și închiderea fiecărei tranzacții, reducând rezultatul cu 400 USD, la 5.000 USD. Dar analiza fictivă a execuției estimează 6 USD pentru comisioane și taxe explicite, 12 USD pentru costul spreadului și 15 USD pentru derapaj suplimentar la fiecare tranzacție completă. Totalul este de 33 USD pe tranzacție, adică 6.600 USD pentru întregul eșantion. La aceleași rezultate brute, rezultatul net revizuit este o pierdere de 1.200 USD, cu o medie negativă de 6 USD pe tranzacție.

Definește costurile fără a le număra de două ori

Aceste componente ale costurilor au sens doar deoarece testarea istorică sintetică a utilizat prețuri de referință fără fricțiuni. Dacă execuțiile ar fi fost deja simulate la prețurile bid și ask, deducerea separată încă o dată a întregului spread ar supraestima costurile. Similar, deficitul de implementare măsurat față de prețul deciziei poate include deja spreadul și impactul asupra pieței. Jurnalul de cercetare necesită o definiție precisă a reperului de intrare, a reperului de ieșire și a taxelor suplimentare.

Un tabel de sensibilitate ar testa mai multe costuri totale de deschidere și închidere, nu doar pe cel mai favorabil strategiei. La 15 USD, rezultatul net este 2.400 USD; la 27 USD este zero; la 45 USD este minus 3.600 USD. Acestea sunt scenarii aritmetice, nu prognoze. Costul de prag de rentabilitate de 27 USD este deosebit de util deoarece arată cât de puțin loc lasă rezultatul brut selectat pentru incertitudinea execuției, execuții ratate și greșeli operaționale.

Problema selecției apare înainte de graficul final

Lena nu a ales această configurație înainte de a vedea eșantionul. A ales-o deoarece a depășit 119 alternative pe același eșantion. Chiar și strategiile fără avantaj predictiv durabil pot produce un câștigător atrăgător când sunt încercate multe variante. Ca ilustrare deliberat stilizată, dacă 120 de teste independente ar avea fiecare o probabilitate de fals pozitiv de 5%, probabilitatea de a avea cel puțin unul ar fi 1 − 0,95^120, aproximativ 99,79%.

Variantele efective ale strategiei sunt probabil corelate, astfel că acel calcul bazat pe independență nu este o valoare p validă pentru cercetarea Lenei. Rolul său este să evidențieze problema testării multiple, nu să o cuantifice precis. Ea trebuie să înregistreze toate variantele încercate, inclusiv indicatorii abandonați, ferestrele temporale schimbate și excepțiile manuale. Un grafic final finisat nu poate dezvălui câte experimente eșuate au fost ascunse în spatele lui.

Rezervă un set de evaluare onest

Un proiect fictiv de cercetare mai bun separă dezvoltarea, validarea și un test final neatins. Lena poate folosi datele de dezvoltare pentru a formula ideea și datele de validare pentru a compara un set limitat și documentat de opțiuni. Odată ce examinează testul final și modifică strategia ca răspuns, acele date nu mai sunt neatinse. Numirea repetată a acelorași date „în afara eșantionului” nu le restabilește independența.

Într-un test nou de 60 de tranzacții, presupune 28 de câștiguri brute cu media de 170 USD și 32 de pierderi brute cu media de 150 USD. Rezultatul brut este 4.760 USD − 4.800 USD = minus 40 USD. La 33 USD pe deschidere și închidere, costurile adaugă 1.980 USD, iar rezultatul net este minus 2.020 USD. Acest mic eșantion inventat nu dovedește că strategia nu poate funcționa niciodată, dar nu susține încrederea inițială. Răspunsul adecvat este investigarea sau respingerea, nu modificarea automată a parametrilor până când setul rezervat devine profitabil.

Revizuirea prezintă separat eșantioanele înainte de total. Cele 200 de tranzacții de dezvoltare corectate dau −1.200 de dolari, iar cele 60 noi −2.020. Totalul este −3.220 în 260 de tranzacții, circa −12,38 pe tranzacție. Aritmetica este corectă, dar combinarea nu transformă datele folosite la selecție în dovadă independentă. Testul ulterior evaluează decizii fixate înainte de observarea rezultatelor sale.

Verifică momentul disponibilității informațiilor și evoluția pierderilor

Evaluarea întreabă și dacă semnalele au folosit date efectiv disponibile înaintea fiecărei tranzacții modelate. Un indicator bazat pe prețul de închidere nu poate justifica în mod normal o execuție anterioară la aceeași închidere fără un mecanism de execuție justificabil. Selecția universului nu trebuie să elimine tacit titlurile falimentate sau delistate. Operațiunile corporative, alinierea marcajelor temporale și cotațiile învechite pot modifica substanțial rezultatele simulate. Fiecare verificare abordează o posibilă sursă de eroare, nu oferă o garanție a profitabilității viitoare.

În final, Lena înregistrează scăderile capitalului, pierderile consecutive, rulajul și utilizarea capitalului alături de profitul agregat. O strategie care se recuperează în cele din urmă poate totuși depăși pe parcurs o limită de finanțare. NFA avertizează că rezultatele ipotetice beneficiază de perspectiva retrospectivă și nu pot reproduce complet experiența riscului financiar real. Testarea simulată poate dezvălui probleme ale fluxului de lucru, dar nu stabilește lichiditatea reală, scalabilitatea sau capacitatea de a urma o strategie în timp ce pierzi bani reali.

Stabilește ce dovezi ar schimba cu adevărat concluzia

Pasul Lenei depinde de sursa problemei. O eroare temporală care introduce datele de mâine cere repararea implementării și retragerea ori înlocuirea explicită a rezultatelor afectate. Dacă programul este corect, dar costurile plauzibile consumă avantajul, titlul nou al graficului nu ajută. Dacă un singur câștig explică majoritatea profitului, trebuie analizată justificarea economică și acoperirea acelei dependențe în eșantion.

Pachetul reproductibil include cele 120 de configurații, datele sintetice exacte, criteriul de selecție, convențiile costurilor și specificația înghețată. Alt evaluator trebuie să reproducă atât versiunea inițială atrăgătoare, cât și corecția nefavorabilă. Păstrarea eșecului arată ce ipoteză a schimbat concluzia. Reproductibilitatea verifică calculul, nu succesul viitor.

Pentru aceleași 200 de tranzacții, costul crescut de la 33 la 45 de dolari adaugă 2.400 și mută rezultatul de la −1.200 la −3.600. Dacă lichiditatea mai slabă împiedică unele execuții, se schimbă însă lista tranzacțiilor. Este necesară o nouă simulare, nu încă o deducere din lista veche.

Regula inspirată de testul rezervat nereușit poate fi cercetată, dar rezultatul pe aceleași date este acum dovadă de dezvoltare. O perioadă ulterioară testează revizuirea numai după fixarea specificației și criteriilor. Concluzia onestă poate fi că ideea actuală nu are susținere; revizuirea nu trebuie să producă obligatoriu o strategie tranzacționabilă.

Unde greșește raționamentul