Најдобриот ретроспективен тест во табелата

Почетни услови

Хипотетички образовен случај. Ценовната серија, стратегијата, исходите од зделките и статистиката се измислени. Тие не се историски запис, тврдење за резултати или сигнал со кој може да се тргува. Лена тестира идеја со подвижен просек врз синтетичка кошница акции. По испробување 120 комбинации на параметри, го избира најпривлечниот резултат и ги претставува неговите 200 симулирани зделки како доказ за стабилна предност. Истражувачкиот преглед прашува што било избрано, што било изоставено и што останува навистина невидено.

Реконструирајте го впечатливиот насловен резултат

Избраната конфигурација има 110 бруто-добитни зделки со просек од $180 и 90 бруто-загубни зделки со просек од $160. Бруто-добивките се $19,800, а бруто-загубите $14,400, оставајќи $5,400 низ 200 зделки. Бруто-просекот е $27 по зделка, а стапката на добитни зделки е 55%. Ниту еден број не ни кажува дали стратегијата ги преживува реалистичните трошоци или дали процесот на селекција открил сигнал наместо среќа.

Лена претпоставила само $2 трошок за целосно отворање и затворање по зделка, намалувајќи го резултатот за $400 на $5,000. Но измислениот преглед на извршувањето проценува $6 провизии и експлицитни давачки, $12 трошок од распонот и $15 дополнително лизгање по завршена зделка. Вкупно тоа е $33 по зделка, или $6,600 во примерокот. При истите бруто-исходи, ревидираниот нето-резултат е загуба од $1,200, со просек од негативни $6 по зделка.

Дефинирајте ги трошоците без да ги броите двапати

Овие компоненти на трошоците имаат смисла само затоа што синтетичкиот ретроспективен тест користел референтни цени без трошоци на извршување. Ако извршувањата веќе биле симулирани по куповни и продажни цени, повторното одземање на целиот распон би ги преценило трошоците. Исто така, недостигот при спроведување мерен од цената при одлучување можеби веќе содржи распон и пазарно влијание. Истражувачкиот дневник треба прецизно да ги дефинира влезниот репер, излезниот репер и дополнителните давачки.

Табела на чувствителност би тестирала неколку вкупни трошоци за отворање и затворање, не само најповолниот за стратегијата. При $15, нето-резултатот е $2,400; при $27 е нула; при $45 е негативни $3,600. Ова се аритметички сценарија, а не прогнози. Трошокот на изедначување од $27 е особено корисен затоа што открива колку малку простор избраниот бруто-резултат остава за неизвесност при извршување, пропуштени извршувања и оперативни грешки.

Проблемот на селекција доаѓа пред конечниот графикон

Лена не ја избрала оваа конфигурација пред да го види примерокот. Ја избрала затоа што ги надминала 119 алтернативи врз истиот примерок. Дури и стратегии без трајна предвидувачка предност може да создадат привлечен победник кога се пробуваат многу варијации. Како намерно стилизирана илустрација, ако 120 независни тестови имаат по 5% шанса за лажно позитивен резултат, шансата за барем еден би била 1 − 0.95^120, околу 99.79%.

Вистинските варијанти на стратегијата веројатно се корелирани, па таа пресметка за независност не е валидна p-вредност за истражувањето на Лена. Нејзината улога е да го открие проблемот на повеќекратно тестирање, а не прецизно да го измери. Таа мора да ги запише сите испробани варијанти, вклучувајќи отфрлени индикатори, променети датумски прозорци и рачни исклучоци. Дотеран конечен графикон не може да открие колку неуспешни експерименти биле сокриени зад него.

Зачувајте чесен збир за оценување

Подобар измислен истражувачки дизајн ги раздвојува развојот, валидацијата и конечниот недопрен тест. Лена може да користи развојни податоци за формирање на идејата и податоци за валидација за споредување ограничен, документиран збир избори. Штом го прегледа конечниот тест и ја промени стратегијата поради него, тие податоци повеќе не се недопрени. Постојаното нарекување на истите податоци „надвор од примерокот“ не ја враќа независноста.

Во нов тест со 60 зделки, претпоставете 28 бруто-добитни зделки со просек од $170 и 32 бруто-загубни зделки со просек од $150. Бруто-резултатот е $4,760 − $4,800 = негативни $40. При $33 по отворање и затворање, трошоците додаваат $1,980, а нето-резултатот е негативни $2,020. Овој мал измислен примерок не докажува дека стратегијата никогаш не може да работи, но не ја поддржува првичната увереност. Соодветниот одговор е истражување или отфрлање, а не автоматски промени на параметрите додека резервираниот тест не стане зелен.

Прикажи ги примероците одделно. Поправените двесте развојни трансакции даваат −1.200 долари, а новите шеесет −2.020. Вкупно е −3.220 во 260 трансакции, околу −12,38 по трансакција. Точниот збир не ги претвора податоците користени за избор во независни докази.

Проверете ги времето на информациите и патеката на загубите

Прегледот исто така прашува дали сигналите користеле податоци што навистина биле достапни пред секоја моделирана зделка. Индикатор заснован на цената при затворање обично не може да оправда претходно извршување по истата цена без одбранлив механизам на извршување. Изборот на опфатот не треба тивко да ги отфрла пропаднатите или повлечените хартии од вредност. Корпоративните дејства, усогласувањето временски ознаки и застарените котации може значително да ги променат симулираните исходи. Секоја проверка адресира можен извор на грешка, а не нуди гаранција за идна профитабилност.

На крај, Лена ги бележи падовите, последователните загуби, обртот и употребата на капитал заедно со вкупната добивка. Стратегија што на крајот закрепнува сепак може попатно да пробие ограничување на финансирањето. NFA предупредува дека хипотетичките резултати имаат корист од накнадно знаење и не можат целосно да го репродуцираат искуството на вистински финансиски ризик. Симулираното тестирање може да открие проблеми во работниот процес, но не докажува реална ликвидност, скалабилност или способност да се следи стратегија при губење вистински пари.

Одреди докази што навистина би го смениле заклучокот

Следниот чекор на Лена зависи од причината. Временска грешка што внесува утрешни податоци бара поправка и повлекување или јасна замена на резултатите. Ако кодот е точен, но веродостојни трошоци ја јадат предноста, нов наслов не помага. Зависност од еден голем успех бара економско објаснување.

Пакетот за повторување треба да ги содржи сите 120 конфигурации, точните синтетички податоци, критериумот, трошковните правила и замрзнатата крајна спецификација. Друг истражувач треба да го обнови и привлечниот првичен и послабиот поправен резултат. Повторливоста ја проверува пресметката, не идниот успех.

За истите двесте трансакции, раст на трошокот од 33 на 45 долари додава 2.400 и го менува нето резултатот од −1.200 на −3.600. Ако полошата ликвидност спречи некои извршувања, се менува списокот трансакции. Тогаш треба нова симулација, не уште едно одземање.

Правило инспирирано од неуспешен издвоен тест може да се истражува, но истите податоци сега се развојни. Подоцнежен период ја проверува измената само по претходно утврдени правила и критериуми. Искрен заклучок може да биде недостиг на поддршка; анализата не мора да произведе готова стратегија.

Каде греши расудувањето