Най-добрият исторически тест в таблицата

Постановката

Хипотетичен учебен казус. Ценовият ред, стратегията, резултатите от сделките и статистиката са измислени. Те не са исторически запис, твърдение за постигнати резултати или сигнал за търговия. Лена тества идея с пълзяща средна върху синтетична кошница от акции. След като изпробва 120 комбинации от параметри, тя избира най-привлекателния резултат и представя неговите 200 симулирани сделки като доказателство за устойчиво предимство. Изследователският преглед пита какво е избрано, какво е пропуснато и какво действително остава невиждано.

Възстановете впечатляващия водещ резултат

Избраната конфигурация има 110 брутно печеливши сделки със средно $180 и 90 брутно губещи със средно $160. Брутните печалби са $19,800, а брутните загуби — $14,400, оставяйки $5,400 в 200 сделки. Брутната средна стойност е $27 на сделка, а делът печеливши сделки е 55%. Нито едно число не показва дали стратегията издържа на реалистични разходи или дали процесът на подбор е открил сигнал, а не късмет.

Лена допуска само $2 разход за пълен цикъл на сделка, намалявайки резултата с $400 до $5,000. Но измисленият преглед на изпълнението оценява $6 комисиони и изрични такси, $12 разход от спреда и $15 допълнително приплъзване за всеки завършен цикъл. Общото е $33 на сделка, или $6,600 за извадката. При същите брутни резултати коригираният нетен резултат е загуба от $1,200, средно минус $6 на сделка.

Определете разходите, без да ги броите два пъти

Тези разходни компоненти имат смисъл само защото синтетичният исторически тест използва референтни цени без пазарни разходи. Ако изпълненията вече са били симулирани по цени „купува“ и „продава“, отделното повторно приспадане на целия спред би надценило разходите. По същия начин недостигът при изпълнение, измерен спрямо цената при вземане на решение, може вече да съдържа спред и пазарно въздействие. Изследователският дневник се нуждае от точно определение на входния бенчмарк, изходния бенчмарк и допълнителните начисления.

Таблица на чувствителността би проверила няколко нива на общите разходи за пълен цикъл, а не само най-благоприятното за стратегията. При $15 нетният резултат е $2,400; при $27 е нула; при $45 е минус $3,600. Това са аритметични сценарии, а не прогнози. Разходът на равновесие от $27 е особено полезен, защото показва колко малко място оставя избраният брутен резултат за несигурност в изпълнението, пропуснати изпълнения и оперативни грешки.

Проблемът с подбора предхожда крайната графика

Лена не е избрала тази конфигурация, преди да види извадката. Избрала я е, защото е надминала 119 алтернативи върху същата извадка. Дори стратегии без устойчиво прогнозно предимство могат да дадат привлекателен победител при изпробване на много варианти. Като умишлено стилизирана илюстрация, ако 120 независими теста имаха всеки 5% шанс за фалшиво положителен резултат, шансът за поне един би бил 1 − 0.95^120, около 99.79%.

Действителните варианти на стратегията вероятно са корелирани, така че това изчисление при независимост не е валидна p-стойност за изследването на Лена. Целта му е да разкрие проблема с многократното тестване, а не да го измери точно. Тя трябва да записва всички изпробвани варианти, включително отхвърлени индикатори, променени периоди и ръчни изключения. Една добре оформена крайна графика не показва колко неуспешни експеримента са скрити зад нея.

Отделете честен набор за оценка

По-добър измислен изследователски дизайн разделя разработването, валидирането и окончателния недокоснат тест. Лена може да използва данните за разработване, за да формира идеята, и данните за валидиране, за да сравни ограничен, документиран набор от избори. Щом разгледа окончателния тест и промени стратегията в отговор, тези данни вече не са недокоснати. Повтарянето, че едни и същи данни са „извън извадката“, не възстановява независимостта им.

В нов тест с 60 сделки приемете 28 брутни печалби средно по $170 и 32 брутни загуби средно по $150. Брутният резултат е $4,760 − $4,800 = минус $40. При $33 за пълен цикъл на сделка разходите добавят $1,980 и нетният резултат е минус $2,020. Тази малка измислена извадка не доказва, че стратегията никога не може да работи, но не подкрепя първоначалната увереност. Подходящият отговор е проучване или отхвърляне, а не автоматични промени на параметрите, докато контролната извадка стане положителна.

Показвайте двете извадки отделно. Коригираните 200 развойни сделки дават −1 200 долара, а новите шестдесет — −2 020. Общо това е −3 220 в 260 сделки, около −12,38 на сделка. Правилният сбор не превръща използваните при подбора данни в независими доказателства.

Проверете момента на информацията и траекторията на загубите

Прегледът също пита дали сигналите са използвали данни, действително налични преди всяка моделирана сделка. Индикатор по цена на затваряне обикновено не може да оправдае по-ранно изпълнение на същото затваряне без защитим механизъм за изпълнение. Подборът на съвкупността не трябва незабелязано да изключва фалирали или отписани от борсата ценни книжа. Корпоративни действия, съгласуване на времеви отметки и остарели котировки могат съществено да променят симулираните резултати. Всяка проверка разглежда възможен източник на грешка, а не предлага гаранция за бъдеща рентабилност.

Накрая Лена записва спадовете, последователните загуби, оборота и използването на капитала наред с общата печалба. Стратегия, която в крайна сметка се възстановява, все пак може по пътя да наруши лимит на финансиране. NFA предупреждава, че хипотетичните резултати се възползват от погледа назад и не могат напълно да възпроизведат преживяването на реалния финансов риск. Симулираното тестване може да разкрие проблеми в работния процес, но не установява реална ликвидност, мащабируемост или способност да следвате стратегия, докато губите истински пари.

Определете доказателствата, които биха променили извода

Следващата стъпка на Лена зависи от причината. Времева грешка, използваща утрешни данни, изисква поправка и оттегляне или ясно заместване на резултатите. Ако кодът е правилен, но реалистичните разходи поглъщат предимството, ново заглавие не помага. Зависимост от един голям успех изисква икономическо обяснение.

Пакетът за възпроизвеждане трябва да съдържа всичките 120 конфигурации, точните синтетични данни, критерия, разходните правила и замразената крайна спецификация. Друг изследовател трябва да получи и първоначалния привлекателен, и коригирания слаб резултат. Възпроизводимостта проверява сметката, не бъдещия успех.

За същите 200 сделки повишение на разхода от 33 на 45 долара добавя 2 400 и променя нетния резултат от −1 200 на −3 600. Ако по-лошата ликвидност премахва някои изпълнения, променя се списъкът на сделките. Тогава е нужна нова симулация, не още едно приспадане.

Правило, вдъхновено от неуспешния отложен тест, може да се изследва, но същите данни вече са развойни. По-късен период проверява преработката само след предварително фиксирани правила и критерии. Честният извод може да е липса на подкрепа; анализът не е длъжен да произведе готова стратегия.

Къде разсъждението се отклонява