Многократно тестване: когато най-добрият исторически тест е щастлива случайност

Една отчетена стратегия може да крие хиляда опита

Изследовател може да публикува един привлекателен исторически тест, след като е изпробвал много сигнали, стойности на параметри, активи и дати на извадката. Крайната графика не показва цялото търсене. Дори ако никой кандидат няма реално предимство, най-добре изглеждащият може да е впечатляващ, защото някои случайни последователности са благоприятни.

Следователно съществената единица за анализ не е само избраното правило, а процедурата, която го е избрала. Праг, променен след преглед на резултатите, е част от търсенето дори без формална програма за оптимизация. Експериментирането по памет, изхвърлените таблици и неформалният визуален преглед могат да допринасят за пристрастие при подбора. Честният изследователски запис прави тези избори видими.

Разберете простата вероятностна илюстрация

Ако двадесет независими теста имат всеки 5% вероятност за фалшиво положителен резултат, шансът за поне един такъв резултат е 1 − 0.95²⁰, приблизително 64.2%. Допускането за независимост е важно: вариантите на търговска стратегия често са корелирани, така че тази аритметика е илюстрация, а не точна корекция за действителна изследователска програма.

Изводът не е, че всеки положителен резултат е неверен. А че праг за единичен тест не може да се тълкува по същия начин след широко търсене. Свързаните избори на параметри не създават напълно независими доказателства, но корелацията им не премахва отклонението от подбора. Оценката на ефективната широчина на търсенето сама по себе си е несигурна и не бива да се прикрива като точен брой.

Стойността p не е вероятност хипотезата да е вярна или следващата сделка да спечели. Тя описва несъвместимостта на статистиката със зададения нулев модел при допусканията на теста. Малка стойност може да възникне и от грешен модел на шума, зависимост или избирателно отчитане. Значимостта не доказва икономическа полезност.

Защитете хипотезата от правилото за оценяване

Започнете с икономическа обосновка, която посочва защо дадена връзка може да се запази и защо може да спре да работи. Когато е възможно, определете почистването на данните, разходите и критериите за оценка, преди да видите резултата. Това не премахва отклонението, но ограничава свободата да се напасва история около случайно благоприятен модел.

Водете дневник на опитите с отхвърлените варианти и причината за всяка промяна. Разграничавайте отстраняване на грешки от промяна на хипотеза. Коригирането на времеви печат е различно от местене на стоп, защото подобрява кривата на капитала. И двете промени трябва да се записват, тъй като виждането на резултатите може да влияе на по-късни решения дори когато първоначалната промяна е била основателна.

Непокътнатата извадка има ограничен живот

Заделеният период за проверка е ценен само докато разработването не го използва. Щом изследователят многократно се допитва до него, за да избира между модели, той става още един ресурс за обучение. Назоваването му „извън извадката“ не обръща потока на информация. Тогава може да е нужен по-нов период или друга действително независима оценка.

Процедури с придвижващ се прозорец, вложен подбор и изследвания на преоптимизацията при исторически тестове могат да помогнат да се разгледа процесът на подбор, но никоя не превръща слабите данни в сигурност. Оценявайте стабилността в разумни съседни стойности на параметрите и икономически различни периоди. Стабилността е насърчителна, когато е оценена честно; търсенето на най-добре изглеждащата статистика за стабилност добавя още един слой тестване.

Оценявайте качеството на доказателствата, а не най-високата графика

Сравнете резултатите с проста база за сравнение, реалистични разходи и оценки на несигурността. Сложен модел, който едва подобрява шумен показател, може да не оправдава допълнителните си степени на свобода. Проучете каква част от привидното предимство идва от една сделка, един актив или един избор на начална дата.

Полезният отчет включва историята на търсене, окончателната спецификация, неуспехите и нерешените допускания. Отрицателните резултати намаляват пространството на правдоподобни идеи и могат да спестят бъдещи усилия. Целта не е запазване на любима стратегия, а откриване дали наличните доказателства подкрепят твърдение, достатъчно силно да издържи възпроизвеждане. Когато не го подкрепят, дисциплинираното заключение е несигурност, не по-сложна маркетингова графика.

Пребройте всички избори, които могат да сменят победителя

Пет дължини на историята, четири входни прага и три изходни правила вече дават 60 комбинации. Смяната на началната дата, премахването на неудобен актив и изборът на нов критерий разширяват търсенето. Дневникът трябва да включва и ръчните решения, не само автоматичните конфигурации.

За предварително определена група от 20 валидни теста корекцията на Бонферони задава ниво 0,05 / 20 = 0,0025 за всеки. Вероятността за поне едно погрешно отхвърляне е най-много 5 %. Независимост не е необходима, но границата може да е консервативна. Тя не поправя невалидни тестове или скрити опити.

Контролът на вероятността за каквото и да е фалшиво откритие се различава от контрола на очаквания дял фалшиви открития сред всички открития. Изберете метода според въпроса, не според най-приятния резултат. Многократната проверка дали значимостта вече е достигната също трябва да бъде отчетена.

Симулацията на изследването трябва да повтори самия подбор. Оценяването само на вече избрания победител пропуска предимството от търсене сред много кандидати. Всяко повторение трябва да възпроизвежда вариантите, критерия и последващата проверка. Доверителна лента около една красива крива не е заместител.