Валидация с придвижващ се прозорец: не допускайте утрешните данни в обучението

Тествайте процес, а не крайна формула

Последователен тест с придвижващ се прозорец многократно настройва модел с информацията, налична на историческа дата, фиксира получените решения и ги оценява през по-късен интервал. После последователността се придвижва напред. Това имитира изследователски процес, който трябва да работи без знание за бъдещето. Не прави стратегията печеливша и не премахва всички изкривявания.

Запишете какво е разрешено да се променя на всяка стъпка. Параметрите на сигнала, подборът на активи, оценките за волатилност и допусканията за разходи са части от процедурата. Ако изследователят ги коригира ръчно след преглед на тестов период, процедурата се е променила и този период вече не е чиста оценка. Възпроизводимият график е по-информативен от графика, съставена от субективни ревизии.

Изберете съзнателно плъзгаща се или разширяваща се история

Разширяващият се прозорец запазва всички по-ранни наблюдения с напредването на времето. Това може да стабилизира оценките, но и да запази данни от остарели пазарни условия. Плъзгащият се прозорец използва фиксиран скорошен период, като улеснява адаптацията, но увеличава шума от извадката. Нито един подход не е универсално по-добър; същественият компромис зависи от това коя икономическа връзка се очаква да се запази.

Избирайте дължината на прозорците с обоснована причина, преди да сравнявате резултатите. Изпробването на десетки дължини и избирането на най-добрата просто премества оптимизацията на по-високо ниво. Записвайте броя наблюдения, отделните пазарни епизоди и действителните сделки във всеки тестов интервал. Дълъг календарен период с много малко независими решения може да предоставя по-малко доказателства, отколкото подсказва продължителността му.

Изтичането на информация се крие в подготовката на данните

Хронологичното разделяне е необходимо, но недостатъчно. Стандартизирането на признак със средната стойност на цялата извадка позволява бъдещи наблюдения да влияят на минали входове. Изборът на оцелели ценни книжа, използването на ревизирани макроикономически данни или включването на отчет преди часа на публикуването му създават други форми на знание със задна дата. Оценявайте преобразуванията върху обучаващите данни и запазвайте наличността към съответния момент, когато е възможно.

Етикетите също имат значение. Ако обучаващ пример предсказва доходност, измерена през следващите пет дни, резултатът му може да се припокрива с началото на тестовия период. Премахнете или отделете наблюденията, чиито прозорци за етикетите пресичат границата. Софтуерът може да вмъкне промеждутък между обучаващите и тестовите индекси, но изборът на смислен промеждутък изисква разбиране на хоризонтите на етикетите, закъсненията при публикуване и зависимостите в конкретния набор данни.

Датата на входната променлива не е моментът, в който целевият резултат е известен. Сигнал от понеделник може да използва наличните тогава данни, но следващата му петдневна доходност още не е завършила във вторник. Преобучаването във вторник не може да използва пълната цел.

Настройвайте в обучаващата извадка, запазете непокътната оценъчна извадка

Подборът на параметри трябва да използва само информация от обучаващия период, евентуално чрез вътрешна хронологична процедура за валидация. След това външният тестов интервал оценява избраната процедура. Това вложено устройство разграничава избора на модел от измерването как се представя изборът. То оскъпява и изчисленията, което е за предпочитане пред евтин, но замърсен резултат.

Обединете доходностите от последователните тестове в действителния им времеви ред, включително периодите без позиция. Прилагайте таксите и допусканията за изпълнение последователно. Не осреднявайте привлекателни коефициенти от отделните прозорци, без да разгледате икономическия им смисъл: иначе кратък спокоен интервал може привидно да получи същата тежест като дълъг волатилен. Покажете разсейването между интервалите наред с общия резултат.

Слабият резултат е използваемо доказателство

Резултати от последователно тестване напред, които се влошават след разходите, зависят от един интервал или се променят драстично при малка времева корекция, заслужават проучване, а не козметичен ремонт. Разграничете дефект в данните или реализацията от стратегия, която просто няма подкрепа. Поправянето на истинска грешка може да оправдае нов тест, но предишното запознаване с резултатите трябва да остане част от изследователската история.

Завършете с фиксирана спецификация и действително нов период на наблюдение без реални сделки, ако е оправдана допълнителна оценка. Определете предварително какви данни ще се събират и какво би опровергало допусканията. Целта не е да продължавате оптимизацията, докато се появи привлекателна линия, а да установите дали дисциплинирана, приложима процедура издържа на възможностите за провал.

Пренасяйте капитала и позициите между прозорците

Преобучаването не закрива позициите автоматично. Ако тестът януари–март завършва с позиция до април, предварително определете продължаване на старото правило, документирана промяна или закриване с разходи. Тихото връщане към пари може да изтрие загуби и трудни преходи.

Капиталът също продължава. Печалба 10 % и загуба 10 % дават 1,10 × 0,90 = 0,99, тоест загуба 1 %. Нулевата средна аритметична стойност не възстановява сметката. При припокриващи се тестове не отчитайте един ден два пъти; определете избора на модел или разпределението на капитала.

Подборът на променливи, стандартизацията, попълването на липси и сравнението на алгоритми се повтарят вътре във всеки обучаващ прозорец. Преобразуване, нагласено към цялата история, може да пропуска бъдеще. TimeSeriesSplit разделя индексите по време, но не знае края на финансовите цели или отворените позиции.

Запазвайте границите на обучението, достъпните данни, параметрите, първата изпълнима сделка, началните позиции, разходите и крайното състояние. След поправка повторете целия процес последователно и съхранете старите резултати. Вече разгледаните данни не стават нов независим експеримент.