Последователна валидација: држете го утрешниот ден надвор од обуката

Тестирајте процес, а не конечна формула

Студијата со подвижен прозорец повеќепати обучува модел користејќи информации достапни на одреден историски датум, ги замрзнува добиените одлуки и ги оценува во подоцнежен интервал. Потоа низата се поместува напред. Ова имитира истражувачки процес што мора да работи без знаење за иднината. Не ја прави стратегијата профитабилна ниту ги отстранува сите пристрасности.

Запишете што смее да се менува на секој чекор. Параметрите на сигналот, изборот на средства, процените на волатилноста и претпоставките за трошоци се делови од постапката. Ако истражувачот рачно ги приспособува откако видел тест-период, постапката е променета и тој период веќе не е чиста процена. Репродуктивен распоред дава повеќе информации од графикон составен од дискрециони ревизии.

Свесно изберете подвижна или проширувачка историја

Проширувачкиот прозорец ги задржува сите претходни набљудувања додека времето напредува. Може да ги стабилизира процените, но и да задржи податоци од застарени пазарни услови. Подвижниот прозорец користи фиксен понов период, олеснувајќи го приспособувањето, но зголемувајќи го шумот од примерокот. Ниту еден пристап не е универзално подобар; релевантниот компромис зависи од економскиот однос што се очекува да опстои.

Изберете должини на прозорците од образложлива причина пред да ги споредувате резултатите. Испробувањето десетици должини и изборот на најдобрата само ја поместува оптимизацијата на повисоко ниво. Запишете го бројот на набљудувања, одделните пазарни епизоди и вистинските трансакции во секој тест-интервал. Долг календарски период со многу малку независни одлуки може да даде помалку докази отколку што сугерира неговото траење.

Протекувањето информации се крие во подготовката на податоците

Хронолошката поделба е неопходна, но не е доволна. Стандардизирањето на карактеристика со просекот на целиот примерок им дозволува на идните набљудувања да влијаат врз минатите влезни податоци. Изборот на преживеани хартии, користењето ревидирани макроекономски податоци или вклучувањето извештај пред неговото објавување создаваат други форми на ретроспективно знаење. Одредувајте ги трансформациите врз податоците за обучување и, каде што е можно, зачувајте ја достапноста на информациите каква што била тогаш.

Важни се и целните ознаки. Ако примерок за обучување предвидува принос измерен во следните пет дена, неговиот исход може да се преклопи со почетокот на тест-периодот. Отстранете или одделете ги набљудувањата чии периоди на целните ознаки ја преминуваат границата. Софтверот може да вметне празнина меѓу индексите за обучување и тестирање, но изборот на смислена празнина бара разбирање на хоризонтите на ознаките, доцнењата при објавување и зависностите во конкретниот збир податоци.

Датумот на влезната променлива не е моментот кога целта станува позната. Понеделнички сигнал може да користи тогашни податоци, но следниот петдневен принос во вторник сè уште не е завршен. Вторничкото повторно обучување не смее да ја користи целата целна вредност. Провери го целиот интервал на целта.

Подесувајте во рамките на обучувањето, зачувајте недопрена евалуација

Изборот на параметри треба да се врши само со информации во областа за обучување, можеби преку внатрешна хронолошка постапка за валидација. Надворешниот тест-интервал потоа ја оценува избраната постапка. Ова вгнездување го разликува изборот на модел од мерењето на резултатот од изборот. Исто така ја поскапува пресметката, што е подобро од добивање евтин, но загаден резултат.

Соберете ги последователните тест-приноси во нивниот вистински временски редослед, вклучувајќи ги периодите без позиција. Применувајте ги надоместоците и претпоставките за извршување доследно. Не усреднувајте привлечни коефициенти по подпримероци без да го проверите нивното економско значење: во спротивно, мал мирен интервал може да добие иста привидна важност како долг нестабилен интервал. Прикажете ја расеаноста меѓу интервалите покрај заедничкиот резултат.

Слабиот резултат е употреблив доказ

Резултатите од валидацијата со подвижен прозорец што се влошуваат по трошоците, зависат од еден интервал или драматично се менуваат со мало временско поместување заслужуваат истрага, а не козметичка поправка. Одделете го недостатокот во податоците или спроведувањето од стратегија што едноставно нема поддршка. Поправањето вистинска грешка може да оправда ново извршување, но претходното гледање на резултатите мора да остане дел од историјата на истражувањето.

Завршете со замрзната спецификација и навистина нов период на симулирано набљудување ако е оправдано понатамошно оценување. Однапред дефинирајте кои податоци ќе се собираат и што би ги побило претпоставките. Целта не е да продолжувате со оптимизација додека не се појави привлечна линија; целта е да се утврди дали дисциплинирана, изводлива постапка ги преживува можностите за неуспех.

Пренесувај позиции и капитал преку тест-прозорците

Повторното обучување не ги затвора позициите автоматски. Ако тестот јануари–март завршува со позиција до април, однапред одреди продолжување на старото правило, документирана промена или затворање со трошоци. Тивкото ресетирање на пари може да избрише загуби и тешки премини.

И капиталот мора да продолжи. Добивка 10 % и загуба 10 % даваат 1,10 × 0,90 = 0,99, односно загуба 1 %. Нултиот аритметички просек не ја реконструира сметката. Кај преклопени тестови не брои ист ден двапати; определи избор на модел или поделба на капитал.

Изборот на променливи, стандардизацијата, пополнувањето празнини и споредувањето алгоритми повторувај ги во секој обучувачки прозорец. Трансформација приспособена на целата историја може да протече иднина. TimeSeriesSplit временски ги дели индексите, но не го знае крајот на финансиските цели или отворените позиции.

Зачувај ги границите на обучување, достапните набљудувања, параметрите, првата изводлива трансакција, почетните позиции, трошоците и крајната состојба. По поправка повтори го целиот процес доследно и задржи ги старите резултати. Веќе разгледани податоци не стануваат нов недопрен експеримент.