İleri yürüyen doğrulama: yarını eğitim verisinin dışında tutun

Son formülü değil, süreci test edin

İleri yürüyen test, tarihsel bir tarihte mevcut bilgiyi kullanarak modeli tekrar tekrar kurar, çıkan kararları sabitler ve daha sonraki aralıkta değerlendirir. Sonra dizi ilerler. Bu, gelecek bilgisi olmadan çalışmak zorunda olan araştırma sürecini taklit eder. Stratejiyi kârlı kılmaz veya tüm yanlılığı kaldırmaz.

Her adımda nelerin değişebileceğini yazın. Sinyal parametreleri, varlık seçimi, volatilite tahminleri ve maliyet varsayımları prosedürün parçalarıdır. Araştırmacı bir test dönemini gördükten sonra bunları elle ayarlarsa prosedür değişmiştir ve o dönem artık temiz bir değerlendirme değildir. Yeniden üretilebilir bir takvim, takdire dayalı revizyonlarla oluşturulan bir grafikten daha bilgilendiricidir.

Kayan veya genişleyen geçmişi bilinçli seçin

Genişleyen pencere, zaman ilerledikçe önceki tüm gözlemleri tutar. Tahminleri istikrarlı kılabilir ancak geçerliliğini yitirmiş piyasa koşullarının verilerini de tutabilir. Kayan pencere, sabit uzunlukta yakın dönem kullanır; uyumu kolaylaştırırken örnekleme gürültüsünü artırır. Hiçbir yaklaşım her durumda üstün değildir; ilgili denge, hangi ekonomik ilişkinin sürmesinin beklendiğine bağlıdır.

Sonuçları karşılaştırmadan önce pencere uzunluklarını savunulabilir bir gerekçeyle seçin. Onlarca uzunluğu deneyip en iyisini seçmek, optimizasyonu yalnızca bir üst düzeye taşır. Her test aralığında gözlem sayısını, farklı piyasa dönemlerini ve gerçek işlemleri kaydedin. Çok az bağımsız karar içeren uzun bir takvim aralığı, süresinin düşündürdüğünden daha az kanıt sağlayabilir.

Sızıntı, veri hazırlığında gizlenir

Kronolojik bölme gereklidir ama yeterli değildir. Bir özelliği tüm örneklemin ortalamasıyla standartlaştırmak, gelecekteki gözlemlerin geçmiş girdileri etkilemesine izin verir. Hayatta kalan menkul kıymetleri seçmek, revize edilmiş makroekonomik rakamları kullanmak veya bir bildirimi yayımlanma zamanından önce dahil etmek, başka geriye dönük bilgi biçimleri üretir. Dönüşümleri eğitim verisine uydurun ve mümkün olduğunca bilginin o tarihteki erişilebilirliğini koruyun.

Etiketler de önemlidir. Bir eğitim örneği sonraki beş günün getirisini tahmin ediyorsa sonucu test döneminin başlangıcıyla örtüşebilir. Etiket pencereleri sınırı aşan gözlemleri çıkarın veya ayırın. Yazılım, eğitim ve test indeksleri arasına boşluk ekleyebilir; ancak anlamlı bir boşluk seçmek, ilgili veri kümesindeki etiket ufuklarını, yayın gecikmelerini ve bağımlılığı anlamayı gerektirir.

Özelliğin tarihi, tahmin hedefinin gerçekten bilindiği tarih değildir. Pazartesi sinyali o günkü bilgileri kullanabilir; ancak sonraki beş günlük getirisi salı henüz tamamlanmamıştır. Salı yeniden eğitiminde bu tam etiket biliniyormuş gibi kullanılamaz. Veri kabul kuralı, yalnızca satırın başlangıcını değil, bütün etiket dönemini ve erişilebilirlik zamanını denetlemelidir.

Ayarları eğitim içinde yapın, dokunulmamış değerlendirmeyi koruyun

Parametre seçimi yalnızca eğitim bölgesindeki bilgilerle, gerekirse iç kronolojik doğrulama prosedürüyle yapılmalıdır. Dış test aralığı daha sonra seçilen prosedürü değerlendirir. Bu iç içe yapı model seçimini, seçimin performansını ölçmekten ayırır. Hesabı da pahalılaştırır; bu, ucuz ama kirlenmiş sonuç almaya tercih edilir.

Ardışık test getirilerini, pozisyonsuz dönemler dahil gerçek zaman sırasıyla birleştirin. Ücretleri ve gerçekleşme varsayımlarını tutarlı uygulayın. Ekonomik anlamlarını incelemeden cazip katlama düzeyi oranlarının ortalamasını almayın: aksi halde kısa sakin aralık, uzun oynak aralıkla aynı görünür önemi alabilir. Birleşik sonucun yanında aralıklar arası dağılımı gösterin.

Zayıf sonuç kullanılabilir kanıttır

Maliyetlerden sonra kötüleşen, tek aralığa bağlı olan veya küçük zamanlama düzeltmesiyle dramatik biçimde değişen ileri yürüyen test performansı, kozmetik onarım değil araştırma gerektirir. Veri veya uygulama kusurunu, yalnızca destek bulamayan stratejiden ayırın. Gerçek hatayı düzeltmek yeni çalıştırmayı haklı çıkarabilir; ancak sonuçların daha önce görülmüş olması araştırma geçmişinin parçası kalmalıdır.

Daha fazla değerlendirme gerekiyorsa sabitlenmiş bir tanım ve gerçekten yeni bir sanal gözlem dönemiyle bitirin. Hangi verilerin toplanacağını ve varsayımları neyin geçersiz kılacağını önceden tanımlayın. Amaç cazip çizgi görünene kadar optimizasyona devam etmek değil; disiplinli, uygulanabilir sürecin başarısız olma fırsatlarına rağmen ayakta kalıp kalmadığını belirlemektir.

Pozisyonları ve sermayeyi test sınırlarından kesintisiz geçirin

Modeli yeniden uydurmak pozisyonları kendiliğinden kapatmaz. Ocak–mart testi, eski kurala göre nisanda kapanacak pozisyonla bitiyorsa eski çıkışın sürmesi, belgeli yeni kurala geçilmesi veya maliyetle kapatılması önceden belirlenmelidir. Her bölümü sessizce nakde sıfırlamak zararları silebilir, sermayeyi yapay olarak yenileyebilir veya zor geçişleri atlayabilir.

Sermaye de aktarılmalıdır. Bir dönemde %10 kazanç, sonrakinde %10 kayıp 1,10 × 0,90 = 0,99, yani %1 zarar verir. Aritmetik ortalamanın sıfır olması hesabı yeniden üretmez. Tutarlı sermaye ve pozisyon kurallarıyla kronolojik seri tutun. Test dönemleri takvimde örtüşüyorsa aynı günün sonucunu iki kez saymayın; karar veren modeli veya paralel modeller arasındaki sermaye paylaşımını belirtin.

Özellik seçimi, standartlaştırma, eksik değer doldurma ve algoritma karşılaştırması her eğitim sınırının içinde yeniden yapılmalıdır. Tüm geçmişe bir kez uydurulan dönüşüm, son model doğru yeniden eğitilse bile geleceği sızdırabilir. TimeSeriesSplit zaman sıralı indeks bölmeleri sağlar; finansal etiketlerin olgunlaşmasını, yayın revizyonlarını veya açık pozisyonların geçişini bilmez.

Her bölüm için eğitim sonunu, erişilebilir gözlemleri, parametreleri, ilk uygulanabilir işlem anını, başlangıç pozisyonlarını, maliyetleri ve son pozisyonları kaydedin. Atlanan gözlem ve emirleri gerekçelendirin. Hata düzeltilince bütün süreci tutarlı yeniden çalıştırın, eski sonuçları saklayın. Önceden görülmüş verinin düzeltilmiş sürümü yeni ve dokunulmamış deney sayılmaz.