Hesap tablosundaki en iyi geçmiş testi

Başlangıç durumu

Varsayımsal eğitim vakası. Fiyat serisi, strateji, işlem sonuçları ve istatistikler uydurulmuştur. Tarihsel kayıt, performans iddiası veya işlem yapılabilir sinyal değildir. Lena, sentetik bir hisse sepetinde hareketli ortalama fikrini test eder. 120 parametre bileşimini denedikten sonra en cazip sonucu seçer ve 200 simüle işlemi sağlam bir avantajın kanıtı olarak sunar. Araştırma incelemesi; neyin seçildiğini, neyin atlandığını ve neyin gerçekten görülmemiş kaldığını sorar.

Etkileyici başlığı yeniden oluşturun

Seçilen yapılandırmada ortalama $180 kazandıran 110 brüt kazançlı işlem ve ortalama $160 kaybettiren 90 brüt zararlı işlem vardır. Brüt kazanç $19,800, brüt kayıp $14,400 olup 200 işlemde $5,400 kalır. Brüt ortalama işlem başına $27, kazanma oranı ise %55'tir. Bu sayıların hiçbiri stratejinin gerçekçi maliyetlere dayanıp dayanmadığını veya seçim sürecinin şans yerine sinyal keşfedip keşfetmediğini söylemez.

Lena işlem başına yalnızca $2 tam döngü maliyeti varsaymış, sonucu $400 azaltarak $5,000'a indirmişti. Ancak kurgusal uygulama incelemesi, tamamlanan döngü başına $6 komisyon ve açık ücret, $12 alış-satış farkı maliyeti ve $15 ek fiyat kayması tahmin ediyor. Toplam işlem başına $33 veya örneklem boyunca $6,600'dır. Aynı brüt sonuçlarda güncellenmiş net sonuç $1,200 kayıp, işlem başına ortalama eksi $6 olur.

Maliyetleri iki kez saymadan tanımlayın

Bu maliyet bileşenleri yalnızca sentetik geriye dönük test sürtünmesiz referans fiyatlar kullandığı için anlamlıdır. Gerçekleşmeler zaten alış ve satış fiyatlarında simüle edilmişse farkın tamamını yeniden çıkarmak maliyetleri abartır. Benzer biçimde karar fiyatından ölçülen uygulama açığı, alış-satış farkını ve piyasa etkisini zaten içerebilir. Araştırma günlüğünde giriş kıyaslama fiyatının, çıkış kıyaslama fiyatının ve ek ücretlerin kesin tanımı bulunmalıdır.

Bir duyarlılık tablosu yalnızca strateji için en elverişli olanı değil, çeşitli toplam alış-satış döngüsü maliyetlerini test eder. $15 maliyette net sonuç $2,400; $27'de sıfır; $45'te eksi $3,600 olur. Bunlar tahmin değil, aritmetik senaryolardır. $27 başabaş maliyeti özellikle yararlıdır; seçilen brüt sonucun gerçekleşme belirsizliği, kaçırılan gerçekleşmeler ve operasyonel hatalar için ne kadar az alan bıraktığını gösterir.

Seçim sorunu nihai grafikten önce gelir

Lena bu yapılandırmayı örneklemi görmeden seçmedi. Aynı örneklemde 119 alternatiften daha iyi sonuç verdiği için seçti. Kalıcı tahmin avantajı olmayan stratejiler bile çok sayıda varyasyon denendiğinde cazip bir kazanan üretebilir. Bilerek basitleştirilmiş bir örnekte, 120 bağımsız testin her birinin yanlış pozitif olasılığı %5 olsaydı en az birinin olasılığı 1 − 0.95^120, yani yaklaşık %99.79 olurdu.

Gerçek strateji varyantları muhtemelen birbiriyle ilişkilidir; bu nedenle bağımsızlık hesabı Lena'nın araştırması için geçerli bir p-değeri değildir. Bunun rolü, çoklu test sorununu kesin olarak ölçmek değil, görünür kılmaktır. Lena; elenen göstergeler, değiştirilen tarih aralıkları ve manuel istisnalar dahil denenen tüm varyantları kaydetmelidir. Özenle hazırlanmış son grafik, arkasında kaç başarısız denemenin gizlendiğini gösteremez.

Dürüst bir değerlendirme kümesi ayırın

Daha iyi bir kurgusal araştırma tasarımı geliştirme, doğrulama ve son dokunulmamış testi ayırır. Lena fikri oluşturmak için geliştirme verisini, sınırlı ve belgelenmiş seçim kümesini karşılaştırmak için doğrulama verisini kullanabilir. Son testi inceleyip buna göre stratejiyi değiştirdiğinde o veri artık dokunulmamış değildir. Aynı veriye tekrar tekrar “örneklem dışı” demek bağımsızlığı geri getirmez.

Yeni bir 60 işlemlik testte, ortalama $170 tutarında 28 brüt kazanç ve ortalama $150 tutarında 32 brüt kayıp olduğunu varsayın. Brüt sonuç $4,760 − $4,800 = eksi $40 olur. Tamamlanan alış-satış döngüsü başına $33 ile maliyetler $1,980 ekler ve net sonuç eksi $2,020 olur. Bu küçük, kurgusal örneklem stratejinin hiçbir zaman işe yaramayacağını kanıtlamaz, ancak başlangıçtaki güveni desteklemez. Uygun yanıt, ayrılmış test kümesi yeşile dönene kadar otomatik parametre değişiklikleri yapmak değil, araştırmak veya reddetmektir.

Araştırma incelemesi toplamdan önce iki örneklemi ayrı göstermelidir. Düzeltilen 200 geliştirme işlemi −1.200 dolar, yeni 60 işlem −2.020 verir. Birlikte 260 işlemde −3.220, işlem başına yaklaşık −12,38'dir. Toplama doğrudur; ancak birleştirme, seçimde kullanılan geliştirme örneklemini bağımsız kanıta dönüştürmez. Sonraki test, bu gözlemler görülmeden sabitlenmiş kararları değerlendirir.

Bilginin zamanlamasını ve kayıpların yolunu kontrol edin

İnceleme, sinyallerin modellenen her işlemden önce gerçekten mevcut olan verileri kullanıp kullanmadığını da sorgular. Kapanış fiyatı göstergesi, savunulabilir bir gerçekleştirme mekanizması olmadan normalde aynı kapanıştan daha önce gerçekleşmiş bir işlemi gerekçelendiremez. Evren seçimi, iflas etmiş veya borsadan çıkarılmış menkul kıymetleri sessizce dışlamamalıdır. Şirket işlemleri, zaman damgalarının hizalanması ve güncelliğini yitirmiş kotasyonlar simülasyon sonuçlarını önemli ölçüde değiştirebilir. Her kontrol, gelecekte kârlılık garantisi sunmak yerine olası bir hata kaynağını ele alır.

Son olarak Lena, toplam kârın yanında düşüşleri, ardışık zararları, işlem hacmini ve sermaye kullanımını kaydeder. Sonunda toparlanan strateji, yol boyunca fonlama limitini yine de ihlal edebilir. NFA, varsayımsal sonuçların sonradan bilmenin avantajından yararlandığını ve gerçek finansal risk deneyimini tam olarak yeniden üretemediğini belirtir. Sanal test iş akışı sorunlarını gösterebilir; ancak canlı likiditeyi, ölçeklenebilirliği veya gerçek para kaybederken stratejiyi izleme becerisini kanıtlamaz.

Sonucu gerçekten değiştirebilecek kanıtı belirleyin

Lena'nın sonraki adımı sorunun köküne bağlıdır. Zaman damgası hatası yarının verisini bugünkü sinyale taşıdıysa uygulama düzeltilmeli, etkilenmiş sonuçlar geri çekilmeli veya açıkça değiştirilmelidir. Kod doğru ama makul maliyetler avantajı tüketiyorsa grafik başlığını değiştirmek işe yaramaz. Tek olağanüstü kazanç brüt sonucun çoğunu açıklıyorsa bağımlılığın ekonomik gerekçesi ve örneklem kapsamı incelenmelidir.

Yeniden üretim paketi 120 yapılandırmayı, tam yapay veri setini, seçim ölçütünü, ücret kurallarını ve dondurulmuş son şartnameyi içermelidir. Başka inceleyen hem çekici ilk sonucu hem kötü düzeltilmiş sonucu üretebilmelidir. Başarısız sürümü saklamak hangi varsayımın sonucu değiştirdiğini gösterir. Yeniden üretilebilirlik hesabı doğrular, gelecekteki başarıyı değil.

Aynı 200 işlemin maliyetini 33'ten 45 dolara çıkarmak toplamı 2.400 artırır ve net sonucu −1.200'den −3.600'e indirir. Kötü likidite bazı emirlerin gerçekleşmemesine de yol açıyorsa işlem listesi değişir. Bu durumda eski listeden ek ücret düşmek değil, yeni gerçekleşme simülasyonu gerekir.

Başarısız ayrılmış testten esinlenen kural araştırılabilir; fakat aynı örneklemdeki sonucu artık geliştirme kanıtıdır. Daha sonraki dönem, ancak şartname ve değerlendirme ölçütleri önceden sabitlendikten sonra yeni süreci sınayabilir. Dürüst sonuç mevcut fikrin desteklenmediği olabilir; inceleme mutlaka işlem yapılacak strateji üretmek zorunda değildir.

Akıl yürütme nerede yanlış gider?