Çoklu test: en iyi geçmiş testinin şans eseri çıkması
Arama sürecini izleyin ve gerçek bir hipotezi, geçmiş veriler üzerindeki büyük bir yarışmanın galibinden ayırın.
Raporlanan tek strateji bin denemeyi gizleyebilir
Araştırmacı birçok sinyal, parametre değeri, varlık ve örneklem tarihi denedikten sonra tek cazip geriye dönük test yayımlayabilir. Son grafik aramanın tamamını göstermez. Her adayın gerçek avantajı olmasa bile bazı rastgele diziler olumlu olduğu için en iyi görünen aday etkileyici olabilir.
Bu nedenle ilgili analiz birimi yalnızca seçilen kural değil, onu seçen süreçtir. Sonuçlar incelendikten sonra değiştirilen bir eşik, resmî bir optimizasyon programı çalıştırılmasa bile aramanın parçası sayılır. Hafızaya dayalı denemeler, elenmiş hesap tabloları ve gayriresmî görsel incelemeler seçim yanlılığına katkıda bulunabilir. Dürüst bir araştırma kaydı bu tercihleri görünür kılar.
Basit olasılık örneğini anlayın
Yirmi bağımsız testin her birinde yanlış pozitif olasılığı %5 ise en az bir yanlış pozitif olasılığı 1 − 0.95²⁰, yani yaklaşık %64.2'dir. Bağımsızlık varsayımı önemlidir: işlem varyantları çoğunlukla korelasyonludur; dolayısıyla bu aritmetik, gerçek araştırma programına kesin düzeltme değil örnektir.
Buradan çıkarılacak ders, her olumlu bulgunun yanlış olduğu değildir. Geniş bir aramadan sonra tek test eşiğinin aynı şekilde yorumlanamayacağıdır. İlişkili parametre seçimleri tamamen bağımsız kanıt oluşturmaz; ancak aralarındaki korelasyon seçim yanlılığını ortadan kaldırmaz. Etkin arama kapsamının tahmini de belirsizdir ve kesin bir sayı gibi gösterilmemelidir.
p değeri, hipotezin doğru olma veya sonraki işlemin kazanma olasılığı değildir. Belirli bir test istatistiğinin, test varsayımları altında sıfır modeliyle ne kadar uyuşmadığını ölçer. Küçük değer; hatalı gürültü modelinden, ihmal edilen bağımlılıktan veya seçici raporlamadan da kaynaklanabilir. İstatistiksel anlamlılık tek başına etkinin spread, finansman ve gerçekleşme maliyetlerini karşılayacağını göstermez.
Hipotezi puanlama kuralından koruyun
İlişkinin neden sürebileceğini ve neden işlemeyi bırakabileceğini belirten ekonomik gerekçeyle başlayın. Mümkün olduğunda sonucu görmeden veri temizliğini, maliyetleri ve değerlendirme kriterlerini tanımlayın. Bu yanlılığı kaldırmaz ancak şanslı bir örüntüye sonradan hikâye uydurma serbestliğini daraltır.
Reddedilen varyantları ve her değişikliğin gerekçesini içeren deneme kaydı tutun. Hata ayıklamayı hipotez değişikliğinden ayırın. Zaman damgası hatasını düzeltmek, özkaynak eğrisini iyileştirdiği için stop seviyesini değiştirmekten farklıdır. İki değişiklik de kaydedilmelidir; çünkü ilk değişiklik meşru olsa bile sonuçları görmek sonraki kararları etkileyebilir.
Dokunulmamış örneklemin ömrü sınırlıdır
Ayrılmış test dönemi yalnızca geliştirme sırasında dokunulmadığı sürece değerlidir. Araştırmacı modeller arasında seçim yapmak için ona tekrar tekrar başvurduğunda başka bir eğitim kaynağına dönüşür. Örneklem dışı demek bilgi akışını tersine çevirmez. Bu durumda daha yeni dönem veya gerçekten bağımsız başka bir değerlendirme gerekebilir.
İleri yürüyen test yöntemleri, iç içe seçim ve geçmişe dönük testlerde aşırı uyum araştırmaları seçim sürecini incelemeye yardımcı olabilir, ancak hiçbiri zayıf veriyi kesinliğe dönüştürmez. Makul komşu parametre değerlerinde ve ekonomik açıdan farklı dönemlerde istikrarı değerlendirin. Dürüstçe değerlendirildiğinde istikrar cesaret vericidir; en iyi görünen istikrar istatistiğini aramak başka bir test katmanı ekler.
En yüksek grafiği değil, kanıt kalitesini ödüllendirin
Sonuçları basit bir ölçüt, gerçekçi maliyetler ve belirsizlik tahminleriyle karşılaştırın. Gürültülü bir ölçüyü ancak az iyileştiren karmaşık model, ek serbestlik derecelerini haklı çıkarmayabilir. Görünürdeki avantajın ne kadarının tek işlemden, tek varlıktan veya başlangıç tarihi seçiminden geldiğini inceleyin.
Yararlı rapor arama geçmişini, nihai tanımı, başarısızlıkları ve çözülememiş varsayımları içerir. Olumsuz bulgular, makul fikirler alanını daraltır ve gelecekteki çabadan tasarruf sağlayabilir. Amaç gözde stratejiyi korumak değil, mevcut kanıtın tekrarlamaya dayanacak kadar güçlü herhangi bir iddiayı destekleyip desteklemediğini keşfetmektir. Desteklemediğinde disiplinli sonuç daha gösterişli bir pazarlama grafiği değil, belirsizliktir.
Kazananı değiştirebilecek bütün seçimleri sayın
Beş gözlem uzunluğu, dört giriş eşiği ve üç çıkış kuralı daha baştan 60 birleşimdir. Sonuçları gördükten sonra başlangıç tarihi seçmek, kötü görünen varlığı çıkarmak veya değerlendirme ölçütünü değiştirmek aramayı genişletir. Deneme kaydı, yalnızca otomatik çalıştırmaları değil, elle alınan bu kararları da içermelidir.
Önceden belirlenmiş 20 geçerli test için Bonferroni düzeltmesi tek test düzeyini 0,05 / 20 = 0,0025 yapar. Böylece en az bir yanlış ret olasılığı en fazla %5 ile sınırlandırılır. Testlerin bağımsız olması gerekmez; güçlü örtüşmede yöntem ihtiyatlı olabilir. Düzeltme, yanlı verileri, geçersiz tekil testleri veya gizlenen ek denemeleri onarmaz.
Herhangi bir yanlış pozitif olasılığını kontrol etmek, bulgular içindeki yanlış bulgu oranının beklenen değerini kontrol etmekten farklıdır. İkisi de ekonomik uygulanabilirliği garanti etmez. Yöntemi araştırma sorusuna göre seçin; birkaç düzeltme deneyip en iyi sonucu geçirenini raporlamayın. Anlamlılık oluşana kadar tekrar tekrar bakmak da ardışık test tasarımında hesaba katılmalıdır.
Seçim sürecini değerlendiren simülasyon seçimi yeniden yapmalıdır. Yeni örneklemlerde yalnızca daha önce seçilmiş kazananı hesaplamak, çok sayıda aday arasından seçmenin avantajını gözden kaçırır. Her tekrarda açıklanan aday araması, seçim kuralı ve sonraki değerlendirme savunulabilir bir veri modeli altında yürütülmelidir. Tek bir güzel sermaye eğrisinin çevresindeki güven bandı bunun yerini tutmaz.