Çoxsaylı sınaqlar: ən yaxşı tarixi sınaq uğurlu təsadüf olanda

Bir bildirilmiş strategiya min sınağı gizlədə bilər

Tədqiqatçı çoxlu siqnal, parametr dəyəri, aktiv və seçmə tarixini sınadıqdan sonra cəlbedici bir tarixi sınaq dərc edə bilər. Son qrafik bütün axtarışı göstərmir. Namizədlərin heç birinin real üstünlüyü olmasa belə, bəzi təsadüfi ardıcıllıqlar əlverişli olduğundan ən yaxşı görünən namizəd təsirli görünə bilər.

Buna görə müvafiq təhlil vahidi təkcə seçilmiş qayda deyil, onu seçən prosedurdur. Nəticələrə baxıldıqdan sonra dəyişdirilmiş hədd, rəsmi optimallaşdırma proqramı işlədilməsə belə, axtarışın bir hissəsi sayılır. Yaddaşa əsaslanan təcrübələr, atılmış cədvəllər və qeyri-rəsmi vizual baxış seçmə qərəzinə töhfə verə bilər. Dürüst tədqiqat qeydi bu seçimləri görünən edir.

Sadə ehtimal nümunəsini anlayın

İyirmi müstəqil testin hər birində yanlış müsbət nəticə ehtimalı 5% olarsa, ən azı bir yanlış müsbət nəticənin ehtimalı 1 − 0.95²⁰, yəni təxminən 64.2% təşkil edir. Müstəqillik fərziyyəsi vacibdir: ticarət variantları çox vaxt korrelyasiyalı olur, buna görə bu hesablama real tədqiqat proqramı üçün dəqiq düzəliş deyil, izahlı nümunədir.

Dərs hər müsbət tapıntının yanlış olması deyil. Məsələ ondadır ki, geniş axtarışdan sonra tək test həddi eyni cür şərh edilə bilməz. Əlaqəli parametr seçimləri tam müstəqil sübut yaratmır, lakin onların korrelyasiyası seçim qərəzini aradan qaldırmır. Axtarışın effektiv genişliyini qiymətləndirmək özü də qeyri-müəyyəndir və dəqiq say kimi təqdim edilməməlidir.

P qiyməti fərziyyənin doğru və ya növbəti əməliyyatın mənfəətli olması ehtimalı deyil. O, testin fərziyyələri altında statistikanın sıfır modeli ilə uyğunsuzluğunu göstərir. Kiçik qiymət yanlış səs-küy modeli, asılılıq və ya seçmə hesabatdan da yarana bilər. Statistik əhəmiyyət xərclərin ödənməsini sübut etmir.

Fərziyyəni qiymətləndirmə qaydasından qoruyun

Əlaqənin niyə davam edə və niyə işləməyə bilər olduğunu müəyyən edən iqtisadi əsaslandırmadan başlayın. Mümkün olduqda nəticəyə baxmazdan əvvəl məlumat təmizləməsini, xərcləri və qiymətləndirmə meyarlarını müəyyən edin. Bu, qərəzi yox etmir, lakin uğurlu nümunəyə sonradan hekayə uyğunlaşdırmaq azadlığını daraldır.

Rədd edilmiş variantları və hər dəyişikliyin səbəbini ehtiva edən sınaq jurnalı saxlayın. Xətaların düzəldilməsini fərziyyənin dəyişdirilməsindən ayırın. Vaxt damğası səhvini düzəltmək, kapital əyrisini yaxşılaşdırdığı üçün stop səviyyəsini dəyişməkdən fərqlidir. Hər iki dəyişiklik qeyd olunmalıdır, çünki ilkin dəyişiklik əsaslı olsa belə, nəticələri görmək sonrakı qərarlara təsir edə bilər.

Toxunulmamış seçmənin ömrü məhduddur

Ayrılmış yoxlama dövrü yalnız inkişaf prosesində toxunulmamış qaldıqca dəyərlidir. Araşdırmaçı modellər arasında seçim üçün ona təkrar baxdıqda başqa təlim resursuna çevrilir. Onu seçmədənkənar adlandırmaq məlumat axınını geri çevirmir. Bundan sonra daha yeni dövr və ya həqiqətən müstəqil başqa qiymətləndirmə lazım ola bilər.

İrəli sürüşən yoxlama prosedurları, iç-içə seçim və tarixi testə həddən artıq uyğunlaşma araşdırmaları seçim prosesini yoxlamağa kömək edə bilər, lakin heç biri zəif məlumatı əminliyə çevirmir. Məntiqli yaxın parametr dəyərlərində və iqtisadi cəhətdən fərqli dövrlərdə sabitliyi qiymətləndirin. Dürüst qiymətləndirilən sabitlik ümidvericidir; ən yaxşı görünən sabitlik statistikasını axtarmaq isə daha bir sınaq qatı əlavə edir.

Ən hündür qrafiki deyil, sübut keyfiyyətini mükafatlandırın

Nəticələri sadə müqayisə göstəricisi, real xərclər və qeyri-müəyyənlik təxminləri ilə müqayisə edin. Səs-küylü göstəricini güclə yaxşılaşdıran mürəkkəb model əlavə sərbəstlik dərəcələrinə dəyməyə bilər. Görünən üstünlüyün nə qədərinin bir əməliyyatdan, bir aktivdən və ya bir başlanğıc tarixi seçimindən gəldiyini araşdırın.

Faydalı hesabat axtarış tarixçəsini, son spesifikasiyanı, uğursuzluqları və həll olunmamış fərziyyələri əhatə edir. Mənfi tapıntılar mümkün ideyalar dairəsini daraldır və gələcək zəhmətə qənaət edə bilər. Məqsəd sevimli strategiyanı qorumaq deyil, mövcud sübutun təkrarlama yoxlamasından keçəcək qədər güclü hər hansı iddianı dəstəkləyib-dəstəkləmədiyini tapmaqdır. Dəstəkləmədikdə intizamlı nəticə daha mürəkkəb reklam qrafiki deyil, qeyri-müəyyənlikdir.

Qalibi dəyişə bilən bütün seçimləri sayın

Beş tarix uzunluğu, dörd giriş həddi və üç çıxış qaydası artıq 60 kombinasiya yaradır. Başlanğıc tarixini dəyişmək, əlverişsiz aktivi çıxarmaq və yeni meyar seçmək axtarışı genişləndirir. Tədqiqat gündəliyi yalnız avtomatik variantları deyil, əl ilə verilən qərarları da əhatə etməlidir.

Əvvəlcədən müəyyən edilmiş iyirmi düzgün test ailəsi üçün Bonferroni düzəlişi hər testin səviyyəsini 0,05 / 20 = 0,0025 edir. Ən azı bir yanlış rədd ehtimalı 5 %-dən çox olmur. Müstəqillik tələb edilmir, amma hədd konservativ ola bilər. Düzəliş yanlış testləri və gizli əlavə cəhdləri düzəltmir.

Hər hansı yanlış kəşfin ehtimalına nəzarət bütün kəşflər içində yanlışların gözlənilən payına nəzarətdən fərqlidir. Metodu suala görə seçin, ən xoş nəticəyə görə deyil. Əhəmiyyətin artıq əldə edilib-edilmədiyini təkrar yoxlamaq da ardıcıl prosedurda nəzərə alınmalıdır.

Tədqiqat simulyasiyası seçimin özünü də təkrarlamalıdır. Yalnız əvvəl seçilmiş qalibin qiymətləndirilməsi çoxsaylı namizədlərin yoxlanmasının üstünlüyünü kənarda qoyur. Hər təkrar elan edilmiş axtarışı, seçim qaydasını və sonrakı qiymətləndirməni əhatə etməlidir. Gözəl kapital əyrisinin etibar zolağı bunu əvəz etmir.