Pengujian berbilang: apabila ujian sejarah terbaik hanyalah kebetulan bertuah

Satu strategi dilaporkan boleh menyembunyikan seribu percubaan

Seorang penyelidik mungkin menerbitkan satu ujian sejarah yang menarik selepas mencuba banyak isyarat, nilai parameter, aset dan tarikh sampel. Carta akhir tidak menunjukkan keseluruhan pencarian itu. Walaupun setiap calon tiada kelebihan sebenar, calon yang kelihatan terbaik boleh tampak mengagumkan kerana sesetengah urutan rawak memberikan hasil yang baik.

Oleh itu, unit analisis yang relevan bukan sekadar peraturan yang dipilih tetapi prosedur yang memilihnya. Ambang yang diubah selepas meneliti hasil dikira sebagai sebahagian daripada pencarian walaupun tiada program pengoptimuman formal dijalankan. Eksperimen berdasarkan ingatan, hamparan yang dibuang dan pemeriksaan visual tidak formal semuanya boleh menyumbang kepada bias pemilihan. Rekod penyelidikan yang jujur menjadikan pilihan ini jelas.

Fahami ilustrasi kebarangkalian ringkas

Jika dua puluh ujian bebas masing-masing mempunyai kebarangkalian positif palsu 5%, peluang sekurang-kurangnya satu positif palsu ialah 1 − 0.95²⁰, kira-kira 64.2%. Andaian kebebasan itu penting: varian dagangan sering berkorelasi, jadi aritmetik ini ialah ilustrasi dan bukan pembetulan tepat bagi program penyelidikan sebenar.

Pengajarannya bukan bahawa setiap penemuan positif itu palsu. Sebaliknya, ambang bagi satu ujian tidak boleh ditafsirkan dengan cara yang sama selepas pencarian luas. Pilihan parameter yang berkaitan tidak menghasilkan bukti yang bebas sepenuhnya, namun korelasinya tidak menghapuskan bias pemilihan. Menganggarkan keluasan pencarian berkesan itu sendiri tidak pasti dan tidak patut disamarkan sebagai kiraan tepat.

Nilai p bukan kebarangkalian hipotesis itu benar atau dagangan seterusnya untung. Ia mengukur ketidakserasian statistik tertentu dengan model hipotesis nol di bawah andaian ujian. Nilai kecil juga boleh berpunca daripada model hingar yang salah, kebergantungan diabaikan atau pelaporan terpilih. Kesignifikanan sahaja tidak menunjukkan bahawa kesannya mampu menampung spread, pembiayaan dan pelaksanaan.

Lindungi hipotesis daripada peraturan pemarkahan

Mulakan dengan rasional ekonomi yang menetapkan mengapa sesuatu hubungan mungkin berterusan dan mengapa ia mungkin berhenti berfungsi. Tetapkan pembersihan data, kos dan kriteria penilaian sebelum melihat hasil jika boleh. Ini tidak menghapuskan bias, tetapi mengehadkan kebebasan untuk mereka cerita yang sesuai dengan corak yang kebetulan menguntungkan.

Simpan log percubaan yang mengandungi varian yang ditolak dan sebab bagi setiap perubahan. Bezakan penyahpepijatan daripada perubahan hipotesis. Membetulkan ralat cap masa berbeza daripada mengalihkan aras henti kerana ia memperbaik keluk ekuiti. Kedua-dua perubahan perlu direkodkan, kerana melihat hasil boleh mempengaruhi keputusan kemudian walaupun perubahan awal itu wajar.

Sampel yang belum disentuh mempunyai hayat terhad

Tempoh data simpanan hanya bernilai selagi ia tidak disentuh semasa pembangunan. Apabila penyelidik merujuknya berulang kali untuk memilih antara model, ia menjadi satu lagi sumber latihan. Melabelkannya sebagai luar sampel tidak membalikkan aliran maklumat itu. Tempoh lebih baharu atau penilaian lain yang benar-benar bebas mungkin diperlukan selepas itu.

Prosedur ujian ke hadapan bergulir, pemilihan bersarang dan penyelidikan tentang pemadanan berlebihan ujian sejarah boleh membantu meneliti proses pemilihan, tetapi tiada satu pun menukarkan data lemah menjadi kepastian. Nilai kestabilan merentas julat parameter berhampiran yang munasabah dan tempoh yang berbeza dari segi ekonomi. Kestabilan menggalakkan jika dinilai secara jujur; mencari statistik kestabilan yang kelihatan terbaik memperkenalkan satu lagi lapisan pengujian.

Hargai kualiti bukti, bukan carta tertinggi

Bandingkan hasil dengan penanda aras mudah, kos realistik dan anggaran ketidakpastian. Model rumit yang hanya sedikit memperbaik metrik yang bising mungkin tidak mewajarkan darjah kebebasan tambahannya. Teliti berapa banyak kelebihan yang kelihatan itu datang daripada satu dagangan, satu aset atau satu pilihan tarikh mula.

Laporan yang berguna merangkumi sejarah pencarian, spesifikasi akhir, kegagalan dan andaian yang belum diselesaikan. Penemuan negatif mengecilkan ruang idea yang munasabah dan boleh menjimatkan usaha pada masa hadapan. Tujuannya bukan untuk mempertahankan strategi kegemaran tetapi untuk mengetahui sama ada bukti yang tersedia menyokong sebarang dakwaan yang cukup kukuh untuk bertahan apabila diulang. Jika tidak, kesimpulan berdisiplin ialah ketidakpastian, bukan carta pemasaran yang lebih rumit.

Kira semua pilihan yang boleh mengubah calon pemenang

Lima panjang pemerhatian, empat ambang masuk dan tiga peraturan keluar sudah menghasilkan 60 gabungan. Memilih tarikh mula selepas melihat hasil, menggugurkan aset yang buruk atau menukar ukuran penilaian meluaskan carian. Log percubaan mesti merangkumi keputusan manual, bukan hanya tetapan yang dijalankan oleh pengoptimum.

Bagi keluarga 20 ujian sah yang ditetapkan awal, pembetulan Bonferroni menggunakan tahap 0.05 / 20 = 0.0025 bagi setiap ujian. Kebarangkalian sekurang-kurangnya satu penolakan salah dihadkan kepada paling tinggi 5%. Had ini tidak memerlukan ujian bebas, walaupun boleh konservatif apabila ujian bertindih. Ia tidak membaiki data berat sebelah, ujian tidak sah atau percubaan tambahan yang disembunyikan.

Mengawal kebarangkalian sebarang positif palsu berbeza daripada mengawal jangkaan bahagian penemuan palsu dalam semua penemuan. Kedua-duanya tidak menjamin kebolehlaksanaan ekonomi. Pilih kaedah berdasarkan soalan, bukan mencuba beberapa pembetulan lalu memilih yang membenarkan hasil terbaik. Pemeriksaan berulang sehingga signifikan perlu diambil kira dalam tatacara ujian berjujukan.

Simulasi pemilihan mesti mengulang pemilihan itu sendiri. Menilai hanya pemenang yang telah dipilih pada data baharu mengabaikan kelebihan mencari antara banyak calon. Setiap ulangan harus menjalankan carian calon, peraturan pemilihan dan penilaian susulan yang dinyatakan, dengan model data yang munasabah. Jalur keyakinan di sekeliling satu lengkung modal yang menarik tidak menggantikan penilaian proses ini.