آزمون‌های متعدد: وقتی بهترین آزمون گذشته‌نگر اتفاقی خوش‌شانس است
فرایند جست‌وجو را دنبال کنید و فرضیه واقعی را از برنده یک رقابت تاریخی بزرگ جدا کنید.
یک راهبرد گزارش‌شده می‌تواند هزار آزمون را پنهان کند
پژوهشگر ممکن است پس از امتحان کردن سیگنال‌ها، مقادیر پارامتر، دارایی‌ها و تاریخ‌های نمونه متعدد، یک آزمون گذشته‌نگر جذاب منتشر کند. نمودار نهایی تمام جست‌وجو را نشان نمی‌دهد. حتی اگر هیچ‌کدام از گزینه‌ها مزیت واقعی نداشته باشند، بهترین گزینه ممکن است چشمگیر به نظر برسد، زیرا برخی دنباله‌های تصادفی مساعد از آب درمی‌آیند.
بنابراین واحد مرتبط تحلیل، فقط قاعده منتخب نیست، بلکه فرایندی است که آن را انتخاب کرده است. آستانه‌ای که پس از بررسی نتایج تغییر کرده، بخشی از جست‌وجو محسوب می‌شود، حتی اگر هیچ برنامه رسمی بهینه‌سازی اجرا نشده باشد. آزمایش‌های متکی بر حافظه، صفحه‌گسترده‌های کنارگذاشته‌شده و بررسی بصری غیررسمی همگی می‌توانند در سوگیری انتخاب نقش داشته باشند. سابقه پژوهشی صادقانه این انتخاب‌ها را آشکار می‌کند.
مثال ساده احتمال را درک کنید
اگر بیست آزمون مستقل هرکدام احتمال مثبت کاذب 5% داشته باشند، احتمال وقوع دست‌کم یک مثبت کاذب برابر با 1 − 0.95²⁰، یعنی تقریباً 64.2% است. فرض استقلال مهم است: گونه‌های مختلف معاملاتی اغلب همبسته‌اند، پس این حساب صرفاً یک مثال توضیحی است، نه اصلاحی دقیق برای یک برنامه پژوهشی واقعی.
درس این نیست که هر یافته مثبت کاذب است؛ بلکه آستانه مربوط به یک آزمون را پس از جست‌وجویی گسترده نمی‌توان به همان شکل تفسیر کرد. انتخاب‌های مرتبط پارامتر، شواهد کاملاً مستقل ایجاد نمی‌کنند، اما همبستگی آن‌ها نیز سوگیری انتخاب را از بین نمی‌برد. برآورد گستره مؤثر جست‌وجو خود نامطمئن است و نباید آن را به صورت شمارشی دقیق جلوه داد.
مقدار p، احتمال درست‌بودن فرضیه یا سود معامله بعدی نیست. این مقدار ناسازگاری آماره را با مدل صفر و تحت فرض‌های آزمون می‌سنجد. وابستگی نادیده‌گرفته‌شده یا گزارش انتخابی می‌تواند دلالت آماری گمراه‌کننده بسازد؛ دلالت آماری هم به‌تنهایی هزینه اجرا را پوشش نمی‌دهد.
فرضیه را از قاعده امتیازدهی محافظت کنید
با منطقی اقتصادی آغاز کنید که مشخص کند چرا یک رابطه ممکن است پایدار بماند و چرا ممکن است از کار بیفتد. تا حد امکان، پاک‌سازی داده، هزینه‌ها و معیارهای ارزیابی را پیش از مشاهده نتیجه تعریف کنید. این کار سوگیری را حذف نمی‌کند، اما آزادی ساختن داستانی پسینی حول یک الگوی خوش‌اقبال را محدود می‌کند.
دفتر ثبت آزمون‌ها را نگه دارید که شامل گونه‌های ردشده و دلیل هر تغییر باشد. رفع اشکال را از تغییر فرضیه جدا کنید. اصلاح خطای برچسب زمانی با جابه‌جا کردن حد زیان به دلیل بهتر شدن منحنی سرمایه متفاوت است. هر دو تغییر باید ثبت شوند، زیرا دیدن نتایج می‌تواند بر تصمیم‌های بعدی اثر بگذارد، حتی اگر تغییر اولیه موجه بوده باشد.
نمونه دست‌نخورده عمر محدودی دارد
دوره کنارگذاشته‌شده برای ارزیابی فقط تا زمانی ارزشمند است که توسعه مدل به آن دست نزده باشد. وقتی پژوهشگر برای انتخاب میان مدل‌ها بارها به آن رجوع کند، به منبع آموزشی دیگری تبدیل می‌شود. نامیدن آن به‌عنوان داده خارج از نمونه، جریان اطلاعات را معکوس نمی‌کند. در این صورت شاید دوره‌ای جدیدتر یا ارزیابی واقعاً مستقل دیگری لازم باشد.
روش‌های پیش‌رونده، انتخاب تودرتو و پژوهش درباره بیش‌برازش آزمون گذشته‌نگر می‌توانند به بررسی فرایند انتخاب کمک کنند، اما هیچ‌کدام داده ضعیف را به قطعیت تبدیل نمی‌کنند. پایداری را در همسایگی‌های معقول پارامتر و دوره‌های متمایز اقتصادی بسنجید. پایداری وقتی صادقانه ارزیابی شده باشد دلگرم‌کننده است؛ جست‌وجوی آماره پایداری‌ای که از همه بهتر به نظر برسد، لایه دیگری از آزمون می‌افزاید.
به کیفیت شواهد بها دهید، نه بلندترین نمودار
نتایج را با یک معیار ساده، هزینه‌های واقع‌بینانه و برآوردهای عدم‌قطعیت مقایسه کنید. مدلی پیچیده که معیاری پرنویز را فقط اندکی بهبود می‌دهد، شاید درجات آزادی اضافی خود را توجیه نکند. بررسی کنید چه مقدار از مزیت ظاهری از یک معامله، یک دارایی یا یک انتخاب تاریخ شروع ناشی می‌شود.
گزارش مفید شامل تاریخچه جست‌وجو، مشخصات نهایی، شکست‌ها و فرض‌های حل‌نشده است. یافته‌های منفی دامنه ایده‌های محتمل را کاهش می‌دهند و می‌توانند تلاش آینده را صرفه‌جویی کنند. هدف حفظ یک استراتژی محبوب نیست، بلکه کشف این است که آیا شواهد موجود از ادعایی به‌اندازه کافی قوی برای دوام آوردن در تکرار مستقل پشتیبانی می‌کنند یا نه. وقتی چنین نیست، نتیجه منضبط، عدم‌قطعیت است، نه نمودار بازاریابی پرزرق‌وبرق‌تر.
تمام انتخاب‌هایی را بشمارید که می‌توانستند برنده را عوض کنند
پنج طول سابقه، چهار آستانه ورود و سه قاعده خروج، 60 ترکیب می‌سازند. انتخاب تاریخ شروع، حذف دارایی نامطلوب یا تغییر معیار امتیازدهی پس از دیدن نتیجه، جست‌وجو را گسترده‌تر می‌کند. دفتر آزمایش‌ها باید تصمیم‌های دستی را نیز ثبت کند.
برای خانواده‌ای از 20 آزمون معتبر که از پیش مشخص شده‌اند، تصحیح بونفرونی آستانه هر آزمون را 0.05 / 20 = 0.0025 می‌گذارد. احتمال حداقل یک رد اشتباه حداکثر 5٪ می‌شود. استقلال لازم نیست، اما روش برای آزمون‌های هم‌پوشان ممکن است محافظه‌کارانه باشد.
این تصحیح داده منحرف، آزمون نامعتبر یا تلاش‌های پنهان را اصلاح نمی‌کند. کنترل احتمال هر کشف کاذب با کنترل نسبت مورد انتظار کشف‌های کاذب متفاوت است. روش را با پرسش هماهنگ کنید، نه با انتخاب خوشایندترین نتیجه از میان چند تصحیح.
در شبیه‌سازی، خود فرایند انتخاب را تکرار کنید: جست‌وجوی نامزدها، انتخاب و سپس ارزیابی. بازنمونه‌گیری تنها از برنده ازپیش‌انتخاب‌شده، امتیاز ناشی از جست‌وجوی گسترده را نادیده می‌گیرد. بررسی مکرر دلالت نیز باید در طراحی آزمون لحاظ شود.