بهترین آزمون گذشته‌نگر در صفحه‌گسترده

موقعیت اولیه

مطالعه آموزشی فرضی. سری قیمت، راهبرد، نتایج معاملات و آمار ساختگی‌اند. این‌ها سابقه تاریخی، ادعای عملکرد یا سیگنال قابل معامله نیستند. لنا ایده میانگین متحرک را روی سبد مصنوعی سهام می‌آزماید. پس از آزمودن 120 ترکیب پارامتر، جذاب‌ترین نتیجه را انتخاب می‌کند و 200 معامله شبیه‌سازی‌شده آن را شاهد مزیتی استوار معرفی می‌کند. بازنگری پژوهش می‌پرسد چه انتخاب شده، چه حذف شده و چه چیزی واقعاً دیده‌نشده مانده است.

عنوان چشمگیر را بازسازی کنید

تنظیم منتخب 110 معامله برنده ناخالص با میانگین $180 و 90 معامله بازنده ناخالص با میانگین $160 دارد. سود ناخالص $19,800 و زیان ناخالص $14,400 است و در 200 معامله، $5,400 باقی می‌ماند. میانگین ناخالص $27 در هر معامله و نرخ برد 55% است. هیچ‌یک نمی‌گوید راهبرد هزینه واقع‌بینانه را تاب می‌آورد یا فرایند انتخاب، سیگنال یافته است نه شانس.

لنا برای هر معامله فقط $2 هزینه رفت‌وبرگشت فرض کرده بود که نتیجه را $400 کاهش می‌داد و به $5,000 می‌رساند. اما بررسی اجرای خیالی، $6 کمیسیون و هزینه صریح، $12 هزینه فاصله قیمت و $15 لغزش اضافی برای هر رفت‌وبرگشت کامل برآورد می‌کند. مجموع $33 در هر معامله یا $6,600 در کل نمونه است. با همان نتایج ناخالص، نتیجه خالص بازنگری‌شده زیان $1,200، به‌طور میانگین منفی $6 در هر معامله است.

هزینه‌ها را بدون دوباره شمردن تعریف کنید

این اجزای هزینه فقط به این دلیل معنا دارند که آزمون مصنوعی از قیمت مرجع بدون اصطکاک استفاده کرده است. اگر اجراها از قبل در قیمت خرید و فروش شبیه‌سازی شده بودند، کسر مجدد کل فاصله قیمت هزینه را بیش‌برآورد می‌کرد. همچنین کسری اجرا نسبت به قیمت تصمیم ممکن است فاصله قیمت و اثر بازار را در بر داشته باشد. دفتر پژوهش به تعریف دقیق معیار ورود، معیار خروج و هزینه اضافی نیاز دارد.

جدول حساسیت باید چند هزینه کل رفت‌وبرگشت را بیازماید، نه فقط مساعدترین هزینه برای راهبرد. در $15، نتیجه خالص $2,400 است؛ در $27 صفر؛ در $45 منفی $3,600. این‌ها سناریوی حسابی‌اند، نه پیش‌بینی. هزینه سربه‌سر $27 به‌ویژه مفید است، زیرا نشان می‌دهد نتیجه ناخالص منتخب چقدر فضای کمی برای عدم قطعیت اجرا، اجراهای ازدست‌رفته و اشتباه عملیاتی دارد.

مسئله انتخاب پیش از نمودار نهایی مطرح است

لنا این تنظیم را پیش از دیدن نمونه انتخاب نکرد. آن را انتخاب کرد چون در همان نمونه از 119 گزینه دیگر بهتر بود. حتی راهبردهای بدون مزیت پیش‌بینی پایدار هم وقتی گونه‌های زیادی آزموده شوند می‌توانند برنده جذابی تولید کنند. در مثالی عمداً ساده‌شده، اگر هر یک از 120 آزمون مستقل احتمال 5% مثبت کاذب داشته باشد، احتمال حداقل یک مثبت کاذب برابر 1 − 0.95^120، حدود 99.79% خواهد بود.

گونه‌های واقعی راهبرد احتمالاً همبسته‌اند؛ پس محاسبه استقلال، مقدار p معتبری برای پژوهش لنا نیست. نقش آن آشکار کردن مسئله آزمون‌های متعدد است، نه اندازه‌گیری دقیق آن. او باید همه گونه‌های آزموده‌شده، از جمله شاخص‌های کنارگذاشته‌شده، پنجره‌های تاریخی تغییریافته و استثناهای دستی را ثبت کند. نمودار نهایی پرداخت‌شده نمی‌تواند نشان دهد چند آزمایش ناموفق پشت آن پنهان شده است.

مجموعه ارزیابی صادقانه کنار بگذارید

طرح پژوهشی خیالی بهتر، توسعه، اعتبارسنجی و آزمون نهایی دست‌نخورده را جدا می‌کند. لنا می‌تواند از داده توسعه برای شکل‌دهی ایده و از داده اعتبارسنجی برای مقایسه مجموعه محدود و مستند انتخاب‌ها استفاده کند. وقتی آزمون نهایی را می‌بیند و در واکنش راهبرد را تغییر می‌دهد، آن داده دیگر دست‌نخورده نیست. نامیدن مکرر همان داده به‌عنوان «برون‌نمونه» استقلال را بازنمی‌گرداند.

در آزمون تازه 60 معامله‌ای، 28 برد ناخالص با میانگین $170 و 32 باخت ناخالص با میانگین $150 فرض کنید. نتیجه ناخالص $4,760 − $4,800 = منفی $40 است. با $33 برای هر رفت‌وبرگشت، هزینه‌ها $1,980 اضافه می‌شوند و نتیجه خالص منفی $2,020 است. این نمونه کوچک ساختگی ثابت نمی‌کند راهبرد هرگز کار نمی‌کند، اما از اطمینان اولیه حمایت نمی‌کند. واکنش مناسب بررسی یا رد است، نه تغییر خودکار پارامترها تا نمونه کنارگذاشته‌شده سبز شود.

دو نمونه پرونده را ابتدا جدا نشان دهید: 200 معامله توسعه اصلاح‌شده، −1,200 دلار می‌دهد و شصت معامله تازه، −2,020. جمع −3,220 در 260 معامله، حدود −12.38 برای هر معامله است. جمع درست، داده انتخاب مدل را به شواهد مستقل تبدیل نمی‌کند.

زمان‌بندی اطلاعات و مسیر زیان‌ها را بررسی کنید

بازنگری همچنین می‌پرسد آیا سیگنال‌ها از داده واقعاً در دسترس پیش از هر معامله مدل‌شده استفاده کرده‌اند. شاخص قیمت بسته‌شدن معمولاً نمی‌تواند اجرای زودتر در همان قیمت را بدون سازوکار اجرایی دفاع‌پذیر توجیه کند. انتخاب مجموعه نباید اوراق شکست‌خورده یا خارج‌شده از بورس را بی‌سروصدا حذف کند. اقدامات شرکتی، هم‌ترازی زمان و مظنه کهنه می‌توانند نتیجه شبیه‌سازی را به‌طور معنادار تغییر دهند. هر بررسی منبع احتمالی خطا را هدف می‌گیرد، نه تضمین سودآوری آینده را.

در پایان، لنا در کنار سود کل، افت سرمایه، زیان‌های پیاپی، گردش معاملات و مصرف سرمایه را ثبت می‌کند. راهبردی که سرانجام بازیابی می‌شود ممکن است در مسیر محدودیت تأمین مالی را نقض کند. NFA هشدار می‌دهد نتایج فرضی از پس‌نگری بهره می‌برند و تجربه ریسک مالی واقعی را کاملاً بازتولید نمی‌کنند. آزمون آزمایشی می‌تواند مشکلات روال کار را آشکار کند، اما نقدشوندگی واقعی، مقیاس‌پذیری یا توان پیروی از راهبرد هنگام زیان پول واقعی را اثبات نمی‌کند.

مشخص کنید چه شواهدی واقعاً نتیجه‌گیری را عوض می‌کند

اقدام بعدی به علت وابسته است. خطای زمان که داده آینده را وارد کرده، نیازمند اصلاح و پس‌گرفتن یا جایگزینی روشن نتیجه متأثر است. اگر هزینه معتبر مزیت را از بین برده، عنوان تازه نمودار مشکل را حل نمی‌کند.

بسته بازتولید باید هر 120 پیکربندی، داده مصنوعی دقیق، معیار انتخاب، قرارداد هزینه و مشخصات نهایی ثابت را داشته باشد. بازبین دیگر باید نتیجه جذاب اولیه و نتیجه اصلاح‌شده را بازسازی کند. تکرارپذیری محاسبه را تأیید می‌کند، نه موفقیت آینده را.

افزایش هزینه هر معامله از 33 به 45 دلار برای همان 200 معامله، 2,400 هزینه اضافه و تغییر خالص از −1,200 به −3,600 می‌دهد. اگر نقدشوندگی کمتر بعضی اجراها را حذف کند، فهرست معامله تغییر می‌کند و شبیه‌سازی تازه لازم است.

قاعده‌ای که از شکست آزمون کنارگذاشته‌شده الهام گرفته، اکنون بخشی از توسعه است. ارزیابی روی همان داده تأیید مستقل نیست. نتیجه صادقانه می‌تواند نبود شواهد کافی برای ایده فعلی باشد؛ مرور پژوهش مجبور نیست راهبرد قابل‌معامله تولید کند.

استدلال کجا به خطا می‌رود