آزمون گذشته‌نگر بدون خودفریبی
شبیه‌سازی تاریخی ابزار پژوهش است، نه ماشین زمان یا وعده نتایج واقعی.
پیش از بررسی پاسخ، قاعده را بنویسید
آزمون گذشته‌نگر قواعد تصمیم‌گیری مشخص را بر داده تاریخی اعمال می‌کند و محاسبه می‌کند توالی مدل‌شده معاملات چه نتیجه‌ای می‌داد. ارزش آن در مواجه کردن فرضیه با شواهد است. اگر قاعده با هر نمونه زیان‌ده تغییر کند، تمرین به روشی برای توصیف گذشته تبدیل می‌شود، نه آزمودن فرایند تصمیم‌گیری تکرارپذیر.
از مجموعه ابزارها، فاصله مشاهده، شرط ورود، شرط خروج، روش اندازه‌گذاری و مدل هزینه شروع کنید. مشخص کنید اطلاعات چه زمانی در دسترس می‌شوند و سفارش نخستین بار چه زمانی قابل اجراست. راهبرد مبتنی بر قیمت بسته‌شدن معمولاً نمی‌تواند بدون توجیه بیشتر فرض کند آن قیمت نهایی را از قبل می‌دانسته و دقیقاً در همان قیمت اجرا شده است.
مراقب نشت اطلاعات به گذشته باشید
سوگیری نگاه‌به‌آینده زمانی رخ می‌دهد که شبیه‌سازی از اطلاعاتی استفاده کند که هنگام تصمیم در دسترس نبوده‌اند. داده اقتصادی بازنگری‌شده، اعلام سود بعدی یا فهرست آینده اعضای شاخص از نمونه‌های آن‌اند. پایگاه تاریخی ممکن است امروز کاملاً دقیق باشد، اما برای بازسازی دانسته‌های واقعی فرد در تاریخی پیشین مناسب نباشد.
سوگیری بقا زمانی پدید می‌آید که مجموعه آزمون، ابزارهای ناپدیدشده را حذف کند. راهبرد آزموده‌شده فقط بر شرکت‌های موجود ممکن است ورشکستگی، خروج از بورس و تملک‌هایی را نادیده بگیرد که بر فرصت‌های تاریخی اثر گذاشته‌اند. همین مسئله برای توکن‌های شکست‌خورده یا صندوق‌های متوقف‌شده هم رخ می‌دهد. نحوه برخورد داده با ناپدیدشدن را مستند کنید، نه اینکه سوابق دشوار را بی‌سروصدا حذف کنید.
در تجزیه دو به یک سهام، 100 سهم با قیمت 40 دلار به 200 سهم با قیمت تقریبی 20 تبدیل می‌شود؛ خود رویداد ارزش دارایی را نصف نمی‌کند. ترکیب قیمت تعدیل‌شده با تعداد تعدیل‌نشده نتیجه ساختگی می‌سازد. افزودن دوباره سود نقدی به سری بازده کل نیز شمارش مضاعف است.
اجرا را مدل کنید، نه اینکه به نفع آن ارفاق کنید
برخورد شمع با قیمت محدود ثابت نمی‌کند کل سفارش شما اجرا می‌شد. جایگاه صف، مقدار موجود و مسیر درون شمع اهمیت دارند. اگر در یک میله هم توقف و هم هدف لمس شوند، میله به‌تنهایی ممکن است ترتیب وقوع را نشان ندهد. با این ابهام محافظه‌کارانه برخورد کنید یا از داده‌ای استفاده کنید که توالی را روشن کند.
فاصله قیمت، کمیسیون، تأمین مالی، هزینه قرض‌گیری در صورت ارتباط و لغزش واقع‌بینانه را لحاظ کنید. مالیات به حوزه قضایی و شرایط بستگی دارد؛ پس شبیه‌سازی عمومی باید پیش‌ازمالیات بودن نتایج را مشخص کند، نه نرخ جهانی اختراع کند. نتایج را با چند فرض هزینه مقایسه کنید. روشی که تنها با اجرای رایگان و آنی موفق است، شکننده است.
کشف را از ارزیابی جدا کنید
آزمودن صدها ترکیب پارامتر و ارائه بهترین آن‌ها مسئله انتخاب ایجاد می‌کند. ترکیبی ممکن است تصادفی عالی به نظر برسد. داده‌ای کنار بگذارید که برای توسعه قاعده استفاده نشده و از مراجعه مکرر به آن تا تبدیل شدنش به نمونه آموزشی دیگری پرهیز کنید. آزمون آزمایشی رو به جلو بررسی متفاوتی ارائه می‌دهد، زیرا مشاهدات تازه پس از تثبیت قواعد می‌رسند.
گونه‌های ناموفق، اندازه نمونه، بازه تاریخ و تعداد آزمایش‌ها را گزارش کنید، نه فقط نمودار برنده را. بررسی کنید انتخاب‌های پارامتری نزدیک رفتار مشابه دارند یا تنها یک تنظیم منفرد تمام سود را ایجاد می‌کند. نتایج فرضی حتی با دقت چند رقم اعشار صفحه‌گسترده همچنان فرضی‌اند. نقدشوندگی، هیجان‌ها و مشکلات عملیاتی با حساب‌وکتاب تاریخی کاملاً بازتولید نمی‌شوند.
دفتر پژوهشی نسخه‌های داده و تغییرات محاسبه را نگه دارید. اصلاح تعدیل تجزیه سهام یا افزودن خروج از بورس می‌تواند نتیجه را به‌طور معنادار تغییر دهد و آن اصلاح باید قابل مشاهده بماند. بازتولیدپذیری یعنی فرد دیگری بتواند با ورودی‌ها و قواعد اعلام‌شده همان پاسخ را بازسازی کند. این به معنای مفید بودن اقتصادی پاسخ نیست، اما گامی ضروری برای فهم آن است.
پیش از اعتماد به هزار معامله، یک معامله را بازسازی کنید
برای یک معامله، زمان مشاهده، انتشار واقعی داده، تصمیم، رسیدن سفارش و اجرا را جدا کنید. گزارشی که پس از بسته‌شدن بازار سه‌شنبه منتشر شده، نمی‌تواند مبنای تصمیم صبح همان روز باشد. منطقه زمانی و تغییر ساعت فصلی هم ممکن است ناخواسته اطلاعات آینده را وارد کنند.
کل حساب را تطبیق دهید، نه فقط معاملات بسته‌شده را. نقد اولیه، جریان‌های خارجی، سود و زیان تحقق‌یافته و ارزش موقعیت‌های باز باید سرمایه نهایی را توضیح دهند. چند سیگنال هم‌زمان نمی‌توانند هرکدام یک موجودی نقد مشترک را کامل خرج کنند.
با داده مصنوعی کوچک آزمون بسازید: قیمت ثابت بدون هزینه نباید سود معاملاتی ایجاد کند؛ تجزیه صرف باید ثروت را حفظ کند؛ افزایش کارمزد روی فهرست ثابت معاملات باید دقیقاً به اندازه هزینه اضافی نتیجه را کاهش دهد. قیمت مفقود نیازمند قاعده روشن است، نه اجرای بی‌صدای سفارش با قیمت صفر.
معیار مقایسه را متناسب با پرسش انتخاب کنید. یک راهبرد صرفاً خرید ممکن است از صعود کلی بازار سود ببرد. مقایسه روی تاریخ‌های یکسان و با برخورد یکسان با سود نقدی و وجه نقد، از تفسیر نادرست رشد حساب به‌عنوان مهارت جلوگیری می‌کند.