اعتبارسنجی پیش‌رونده: فردا را از آموزش بیرون نگه دارید
فرایند پژوهش زمانی طراحی کنید که کل روش تصمیم‌گیری را ارزیابی کند، نه قاعده تاریخی پرداخت‌شده را.
فرایند را بیازمایید، نه فرمول نهایی را
مطالعه پیش‌رونده بارها مدلی را با اطلاعات موجود در یک تاریخ تاریخی برازش می‌کند، تصمیم‌های حاصل را ثابت نگه می‌دارد و آن‌ها را در بازه‌ای بعدی ارزیابی می‌کند. سپس توالی جلو می‌رود. این کار فرایند پژوهشی‌ای را تقلید می‌کند که باید بدون آگاهی از آینده عمل کند. نه استراتژی را سودآور می‌کند و نه همه سوگیری‌ها را حذف می‌کند.
بنویسید در هر گام چه چیزهایی اجازه تغییر دارند. پارامتر سیگنال، انتخاب دارایی، برآورد نوسان و فرض هزینه همگی بخش‌هایی از فرایندند. اگر پژوهشگر پس از دیدن دوره آزمون آن‌ها را دستی تنظیم کند، فرایند تغییر کرده و آن دوره دیگر ارزیابی پاکی نیست. برنامه‌ای بازتولیدپذیر از نموداری که با اصلاحات صلاحدیدی سرهم شده اطلاعات بیشتری می‌دهد.
تاریخچه غلتان یا گسترش‌یابنده را آگاهانه انتخاب کنید
پنجره گسترش‌یابنده با گذر زمان همه مشاهدات قبلی را حفظ می‌کند. این کار می‌تواند برآوردها را باثبات‌تر کند، اما داده‌های شرایط منسوخ بازار را نیز نگه می‌دارد. پنجره غلتان از یک بازه اخیر با طول ثابت استفاده می‌کند و سازگاری را آسان‌تر، اما نویز نمونه‌گیری را بیشتر می‌کند. هیچ رویکردی همواره برتر نیست؛ بده‌بستان مرتبط به رابطه اقتصادی‌ای بستگی دارد که انتظار می‌رود پایدار بماند.
پیش از مقایسه نتایج، طول پنجره‌ها را با دلیلی قابل‌دفاع انتخاب کنید. امتحان ده‌ها طول و انتخاب بهترین، فقط بهینه‌سازی را به سطحی بالاتر می‌برد. تعداد مشاهدات، دوره‌های متمایز بازار و معاملات واقعی را در هر بازه آزمون ثبت کنید. بازه تقویمی بلند با تصمیم‌های مستقل بسیار کم ممکن است کمتر از آنچه طولش القا می‌کند شواهد فراهم کند.
نشت در آماده‌سازی داده پنهان می‌شود
تقسیم زمانی لازم است، اما کافی نیست. استانداردسازی یک ویژگی با میانگین کل نمونه اجازه می‌دهد مشاهدات آینده بر ورودی‌های گذشته اثر بگذارند. انتخاب اوراق بهادار بازمانده، استفاده از ارقام بازنگری‌شده اقتصاد کلان یا وارد کردن گزارش پیش از زمان انتشار، شکل‌های دیگری از نگاه پس‌نگرانه ایجاد می‌کند. تبدیل‌ها را روی داده آموزش برازش کنید و تا حد امکان دسترسی اطلاعات در همان زمان را حفظ کنید.
برچسب‌ها نیز مهم‌اند. اگر نمونه آموزشی بازده پنج روز آینده را پیش‌بینی کند، نتیجه آن ممکن است با ابتدای دوره آزمون هم‌پوشانی داشته باشد. مشاهداتی را که پنجره برچسبشان از مرز عبور می‌کند حذف یا جدا کنید. نرم‌افزار می‌تواند میان شاخص‌های آموزش و آزمون فاصله بگذارد، اما انتخاب فاصله معنادار نیازمند شناخت افق برچسب، تأخیر انتشار و وابستگی در همان مجموعه داده است.
شناخته‌بودن متغیرهای سیگنال دوشنبه به معنای شناخته‌بودن بازده پنج روز بعد نیست. بازآموزی سه‌شنبه نمی‌تواند از هدفی استفاده کند که دوره‌اش تمام نشده است. کل بازه هدف و زمان دسترسی واقعی را کنترل کنید، نه فقط تاریخ شروع ردیف.
تنظیم را در داده آموزشی انجام دهید و ارزیابی دست‌نخورده را حفظ کنید
انتخاب پارامتر باید فقط با اطلاعات ناحیه آموزش انجام شود، احتمالاً از طریق یک فرایند اعتبارسنجی زمانی داخلی. بازه آزمون بیرونی سپس فرایند منتخب را ارزیابی می‌کند. این تودرتویی، انتخاب مدل را از سنجش عملکرد انتخاب متمایز می‌کند. همچنین محاسبات را پرهزینه‌تر می‌کند که از نتیجه‌ای ارزان اما آلوده بهتر است.
بازده بازه‌های آزمون متوالی را به ترتیب زمانی واقعی، شامل دوره‌های بدون موقعیت، تجمیع کنید. کارمزدها و فرض‌های اجرا را به‌طور یکسان اعمال کنید. نسبت‌های جذاب هر بخش را بدون بررسی معنای اقتصادی‌شان میانگین نگیرید؛ وگرنه بازه‌ای کوچک و آرام می‌تواند ظاهراً هم‌اهمیت با بازه‌ای بلند و پرنوسان شود. پراکندگی میان بازه‌ها را در کنار نتیجه ترکیبی نشان دهید.
نتیجه ضعیف، شاهد قابل استفاده است
عملکرد پیش‌رونده‌ای که پس از هزینه‌ها افت می‌کند، به یک بازه وابسته است یا با تغییر جزئی زمان‌بندی شدیداً تغییر می‌کند، نیازمند بررسی است، نه ترمیم ظاهری. نقص داده یا پیاده‌سازی را از استراتژی‌ای که صرفاً پشتوانه ندارد جدا کنید. رفع یک اشکال واقعی می‌تواند اجرای دوباره را توجیه کند، اما مواجهه پیشین با نتایج باید در تاریخچه پژوهش باقی بماند.
اگر ارزیابی بیشتر موجه است، با مشخصاتی ثابت و یک دوره واقعاً جدید مشاهده کاغذی پایان دهید. از پیش تعریف کنید چه داده‌ای جمع می‌شود و چه چیزی فرض‌ها را باطل می‌کند. هدف ادامه بهینه‌سازی تا ظاهر شدن خطی جذاب نیست؛ هدف روشن کردن این است که آیا فرایندی منضبط و قابل‌اجرا از فرصت‌های شکست جان سالم به در می‌برد یا نه.
موقعیت‌ها و سرمایه را از مرز پنجره‌ها عبور دهید
بازآموزی مدل، موقعیت را خودکار نمی‌بندد. اگر پنجره مارس با موقعیتی تمام شود که خروجش در آوریل است، قاعده ادامه، تغییر مستند یا بستن همراه هزینه را از پیش تعیین کنید. بازنشانی بی‌سروصدا به نقد می‌تواند زیان را محو کند.
سرمایه نیز باید پیوسته بماند. سود 10٪ و سپس زیان 10٪ حاصل 0.99، یعنی زیان 1٪ دارد. در پنجره‌های هم‌پوشان روز مشترک را دوبار نشمارید؛ انتخاب مدل یا تقسیم سرمایه را توضیح دهید.
انتخاب متغیر، استانداردسازی، جایگزینی داده مفقود و مقایسه الگوریتم‌ها را داخل هر پنجره آموزش انجام دهید. تبدیلی که روی کل تاریخ برازش شده، حتی با بازآموزی درست مدل اطلاعات آینده را نشت می‌دهد. ابزار تقسیم زمانی همه جزئیات مالی را نمی‌شناسد.
برای هر بخش، پایان آموزش، پارامترها، اولین معامله قابل‌اجرا، موقعیت آغازین، هزینه و مانده نهایی را نگه دارید. پس از رفع خطا، کل فرایند را یکسان اجرا و نتیجه قبلی را حفظ کنید. نسخه اصلاح‌شده روی داده دیده‌شده آزمون دست‌نخورده تازه نیست.