אימות מתגלגל קדימה: השארת המחר מחוץ לאימון

בדקו תהליך ולא רק נוסחה סופית

מחקר מתגלגל קדימה מתאים שוב ושוב מודל לפי המידע שהיה זמין בתאריך היסטורי, מקבע את ההחלטות שהתקבלו ובוחן אותן בתקופה מאוחרת יותר. לאחר מכן הרצף מתקדם. כך מדמים תהליך מחקר שצריך לפעול ללא ידיעת העתיד. הדבר אינו הופך אסטרטגיה לרווחית ואינו מבטל כל הטיה.

כתבו מה מותר לשנות בכל שלב. פרמטרי האות, בחירת הנכסים, אומדני התנודתיות והנחות העלות הם כולם חלק מהתהליך. אם החוקר משנה אותם ידנית לאחר שראה תקופת בדיקה, התהליך השתנה ותקופה זו כבר אינה הערכה נקייה. לוח זמנים שניתן לשחזרו מלמד יותר מגרף שהורכב משינויים לפי שיקול דעת.

בחרו במכוון היסטוריה מתגלגלת או מתרחבת

חלון מתרחב שומר את כל התצפיות הקודמות עם התקדמות הזמן. הוא יכול לייצב אומדנים, אך גם לשמר נתונים מתנאי שוק שכבר אינם רלוונטיים. חלון מתגלגל משתמש בטווח אחרון קבוע, ומקל על הסתגלות במחיר של רעש דגימה מוגבר. אף גישה אינה עדיפה תמיד; הפשרה הרלוונטית תלויה בקשר הכלכלי שצפוי להימשך.

בחרו את אורכי החלונות מטעם שניתן להצדיק לפני השוואת התוצאות. ניסיון של עשרות אורכים ובחירת הטוב ביותר רק מעבירים את האופטימיזציה לרמה גבוהה יותר. תעדו את מספר התצפיות, תקופות השוק הנפרדות והעסקאות בפועל בכל מקטע בדיקה. פרק זמן קלנדרי ארוך ובו מעט מאוד החלטות עצמאיות עשוי לספק פחות ראיות מכפי שאורכו מרמז.

זליגה מסתתרת בהכנת הנתונים

חלוקה כרונולוגית נחוצה אך אינה מספיקה. תקנון מאפיין לפי ממוצע המדגם המלא מאפשר לתצפיות עתידיות להשפיע על קלטים מן העבר. בחירת ניירות ערך ששרדו, שימוש בנתוני מאקרו מעודכנים או הכללת דוח לפני מועד פרסומו יוצרים צורות אחרות של הטיית בדיעבד. התאימו טרנספורמציות על נתוני אימון ושמרו ככל האפשר על זמינות המידע כפי שהייתה בזמן אמת.

גם תוויות חשובות. אם דוגמת אימון מנבאת תשואה הנמדדת בחמשת הימים הבאים, התוצאה שלה עשויה לחפוף לתחילת תקופת הבדיקה. הסירו או הפרידו תצפיות שחלונות התווית שלהן חוצים את הגבול. תוכנה יכולה להוסיף פער בין אינדקסי האימון והבדיקה, אך בחירת פער בעל משמעות מחייבת הבנת אופקי התוויות, עיכובי הפרסום והתלות במערך הנתונים המסוים.

ידיעת משתני האות ביום שני אינה ידיעת תשואת חמשת הימים הבאים. אימון מחדש ביום שלישי אינו רשאי להשתמש ביעד שתקופתו טרם הסתיימה. בדקו את כל טווח היעד ואת מועד זמינותו, לא רק את התאריך בתחילת הרשומה.

כווננו בתוך מדגם האימון ושמרו מדגם הערכה שלא נגעו בו

בחירת הפרמטרים צריכה להתבצע רק במידע מתוך אזור האימון, אולי באמצעות תהליך תיקוף כרונולוגי פנימי. לאחר מכן פרק הבדיקה החיצוני מעריך את התהליך שנבחר. קינון זה מבדיל בין בחירת מודל למדידת הצלחת הבחירה. הוא גם מייקר את החישוב, ועדיף כך מאשר לקבל תוצאה זולה אך מזוהמת.

אחדו את תשואות הבדיקה העוקבות בסדר הזמן האמיתי שלהן, כולל תקופות ללא פוזיציה. החילו עמלות והנחות ביצוע בעקביות. אל תמצעו יחסים מושכים ברמת מקטעי הבדיקה בלי לבחון את משמעותם הכלכלית: אחרת מקטע קטן ושקט עשוי לקבל חשיבות לכאורה זהה לזו של מקטע ארוך ותנודתי. הציגו את הפיזור בין המקטעים לצד התוצאה המשולבת.

תוצאה חלשה היא ראיה שימושית

ביצועים בבדיקת חלונות מתקדמים שמתדרדרים אחרי עלויות, תלויים במקטע אחד או משתנים דרמטית בעקבות שינוי עיתוי קטן דורשים חקירה ולא תיקון קוסמטי. הפרידו בין ליקוי בנתונים או ביישום לבין אסטרטגיה שפשוט אינה נתמכת בראיות. תיקון באג אמיתי יכול להצדיק הרצה חדשה, אך החשיפה הקודמת לתוצאות חייבת להישאר חלק מהיסטוריית המחקר.

סיימו במפרט מוקפא ובתקופת תצפית מדומה חדשה באמת אם יש הצדקה להערכה נוספת. הגדירו מראש אילו נתונים ייאספו ומה יפריך את ההנחות. המטרה אינה להמשיך באופטימיזציה עד שיופיע קו מושך; היא לקבוע אם נוהל ממושמע ובר־יישום שורד הזדמנויות להיכשל.

העבירו פוזיציות והון מעבר לגבולות החלונות

אימון מחדש אינו סוגר פוזיציות אוטומטית. אם בדיקת ינואר–מרץ מסתיימת עם פוזיציה שאמורה להיסגר באפריל, קבעו מראש המשך, שינוי מתועד או סגירה עם עלויות. איפוס שקט למזומן עלול למחוק הפסדים ולעקוף מעבר קשה.

גם ההון צריך להימשך. רווח של 10% ואחריו הפסד של 10% נותנים 1.10 × 0.90 = 0.99, כלומר הפסד 1%. אם חלונות בדיקה חופפים, אל תספרו יום פעמיים; הגדירו בחירת מודל או חלוקת הון.

בצעו בחירת משתנים, תקנון והשלמת נתונים חסרים בתוך כל חלון אימון. עיבוד שהותאם להיסטוריה כולה יכול לדלוף מהעתיד גם כשהמודל עצמו אומן נכון. כלי לחלוקה בזמן אינו מכיר אוטומטית זמני הבשלת יעדים או העברת פוזיציות.

שמרו לכל חלון את סוף האימון, הפרמטרים, העסקה הראשונה האפשרית, הפוזיציות ההתחלתיות, העלויות והמצב הסופי. לאחר תיקון שגיאה הריצו מחדש את כל התהליך ושמרו את התוצאות הישנות. נתונים שכבר נבחנו אינם מדגם חדש שלא נגעו בו.