הבדיקה ההיסטורית הטובה ביותר בגיליון

נתוני המקרה

מקרה לימודי היפותטי. סדרת המחירים, האסטרטגיה, תוצאות העסקאות והסטטיסטיקה מומצאות. הן אינן תיעוד היסטורי, טענת ביצועים או איתות שניתן לסחור לפיו. לנה בודקת רעיון של ממוצע נע על סל מניות סינתטי. לאחר שניסתה 120 שילובי פרמטרים, היא בוחרת בתוצאה המושכת ביותר ומציגה את 200 העסקאות המדומות שלה כראיה ליתרון עמיד. סקירת המחקר שואלת מה נבחר, מה הושמט ומה באמת נותר בלתי נצפה.

שחזרו את הכותרת המרשימה

לתצורה שנבחרה יש 110 עסקאות מרוויחות ברוטו בממוצע $180 ו־90 עסקאות מפסידות ברוטו בממוצע $160. הרווחים ברוטו הם $19,800 וההפסדים ברוטו $14,400, כך שנותרים $5,400 על פני 200 עסקאות. הממוצע ברוטו הוא $27 לעסקה ושיעור ההצלחה 55%. אף מספר אינו אומר אם האסטרטגיה שורדת עלויות מציאותיות או אם תהליך הבחירה גילה אות ולא מזל.

לנה הניחה עלות של $2 בלבד לסבב כניסה ויציאה בכל עסקה, שהפחיתה את התוצאה ב-$400 ל-$5,000. אך בדיקת הביצוע הבדויה מעריכה $6 של עמלות וחיובים מפורשים, $12 של עלות מרווח ו-$15 של גלישת מחיר נוספת לכל סבב מלא. הסכום הוא $33 לעסקה, או $6,600 לאורך המדגם. באותן תוצאות ברוטו, התוצאה נטו המתוקנת היא הפסד של $1,200, בממוצע מינוס $6 לעסקה.

הגדירו עלויות בלי לספור אותן פעמיים

רכיבי העלות האלה הגיוניים רק משום שהבדיקה ההיסטורית הסינתטית השתמשה במחירי ייחוס ללא חיכוך. אילו הביצועים כבר דומו במחירי הקנייה והמכירה, הפחתה נפרדת נוספת של מלוא המרווח הייתה מנפחת את העלויות. בדומה לכך, פער יישום הנמדד ממחיר ההחלטה עשוי כבר לכלול את המרווח ואת השפעת השוק. יומן המחקר זקוק להגדרה מדויקת של מחיר הייחוס לכניסה, מחיר הייחוס ליציאה והחיובים הנוספים.

טבלת רגישות תבחן כמה עלויות כוללות לסבב כניסה ויציאה, לא רק את זו הנוחה ביותר לאסטרטגיה. ב-$15, התוצאה נטו היא $2,400; ב-$27 היא אפס; ב-$45 היא מינוס $3,600. אלה תרחישים חשבוניים, לא תחזיות. עלות האיזון של $27 מועילה במיוחד מפני שהיא חושפת כמה מעט מרווח יש בתוצאה ברוטו שנבחרה לאי-ודאות בביצוע, לביצועים שהוחמצו ולטעויות תפעוליות.

בעיית הבחירה קודמת לגרף הסופי

לנה לא בחרה בתצורה הזאת לפני שראתה את המדגם. היא בחרה בה משום שהניבה יותר מ־119 חלופות באותו מדגם. גם אסטרטגיות שאין להן יתרון חיזוי בר־קיימא יכולות להפיק מנצחת מושכת כשמנסים גרסאות רבות. כהמחשה מסוגננת במכוון, אם לכל אחד מ־120 מבחנים עצמאיים היה סיכוי של 5% לחיובי כוזב, הסיכוי לאחד לפחות היה 1 − 0.95^120, כ־99.79%.

גרסאות האסטרטגיה בפועל כנראה מתואמות, ולכן חישוב העצמאות הזה אינו ערך p תקף למחקר של לנה. תפקידו לחשוף את בעיית הבדיקות המרובות, לא לכמת אותה במדויק. עליה לתעד את כל הגרסאות שנוסו, לרבות אינדיקטורים שנזנחו, חלונות תאריכים ששונו וחריגים ידניים. גרף סופי מלוטש אינו יכול לגלות כמה ניסויים כושלים הוסתרו מאחוריו.

שמרו מערך הערכה אמין

תכנון מחקר דמיוני טוב יותר מפריד בין פיתוח, תיקוף ובדיקה סופית שלא נגעו בה. לנה יכולה להשתמש בנתוני הפיתוח לגיבוש הרעיון ובנתוני התיקוף להשוואת קבוצה מוגבלת ומתועדת של אפשרויות. מרגע שהיא בוחנת את הבדיקה הסופית ומשנה את האסטרטגיה בתגובה, הנתונים האלה כבר אינם נקיים מהשפעת המחקר. כינוי חוזר של אותם נתונים ״מחוץ למדגם״ אינו משיב את עצמאותם.

בבדיקה חדשה של 60 עסקאות, הניחו 28 רווחים ברוטו בממוצע $170 ו-32 הפסדים ברוטו בממוצע $150. התוצאה ברוטו היא $4,760 − $4,800 = מינוס $40. בעלות של $33 לסבב כניסה ויציאה, העלויות מוסיפות $1,980 והתוצאה נטו היא מינוס $2,020. המדגם הקטן והמומצא הזה אינו מוכיח שהאסטרטגיה לעולם לא תעבוד, אך הוא אינו תומך בביטחון המקורי. התגובה המתאימה היא חקירה או דחייה, לא שינוי פרמטרים אוטומטי עד שמדגם הבדיקה יהפוך לירוק.

הציגו תחילה את שני המדגמים בנפרד: מאתיים עסקאות הפיתוח המתוקנות נותנות −1,200 דולר, ושישים החדשות −2,020. הסך הוא −3,220 ב־260 עסקאות, כ־−12.38 לעסקה. חיבור נכון אינו הופך נתונים ששימשו לבחירה לראיות עצמאיות.

בדקו את תזמון המידע ואת מסלול ההפסדים

הבדיקה שואלת גם אם האותות השתמשו בנתונים שהיו זמינים בפועל לפני כל עסקה במודל. בדרך כלל, אינדיקטור המבוסס על מחיר סגירה אינו יכול להצדיק ביצוע מוקדם יותר באותו מחיר סגירה ללא מנגנון ביצוע שניתן להצדיקו. בחירת יקום ההשקעה אינה אמורה להשמיט בשקט ניירות שנכשלו או נמחקו מהמסחר. פעולות תאגידיות, התאמת חותמות זמן וציטוטים מיושנים יכולים לשנות מהותית את תוצאות ההדמיה. כל בדיקה מטפלת במקור טעות אפשרי, ולא מבטיחה רווחיות עתידית.

לבסוף, לנה מתעדת ירידות מהשיא, רצפי הפסדים, תחלופה ושימוש בהון לצד הרווח הכולל. אסטרטגיה שמתאוששת בסופו של דבר עדיין עלולה לחרוג ממגבלת מימון בדרך. ה־NFA מזהיר שתוצאות היפותטיות נהנות מחוכמה בדיעבד ואינן יכולות לשחזר באופן מלא את חוויית הסיכון הכספי האמיתי. בדיקה על הנייר יכולה לחשוף בעיות בתהליך העבודה, אך אינה מוכיחה נזילות בזמן אמת, יכולת הרחבה או יכולת לפעול לפי אסטרטגיה בעת הפסד כסף אמיתי.

הגדירו מה באמת עשוי לשנות את המסקנה

הצעד הבא תלוי בסיבה. שגיאת תזמון שמכניסה מידע עתידי מחייבת תיקון ומשיכה או החלפה ברורה של התוצאה המושפעת. אם עלויות סבירות צורכות את היתרון, כותרת חדשה לתרשים אינה פותרת זאת.

שמרו את כל 120 התצורות, הנתונים המלאכותיים, קריטריון הבחירה, מוסכמות העלות והמפרט הסופי הקפוא. בודק אחר צריך לשחזר הן את התוצאה המושכת והן את המתוקנת. שחזור מוכיח את החישוב, לא הצלחה עתידית.

הגדלת העלות מ־33 ל־45 דולר באותן מאתיים עסקאות מוסיפה 2,400 ומעבירה את הנטו מ־−1,200 ל־−3,600. אם נזילות נמוכה גם מונעת ביצועים, רשימת העסקאות משתנה ונדרשת סימולציה חדשה, לא רק הפחתה חשבונאית.

כלל שנולד מכישלון במדגם שהוחזק בצד הוא כעת חלק מהפיתוח. הערכתו על אותם נתונים אינה אימות עצמאי. מסקנה הוגנת יכולה להיות שאין תמיכה ברעיון הנוכחי; מחקר אינו חייב להסתיים באסטרטגיה למסחר.

היכן ההיגיון משתבש