בדיקות מרובות: כשהבדיקה ההיסטורית הטובה ביותר היא מקריות מוצלחת

אסטרטגיה מדווחת אחת יכולה להסתיר אלף ניסויים

חוקר עשוי לפרסם בדיקה היסטורית מושכת אחת אחרי שניסה איתותים, ערכי פרמטרים, נכסים ותאריכי מדגם רבים. הגרף הסופי אינו מציג את החיפוש המלא. גם אם לאף מועמד אין יתרון אמיתי, המועמד שנראה טוב ביותר יכול להיראות מרשים משום שחלק מהרצפים האקראיים חיוביים.

לכן יחידת הניתוח הרלוונטית אינה רק הכלל שנבחר, אלא גם התהליך שבחר בו. סף ששונה לאחר בחינת התוצאות נחשב חלק מהחיפוש גם אם לא הורצה תוכנת אופטימיזציה רשמית. ניסויים המבוססים על זיכרון, גיליונות שנזנחו ובדיקה חזותית לא פורמלית יכולים כולם לתרום להטיית בחירה. תיעוד מחקר ישר מציג את הבחירות הללו בגלוי.

הבינו את המחשת ההסתברות הפשוטה

אם לכל אחד מעשרים מבחנים עצמאיים יש הסתברות של 5% לחיובי כוזב, הסיכוי לחיובי כוזב אחד לפחות הוא 1 − 0.95²⁰, בקירוב 64.2%. הנחת העצמאות חשובה: גרסאות מסחר הן לעיתים קרובות מתואמות, ולכן החישוב הזה הוא המחשה ולא תיקון מדויק לתוכנית מחקר אמיתית.

הלקח אינו שכל ממצא חיובי שגוי. הלקח הוא שאי אפשר לפרש סף של בדיקה בודדת באותו אופן אחרי חיפוש רחב. בחירות פרמטרים קשורות אינן יוצרות ראיות עצמאיות לחלוטין, אך המתאם ביניהן אינו מעלים הטיית בחירה. גם אומדן רוחב החיפוש האפקטיבי אינו ודאי ואין להסוותו כספירה מדויקת.

ערך p אינו ההסתברות שההשערה נכונה או שהעסקה הבאה תרוויח. הוא מתאר אי־התאמה של סטטיסטי למודל אפס נתון, תחת הנחות המבחן. תלות שלא טופלה או דיווח סלקטיבי עלולים לייצר מובהקות מטעה; מובהקות לבדה אינה מכסה עלויות מסחר.

הגנו על ההשערה מפני כלל הניקוד

התחילו בהיגיון כלכלי המפרט מדוע קשר עשוי להתמיד ומדוע הוא עלול להפסיק לפעול. ככל האפשר, הגדירו ניקוי נתונים, עלויות ואמות מידה להערכה לפני בחינת התוצאה. הדבר אינו מבטל הטיה, אך מצמצם את החופש להתאים בדיעבד סיפור לדפוס מקרי מוצלח.

נהלו יומן ניסויים שכולל גרסאות שנדחו ואת הסיבה לכל שינוי. הבדילו בין תיקון שגיאות לשינוי השערה. תיקון שגיאת חותמת זמן שונה מהזזת רמת עצירה מפני שהיא משפרת את עקומת ההון. יש לתעד את שני השינויים, משום שצפייה בתוצאות יכולה להשפיע על החלטות מאוחרות גם כשהשינוי הראשוני היה לגיטימי.

אורך חייו של מדגם שלא נגעו בו מוגבל

תקופה שהופרדה לבדיקה חשובה רק כל עוד אינה משמשת בפיתוח. ברגע שחוקר בוחן אותה שוב ושוב כדי לבחור בין מודלים, היא הופכת למשאב אימון נוסף. הכינוי מחוץ למדגם אינו הופך את כיוון זרימת המידע. ייתכן שיידרשו תקופה חדשה יותר או הערכה אחרת שהיא עצמאית באמת.

הליכי בדיקה מתגלגלת קדימה, בחירה מקוננת ומחקר על התאמת יתר בבדיקות היסטוריות יכולים לסייע בבחינת תהליך הברירה, אך אף אחד מהם אינו הופך נתונים חלשים לוודאות. העריכו יציבות בסביבות פרמטרים הגיוניות ובתקופות שונות מבחינה כלכלית. יציבות מעודדת כשהוערכה ביושר; חיפוש אחר מדד היציבות שנראה הטוב ביותר מוסיף שכבת בדיקה נוספת.

תגמלו את איכות הראיות, לא את הגרף הגבוה ביותר

השוו תוצאות למדד ייחוס פשוט, לעלויות מציאותיות ולאומדני אי־ודאות. מודל מורכב שבקושי משפר מדד רועש עשוי שלא להצדיק את דרגות החופש הנוספות שלו. בדקו כמה מהיתרון לכאורה נובע מעסקה אחת, מנכס אחד או מבחירת תאריך התחלה אחד.

דוח מועיל כולל את היסטוריית החיפוש, המפרט הסופי, הכישלונות וההנחות שטרם נפתרו. ממצאים שליליים מצמצמים את מרחב הרעיונות הסבירים ויכולים לחסוך מאמץ בעתיד. המטרה אינה לשמר אסטרטגיה מועדפת, אלא לגלות אם הראיות הזמינות תומכות בטענה חזקה מספיק כדי לעמוד בשחזור. כשלא, המסקנה הממושמעת היא אי־ודאות, לא גרף שיווקי מתוחכם יותר.

ספרו כל בחירה שיכלה לשנות את המנצח

חמישה אורכי היסטוריה, ארבעה ספי כניסה ושלושה כללי יציאה כבר יוצרים 60 שילובים. בחירת תאריך התחלה או הסרת נכס לאחר צפייה בתוצאה מרחיבות את החיפוש. יומן הניסויים צריך לכלול החלטות ידניות ולא רק הרצות אוטומטיות.

למשפחה של 20 מבחנים תקפים שנקבעה מראש, תיקון בונפרוני קובע סף 0.05 / 20 = 0.0025 לכל מבחן. כך ההסתברות לפחות לדחייה שגויה אחת אינה עולה על 5%. אין צורך בעצמאות, אך השיטה עשויה להיות שמרנית במבחנים חופפים.

התיקון אינו מתקן נתונים מוטים, מבחן לא תקף או ניסויים שהוסתרו. בקרת ההסתברות לכל גילוי שגוי שונה מבקרת שיעור הגילויים השגויים הצפוי. בחרו שיטה לפי השאלה, לא לפי התיקון שמציג תוצאה נוחה יותר.

בסימולציה יש לחזור על החיפוש עצמו, בחירת המועמד והערכתו. דגימה מחדש של המנצח שנבחר מראש בלבד מתעלמת מהיתרון שנוצר מחיפוש בין מועמדים רבים. גם בדיקה חוזרת אם כבר הושגה מובהקות צריכה להיות חלק מתכנון הבדיקה.