बहुविध परीक्षण: जब सर्वोत्तम बैकटेस्ट सिर्फ़ संयोग हो

एक प्रकाशित रणनीति हज़ार प्रयोग छिपा सकती है

शोधकर्ता कई संकेत, पैरामीटर मान, परिसंपत्तियाँ और नमूना तारीखें आज़माने के बाद एक आकर्षक बैकटेस्ट प्रकाशित कर सकता है। अंतिम चार्ट पूरी खोज नहीं दिखाता। भले किसी भी विकल्प में वास्तविक बढ़त न हो, सबसे अच्छा दिखने वाला विकल्प प्रभावशाली लग सकता है क्योंकि कुछ यादृच्छिक क्रम अनुकूल होते हैं।

इसलिए विश्लेषण की प्रासंगिक इकाई केवल चुना नियम नहीं, बल्कि उसे चुनने वाली प्रक्रिया है। परिणाम देखने के बाद बदली सीमा खोज का हिस्सा मानी जाती है, भले कोई औपचारिक अनुकूलन प्रोग्राम न चला हो। स्मृति-आधारित प्रयोग, छोड़ी गई स्प्रेडशीट और अनौपचारिक दृश्य निरीक्षण सभी चयन पूर्वाग्रह में योगदान दे सकते हैं। ईमानदार शोध रिकॉर्ड ये विकल्प स्पष्ट करता है।

संभावना का सरल उदाहरण समझें

यदि बीस स्वतंत्र परीक्षणों में प्रत्येक की गलत सकारात्मक परिणाम की संभावना 5% है, तो कम-से-कम एक गलत सकारात्मक की संभावना 1 − 0.95²⁰, लगभग 64.2% है। स्वतंत्रता की धारणा महत्वपूर्ण है: ट्रेडिंग विकल्प अक्सर सहसंबद्ध होते हैं, इसलिए यह गणना वास्तविक शोध कार्यक्रम के लिए सटीक सुधार नहीं, बल्कि उदाहरण है।

सबक यह नहीं कि हर सकारात्मक निष्कर्ष गलत है। सबक यह है कि व्यापक खोज के बाद एकल परीक्षण की सीमा का अर्थ उसी तरह नहीं निकाला जा सकता। संबंधित पैरामीटर विकल्प पूरी तरह स्वतंत्र प्रमाण नहीं बनाते, फिर भी उनका सहसंबंध चयन पूर्वाग्रह को समाप्त नहीं करता। प्रभावी खोज विस्तार का अनुमान भी अनिश्चित है और उसे सटीक गिनती बताकर नहीं छिपाना चाहिए।

p-मूल्य परिकल्पना के सच होने या अगले सौदे में लाभ की प्रायिकता नहीं है। यह परीक्षण की मान्यताओं के अंतर्गत आंकड़े की शून्य मॉडल से असंगति मापता है। अनदेखी निर्भरता और चुनिंदा रिपोर्टिंग भ्रामक महत्वपूर्णता ला सकती हैं। सांख्यिकीय महत्वपूर्णता अपने आप लागत नहीं चुकाती।

परिकल्पना को स्कोर देने के नियम से बचाएँ

आर्थिक तर्क से शुरू करें जो बताए कि संबंध क्यों टिक सकता है और क्यों काम करना बंद कर सकता है। जहाँ संभव हो, परिणाम देखने से पहले डेटा सफ़ाई, लागत और मूल्यांकन मानदंड तय करें। इससे पूर्वाग्रह समाप्त नहीं होता, लेकिन भाग्यशाली पैटर्न के आसपास बाद में कहानी गढ़ने की स्वतंत्रता घटती है।

प्रयोग लॉग में अस्वीकृत विकल्प और प्रत्येक बदलाव का कारण रखें। त्रुटि सुधार और परिकल्पना बदलने में अंतर करें। समय-चिह्न की गलती सुधारना, इक्विटी वक्र बेहतर दिखाने के लिए स्टॉप स्तर बदलने से अलग है। दोनों बदलाव दर्ज होने चाहिए, क्योंकि परिणाम देखना बाद के निर्णयों को प्रभावित कर सकता है, भले पहला बदलाव उचित रहा हो।

अछूते नमूने का जीवन सीमित है

अलग रखी गई परीक्षण अवधि तभी उपयोगी है जब विकास के दौरान उसे छुआ न गया हो। जब शोधकर्ता मॉडल चुनने के लिए उसे बार-बार देखने लगे, तो वह प्रशिक्षण का एक और संसाधन बन जाती है। उसे नमूने से बाहर कहना सूचना का प्रवाह नहीं पलटता। तब नई अवधि या वास्तव में स्वतंत्र दूसरे मूल्यांकन की आवश्यकता हो सकती है।

वॉक-फ़ॉरवर्ड प्रक्रियाएँ, नेस्टेड चयन और बैकटेस्ट ओवरफ़िटिंग पर शोध चयन प्रक्रिया जाँचने में मदद कर सकते हैं, लेकिन कोई भी कमज़ोर डेटा को निश्चितता में नहीं बदलता। उचित आस-पास के पैरामीटर मानों और आर्थिक रूप से अलग अवधियों में स्थिरता जाँचें। ईमानदारी से जाँची स्थिरता उत्साहजनक है; सबसे अच्छा दिखने वाला स्थिरता आँकड़ा खोजने से परीक्षण की एक और परत जुड़ती है।

सबसे ऊँचे चार्ट के बजाय प्रमाण की गुणवत्ता को महत्व दें

परिणामों की तुलना सरल बेंचमार्क, वास्तविक लागत और अनिश्चितता अनुमानों के साथ करें। जटिल मॉडल यदि शोरयुक्त माप में मुश्किल से सुधार करे, तो उसकी अतिरिक्त स्वतंत्रताओं का औचित्य नहीं हो सकता। जाँचें कि दिखती बढ़त का कितना हिस्सा एक ट्रेड, एक परिसंपत्ति या शुरुआती तारीख के एक चुनाव से आता है।

उपयोगी रिपोर्ट में खोज का इतिहास, अंतिम विनिर्देश, विफलताएँ और अनसुलझी धारणाएँ होती हैं। नकारात्मक निष्कर्ष संभावित विचारों का दायरा घटाते हैं और भविष्य का प्रयास बचा सकते हैं। उद्देश्य पसंदीदा रणनीति बचाना नहीं, बल्कि यह जानना है कि उपलब्ध प्रमाण किसी ऐसे दावे का समर्थन करते हैं या नहीं जो दोहराए जाने पर टिक सके। यदि नहीं, तो अनुशासित निष्कर्ष अनिश्चितता है, अधिक जटिल विपणन चार्ट नहीं।

हर वह चयन गिनें जो विजेता बदल सकता था

इतिहास की पांच लंबाइयां, प्रवेश की चार सीमाएं और निकास के तीन नियम मिलकर 60 संयोजन बनाते हैं। परिणाम देखकर शुरुआती तारीख चुनना या खराब परिसंपत्ति हटाना भी खोज बढ़ाता है। प्रयोग-रिकॉर्ड में मानवीय चयन भी दर्ज करें।

पहले से परिभाषित 20 वैध परीक्षणों के लिए बोनफेरोनी सीमा 0.05 / 20 = 0.0025 प्रति परीक्षण है। इससे कम से कम एक गलत अस्वीकृति की प्रायिकता अधिकतम 5% रहती है। स्वतंत्रता आवश्यक नहीं, हालांकि जुड़े परीक्षणों में विधि रूढ़िवादी हो सकती है।

यह पक्षपाती आंकड़े, अवैध परीक्षण या छिपे प्रयास नहीं सुधारती। किसी भी गलत खोज की प्रायिकता नियंत्रित करना, खोजों में गलत हिस्से की अपेक्षित दर नियंत्रित करने से अलग है। विधि प्रश्न के अनुसार चुनें, सुविधाजनक नतीजे के अनुसार नहीं।

अनुकरण में खोज, चयन और मूल्यांकन की पूरी प्रक्रिया दोहराएं। केवल पहले से चुने विजेता का पुनर्नमूनाकरण व्यापक खोज के लाभ को छोड़ देता है। बार-बार यह देखना कि परिणाम महत्वपूर्ण हुआ या नहीं, भी परीक्षण-डिजाइन का हिस्सा होना चाहिए।