একাধিক পরীক্ষা: সেরা ব্যাকটেস্ট যখন সৌভাগ্যজনক কাকতাল

প্রকাশিত একটি কৌশল হাজারটি পরীক্ষা লুকাতে পারে

অনেক সংকেত, প্যারামিটারের মান, সম্পদ ও নমুনার তারিখ পরীক্ষা করে গবেষক একটি আকর্ষণীয় ব্যাকটেস্ট প্রকাশ করতে পারেন। শেষ চার্টে পুরো অনুসন্ধান দেখা যায় না। কোনো প্রার্থীর প্রকৃত সুবিধা না থাকলেও কিছু এলোমেলো ক্রম অনুকূল হওয়ায় সবচেয়ে সুন্দর প্রার্থী চমকপ্রদ লাগতে পারে।

তাই বিশ্লেষণের প্রাসঙ্গিক একক শুধু নির্বাচিত নিয়ম নয়, সেটি বাছাইয়ের পদ্ধতিও। ফল দেখার পরে সীমা বদলালে আনুষ্ঠানিক অপ্টিমাইজেশন চালানো না হলেও তা অনুসন্ধানের অংশ। স্মৃতিনির্ভর পরীক্ষা, বাতিল স্প্রেডশিট ও অনানুষ্ঠানিক দৃশ্যগত পর্যবেক্ষণ—সবই নির্বাচনজনিত পক্ষপাতে অবদান রাখতে পারে। সৎ গবেষণার রেকর্ড এই সিদ্ধান্তগুলো দৃশ্যমান করে।

সম্ভাবনার সরল উদাহরণ বুঝুন

বিশটি স্বতন্ত্র পরীক্ষার প্রতিটিতে ভুল ইতিবাচক ফলের সম্ভাবনা 5% হলে অন্তত একটি ভুল ইতিবাচক ফলের সম্ভাবনা 1 − 0.95²⁰, প্রায় 64.2%। স্বতন্ত্রতার অনুমানটি গুরুত্বপূর্ণ: ট্রেডিংয়ের বিভিন্ন সংস্করণে প্রায়ই পারস্পরিক সম্পর্ক থাকে, তাই এই হিসাব প্রকৃত গবেষণা কর্মসূচির নির্ভুল সংশোধন নয়, বরং একটি উদাহরণ।

পাঠটি এই নয় যে প্রতিটি ইতিবাচক ফল মিথ্যা। বরং বিস্তৃত অনুসন্ধানের পরে একক পরীক্ষার সীমাকে একইভাবে ব্যাখ্যা করা যায় না। সম্পর্কিত প্যারামিটার সম্পূর্ণ স্বাধীন প্রমাণ দেয় না, কিন্তু সহসম্পর্ক নির্বাচনজনিত পক্ষপাত মুছে দেয় না। কার্যকর অনুসন্ধানপরিসরের অনুমান নিজেই অনিশ্চিত; তাকে সঠিক গণনা হিসেবে দেখানো উচিত নয়।

p-মূল্য অনুমানটি সত্য হওয়ার বা পরের লেনদেন লাভ করার সম্ভাবনা নয়। এটি পরীক্ষার শর্তে পরিসংখ্যানের একটি শূন্য মডেলের সঙ্গে অসংগতি মাপে। উপেক্ষিত নির্ভরতা ও বেছে প্রতিবেদন করা বিভ্রান্তিকর তাৎপর্য তৈরি করতে পারে। পরিসংখ্যানগত তাৎপর্য নিজে খরচ মেটায় না।

স্কোর দেওয়ার নিয়ম থেকে অনুমানকে রক্ষা করুন

কোনো সম্পর্ক কেন টিকতে পারে ও কেন কাজ বন্ধ করতে পারে, তা নির্দিষ্ট করে অর্থনৈতিক যুক্তি দিয়ে শুরু করুন। সম্ভব হলে ফল দেখার আগে তথ্য পরিষ্কার, খরচ ও মূল্যায়নের মানদণ্ড ঠিক করুন। এতে পক্ষপাত দূর হয় না, তবে ভাগ্যবান প্যাটার্নের চারপাশে পরে গল্প সাজানোর স্বাধীনতা কমে।

বাতিল সংস্করণ ও প্রতিটি পরিবর্তনের কারণসহ পরীক্ষার লগ রাখুন। ত্রুটি সংশোধন ও অনুমান পরিবর্তন আলাদা করুন। সময়চিহ্নের ভুল সংশোধন আর ইকুইটি রেখা ভালো হয় বলে স্টপ স্তর সরানো আলাদা। দুটিই লিখে রাখা উচিত, কারণ প্রথম পরিবর্তন বৈধ হলেও ফল দেখা পরের সিদ্ধান্তে প্রভাব ফেলতে পারে।

অস্পর্শিত নমুনার আয়ু সীমিত

আলাদা রাখা পরীক্ষাকাল কেবল উন্নয়নে ব্যবহার না হওয়া পর্যন্ত মূল্যবান। গবেষক মডেল বাছতে বারবার তা দেখলে সেটিও প্রশিক্ষণের উপকরণ হয়। নমুনার বাইরে বললে তথ্যের প্রবাহ উল্টো হয় না। তখন নতুন সময়কাল বা সত্যিকারের স্বাধীন অন্য মূল্যায়ন দরকার হতে পারে।

ওয়াক-ফরোয়ার্ড পদ্ধতি, স্তরভিত্তিক বাছাই ও ব্যাকটেস্টে অতিরিক্ত ফিটিং নিয়ে গবেষণা বাছাইপ্রক্রিয়া পরীক্ষা করতে সাহায্য করে, কিন্তু কোনোটিই দুর্বল তথ্যকে নিশ্চয়তায় বদলায় না। যুক্তিসংগত কাছাকাছি প্যারামিটার ও অর্থনৈতিকভাবে আলাদা সময়পর্বে স্থিতিশীলতা যাচাই করুন। সৎভাবে মূল্যায়িত স্থিতিশীলতা উৎসাহজনক; যে স্থিতিশীলতার পরিসংখ্যান সবচেয়ে ভালো দেখায় তা খুঁজলে পরীক্ষার আরও একটি স্তর যোগ হয়।

সর্বোচ্চ চার্ট নয়, প্রমাণের গুণমানকে গুরুত্ব দিন

সরল বেঞ্চমার্ক, বাস্তবসম্মত খরচ ও অনিশ্চয়তার অনুমানের সঙ্গে ফল তুলনা করুন। অস্থির পরিমাপে সামান্য উন্নতি করা জটিল মডেলের বাড়তি স্বাধীনতা ন্যায্য নাও হতে পারে। আপাত সুবিধার কতটা একটি ট্রেড, একটি সম্পদ বা শুরুর তারিখের একটি পছন্দ থেকে আসে পরীক্ষা করুন।

উপযোগী প্রতিবেদনে অনুসন্ধানের ইতিহাস, চূড়ান্ত নির্দিষ্টকরণ, ব্যর্থতা ও অমীমাংসিত অনুমান থাকে। নেতিবাচক ফল সম্ভাব্য ধারণার ক্ষেত্র সংকুচিত করে এবং ভবিষ্যতের শ্রম বাঁচাতে পারে। লক্ষ্য প্রিয় কৌশল বাঁচানো নয়, উপলব্ধ প্রমাণ পুনরাবৃত্ত পরীক্ষায় টেকে এমন কোনো জোরালো দাবি সমর্থন করে কি না তা জানা। না করলে শৃঙ্খলাপূর্ণ সিদ্ধান্ত অনিশ্চয়তা, আরও জটিল বিপণন চার্ট নয়।

বিজয়ী বদলাতে পারত এমন সব নির্বাচন গুনুন

ইতিহাসের পাঁচ দৈর্ঘ্য, প্রবেশের চার সীমা ও বেরোনোর তিন নিয়মে 60টি সমন্বয় হয়। ফল দেখার পরে শুরুর তারিখ বাছা বা অসুবিধাজনক সম্পদ বাদ দেওয়াও অনুসন্ধান বাড়ায়। হাতে করা সিদ্ধান্তও পরীক্ষার লগে রাখুন।

আগে নির্ধারিত 20টি বৈধ পরীক্ষায় বনফেরোনি সীমা প্রতিটিতে 0.05 / 20 = 0.0025। এতে অন্তত একটি ভুল প্রত্যাখ্যানের সম্ভাবনা সর্বোচ্চ 5%। স্বাধীনতা দরকার নেই, যদিও সম্পর্কযুক্ত পরীক্ষায় পদ্ধতি রক্ষণশীল হতে পারে।

এটি পক্ষপাতদুষ্ট তথ্য, অবৈধ পরীক্ষা বা লুকোনো প্রচেষ্টা সারায় না। যেকোনো ভুল আবিষ্কারের সম্ভাবনা নিয়ন্ত্রণ এবং আবিষ্কারের মধ্যে ভুলের প্রত্যাশিত অংশ নিয়ন্ত্রণ আলাদা। প্রশ্ন অনুযায়ী পদ্ধতি নিন, সুবিধাজনক ফল অনুযায়ী নয়।

অনুকরণে পুরো অনুসন্ধান, নির্বাচন ও মূল্যায়ন পুনরাবৃত্তি করুন। শুধু আগে নির্বাচিত বিজয়ীর পুনর্নমুনাকরণ ব্যাপক খোঁজার সুবিধা উপেক্ষা করে। বারবার তাৎপর্য এসেছে কি না দেখাও পরীক্ষার নকশায় ধরতে হবে।