متعدد آزمائشیں: جب بہترین بیک ٹیسٹ خوش قسمتی کا اتفاق ہو

ایک بتائی گئی حکمت عملی ہزار آزمائشیں چھپا سکتی ہے

محقق بہت سے اشارے، پیرامیٹر، اثاثے اور نمونہ تاریخیں آزمانے کے بعد ایک پُرکشش بیک ٹیسٹ شائع کر سکتا ہے۔ آخری چارٹ پوری تلاش نہیں دکھاتا۔ ہر امیدوار میں حقیقی برتری نہ ہو تب بھی بہترین دکھنے والا متاثر کن لگ سکتا ہے کیونکہ کچھ اتفاقی سلسلے موافق ہوتے ہیں۔

اس لیے متعلقہ تجزیاتی اکائی صرف چنا قاعدہ نہیں بلکہ اسے چننے کا طریقہ ہے۔ نتائج دیکھ کر بدلی حد تلاش کا حصہ ہے، چاہے رسمی اصلاحی پروگرام نہ چلایا گیا ہو۔ یادداشت پر تجربات، ترک کردہ اسپریڈشیٹ اور غیر رسمی بصری معائنہ سب انتخابی تعصب بڑھا سکتے ہیں۔ دیانت دار تحقیقی ریکارڈ یہ انتخاب نمایاں کرتا ہے۔

احتمال کی سادہ مثال سمجھیں

بیس آزاد آزمائشوں میں ہر ایک کا غلط مثبت احتمال 5% ہو تو کم از کم ایک غلط مثبت کا امکان 1 − 0.95²⁰، تقریباً 64.2% ہے۔ آزادی کا مفروضہ اہم ہے: تجارتی شکلیں اکثر باہم متعلق ہوتی ہیں، اس لیے یہ حساب وضاحتی مثال ہے، حقیقی تحقیقی پروگرام کی دقیق تصحیح نہیں۔

سبق یہ نہیں کہ ہر مثبت نتیجہ غلط ہے۔ بلکہ وسیع تلاش کے بعد ایک آزمائش کی حد کی تعبیر اسی طرح نہیں ہو سکتی۔ متعلقہ پیرامیٹر انتخاب مکمل آزاد ثبوت نہیں دیتے، مگر ان کا ارتباط انتخابی تعصب مٹاتا بھی نہیں۔ تلاش کی مؤثر وسعت کا تخمینہ خود غیر یقینی ہے اور اسے عین گنتی کا روپ نہیں دینا چاہیے۔

p کی قدر، مفروضے کے درست ہونے یا اگلے سودے کے منافع کا امکان نہیں۔ یہ آزمائشی شماریے کی ایک مخصوص صفر مفروضے سے عدم مطابقت ناپتی ہے۔ نظرانداز کیا گیا زمانی تعلق یا چنیدہ رپورٹنگ اسے گمراہ کن بنا سکتے ہیں؛ شماریاتی اہمیت خود معاشی افادیت نہیں۔

مفروضے کو اسکور دینے کے اصول سے محفوظ رکھیں

ایسی معاشی دلیل سے آغاز کریں جو بتائے تعلق کیوں برقرار رہ سکتا ہے اور کیوں ختم ہو سکتا ہے۔ جہاں ممکن ہو، نتیجہ دیکھنے سے پہلے ڈیٹا کی صفائی، اخراجات اور جانچ کے معیار طے کریں۔ یہ تعصب ختم نہیں کرتا، مگر خوش قسمتی سے ملنے والے نمونے کے گرد بعد میں کہانی بنانے کی آزادی کم کرتا ہے۔

آزمائش کا لاگ رکھیں جس میں مسترد شکلیں اور ہر تبدیلی کی وجہ ہو۔ خرابی دور کرنے اور مفروضہ بدلنے میں فرق کریں۔ وقت کی مہر درست کرنا اس لیے اسٹاپ سطح بدلنے سے مختلف ہے کہ ایکویٹی منحنی بہتر ہوتا ہے۔ دونوں تبدیلیاں درج ہوں، کیونکہ نتائج دیکھنا بعد کے فیصلوں کو متاثر کر سکتا ہے چاہے پہلی تبدیلی جائز تھی۔

غیر استعمال شدہ نمونے کی عمر محدود ہے

الگ رکھا گیا جانچ کا دور صرف تب تک قیمتی ہے جب تک ماڈل سازی میں اسے استعمال نہ کیا جائے۔ جب محقق ماڈل منتخب کرنے کے لیے بار بار اس سے رجوع کرے تو وہ تربیت کا ایک اور وسیلہ بن جاتا ہے۔ اسے نمونے سے باہر کہنے سے معلومات کا بہاؤ واپس نہیں ہوتا۔ پھر کسی نئے دور یا واقعی آزاد جانچ کی ضرورت پڑ سکتی ہے۔

آگے بڑھتی آزمائشیں، انتخاب کے اندر انتخاب اور بیک ٹیسٹ اوورفٹنگ کی تحقیق انتخابی عمل جانچنے میں مدد دے سکتی ہیں، مگر کوئی کمزور ڈیٹا کو یقین نہیں بناتی۔ معقول قریبی پیرامیٹرز اور معاشی طور پر مختلف ادوار میں استحکام دیکھیں۔ دیانت داری سے جانچا گیا استحکام حوصلہ افزا ہے؛ استحکام کا بہترین دکھنے والا شماریہ ڈھونڈنا آزمائش کی ایک اور تہہ بڑھاتا ہے۔

سب سے اونچے چارٹ کے بجائے شواہد کے معیار کو ترجیح دیں

نتائج کا موازنہ ایک سادہ معیار، حقیقت پسندانہ اخراجات اور غیر یقینی کے اندازوں سے کریں۔ ایسا پیچیدہ ماڈل جو شور سے بھرے پیمانے کو بمشکل بہتر بنائے، اپنی اضافی آزادیوں کا جواز شاید نہ دے۔ دیکھیں کہ بظاہر برتری کا کتنا حصہ ایک سودے، ایک اثاثے یا آغاز کی تاریخ کے ایک انتخاب سے آتا ہے۔

مفید رپورٹ میں تلاش کی تاریخ، حتمی تصریح، ناکامیاں اور غیر حل شدہ مفروضے شامل ہوتے ہیں۔ منفی نتائج معقول خیالوں کی حد گھٹاتے اور آئندہ محنت بچا سکتے ہیں۔ مقصد پسندیدہ حکمت عملی بچانا نہیں بلکہ یہ جاننا ہے کہ دستیاب شواہد کسی ایسے مضبوط دعوے کی تائید کرتے ہیں یا نہیں جو دوبارہ جانچ میں قائم رہے۔ جب ایسا نہ ہو تو منضبط نتیجہ غیر یقینی ہے، زیادہ آراستہ تشہیری چارٹ نہیں۔

ہر وہ انتخاب گنیں جو فاتح بدل سکتا تھا

پانچ تاریخی مدتیں، چار داخلی حدیں اور تین خارجی قواعد 60 ترکیبیں دیتے ہیں۔ نتیجہ دیکھ کر آغاز کی تاریخ بدلنا یا ناموافق اثاثہ ہٹانا بھی تلاش بڑھاتا ہے۔ کوششوں کے ریکارڈ میں دستی فیصلے بھی شامل کریں۔

پہلے سے مقرر 20 معتبر آزمائشوں کے لیے بونفیرونی تصحیح ہر حد 0.05 / 20 = 0.0025 رکھتی ہے۔ کم از کم ایک غلط رد کا امکان یوں زیادہ سے زیادہ 5% رہتا ہے۔ آزادی ضروری نہیں، مگر باہم متداخل آزمائشوں میں طریقہ محتاط ہو سکتا ہے۔

یہ تصحیح غلط ڈیٹا، نامعتبر آزمائش یا چھپی کوششیں درست نہیں کرتی۔ کسی بھی غلط دریافت کے امکان کو قابو کرنا، دریافتوں میں غلط حصے کی متوقع شرح قابو کرنے سے الگ ہے۔ طریقہ سوال کے مطابق چنیں، پسندیدہ جواب کے مطابق نہیں۔

نقل میں خود انتخاب کا عمل دہرائیں: امیدواروں کی تلاش، فاتح کا انتخاب، پھر جائزہ۔ صرف پہلے سے منتخب فاتح کی دوبارہ جانچ وسیع تلاش کا فائدہ نظرانداز کرتی ہے۔ بار بار اہمیت دیکھنے کا عمل بھی آزمائشی ڈیزائن میں شامل ہونا چاہیے۔