การทดสอบหลายสมมติฐาน: เมื่อผลทดสอบย้อนหลังที่ดีที่สุดเป็นเพียงความบังเอิญ

กลยุทธ์เดียวที่รายงานอาจซ่อนการทดลองนับพัน

นักวิจัยอาจเผยแพร่ผลทดสอบย้อนหลังที่ดูน่าสนใจเพียงชุดเดียว หลังจากลองสัญญาณ ค่าพารามิเตอร์ สินทรัพย์ และช่วงวันที่ของตัวอย่างมามากมาย กราฟสุดท้ายไม่ได้แสดงการค้นหาทั้งหมด แม้ว่าตัวเลือกทุกตัวจะไม่มีความได้เปรียบจริง ตัวที่ดูดีที่สุดก็อาจน่าประทับใจได้ เพราะลำดับเหตุการณ์สุ่มบางชุดให้ผลดี

ดังนั้น หน่วยวิเคราะห์ที่เกี่ยวข้องจึงไม่ใช่แค่กฎที่เลือก แต่รวมถึงกระบวนการที่ใช้เลือกกฎนั้นด้วย การเปลี่ยนเกณฑ์หลังตรวจดูผลถือเป็นส่วนหนึ่งของการค้นหา แม้ไม่ได้ใช้โปรแกรมหาค่าที่เหมาะสมอย่างเป็นทางการ การทดลองจากความทรงจำ สเปรดชีตที่ทิ้งไป และการตรวจกราฟด้วยสายตาอย่างไม่เป็นทางการ ล้วนก่อให้เกิดอคติจากการคัดเลือกได้ บันทึกการวิจัยที่ตรงไปตรงมาจะทำให้มองเห็นการตัดสินใจเหล่านี้

เข้าใจตัวอย่างความน่าจะเป็นอย่างง่าย

หากการทดสอบที่เป็นอิสระต่อกันยี่สิบครั้ง แต่ละครั้งมีโอกาสเกิดผลบวกลวง 5% โอกาสเกิดผลบวกลวงอย่างน้อยหนึ่งครั้งคือ 1 − 0.95²⁰ หรือประมาณ 64.2% สมมติฐานเรื่องความเป็นอิสระมีความสำคัญ รูปแบบกลยุทธ์การซื้อขายมักสัมพันธ์กัน การคำนวณนี้จึงเป็นเพียงตัวอย่าง ไม่ใช่การปรับแก้ที่แม่นยำสำหรับโครงการวิจัยจริง

บทเรียนนี้ไม่ได้หมายความว่าข้อค้นพบเชิงบวกทุกอย่างเป็นเท็จ แต่หมายความว่าเราไม่อาจตีความเกณฑ์ของการทดสอบครั้งเดียวในแบบเดิมหลังค้นหาอย่างกว้างขวางแล้ว ตัวเลือกพารามิเตอร์ที่เกี่ยวข้องกันไม่ได้สร้างหลักฐานที่เป็นอิสระอย่างสมบูรณ์ แต่ความสัมพันธ์นั้นก็ไม่ได้ทำให้อคติจากการคัดเลือกหายไป การประมาณขอบเขตการค้นหาที่มีผลจริงเองก็ไม่แน่นอน และไม่ควรนำเสนอราวกับเป็นจำนวนที่แน่นอน

p-value ไม่ใช่โอกาสที่สมมติฐานเป็นจริงหรือรายการถัดไปมีกำไร แต่เป็นความไม่สอดคล้องของสถิติกับแบบจำลองสมมติฐานศูนย์ภายใต้เงื่อนไขของการทดสอบ การละเลยความสัมพันธ์หรือรายงานเฉพาะผลดีอาจสร้างนัยสำคัญลวง และนัยสำคัญไม่ได้แปลว่าคุ้มต้นทุน

ปกป้องสมมติฐานจากกฎให้คะแนน

เริ่มจากเหตุผลทางเศรษฐศาสตร์ที่ระบุว่าทำไมความสัมพันธ์หนึ่งจึงอาจคงอยู่ และทำไมจึงอาจหยุดทำงาน หากทำได้ ให้กำหนดวิธีทำความสะอาดข้อมูล ต้นทุน และเกณฑ์ประเมินก่อนดูผล วิธีนี้ไม่ได้ขจัดอคติ แต่ลดอิสระในการแต่งเรื่องอธิบายย้อนหลังให้เข้ากับรูปแบบที่บังเอิญให้ผลดี

เก็บบันทึกการทดลองที่รวมรูปแบบที่ถูกปฏิเสธและเหตุผลของการเปลี่ยนแปลงแต่ละครั้ง แยกการแก้ข้อผิดพลาดออกจากการเปลี่ยนสมมติฐาน การแก้เวลาประทับที่ผิดต่างจากการย้ายระดับหยุดขาดทุนเพราะทำให้เส้นเงินทุนดูดีขึ้น ควรบันทึกทั้งสองอย่าง เพราะการเห็นผลอาจมีอิทธิพลต่อการตัดสินใจภายหลัง แม้การเปลี่ยนแปลงครั้งแรกจะสมเหตุสมผลก็ตาม

ตัวอย่างที่ยังไม่เคยใช้มีอายุการใช้งานจำกัด

ช่วงข้อมูลที่กันไว้ทดสอบมีคุณค่าก็ต่อเมื่อยังไม่ถูกใช้ในการพัฒนา เมื่อนักวิจัยเปิดดูซ้ำ ๆ เพื่อเลือกระหว่างโมเดล ข้อมูลนั้นก็กลายเป็นทรัพยากรสำหรับฝึกอีกชุดหนึ่ง การเรียกว่าข้อมูลนอกตัวอย่างไม่ได้ย้อนทิศทางการไหลของข้อมูล อาจจำเป็นต้องใช้ช่วงข้อมูลใหม่กว่าหรือการประเมินอื่นที่เป็นอิสระจริง

กระบวนการทดสอบแบบเดินหน้า การคัดเลือกแบบซ้อนชั้น และงานวิจัยเรื่องการปรับให้เข้ากับผลย้อนหลังมากเกินไป ช่วยตรวจสอบกระบวนการคัดเลือกได้ แต่ไม่มีวิธีใดเปลี่ยนข้อมูลที่อ่อนแอให้เป็นความแน่นอน ประเมินความเสถียรในย่านค่าพารามิเตอร์ที่สมเหตุสมผลและช่วงเวลาที่มีภาวะเศรษฐกิจต่างกัน ความเสถียรเป็นสัญญาณที่ดีเมื่อประเมินอย่างตรงไปตรงมา แต่การค้นหาสถิติความเสถียรที่ดูดีที่สุดเพิ่มการทดสอบเข้าไปอีกชั้น

ให้คุณค่าคุณภาพหลักฐานมากกว่ากราฟที่สูงที่สุด

เปรียบเทียบผลกับเกณฑ์อ้างอิงที่เรียบง่าย ต้นทุนที่สมจริง และค่าประมาณความไม่แน่นอน โมเดลซับซ้อนที่ปรับปรุงตัวชี้วัดซึ่งมีสัญญาณรบกวนได้เพียงเล็กน้อย อาจไม่คุ้มกับองศาอิสระที่เพิ่มขึ้น ตรวจดูว่าความได้เปรียบที่เห็นมาจากการซื้อขายครั้งเดียว สินทรัพย์เดียว หรือการเลือกวันเริ่มต้นเพียงครั้งเดียวมากเพียงใด

รายงานที่มีประโยชน์ควรมีประวัติการค้นหา ข้อกำหนดสุดท้าย ความล้มเหลว และสมมติฐานที่ยังไม่คลี่คลาย ข้อค้นพบเชิงลบช่วยลดขอบเขตแนวคิดที่ยังเป็นไปได้และประหยัดแรงในอนาคต เป้าหมายไม่ใช่การรักษากลยุทธ์โปรดไว้ แต่คือการค้นว่าหลักฐานที่มีรองรับข้อกล่าวอ้างที่แข็งแรงพอจะผ่านการทำซ้ำหรือไม่ หากไม่รองรับ ข้อสรุปที่มีวินัยคือความไม่แน่นอน ไม่ใช่กราฟการตลาดที่ซับซ้อนขึ้น

นับทุกทางเลือกที่อาจเปลี่ยนผู้ชนะ

ช่วงข้อมูลห้าแบบ เกณฑ์เข้าสี่แบบ และกฎออกสามแบบสร้าง 60 ชุด การเลือกวันเริ่มหรือตัดสินทรัพย์ที่ไม่ดีหลังเห็นผลก็เพิ่มการค้นหา บันทึกการตัดสินใจด้วยมือด้วย ไม่ใช่เฉพาะการรันโปรแกรม

สำหรับชุดที่กำหนดล่วงหน้า 20 การทดสอบที่ถูกต้อง เกณฑ์ Bonferroni คือ 0.05 / 20 = 0.0025 ต่อการทดสอบ ทำให้โอกาสปฏิเสธผิดอย่างน้อยหนึ่งครั้งไม่เกิน 5% ไม่ต้องอาศัยความเป็นอิสระ แต่อาจเข้มงวดเมื่อการทดสอบทับซ้อนกัน

การปรับนี้ไม่ซ่อมข้อมูลลำเอียง การทดสอบที่ผิดเงื่อนไข หรือความพยายามที่ปกปิด การควบคุมโอกาสพบผลบวกเทียมใดๆ ต่างจากการควบคุมสัดส่วนผลค้นพบเทียมที่คาดหมาย เลือกวิธีตามคำถาม ไม่ใช่ตามผลที่ชอบ

จำลองกระบวนการค้นหาและเลือกผู้ชนะใหม่ในแต่ละรอบ การสุ่มเฉพาะผู้ชนะที่เลือกไว้แล้วละเลยข้อได้เปรียบจากการลองหลายแบบ การตรวจซ้ำจนมีนัยสำคัญก็ต้องอยู่ในการออกแบบการทดสอบ