ผลทดสอบย้อนหลังที่ดีที่สุดในตารางคำนวณ

สถานการณ์ตั้งต้น

กรณีสมมติเพื่อการศึกษา ชุดราคา กลยุทธ์ ผลซื้อขาย และสถิติถูกสร้างขึ้น ไม่ใช่บันทึกอดีต การกล่าวอ้างผลตอบแทน หรือสัญญาณที่ใช้ซื้อขายได้ ลีนาทดสอบแนวคิดค่าเฉลี่ยเคลื่อนที่กับตะกร้าหุ้นสังเคราะห์ หลังลองพารามิเตอร์ 120 ชุด เธอเลือกผลที่น่าดึงดูดที่สุดและนำเสนอการซื้อขายจำลอง 200 ครั้งเป็นหลักฐานความได้เปรียบที่แข็งแกร่ง การทบทวนวิจัยถามว่าเลือกอะไร ละอะไร และอะไรยังไม่เคยถูกเห็นจริง

คำนวณตัวเลขเด่นที่น่าประทับใจใหม่

ชุดที่เลือกมีการซื้อขายชนะก่อนต้นทุน 110 ครั้ง เฉลี่ย $180 และแพ้ก่อนต้นทุน 90 ครั้ง เฉลี่ย $160 กำไรรวมก่อนต้นทุน $19,800 และขาดทุนรวมก่อนต้นทุน $14,400 เหลือ $5,400 จาก 200 ครั้ง ค่าเฉลี่ยก่อนต้นทุน $27 ต่อครั้ง และอัตราชนะ 55% ทั้งสองตัวเลขไม่บอกว่ากลยุทธ์ทนต้นทุนสมจริงได้หรือไม่ หรือกระบวนการคัดเลือกพบสัญญาณแทนโชคหรือไม่

ลีนาสมมติต้นทุนไปกลับเพียง $2 ต่อครั้ง ทำให้ผลลดลง $400 เหลือ $5,000 แต่การทบทวนการซื้อขายสมมติประเมินค่าคอมมิชชันและค่าธรรมเนียมชัดแจ้ง $6 ต้นทุนสเปรด $12 และสลิปเพจเพิ่มเติม $15 ต่อรอบสมบูรณ์ รวม $33 ต่อครั้ง หรือ $6,600 ตลอดตัวอย่าง จากผลก่อนต้นทุนเดิม ผลสุทธิที่แก้ไขเป็นขาดทุน $1,200 เฉลี่ยติดลบ $6 ต่อครั้ง

กำหนดต้นทุนโดยไม่นับซ้ำ

องค์ประกอบต้นทุนเหล่านี้สมเหตุสมผลเพราะการทดสอบสังเคราะห์ใช้ราคาอ้างอิงที่ไม่มีต้นทุนแฝง หากจำลองการจับคู่ที่ราคาเสนอซื้อและเสนอขายแล้ว การหักสเปรดทั้งหมดอีกครั้งจะทำให้ต้นทุนสูงเกินจริง เช่นเดียวกัน ส่วนขาดจากการดำเนินการที่วัดจากราคาตัดสินใจอาจรวมสเปรดและผลกระทบตลาดแล้ว บันทึกวิจัยต้องนิยามเกณฑ์ราคาเข้า ราคาออก และค่าธรรมเนียมเพิ่มเติมอย่างแม่นยำ

ตารางความไวควรทดสอบต้นทุนไปกลับรวมหลายระดับ ไม่ใช่เพียงระดับที่เอื้อต่อกลยุทธ์ที่สุด ที่ $15 ผลสุทธิคือ $2,400; ที่ $27 เป็นศูนย์; ที่ $45 เป็นลบ $3,600 ทั้งหมดเป็นสถานการณ์คำนวณ ไม่ใช่การพยากรณ์ ต้นทุนคุ้มทุน $27 มีประโยชน์มาก เพราะแสดงว่าผลก่อนต้นทุนที่เลือกมีพื้นที่เหลือน้อยเพียงใดสำหรับความไม่แน่นอนในการซื้อขาย การจับคู่ที่พลาด และความผิดพลาดดำเนินงาน

ปัญหาการคัดเลือกเกิดก่อนกราฟสุดท้าย

ลีนาไม่ได้เลือกชุดนี้ก่อนเห็นตัวอย่าง เธอเลือกเพราะทำได้ดีกว่าอีก 119 ทางเลือกบนตัวอย่างเดียวกัน แม้กลยุทธ์ไม่มีความได้เปรียบพยากรณ์ที่ยั่งยืน ก็สร้างผู้ชนะน่าดึงดูดได้เมื่อทดลองหลายรูปแบบ เพื่อแสดงแนวคิดแบบจงใจลดความซับซ้อน หากการทดสอบอิสระ 120 ครั้งแต่ละครั้งมีโอกาสผลบวกลวง 5% โอกาสเกิดอย่างน้อยหนึ่งครั้งคือ 1 − 0.95^120 หรือประมาณ 99.79%

รูปแบบกลยุทธ์จริงน่าจะมีสหสัมพันธ์กัน ดังนั้นการคำนวณแบบอิสระนั้นไม่ใช่ค่า p ที่ใช้ได้สำหรับงานวิจัยของลีนา บทบาทของมันคือเปิดเผยปัญหาการทดสอบหลายสมมติฐาน ไม่ใช่วัดปัญหาอย่างแม่นยำ เธอต้องบันทึกทุกรูปแบบที่ลอง รวมตัวชี้วัดที่ทิ้ง ช่วงวันที่ที่เปลี่ยน และข้อยกเว้นที่กำหนดเอง กราฟสุดท้ายที่สวยงามไม่อาจเผยจำนวนการทดลองล้มเหลวที่ซ่อนอยู่

กันชุดประเมินอย่างซื่อตรง

การออกแบบวิจัยสมมติที่ดีกว่าแยกการพัฒนา การตรวจสอบ และการทดสอบสุดท้ายที่ยังไม่แตะต้อง ลีนาใช้ข้อมูลพัฒนาสร้างแนวคิด และข้อมูลตรวจสอบเปรียบเทียบทางเลือกจำนวนจำกัดที่มีบันทึกได้ เมื่อเธอดูผลทดสอบสุดท้ายแล้วเปลี่ยนกลยุทธ์ตาม ข้อมูลนั้นไม่ใช่ข้อมูลที่ยังไม่แตะต้องอีกต่อไป การเรียกข้อมูลเดิมว่า “นอกตัวอย่าง” ซ้ำ ๆ ไม่ได้คืนความเป็นอิสระ

ในการทดสอบใหม่ 60 ครั้ง สมมติชนะก่อนต้นทุน 28 ครั้ง เฉลี่ย $170 และแพ้ก่อนต้นทุน 32 ครั้ง เฉลี่ย $150 ผลก่อนต้นทุนคือ $4,760 − $4,800 = ลบ $40 ที่ต้นทุน $33 ต่อรอบ ต้นทุนเพิ่ม $1,980 และผลสุทธิลบ $2,020 ตัวอย่างสมมติขนาดเล็กนี้ไม่ได้พิสูจน์ว่ากลยุทธ์ใช้ไม่ได้ตลอดไป แต่ไม่สนับสนุนความมั่นใจเดิม การตอบสนองที่เหมาะสมคือสอบสวนหรือปฏิเสธ ไม่ใช่เปลี่ยนพารามิเตอร์อัตโนมัติจนชุดกันไว้แสดงกำไร

แสดงตัวอย่างสองชุดแยกก่อน รายการพัฒนา 200 ครั้งที่แก้แล้วให้ −1,200 ดอลลาร์ และรายการใหม่หกสิบครั้งให้ −2,020 รวม −3,220 ใน 260 ครั้ง หรือราว −12.38 ต่อครั้ง การบวกถูกไม่ได้ทำให้ข้อมูลที่ใช้เลือกกลายเป็นหลักฐานอิสระ

ตรวจสอบเวลาที่ข้อมูลพร้อมใช้และเส้นทางการขาดทุน

การทบทวนยังถามว่าสัญญาณใช้ข้อมูลที่มีจริงก่อนซื้อขายจำลองแต่ละครั้งหรือไม่ โดยทั่วไปตัวชี้วัดราคาปิดไม่อาจรองรับการจับคู่ก่อนหน้านั้นที่ราคาปิดเดียวกัน หากไม่มีกลไกซื้อขายที่อธิบายได้ การเลือกขอบเขตตราสารไม่ควรตัดหลักทรัพย์ล้มเหลวหรือเพิกถอนเงียบ ๆ การดำเนินการของบริษัท การจัดเวลาให้ตรง และราคาล้าสมัยอาจเปลี่ยนผลจำลองอย่างมีนัยสำคัญ แต่ละการตรวจสอบจัดการแหล่งข้อผิดพลาดที่เป็นไปได้ ไม่ใช่รับประกันกำไรในอนาคต

สุดท้าย ลีนาบันทึกการลดลงจากจุดสูงสุด การขาดทุนต่อเนื่อง อัตราหมุนเวียน และการใช้เงินทุนควบคู่กับกำไรรวม กลยุทธ์ที่ฟื้นตัวในที่สุดอาจฝ่าขีดจำกัดเงินทุนระหว่างทาง NFA เตือนว่าผลสมมติได้ประโยชน์จากการรู้ย้อนหลัง และจำลองประสบการณ์เสี่ยงทางการเงินจริงได้ไม่ครบ การทดสอบจำลองอาจเปิดเผยปัญหาขั้นตอนทำงาน แต่ไม่ได้ยืนยันสภาพคล่องจริง ความสามารถขยายขนาด หรือความสามารถทำตามกลยุทธ์ขณะเสียเงินจริง

ระบุหลักฐานที่เปลี่ยนข้อสรุปได้จริง

ขั้นต่อไปขึ้นกับสาเหตุ ถ้าเวลาไม่ถูกจนอนาคตรั่วเข้ามา ต้องแก้และถอนหรือแทนผลที่ได้รับผลกระทบให้ชัด หากต้นทุนสมจริงกินความได้เปรียบหมด ชื่อกราฟใหม่ไม่ช่วย

เก็บทั้ง 120 รูปแบบ ข้อมูลจำลอง เกณฑ์เลือก กติกาต้นทุน และข้อกำหนดสุดท้ายที่ตรึงไว้ ผู้ตรวจอีกคนควรสร้างทั้งผลเดิมและผลแก้ได้ การทำซ้ำยืนยันการคำนวณ ไม่ยืนยันความสำเร็จอนาคต

เพิ่มต้นทุนจาก 33 เป็น 45 ดอลลาร์บน 200 รายการเดิม เพิ่ม 2,400 และเปลี่ยนสุทธิจาก −1,200 เป็น −3,600 หากสภาพคล่องลดจนบางรายการทำไม่ได้ รายการจะเปลี่ยนและต้องจำลองใหม่

กฎที่ได้แรงบันดาลใจจากชุดทดสอบที่ล้มเหลวเป็นส่วนหนึ่งของการพัฒนาแล้ว การประเมินบนชุดเดิมไม่ใช่การตรวจอิสระ ข้อสรุปที่ซื่อตรงอาจเป็นว่าแนวคิดปัจจุบันยังไม่มีหลักฐานพอ

จุดที่การให้เหตุผลผิดพลาด