การทดสอบย้อนหลังโดยไม่หลอกตัวเอง

เขียนกฎก่อนดูคำตอบ

การทดสอบย้อนหลังใช้กฎตัดสินใจที่กำหนดกับข้อมูลในอดีต แล้วคำนวณผลที่ลำดับการซื้อขายจำลองน่าจะสร้าง คุณค่าคือการนำสมมติฐานมาทดสอบกับหลักฐาน หากเปลี่ยนกฎทุกครั้งที่เจอตัวอย่างขาดทุน แบบฝึกหัดจะกลายเป็นการบรรยายอดีต แทนการทดสอบกระบวนการตัดสินใจที่ทำซ้ำได้

เริ่มจากขอบเขตตราสาร ช่วงสังเกต เงื่อนไขเข้า เงื่อนไขออก วิธีจัดขนาด และแบบจำลองต้นทุน กำหนดว่าข้อมูลพร้อมใช้เมื่อใดและคำสั่งซื้อขายได้เร็วที่สุดเมื่อใด กลยุทธ์อิงราคาปิดโดยทั่วไปไม่อาจสมมติว่ารู้ราคาปิดสุดท้ายนั้นล่วงหน้าและซื้อขายได้ที่ราคาเดียวกันพอดี โดยไม่มีเหตุผลรองรับเพิ่มเติม

ระวังข้อมูลรั่วไหลย้อนกลับ

อคติจากการมองอนาคตเกิดเมื่อการจำลองใช้ข้อมูลที่ยังไม่มี ณ เวลาตัดสินใจ เช่น ข้อมูลเศรษฐกิจที่แก้ไขภายหลัง ประกาศกำไรในเวลาต่อมา หรือรายชื่อสมาชิกดัชนีในอนาคต ฐานข้อมูลย้อนหลังอาจถูกต้องสมบูรณ์ในวันนี้ แต่ไม่เหมาะสำหรับสร้างภาพสิ่งที่คนรู้จริงในวันก่อนหน้า

อคติจากการรอดอยู่เกิดเมื่อขอบเขตที่ทดสอบไม่รวมตราสารที่หายไป กลยุทธ์ที่ทดสอบเฉพาะบริษัทที่ยังอยู่ อาจพลาดการล้มละลาย การเพิกถอน และการซื้อกิจการที่กระทบโอกาสในอดีต ปัญหาเดียวกันเกิดได้กับโทเคนคริปโตที่ล้มเหลวหรือกองทุนที่ยุติไป บันทึกว่าชุดข้อมูลจัดการการหายไปอย่างไร แทนการลบรายการยุ่งยากเงียบ ๆ

การแตกหุ้นหนึ่งเป็นสองทำให้หุ้น 100 หน่วยที่ราคา 40 ดอลลาร์กลายเป็น 200 หน่วยที่ราว 20 ดอลลาร์ ก่อนการเคลื่อนไหวอื่น มูลค่ารวมไม่ได้ลดครึ่งหนึ่ง การใช้ราคาปรับแล้วกับจำนวนหุ้นที่ยังไม่ปรับสร้างผลลวง และการบวกเงินปันผลซ้ำในชุดผลตอบแทนรวมก็นับซ้ำเช่นกัน

จำลองการซื้อขายอย่างเป็นระบบ ไม่ใช่เอื้อให้ได้ผลดี

แท่งเทียนแตะราคาลิมิตไม่ได้พิสูจน์ว่าคำสั่งทั้งหมดของคุณจะจับคู่ได้ ตำแหน่งในคิว ปริมาณที่มี และเส้นทางราคาระหว่างแท่งล้วนสำคัญ หากแท่งเดียวแตะทั้งจุดตัดขาดทุนและเป้าหมาย ข้อมูลแท่งอย่างเดียวอาจไม่บอกว่าอะไรมาก่อน จัดการความกำกวมอย่างระมัดระวัง หรือใช้ข้อมูลที่ระบุลำดับได้

รวมสเปรด ค่าคอมมิชชัน ต้นทุนเงินทุน ค่ายืมเมื่อเกี่ยวข้อง และสลิปเพจที่สมเหตุสมผล ภาษีขึ้นกับเขตอำนาจและสถานการณ์ ดังนั้นการจำลองทั่วไปควรบอกว่าเป็นผลก่อนภาษีหรือไม่ แทนการสร้างอัตราสากลขึ้นเอง เปรียบเทียบผลภายใต้สมมติฐานต้นทุนหลายแบบ วิธีที่สำเร็จได้เฉพาะเมื่อซื้อขายฟรีและทันทีนั้นเปราะบาง

แยกการค้นพบออกจากการประเมิน

การลองพารามิเตอร์หลายร้อยชุดแล้วนำเสนอชุดดีที่สุดสร้างปัญหาการคัดเลือก บางชุดอาจดูยอดเยี่ยมเพราะความบังเอิญ กันข้อมูลที่ไม่ได้ใช้พัฒนากฎไว้ และหลีกเลี่ยงการตรวจดูซ้ำจนมันกลายเป็นชุดฝึกอีกชุด การทดสอบจำลองไปข้างหน้าให้การตรวจสอบอีกแบบ เพราะข้อมูลใหม่มาหลังตรึงกฎแล้ว

รายงานรูปแบบที่ล้มเหลว ขนาดตัวอย่าง ช่วงวันที่ และจำนวนการทดลอง ไม่ใช่เพียงกราฟผู้ชนะ ตรวจสอบว่าพารามิเตอร์ใกล้เคียงให้ผลคล้ายกันหรือมีค่าตั้งเพียงจุดเดียวสร้างกำไรทั้งหมด ผลสมมติยังเป็นผลสมมติ แม้ตารางคำนวณจะแม่นถึงหลายตำแหน่งทศนิยม การคำนวณอดีตจำลองสภาพคล่อง อารมณ์ และปัญหาการดำเนินงานได้ไม่ครบ

เก็บบันทึกวิจัยเกี่ยวกับรุ่นข้อมูลและการเปลี่ยนวิธีคำนวณ การแก้การปรับแตกหุ้นหรือเพิ่มข้อมูลเพิกถอนใหม่อาจเปลี่ยนผลอย่างมีนัยสำคัญ และควรเห็นร่องรอยการแก้ไขนั้น การทำซ้ำได้หมายถึงผู้อื่นสร้างคำตอบเดียวกันได้จากข้อมูลและกฎที่ระบุ ไม่ได้หมายถึงคำตอบมีประโยชน์ทางเศรษฐกิจ แต่เป็นขั้นที่จำเป็นในการค้นหาความจริง

สร้างรายการเดียวให้ตรวจสอบได้ก่อนเชื่อผลนับพันรายการ

เขียนลำดับเวลาของรายการหนึ่งให้ครบ: วันที่ของข้อมูล เวลาที่รับรู้ได้จริง การตัดสินใจ คำสั่งมาถึง และการจับคู่ ประกาศหลังตลาดปิดวันอังคารใช้ตัดสินใจเช้าวันเดียวกันไม่ได้ ตรวจเขตเวลาและการเปลี่ยนเวลาออมแสงด้วย

กระทบยอดทั้งบัญชี ไม่ใช่เฉพาะรายการปิดแล้ว เงินเริ่มต้น กระแสเงินภายนอก กำไรขาดทุนที่รับรู้ และมูลค่าสถานะเปิดต้องอธิบายส่วนทุนปลายทางได้ สัญญาณพร้อมกันหลายตัวไม่อาจใช้เงินก้อนเดียวกันเต็มจำนวนซ้ำกัน

ทดสอบข้อมูลจำลองสั้นที่รู้คำตอบ ราคาคงที่โดยไม่มีต้นทุนไม่ควรสร้างกำไรจากการซื้อขาย และการเพิ่มค่าธรรมเนียมบนรายการเดิมต้องลดผลเท่าค่าใช้จ่ายเพิ่ม ราคาที่ขาดหายต้องมีกฎชัดเจน ไม่ใช่จับคู่ที่ศูนย์โดยเงียบๆ

เลือกตัวเปรียบเทียบให้ตรงคำถาม กลยุทธ์ซื้ออย่างเดียวอาจได้ประโยชน์จากตลาดที่ขึ้นทั้งระบบ ใช้วันเดียวกันและการจัดการเงินปันผลกับเงินสดแบบเดียวกันก่อนตีความยอดปลายทางที่สูงกว่าว่าเป็นทักษะ