Ο καλύτερος ιστορικός έλεγχος στο υπολογιστικό φύλλο

Το σενάριο

Υποθετική εκπαιδευτική περίπτωση. Η σειρά τιμών, η στρατηγική, τα αποτελέσματα συναλλαγών και τα στατιστικά είναι επινοημένα. Δεν αποτελούν ιστορικό αρχείο, ισχυρισμό απόδοσης ή αξιοποιήσιμο σήμα συναλλαγής. Η Lena δοκιμάζει μια ιδέα κινητού μέσου όρου σε συνθετικό καλάθι μετοχών. Αφού δοκιμάσει 120 συνδυασμούς παραμέτρων, επιλέγει το ελκυστικότερο αποτέλεσμα και παρουσιάζει τις 200 προσομοιωμένες συναλλαγές του ως απόδειξη ανθεκτικού πλεονεκτήματος. Μια ερευνητική εξέταση ρωτά τι επιλέχθηκε, τι παραλείφθηκε και τι παραμένει πραγματικά μη εξετασμένο.

Ανασυνθέστε τον εντυπωσιακό τίτλο

Η επιλεγμένη διαμόρφωση έχει 110 μικτά κερδοφόρες συναλλαγές με μέσο κέρδος $180 και 90 μικτά ζημιογόνες με μέση ζημία $160. Τα μικτά κέρδη είναι $19,800 και οι μικτές ζημίες $14,400, αφήνοντας $5,400 σε 200 συναλλαγές. Ο μικτός μέσος όρος είναι $27 ανά συναλλαγή και το ποσοστό επιτυχίας 55%. Κανένας αριθμός δεν μας λέει αν η στρατηγική αντέχει ρεαλιστικά κόστη ή αν η διαδικασία επιλογής ανακάλυψε σήμα και όχι τύχη.

Η Lena υπέθεσε κόστος πλήρους κύκλου συναλλαγής μόνο $2 ανά συναλλαγή, μειώνοντας το αποτέλεσμα κατά $400 σε $5,000. Όμως η φανταστική εξέταση εκτέλεσης εκτιμά $6 σε προμήθειες και ρητές χρεώσεις, $12 σε κόστος spread και $15 σε πρόσθετη ολίσθηση ανά ολοκληρωμένο κύκλο. Το σύνολο είναι $33 ανά συναλλαγή, ή $6,600 σε όλο το δείγμα. Με τα ίδια μικτά αποτελέσματα, το αναθεωρημένο καθαρό αποτέλεσμα είναι ζημία $1,200, κατά μέσο όρο αρνητικό κατά $6 ανά συναλλαγή.

Ορίστε τα κόστη χωρίς διπλό υπολογισμό

Αυτές οι συνιστώσες κόστους έχουν νόημα μόνο επειδή ο συνθετικός ιστορικός έλεγχος χρησιμοποίησε τιμές αναφοράς χωρίς τριβές. Αν οι εκτελέσεις είχαν ήδη προσομοιωθεί στις τιμές αγοράς και πώλησης, η χωριστή αφαίρεση ολόκληρου του spread ξανά θα υπερεκτιμούσε τα κόστη. Ομοίως, η υστέρηση υλοποίησης που μετριέται από τιμή απόφασης μπορεί ήδη να περιέχει spread και επίδραση στην αγορά. Το ερευνητικό αρχείο χρειάζεται ακριβή ορισμό του σημείου αναφοράς εισόδου, του σημείου αναφοράς εξόδου και των πρόσθετων χρεώσεων.

Ένας πίνακας ευαισθησίας θα δοκίμαζε διάφορα συνολικά κόστη πλήρους κύκλου συναλλαγής, όχι μόνο εκείνο που ευνοεί περισσότερο τη στρατηγική. Στα $15, το καθαρό αποτέλεσμα είναι $2,400· στα $27 είναι μηδέν· στα $45 είναι αρνητικό κατά $3,600. Πρόκειται για αριθμητικά σενάρια, όχι προβλέψεις. Το κόστος ισοσκέλισης $27 είναι ιδιαίτερα χρήσιμο επειδή αποκαλύπτει πόσο λίγο περιθώριο αφήνει το επιλεγμένο μικτό αποτέλεσμα για αβεβαιότητα εκτέλεσης, χαμένες εκτελέσεις και λειτουργικά λάθη.

Το πρόβλημα επιλογής προηγείται του τελικού διαγράμματος

Η Lena δεν επέλεξε αυτή τη διαμόρφωση πριν δει το δείγμα. Την επέλεξε επειδή υπερείχε 119 εναλλακτικών στο ίδιο δείγμα. Ακόμη και στρατηγικές χωρίς διατηρήσιμο προβλεπτικό πλεονέκτημα μπορούν να παράγουν έναν ελκυστικό νικητή όταν δοκιμάζονται πολλές παραλλαγές. Ως σκόπιμα σχηματικό παράδειγμα, αν 120 ανεξάρτητες δοκιμές είχαν καθεμία πιθανότητα 5% ψευδώς θετικού αποτελέσματος, η πιθανότητα τουλάχιστον ενός θα ήταν 1 − 0.95^120, περίπου 99.79%.

Οι πραγματικές παραλλαγές στρατηγικής πιθανότατα συσχετίζονται, άρα ο υπολογισμός ανεξαρτησίας δεν είναι έγκυρη τιμή p για την έρευνα της Lena. Ρόλος του είναι να αναδείξει το πρόβλημα πολλαπλών ελέγχων, όχι να το ποσοτικοποιήσει ακριβώς. Πρέπει να καταγράψει όλες τις δοκιμασμένες παραλλαγές, περιλαμβανομένων απορριφθέντων δεικτών, αλλαγμένων χρονικών παραθύρων και χειροκίνητων εξαιρέσεων. Ένα καλαίσθητο τελικό διάγραμμα δεν αποκαλύπτει πόσα αποτυχημένα πειράματα κρύφτηκαν πίσω του.

Κρατήστε ένα αμερόληπτο σύνολο αξιολόγησης

Ένας καλύτερος φανταστικός ερευνητικός σχεδιασμός διαχωρίζει ανάπτυξη, επικύρωση και τελική ανέγγιχτη δοκιμή. Η Lena μπορεί να χρησιμοποιήσει δεδομένα ανάπτυξης για να διαμορφώσει την ιδέα και δεδομένα επικύρωσης για να συγκρίνει ένα περιορισμένο, τεκμηριωμένο σύνολο επιλογών. Μόλις εξετάσει την τελική δοκιμή και αλλάξει τη στρατηγική ως απάντηση, αυτά τα δεδομένα δεν είναι πλέον ανέγγιχτα. Το να αποκαλεί επανειλημμένα τα ίδια δεδομένα «εκτός δείγματος» δεν αποκαθιστά την ανεξαρτησία.

Σε νέα δοκιμή 60 συναλλαγών, υποθέστε 28 μικτά κέρδη με μέσο όρο $170 και 32 μικτές ζημίες με μέσο όρο $150. Το μικτό αποτέλεσμα είναι $4,760 − $4,800 = αρνητικό κατά $40. Στα $33 ανά πλήρη κύκλο, τα κόστη προσθέτουν $1,980 και το καθαρό αποτέλεσμα είναι αρνητικό κατά $2,020. Αυτό το μικρό επινοημένο δείγμα δεν αποδεικνύει ότι η στρατηγική δεν μπορεί ποτέ να λειτουργήσει, αλλά δεν στηρίζει την αρχική βεβαιότητα. Η κατάλληλη αντίδραση είναι διερεύνηση ή απόρριψη, όχι αυτόματες αλλαγές παραμέτρων μέχρι το ανεξάρτητο δείγμα ελέγχου να δείξει κέρδος.

Δείξτε πρώτα τα δύο δείγματα χωριστά. Οι 200 διορθωμένες συναλλαγές ανάπτυξης δίνουν −1.200 δολάρια και οι εξήντα νέες −2.020. Το σύνολο είναι −3.220 σε 260, περίπου −12,38 ανά συναλλαγή. Η σωστή πρόσθεση δεν μετατρέπει δεδομένα επιλογής σε ανεξάρτητη απόδειξη.

Ελέγξτε τον χρονισμό πληροφοριών και την πορεία ζημιών

Η εξέταση ελέγχει επίσης αν τα σήματα χρησιμοποιούσαν δεδομένα πράγματι διαθέσιμα πριν από κάθε μοντελοποιημένη συναλλαγή. Ένας δείκτης τιμής κλεισίματος συνήθως δεν μπορεί να δικαιολογήσει προγενέστερη εκτέλεση στην ίδια τιμή κλεισίματος χωρίς τεκμηριώσιμο μηχανισμό εκτέλεσης. Η επιλογή του συνόλου τίτλων δεν πρέπει να απορρίπτει σιωπηρά τίτλους εταιρειών που απέτυχαν ή διαγράφηκαν. Εταιρικές πράξεις, ευθυγράμμιση χρονικών σημάνσεων και παρωχημένες τιμές μπορούν να αλλάξουν ουσιωδώς τα προσομοιωμένα αποτελέσματα. Κάθε έλεγχος εξετάζει πιθανή πηγή σφάλματος, αντί να εγγυάται μελλοντική κερδοφορία.

Τέλος, η Lena καταγράφει υποχωρήσεις από κορυφές, διαδοχικές ζημίες, συναλλακτική δραστηριότητα και χρήση κεφαλαίου μαζί με το συνολικό κέρδος. Μια στρατηγική που τελικά ανακάμπτει μπορεί και πάλι να παραβιάσει χρηματοδοτικό όριο στην πορεία. Η NFA προειδοποιεί ότι τα υποθετικά αποτελέσματα ωφελούνται από την εκ των υστέρων γνώση και δεν αναπαράγουν πλήρως την εμπειρία πραγματικού χρηματοοικονομικού κινδύνου. Οι εικονικές δοκιμές μπορούν να αποκαλύψουν προβλήματα ροής εργασίας, αλλά δεν τεκμηριώνουν πραγματική ρευστότητα, δυνατότητα κλιμάκωσης ή ικανότητα τήρησης στρατηγικής ενώ χάνονται αληθινά χρήματα.

Ορίστε ποια στοιχεία θα άλλαζαν πραγματικά το συμπέρασμα

Το επόμενο βήμα εξαρτάται από την αιτία. Σφάλμα χρόνου που εισάγει μελλοντική πληροφορία χρειάζεται διόρθωση και σαφή απόσυρση ή αντικατάσταση αποτελεσμάτων. Αν εύλογο κόστος καταναλώνει το πλεονέκτημα, ένας νέος τίτλος γραφήματος δεν το λύνει.

Κρατήστε και τις 120 ρυθμίσεις, ακριβή τεχνητά δεδομένα, κριτήριο επιλογής, συμβάσεις κόστους και παγωμένη τελική προδιαγραφή. Άλλος αξιολογητής πρέπει να αναπαράγει το ελκυστικό και το διορθωμένο αποτέλεσμα. Η αναπαραγωγιμότητα ελέγχει υπολογισμό, όχι μελλοντική επιτυχία.

Στις ίδιες 200 συναλλαγές, αύξηση κόστους από 33 σε 45 δολάρια προσθέτει 2.400 και μετακινεί το καθαρό αποτέλεσμα από −1.200 σε −3.600. Αν χειρότερη ρευστότητα αποτρέπει εκτελέσεις, αλλάζει ο κατάλογος και απαιτείται νέα προσομοίωση.

Κανόνας εμπνευσμένος από αποτυχημένο απομονωμένο τεστ ανήκει πλέον στην ανάπτυξη. Αξιολόγηση στα ίδια δεδομένα δεν είναι ανεξάρτητη επιβεβαίωση. Έντιμο συμπέρασμα μπορεί να είναι ότι η τρέχουσα ιδέα δεν υποστηρίζεται επαρκώς.

Πού αστοχεί το σκεπτικό