Πολλαπλοί έλεγχοι: όταν ο καλύτερος ιστορικός έλεγχος είναι τυχαία επιτυχία

Μία δημοσιευμένη στρατηγική μπορεί να κρύβει χίλιες δοκιμές

Ένας ερευνητής μπορεί να δημοσιεύσει έναν ελκυστικό ιστορικό έλεγχο αφού δοκιμάσει πολλά σήματα, τιμές παραμέτρων, στοιχεία και ημερομηνίες δείγματος. Το τελικό διάγραμμα δεν δείχνει όλη την αναζήτηση. Ακόμη κι αν κανένας υποψήφιος δεν έχει πραγματικό πλεονέκτημα, ο πιο εντυπωσιακός μπορεί να φαίνεται εξαιρετικός επειδή ορισμένες τυχαίες ακολουθίες είναι ευνοϊκές.

Η σχετική μονάδα ανάλυσης επομένως δεν είναι μόνο ο επιλεγμένος κανόνας, αλλά η διαδικασία που τον επέλεξε. Ένα κατώφλι που άλλαξε μετά την εξέταση αποτελεσμάτων αποτελεί μέρος της αναζήτησης ακόμη κι αν δεν εκτελέστηκε επίσημο πρόγραμμα βελτιστοποίησης. Πειραματισμός από μνήμης, απορριφθέντα φύλλα υπολογισμού και άτυπη οπτική επιθεώρηση μπορούν όλα να συμβάλλουν σε μεροληψία επιλογής. Ένα έντιμο ερευνητικό αρχείο καθιστά αυτές τις επιλογές ορατές.

Κατανοήστε το απλό παράδειγμα πιθανοτήτων

Αν είκοσι ανεξάρτητοι έλεγχοι έχουν ο καθένας πιθανότητα ψευδώς θετικού αποτελέσματος 5%, η πιθανότητα τουλάχιστον ενός ψευδώς θετικού είναι 1 − 0.95²⁰, περίπου 64.2%. Η παραδοχή ανεξαρτησίας είναι σημαντική: οι παραλλαγές συναλλαγών συχνά συσχετίζονται, επομένως αυτός ο υπολογισμός είναι παράδειγμα και όχι ακριβής διόρθωση για ένα πραγματικό ερευνητικό πρόγραμμα.

Το μάθημα δεν είναι ότι κάθε θετικό εύρημα είναι ψευδές. Είναι ότι ένα κατώφλι μεμονωμένου ελέγχου δεν ερμηνεύεται με τον ίδιο τρόπο μετά από ευρεία αναζήτηση. Συναφείς επιλογές παραμέτρων δεν δημιουργούν πλήρως ανεξάρτητα στοιχεία, αλλά η συσχέτισή τους δεν εξαφανίζει τη μεροληψία επιλογής. Η εκτίμηση του αποτελεσματικού εύρους αναζήτησης είναι και η ίδια αβέβαιη και δεν πρέπει να παρουσιάζεται ως ακριβής καταμέτρηση.

Η τιμή p δεν είναι πιθανότητα αλήθειας της υπόθεσης ούτε κέρδους στην επόμενη συναλλαγή. Μετρά την ασυμβατότητα ενός στατιστικού με συγκεκριμένο μηδενικό μοντέλο, υπό τις παραδοχές του ελέγχου. Αγνοημένη εξάρτηση και επιλεκτική αναφορά μπορούν να δημιουργήσουν παραπλανητική σημαντικότητα, η οποία δεν εξασφαλίζει κάλυψη του κόστους.

Προστατεύστε την υπόθεση από τον κανόνα βαθμολόγησης

Ξεκινήστε με οικονομική αιτιολόγηση που προσδιορίζει γιατί μια σχέση μπορεί να διατηρηθεί και γιατί μπορεί να πάψει να λειτουργεί. Ορίστε καθαρισμό δεδομένων, έξοδα και κριτήρια αξιολόγησης πριν δείτε το αποτέλεσμα, όπου είναι εφικτό. Αυτό δεν εξαλείφει τη μεροληψία, αλλά περιορίζει την ελευθερία εκ των υστέρων προσαρμογής μιας αφήγησης σε ευνοϊκό μοτίβο.

Τηρείτε αρχείο δοκιμών με τις απορριφθείσες παραλλαγές και τον λόγο κάθε αλλαγής. Διακρίνετε την αποσφαλμάτωση από την αλλαγή υπόθεσης. Η διόρθωση λάθους χρονικής σήμανσης διαφέρει από τη μετακίνηση ενός επιπέδου stop επειδή βελτιώνει την καμπύλη κεφαλαίου. Και οι δύο αλλαγές πρέπει να καταγράφονται, καθώς η θέαση των αποτελεσμάτων μπορεί να επηρεάσει μεταγενέστερες αποφάσεις ακόμη και όταν η αρχική αλλαγή ήταν θεμιτή.

Ένα ανέγγιχτο δείγμα έχει περιορισμένη διάρκεια ζωής

Μια απομονωμένη περίοδος ελέγχου έχει αξία μόνο όσο δεν αγγίζεται από την ανάπτυξη. Μόλις ένας ερευνητής τη συμβουλεύεται επανειλημμένα για να επιλέξει μοντέλα, γίνεται άλλος ένας πόρος εκπαίδευσης. Ο χαρακτηρισμός της ως εκτός δείγματος δεν αντιστρέφει τη ροή πληροφοριών. Τότε μπορεί να χρειάζεται νεότερη περίοδος ή άλλη πραγματικά ανεξάρτητη αξιολόγηση.

Οι διαδικασίες διαδοχικής χρονικής επικύρωσης, η εμφωλευμένη επιλογή και η έρευνα για υπερπροσαρμογή ιστορικών δοκιμών μπορούν να βοηθήσουν στην εξέταση της διαδικασίας επιλογής, αλλά καμία δεν μετατρέπει αδύναμα δεδομένα σε βεβαιότητα. Αξιολογήστε τη σταθερότητα σε εύλογες γειτονικές τιμές παραμέτρων και οικονομικά διαφορετικές περιόδους. Η σταθερότητα είναι ενθαρρυντική όταν αξιολογείται έντιμα· η αναζήτηση του στατιστικού σταθερότητας που φαίνεται καλύτερο εισάγει ακόμη ένα επίπεδο δοκιμών.

Επιβραβεύστε την ποιότητα τεκμηρίωσης, όχι την υψηλότερη καμπύλη

Συγκρίνετε τα αποτελέσματα με απλό δείκτη αναφοράς, ρεαλιστικά έξοδα και εκτιμήσεις αβεβαιότητας. Ένα περίπλοκο μοντέλο που βελτιώνει ελάχιστα ένα θορυβώδες μέτρο μπορεί να μη δικαιολογεί τους πρόσθετους βαθμούς ελευθερίας του. Εξετάστε πόσο από το φαινομενικό πλεονέκτημα προέρχεται από μία συναλλαγή, ένα στοιχείο ή μία επιλογή ημερομηνίας έναρξης.

Μια χρήσιμη έκθεση περιλαμβάνει το ιστορικό αναζήτησης, την τελική προδιαγραφή, τις αποτυχίες και τις ανεπίλυτες παραδοχές. Τα αρνητικά ευρήματα περιορίζουν το πεδίο εύλογων ιδεών και μπορούν να εξοικονομήσουν μελλοντική προσπάθεια. Σκοπός δεν είναι η διατήρηση μιας αγαπημένης στρατηγικής, αλλά η ανακάλυψη του αν τα διαθέσιμα στοιχεία στηρίζουν κάποιον ισχυρισμό αρκετά ισχυρό ώστε να αντέξει την αναπαραγωγή. Όταν δεν το κάνουν, το πειθαρχημένο συμπέρασμα είναι αβεβαιότητα, όχι ένα πιο περίτεχνο διαφημιστικό διάγραμμα.

Μετρήστε κάθε επιλογή που μπορούσε να αλλάξει τον νικητή

Πέντε μήκη ιστορίας, τέσσερα όρια εισόδου και τρεις κανόνες εξόδου δημιουργούν 60 συνδυασμούς. Η επιλογή ημερομηνίας έναρξης ή η αφαίρεση δυσάρεστου στοιχείου μετά τη θέαση αποτελεσμάτων διευρύνει την αναζήτηση. Καταγράψτε και τις χειροκίνητες αποφάσεις.

Για προκαθορισμένη οικογένεια 20 έγκυρων ελέγχων, η διόρθωση Bonferroni θέτει όριο 0,05 / 20 = 0,0025 ανά έλεγχο. Περιορίζει την πιθανότητα τουλάχιστον μίας λανθασμένης απόρριψης σε 5% το πολύ. Δεν απαιτεί ανεξαρτησία, αλλά μπορεί να είναι συντηρητική σε επικαλυπτόμενους ελέγχους.

Δεν διορθώνει μεροληπτικά δεδομένα, άκυρους ελέγχους ή κρυμμένες δοκιμές. Ο έλεγχος πιθανότητας οποιασδήποτε ψευδούς ανακάλυψης διαφέρει από τον έλεγχο του αναμενόμενου ποσοστού τους. Επιλέξτε μέθοδο από το ερώτημα, όχι από το ευνοϊκότερο αποτέλεσμα.

Η προσομοίωση πρέπει να επαναλαμβάνει αναζήτηση, επιλογή και αξιολόγηση. Η επαναδειγματοληψία μόνο του ήδη επιλεγμένου νικητή παραλείπει το πλεονέκτημα της ευρείας αναζήτησης. Η επανειλημμένη εξέταση της σημαντικότητας πρέπει επίσης να εντάσσεται στον σχεδιασμό.