Wielokrotne testowanie: gdy najlepszy backtest jest szczęśliwym trafem

Jedna przedstawiona strategia może ukrywać tysiąc prób

Badacz może opublikować jeden atrakcyjny test historyczny po wypróbowaniu wielu sygnałów, wartości parametrów, aktywów i dat próby. Końcowy wykres nie pokazuje całego wyszukiwania. Nawet jeśli żaden kandydat nie ma rzeczywistej przewagi, najlepszy może wyglądać imponująco, ponieważ niektóre losowe sekwencje są korzystne.

Właściwą jednostką analizy jest więc nie tylko wybrana reguła, ale procedura, która ją wybrała. Próg zmieniony po obejrzeniu wyników liczy się jako część poszukiwania, nawet bez formalnego programu optymalizacji. Eksperymentowanie z pamięci, odrzucone arkusze i nieformalna ocena wizualna mogą przyczyniać się do błędu selekcji. Uczciwy zapis badań ujawnia te wybory.

Zrozum prostą ilustrację prawdopodobieństwa

Jeśli dwadzieścia niezależnych testów ma po 5% prawdopodobieństwa wyniku fałszywie dodatniego, prawdopodobieństwo co najmniej jednego takiego wyniku wynosi 1 − 0.95²⁰, czyli około 64.2%. Założenie niezależności jest ważne: warianty strategii często są skorelowane, więc to obliczenie jest ilustracją, a nie precyzyjną korektą rzeczywistego programu badawczego.

Wniosek nie brzmi, że każdy pozytywny wynik jest fałszywy. Chodzi o to, że po szerokich poszukiwaniach progu pojedynczego testu nie można interpretować tak samo. Powiązane wybory parametrów nie tworzą w pełni niezależnych dowodów, ale ich korelacja nie usuwa błędu selekcji. Samo oszacowanie efektywnego zakresu poszukiwań jest niepewne i nie powinno być przedstawiane jako dokładna liczba.

Wartość p nie jest prawdopodobieństwem prawdziwości hipotezy ani zysku z następnej transakcji. Opisuje niezgodność określonej statystyki z modelem hipotezy zerowej, przy założeniach testu. Mała wartość może wynikać także z niewłaściwego modelu szumu, pominiętej zależności lub wybiórczego raportowania. Sama istotność nie mówi, czy efekt wystarczy na pokrycie spreadu, finansowania i wykonania.

Chroń hipotezę przed regułą oceny

Zacznij od uzasadnienia ekonomicznego określającego, dlaczego zależność może się utrzymywać i dlaczego może przestać działać. W miarę możliwości zdefiniuj czyszczenie danych, koszty i kryteria oceny przed obejrzeniem wyniku. Nie eliminuje to stronniczości, ale ogranicza swobodę dopasowywania opowieści do szczęśliwego wzorca.

Prowadź dziennik prób zawierający odrzucone warianty i powód każdej zmiany. Odróżniaj usuwanie błędów od zmiany hipotezy. Poprawienie błędu znacznika czasu różni się od przesunięcia stopu w celu poprawy krzywej kapitału. Obie zmiany należy zapisać, ponieważ znajomość wyników może wpłynąć na późniejsze decyzje, nawet jeśli początkowa zmiana była uzasadniona.

Nietknięta próba ma ograniczony okres użyteczności

Okres odłożony do oceny jest wartościowy tylko wtedy, gdy pozostaje nietknięty podczas tworzenia modelu. Gdy badacz wielokrotnie zagląda do niego, wybierając między modelami, staje się kolejnym zasobem treningowym. Nazwanie go okresem poza próbą nie odwraca przepływu informacji. Może wtedy być potrzebny nowszy okres lub inna rzeczywiście niezależna ocena.

Procedury walk-forward, zagnieżdżona selekcja i badania nad nadmiernym dopasowaniem testów historycznych mogą pomóc zbadać proces wyboru, ale nie zamieniają słabych danych w pewność. Oceniaj stabilność w rozsądnych sąsiedztwach parametrów i odmiennych ekonomicznie okresach. Stabilność zachęca, gdy oceniono ją uczciwie; poszukiwanie najlepiej wyglądającej statystyki stabilności wprowadza kolejną warstwę testowania.

Doceniaj jakość dowodów, nie najwyższy wykres

Porównuj wyniki z prostym benchmarkiem, realistycznymi kosztami i oszacowaniami niepewności. Złożony model, który ledwo poprawia zaszumioną miarę, może nie uzasadniać dodatkowych stopni swobody. Sprawdź, ile pozornej przewagi pochodzi z jednej transakcji, jednego aktywa lub wyboru daty początkowej.

Użyteczny raport obejmuje historię poszukiwań, ostateczną specyfikację, niepowodzenia i nierozstrzygnięte założenia. Negatywne wyniki zmniejszają przestrzeń wiarygodnych pomysłów i mogą oszczędzić przyszłego wysiłku. Celem nie jest zachowanie ulubionej strategii, lecz odkrycie, czy dostępne dowody wspierają jakiekolwiek twierdzenie wystarczająco silne, aby przetrwać replikację. Gdy tak nie jest, zdyscyplinowany wniosek to niepewność, a nie bardziej wymyślny wykres marketingowy.

Policz wszystkie decyzje, które mogły zmienić zwycięzcę

Pięć długości okna, cztery progi wejścia i trzy reguły wyjścia dają już 60 kombinacji. Dobór daty początkowej po zobaczeniu wyników, usunięcie niewygodnego aktywa lub zmiana kryterium oceny dodatkowo poszerzają poszukiwania. Rejestr prób powinien obejmować również ręczne decyzje, nie tylko warianty uruchomione przez optymalizator.

Dla z góry określonej rodziny 20 poprawnych testów korekta Bonferroniego ustala poziom pojedynczego testu na 0,05 / 20 = 0,0025. Ogranicza to prawdopodobieństwo choć jednego błędnego odrzucenia hipotezy zerowej do 5%. Ograniczenie nie wymaga niezależności testów, choć bywa zachowawcze przy dużym ich podobieństwie. Nie naprawia tendencyjnych danych, błędnych testów ani ukrytych dodatkowych prób.

Kontrola prawdopodobieństwa choć jednego fałszywego odkrycia i kontrola oczekiwanego udziału fałszywych odkryć wśród wszystkich odkryć odpowiadają na różne pytania. Żadna nie gwarantuje opłacalności strategii. Metodę wybiera się dla problemu badawczego, a nie według tego, która pozwala pokazać najlepszy wynik. Ciągłe sprawdzanie, czy wynik już jest istotny, także wymaga uwzględnienia w procedurze.

Symulacja procesu wyboru powinna powtarzać sam wybór. Jeśli na nowych losowanych zbiorach oceniasz tylko zwycięzcę wybranego wcześniej, pomijasz korzyść z przeszukania wielu kandydatów. Każde powtórzenie powinno odtwarzać deklarowane poszukiwanie, regułę wyboru i późniejszą ocenę przy uzasadnionym modelu danych. Przedział wokół jednej atrakcyjnej krzywej kapitału nie zastępuje takiego badania.