Najlepszy backtest w arkuszu

Sytuacja wyjściowa

Hipotetyczny przypadek edukacyjny. Szereg cen, strategia, wyniki transakcji i statystyki są zmyślone. Nie są historią rzeczywistych wyników, deklaracją skuteczności ani sygnałem transakcyjnym. Lena testuje pomysł oparty na średniej kroczącej na syntetycznym koszyku akcji. Po sprawdzeniu 120 kombinacji parametrów wybiera najatrakcyjniejszy wynik i przedstawia jego 200 symulowanych transakcji jako dowód solidnej przewagi. Przegląd badania pyta, co wybrano, co pominięto i co pozostaje naprawdę niewidziane.

Odtwórz imponujący nagłówek

Wybrana konfiguracja ma 110 zyskownych transakcji brutto ze średnim zyskiem $180 oraz 90 stratnych transakcji brutto ze średnią stratą $160. Zyski brutto wynoszą $19,800, a straty brutto $14,400, co pozostawia $5,400 w 200 transakcjach. Średnia brutto wynosi $27 na transakcję, a skuteczność 55%. Żadna z tych liczb nie mówi, czy strategia przetrwa realistyczne koszty ani czy proces selekcji znalazł sygnał, a nie szczęśliwy traf.

Lena założyła zaledwie $2 kosztu pełnego otwarcia i zamknięcia transakcji, co obniżyło wynik o $400 do $5,000. Jednak fikcyjny przegląd realizacji szacuje $6 prowizji i opłat jawnych, $12 kosztu spreadu oraz $15 dodatkowego poślizgu na pełny cykl transakcji. Razem to $33 na transakcję, czyli $6,600 w całej próbie. Przy tych samych wynikach brutto skorygowany wynik netto to strata $1,200, średnio minus $6 na transakcję.

Definiuj koszty bez podwójnego liczenia

Te składniki kosztów mają sens tylko dlatego, że syntetyczny test historyczny wykorzystywał ceny referencyjne bez tarć. Gdyby realizacje już symulowano po bid i ask, ponowne odjęcie całego spreadu zawyżyłoby koszty. Podobnie implementation shortfall mierzony od ceny decyzji może już zawierać spread i wpływ na rynek. Dziennik badania wymaga precyzyjnej definicji benchmarku wejścia, benchmarku wyjścia i dodatkowych opłat.

Tabela wrażliwości testowałaby kilka łącznych kosztów pełnej transakcji, nie tylko najkorzystniejszy dla strategii. Przy $15 wynik netto wynosi $2,400; przy $27 wynosi zero; przy $45 to minus $3,600. Są to scenariusze arytmetyczne, nie prognozy. Koszt progu rentowności $27 jest szczególnie przydatny, bo ujawnia niewielki margines wybranego wyniku brutto na niepewność realizacji, pominięte wykonania i błędy operacyjne.

Problem selekcji pojawia się przed końcowym wykresem

Lena nie wybrała tej konfiguracji przed zobaczeniem próby. Wybrała ją, ponieważ pokonała 119 alternatyw na tej samej próbie. Nawet strategie bez trwałej przewagi predykcyjnej mogą dać atrakcyjnego zwycięzcę, gdy sprawdza się wiele wariantów. W celowo uproszczonej ilustracji, jeśli 120 niezależnych testów miałoby po 5% szans na wynik fałszywie dodatni, szansa przynajmniej jednego wyniosłaby 1 − 0.95^120, około 99.79%.

Rzeczywiste warianty strategii prawdopodobnie są skorelowane, więc obliczenie zakładające niezależność nie jest prawidłową wartością p dla badań Leny. Jego rolą jest ujawnienie problemu wielokrotnego testowania, a nie dokładne jego zmierzenie. Musi ona zapisać wszystkie wypróbowane warianty, w tym odrzucone wskaźniki, zmienione okna dat i ręczne wyjątki. Dopracowany końcowy wykres nie ujawni liczby nieudanych eksperymentów ukrytych za nim.

Zarezerwuj rzetelny zbiór oceny

Lepszy fikcyjny projekt badawczy rozdziela opracowanie, walidację i końcowy nietknięty test. Lena może używać danych rozwojowych do stworzenia pomysłu, a walidacyjnych do porównania ograniczonego, udokumentowanego zestawu wyborów. Gdy obejrzy końcowy test i zmieni w odpowiedzi strategię, dane nie są już nietknięte. Wielokrotne nazywanie tych samych danych „poza próbą” nie przywraca niezależności.

W nowym teście 60 transakcji załóż 28 zysków brutto średnio po $170 i 32 straty brutto średnio po $150. Wynik brutto to $4,760 − $4,800 = minus $40. Przy $33 za pełną transakcję koszty dodają $1,980, a wynik netto to minus $2,020. Ta mała wymyślona próba nie dowodzi, że strategia nigdy nie zadziała, ale nie wspiera pierwotnej pewności. Właściwą reakcją jest zbadanie lub odrzucenie, a nie automatyczne zmiany parametrów, aż zbiór odłożony pokaże zysk.

Przegląd powinien pokazać obie próby oddzielnie przed ich zsumowaniem. Poprawione 200 transakcji rozwojowych daje −1200 dolarów, a nowy test 60 transakcji −2020. Razem to −3220 w 260 transakcjach, około −12,38 na transakcję. Suma jest poprawna, lecz nie zmienia próby wykorzystanej do wyboru strategii w niezależny dowód. Późniejszy test ocenia decyzje ustalone przed obejrzeniem tych obserwacji.

Sprawdź czas dostępności informacji i przebieg strat

Przegląd sprawdza również, czy sygnały wykorzystywały dane faktycznie dostępne przed każdą modelowaną transakcją. Wskaźnik oparty na cenie zamknięcia zwykle nie może uzasadniać wcześniejszej realizacji po tej samej cenie zamknięcia bez wiarygodnego mechanizmu wykonania. Dobór uniwersum nie powinien po cichu odrzucać papierów spółek upadłych lub wycofanych z obrotu. Zdarzenia korporacyjne, synchronizacja znaczników czasu i nieaktualne kwotowania mogą istotnie zmieniać wyniki symulacji. Każda kontrola dotyczy potencjalnego źródła błędu, a nie daje gwarancji przyszłej rentowności.

Na koniec Lena zapisuje obsunięcia, kolejne straty, obrót i wykorzystanie kapitału obok łącznego zysku. Strategia, która ostatecznie odrabia straty, może po drodze naruszyć limit finansowania. NFA ostrzega, że wyniki hipotetyczne korzystają z wiedzy po fakcie i nie mogą w pełni odtworzyć doświadczenia rzeczywistego ryzyka finansowego. Testy na rachunku demonstracyjnym mogą ujawnić problemy procesu, ale nie potwierdzają rzeczywistej płynności, skalowalności ani zdolności do przestrzegania strategii podczas utraty prawdziwych pieniędzy.

Ustal, jakie dowody rzeczywiście mogłyby zmienić wniosek

Dalszy krok Leny zależy od źródła problemu. Błąd czasu dopuszczający jutrzejsze dane do dzisiejszego sygnału wymaga naprawy i wycofania lub jawnego zastąpienia wyników. Jeśli kod jest poprawny, ale realistyczne koszty pochłaniają przewagę, zmiana podpisu wykresu nie pomaga. Jeśli jeden niezwykły zysk wyjaśnia większość wyniku, trzeba zbadać ekonomiczne uzasadnienie tej zależności i pokrycie jej w próbie.

Pakiet do odtworzenia powinien zawierać wszystkie 120 konfiguracji, dokładny sztuczny zbiór danych, kryterium wyboru, koszty i zamrożoną specyfikację. Recenzent powinien odtworzyć zarówno atrakcyjną wersję pierwotną, jak i gorszą poprawioną. Zachowanie porażki pokazuje, które założenie zmieniło wniosek. Powtarzalność potwierdza rachunek, nie przyszłą skuteczność.

Dla tych samych 200 transakcji zwiększenie kosztu z 33 do 45 dolarów dodaje 2400 kosztów i zmienia wynik z −1200 na −3600. Jeżeli gorsza płynność uniemożliwia część wykonań, zmienia się jednak sama lista transakcji. Potrzebna jest nowa symulacja, nie tylko dodatkowe potrącenie ze starej listy.

Regułę zainspirowaną nieudanym testem można dalej badać, ale jej wynik na tym samym zbiorze jest już wynikiem rozwojowym. Nowy okres może sprawdzać zmodyfikowany proces dopiero po wcześniejszym ustaleniu specyfikacji i kryteriów. Uczciwy wniosek może brzmieć: obecny pomysł nie ma dostatecznego poparcia. Przegląd nie musi kończyć się strategią gotową do handlu.

Gdzie rozumowanie zawodzi