Найкращий бектест у таблиці

Вихідні умови

Умовний навчальний приклад. Ціновий ряд, стратегія, результати угод і статистика вигадані. Це не історичний запис, не твердження про результативність і не торговий сигнал. Лена тестує ідею ковзної середньої на синтетичному кошику акцій. Перевіривши 120 комбінацій параметрів, вона обирає найпривабливіший результат і подає його 200 змодельованих угод як доказ стійкої переваги. Дослідницький огляд запитує, що відібрано, що пропущено й що справді залишається небаченим.

Відтворіть вражаючий заголовний показник

Обрана конфігурація має 110 прибуткових угод до витрат із середнім прибутком $180 і 90 збиткових угод до витрат із середнім збитком $160. Валовий прибуток становить $19,800, а валовий збиток — $14,400, що залишає $5,400 за 200 угод. Середній результат до витрат — $27 на угоду, а частка виграшних угод — 55%. Жоден із цих показників не говорить, чи витримає стратегія реалістичні витрати та чи виявив процес відбору закономірність, а не удачу.

Лена припустила лише $2 витрат повного циклу на угоду, зменшивши результат на $400 до $5 000. Але умовна перевірка виконання оцінює $6 комісій і явних зборів, $12 витрат спреду та $15 додаткового прослизання на завершений повний цикл. Разом — $33 на угоду, або $6 600 на всю вибірку. За тих самих валових результатів переглянутий чистий результат — збиток $1 200, у середньому мінус $6 на угоду.

Визначайте витрати без подвійного врахування

Ці складові витрат мають сенс лише тому, що синтетичний бектест використовував референтні ціни без ринкових тертів. Якби виконання вже моделювалося за bid та ask, окреме повторне віднімання всього спреду завищило б витрати. Так само дефіцит реалізації, виміряний від ціни рішення, уже може містити спред і ринковий вплив. Дослідницький журнал потребує точного визначення орієнтира входу, орієнтира виходу та додаткових зборів.

Таблиця чутливості перевіряла б кілька рівнів загальних витрат повного циклу, а не лише найвигідніший для стратегії. За $15 чистий результат — $2 400; за $27 — нуль; за $45 — мінус $3 600. Це арифметичні сценарії, а не прогнози. Беззбитковий рівень витрат $27 особливо корисний, бо показує, як мало запасу обраний валовий результат має на невизначеність виконання, пропущені виконання та операційні помилки.

Проблема відбору виникає до фінального графіка

Лена не обрала цю конфігурацію до перегляду вибірки. Вона обрала її, бо та перевершила 119 альтернатив на цій самій вибірці. Навіть стратегії без стійкої прогнозної переваги можуть дати привабливого переможця, якщо випробувати багато варіантів. Як навмисно стилізована ілюстрація: якби 120 незалежних тестів мали кожен 5% імовірності хибнопозитивного результату, імовірність хоча б одного була б 1 − 0.95^120, близько 99.79%.

Реальні варіанти стратегії, ймовірно, корельовані, тому розрахунок незалежності не є коректним p-значенням для дослідження Лени. Його роль — показати проблему множинного тестування, а не точно її виміряти. Вона має записувати всі випробувані варіанти, зокрема відкинуті індикатори, змінені часові вікна та ручні винятки. Відшліфований підсумковий графік не показує, скільки невдалих експериментів приховано за ним.

Збережіть набір для чесної оцінки

Кращий вигаданий дизайн дослідження розділяє розробку, валідацію та остаточний недоторканий тест. Лена може використовувати дані розробки для формування ідеї, а дані валідації — для порівняння обмеженого задокументованого набору варіантів. Щойно вона переглядає фінальний тест і змінює стратегію у відповідь, ці дані більше не є недоторканими. Повторне називання тих самих даних «позавибірковими» не відновлює незалежності.

У новому тесті на 60 угод припустімо 28 валових виграшів із середнім $170 та 32 валові збитки із середнім $150. Валовий результат: $4 760 − $4 800 = мінус $40. За $33 за повний цикл угоди витрати додають $1 980, а чистий результат — мінус $2 020. Ця мала вигадана вибірка не доводить, що стратегія ніколи не працюватиме, але не підтримує початкової впевненості. Належна реакція — дослідження або відмова, а не автоматична зміна параметрів, доки відкладена вибірка не стане прибутковою.

Показуйте обидві вибірки окремо. Виправлені 200 розробницьких угод дають −1 200 доларів, а нові шістдесят — −2 020. Разом це −3 220 у 260 угодах, приблизно −12,38 на угоду. Правильна сума не перетворює використані для відбору дані на незалежний доказ.

Перевіряйте час доступності інформації та траєкторію збитків

Перевірка також запитує, чи використовували сигнали дані, фактично доступні до кожної змодельованої угоди. Індикатор ціни закриття зазвичай не може обґрунтувати раніше виконання за тією самою ціною закриття без переконливого механізму виконання. Відбір сукупності не має мовчки відкидати збанкрутілі чи делістинговані папери. Корпоративні дії, узгодження часових позначок і застарілі котирування можуть суттєво змінити результати симуляції. Кожна перевірка усуває можливе джерело помилки, а не гарантує майбутню прибутковість.

Нарешті Лена записує просідання, послідовні збитки, оборот і використання капіталу поряд із сукупним прибутком. Стратегія, яка зрештою відновлюється, все одно може дорогою порушити ліміт фінансування. NFA застерігає, що гіпотетичні результати мають перевагу погляду назад і не можуть повністю відтворити досвід реального фінансового ризику. Симуляційне тестування може виявити проблеми процесу, але не доводить реальної ліквідності, масштабованості чи здатності дотримуватися стратегії, втрачаючи справжні гроші.

Визначте докази, які справді змінять висновок

Наступна дія Лени залежить від причини. Часова помилка, що використовує завтрашні дані, вимагає виправлення та відкликання або чіткого заміщення результатів. Якщо код правильний, але правдоподібні витрати поглинають перевагу, новий заголовок графіка не допоможе. Залежність від одного великого виграшу потребує окремого економічного пояснення.

Пакет відтворення повинен містити всі 120 конфігурацій, точні синтетичні дані, критерій відбору, облік витрат і заморожену остаточну специфікацію. Інший дослідник має відновити і привабливий початковий, і слабший виправлений результат. Відтворюваність перевіряє розрахунок, а не майбутній успіх.

Для тих самих 200 угод збільшення витрат із 33 до 45 доларів додає 2 400 витрат і змінює чистий результат із −1 200 на −3 600. Якщо гірша ліквідність унеможливлює деякі виконання, змінюється список угод. Тоді потрібна нова симуляція, а не додаткове віднімання зі старої суми.

Правило, придумане після невдалого відкладеного тесту, можна досліджувати, але ті самі дані вже стали розробницькими. Пізніший період перевіряє перегляд лише після попередньої фіксації правил та критеріїв. Чесний висновок може полягати у відсутності підтримки ідеї; аналіз не зобов'язаний завершуватися готовою торговою стратегією.

Де міркування стає хибним