Множинне тестування: коли найкращий бектест — щаслива випадковість

Одна представлена стратегія може приховувати тисячу спроб

Дослідник може опублікувати один привабливий бектест після випробування багатьох сигналів, параметрів, активів і дат вибірки. Підсумковий графік не показує всього пошуку. Навіть якщо жоден кандидат не має справжньої переваги, найкращий може виглядати вражаюче, бо деякі випадкові послідовності сприятливі.

Тому належна одиниця аналізу — не лише вибране правило, а й процедура його вибору. Поріг, змінений після перегляду результатів, є частиною пошуку, навіть якщо формальної програми оптимізації не запускали. Експерименти з пам'яті, відкинуті таблиці та неформальний візуальний аналіз також можуть створювати упередження відбору. Чесний дослідницький запис робить ці рішення видимими.

Зрозумійте просту ілюстрацію ймовірності

Якщо двадцять незалежних тестів мають кожен 5% імовірності хибнопозитивного результату, імовірність хоча б одного такого результату — 1 − 0.95²⁰, приблизно 64.2%. Припущення незалежності важливе: торгові варіанти часто корельовані, тому ця арифметика є ілюстрацією, а не точним коригуванням реальної дослідницької програми.

Урок не в тому, що кожен позитивний результат хибний. Річ у тім, що поріг окремого тесту не можна тлумачити так само після широкого пошуку. Пов’язані варіанти параметрів не дають цілком незалежних доказів, але їхня кореляція не усуває упередження відбору. Оцінка ефективної широти пошуку сама невизначена, і її не слід видавати за точну кількість.

Значення p не є ймовірністю істинності гіпотези або прибутковості наступної угоди. Воно описує несумісність статистики зі встановленою нульовою моделлю за припущень тесту. Мале значення може також виникнути через хибну модель шуму, залежність даних чи вибіркове звітування. Статистична значущість не показує, чи перекриє ефект торгові витрати.

Захистіть гіпотезу від правила оцінювання

Почніть з економічного обґрунтування, яке пояснює, чому зв'язок може зберігатися і чому може перестати працювати. Де можливо, визначте очищення даних, витрати та критерії оцінки до перегляду результату. Це не усуває упередженості, але звужує можливість підігнати історію під випадково вдалу закономірність.

Ведіть журнал випробувань із відхиленими варіантами та причиною кожної зміни. Відрізняйте налагодження від зміни гіпотези. Виправити помилку часової позначки — не те саме, що пересунути стоп-рівень, бо це покращує криву капіталу. Слід фіксувати обидві зміни, адже перегляд результатів може вплинути на подальші рішення, навіть якщо початкова зміна була обґрунтованою.

Недоторкана вибірка має обмежений строк життя

Відкладений тестовий період цінний лише доти, доки його не використовують у розробці. Щойно дослідник багаторазово звертається до нього для вибору моделей, він стає ще одним навчальним ресурсом. Назва «поза вибіркою» не змінює напрямку інформаційного потоку. Тоді може знадобитися новіший період або інша справді незалежна оцінка.

Процедури покрокового просування, вкладений відбір і дослідження перенавчання бектестів можуть допомогти вивчити процес відбору, але жодне не перетворює слабкі дані на певність. Оцінюйте стабільність у розумних сусідніх діапазонах параметрів та економічно різних періодах. Стабільність обнадіює, якщо її оцінено чесно; пошук найпривабливішої статистики стабільності додає ще один шар тестування.

Віддавайте перевагу якості доказів, а не найвищому графіку

Порівнюйте результати з простим орієнтиром, реалістичними витратами й оцінками невизначеності. Складна модель, яка ледь покращує шумний показник, може не виправдовувати додаткових ступенів свободи. Перевіряйте, яка частина видимої переваги походить від однієї угоди, одного активу або одного вибору початкової дати.

Корисний звіт містить історію пошуку, остаточну специфікацію, невдачі та невирішені припущення. Негативні результати звужують простір правдоподібних ідей і можуть зекономити майбутні зусилля. Мета — не зберегти улюблену стратегію, а з’ясувати, чи підтримують наявні докази будь-яке твердження, достатньо сильне для відтворення. Якщо ні, дисциплінований висновок — невизначеність, а не складніший рекламний графік.

Порахуйте всі рішення, які могли змінити переможця

П'ять довжин історії, чотири пороги входу та три правила виходу вже дають 60 комбінацій. Вибір початкової дати, вилучення невдалого активу й заміна критерію оцінки розширюють пошук. Журнал дослідження має містити ручні рішення, а не лише автоматично запущені конфігурації.

Для заздалегідь визначеної родини з 20 коректних тестів поправка Бонферроні встановлює рівень 0,05 / 20 = 0,0025 для кожного. Імовірність хоча б одного хибного відхилення обмежується 5 %. Незалежність не потрібна, але межа може бути консервативною. Поправка не виправляє зіпсовані дані чи приховані додаткові спроби.

Контроль імовірності будь-якого хибного відкриття відрізняється від контролю очікуваної частки хибних відкриттів серед усіх відкриттів. Метод обирають відповідно до питання, а не за найприємнішим результатом. Регулярне підглядання, чи вже досягнуто значущості, також потребує врахування в послідовній процедурі.

Симуляція дослідження повинна повторювати сам відбір. Якщо оцінювати лише вже обраного переможця, перевага пошуку серед багатьох кандидатів лишається поза розрахунком. Кожне повторення має відтворювати заявлені варіанти, критерій вибору та наступну перевірку. Довірча смуга навколо однієї красивої кривої цього не замінює.