Множественное тестирование: когда лучший бэктест — случайная удача
Документируйте процесс поиска и отличайте настоящую гипотезу от победителя масштабного соревнования на исторических данных.
Одна опубликованная стратегия может скрывать тысячу испытаний
За привлекательным опубликованным бэктестом могут стоять десятки перепробованных сигналов, наборов параметров, активов и вариантов начала выборки. Финальный график не показывает весь поиск. Даже если у всех вариантов нет реального преимущества, лучший может выглядеть впечатляюще из-за благоприятных случайных последовательностей.
Поэтому оценивать нужно не только итоговое правило, но и весь путь, которым к нему пришли. Порог, изменённый после просмотра результатов, тоже является частью поиска, даже если формальная программа оптимизации не запускалась. Пробные расчёты, о которых осталось лишь воспоминание, отброшенные таблицы и просмотр графиков «на глаз» тоже влияют на выбор. Журнал исследования нужен в том числе для того, чтобы этот неформальный поиск не исчез из отчёта.
Поиск не ограничивается параметрами формулы. Выбор самого удачного рынка, исключение «аномального» года и переход от доходности к коэффициенту Шарпа после неудобного результата — тоже исследовательские решения. Полезно фиксировать их в момент принятия: что проверяли, почему, какие результаты получили и что изменили дальше. Восстановить весь перебор задним числом по финальному файлу обычно невозможно.
Разберитесь в простом вероятностном примере
Если каждый из двадцати независимых тестов имеет вероятность ложноположительного результата 5%, вероятность хотя бы одного такого результата равна 1 − 0,95²⁰, то есть примерно 64,2%. Предположение о независимости существенно: варианты торговых стратегий часто коррелируют, поэтому эта арифметика служит иллюстрацией, а не точной поправкой для реальной исследовательской программы.
Урок не в том, что каждый положительный результат ложен. После широкого перебора результат одного теста нельзя оценивать так, будто этот тест был единственным. Близкие варианты параметров не создают полностью независимых доказательств, но их корреляция не устраняет смещение отбора. Даже оценка числа действительно различных испытаний неопределённа: превращать её в якобы точный поправочный коэффициент не стоит.
Вероятность ложноположительного результата 5% не означает, что конкретная найденная стратегия с вероятностью 95% обладает преимуществом. Это характеристика процедуры при выполнении нулевой гипотезы и предпосылок теста. А ожидаемое число случайных срабатываний не равно вероятности хотя бы одного срабатывания. В примере с 200 тестами среднее число ложных результатов равно десяти, если у каждого вероятность ошибки составляет 5%; для этого равенства независимость не нужна, хотя для формулы вероятности хотя бы одного результата она существенна.
Не подгоняйте гипотезу под удачный результат
Начните с экономического обоснования, объясняющего, почему взаимосвязь может сохраняться и почему она может перестать работать. По возможности определите правила очистки данных, издержки и критерии оценки до просмотра результата. Это не устраняет смещение, но ограничивает свободу подгонки объяснения под удачно найденную закономерность.
Ведите журнал испытаний с отклонёнными вариантами и причиной каждого изменения. Отличайте исправление ошибок от изменения гипотезы. Исправление временной метки отличается от переноса стопа ради улучшения кривой капитала. Оба изменения нужно записывать, поскольку просмотр результатов может влиять на последующие решения даже при обоснованном первоначальном исправлении.
Отложенная выборка перестаёт быть независимой после подбора по ней
Отложенный период ценен только пока он не используется при разработке. Как только исследователь многократно обращается к нему для выбора моделей, он становится ещё одним обучающим ресурсом. Название «вневыборочный тест» не отменяет того, что сведения из него уже повлияли на модель. После этого может потребоваться более новый период или другая действительно независимая проверка.
Последовательная проверка по времени, вложенная процедура отбора и методы оценки переобучения помогают исследовать качество выбора модели. Но ни один из этих методов не сделает слабую выборку убедительной сам по себе. Оцените устойчивость в разумных окрестностях параметров и экономически разных периодах. Устойчивость обнадёживает при честной оценке; поиск наиболее привлекательной статистики устойчивости добавляет ещё один уровень тестирования.
Заранее определите, какие выводы допустимы после финальной проверки. Если результат не прошёл установленный критерий, можно признать гипотезу неподтверждённой или начать новое исследование. Но нельзя менять фильтры по увиденным неудачам, повторять тест на том же периоде и называть улучшение независимым подтверждением. Для новой версии потребуется новая проверка, а использованный период останется частью истории разработки.
Оценивайте доказательства, а не высоту кривой капитала
Сравнивайте результаты с простым ориентиром, реалистичными расходами и оценками неопределённости. Сложная модель, едва улучшающая шумный показатель, может не оправдывать дополнительных степеней свободы. Проверьте, какая доля кажущегося преимущества связана с одной сделкой, активом или датой начала.
Полезный отчёт включает историю поиска, окончательную спецификацию, неудачи и неразрешённые допущения. Отрицательные результаты сужают круг правдоподобных идей и помогают избежать лишней работы в будущем. Цель — не сохранить любимую стратегию, а выяснить, подтверждают ли имеющиеся данные какой-либо вывод, достаточно убедительный, чтобы выдержать воспроизведение. Если нет, дисциплинированный вывод — неопределённость, а не более замысловатый рекламный график.