Pruebas múltiples: cuando el mejor backtest es un golpe de suerte

Una estrategia publicada puede ocultar mil pruebas

Un investigador puede publicar una prueba retrospectiva atractiva tras probar muchas señales, valores de parámetros, activos y fechas de muestra. El gráfico final no muestra toda la búsqueda. Aunque ningún candidato tenga una ventaja real, el de mejor apariencia puede resultar impresionante porque algunas secuencias aleatorias son favorables.

Por tanto, la unidad de análisis relevante no es solo la regla elegida, sino el procedimiento que la seleccionó. Un umbral modificado tras examinar resultados cuenta como parte de la búsqueda aunque no se ejecutara un programa formal de optimización. La experimentación de memoria, las hojas de cálculo descartadas y la inspección visual informal pueden contribuir al sesgo de selección. Un registro de investigación honesto hace visibles estas decisiones.

Comprende el ejemplo simple de probabilidad

Si veinte pruebas independientes tienen cada una una probabilidad del 5% de falso positivo, la probabilidad de al menos uno es 1 − 0.95²⁰, aproximadamente el 64.2%. El supuesto de independencia es importante: las variantes de negociación suelen estar correlacionadas, por lo que esta aritmética es ilustrativa, no una corrección precisa para un programa real de investigación.

La lección no es que todo hallazgo positivo sea falso. Es que un umbral de prueba única no puede interpretarse igual después de una búsqueda amplia. Las elecciones de parámetros relacionadas no crean pruebas completamente independientes, pero su correlación tampoco elimina el sesgo de selección. Estimar la amplitud efectiva de búsqueda es también incierto y no debería disfrazarse de recuento exacto.

Un valor p no es la probabilidad de que una hipótesis sea verdadera ni de que gane la siguiente operación. Expresa la incompatibilidad de un estadístico con un modelo nulo especificado, bajo los supuestos del contraste. Un valor pequeño también puede reflejar dependencia ignorada, un modelo de ruido inadecuado o selección de resultados. Además, la significación estadística no establece que el efecto sea suficientemente grande para compensar diferencial, financiación y demás costes de ejecución.

Protege la hipótesis frente a la regla de puntuación

Empieza con una justificación económica que especifique por qué podría persistir una relación y por qué podría dejar de funcionar. Define limpieza de datos, costes y criterios de evaluación antes de ver el resultado cuando sea posible. No elimina el sesgo, pero limita la libertad de adaptar una historia a un patrón afortunado.

Lleva un registro de pruebas con variantes descartadas y motivos de cada cambio. Distingue depuración de modificación de hipótesis. Corregir una marca temporal difiere de mover un stop porque mejora la curva de patrimonio. Ambos cambios deben registrarse: ver resultados puede influir decisiones posteriores aunque el cambio inicial fuera legítimo.

Una muestra intacta tiene una vida limitada

Un periodo reservado solo es valioso mientras no lo toque el desarrollo. Cuando un investigador lo consulta repetidamente para elegir modelos, se convierte en otro recurso de entrenamiento. Llamarlo fuera de muestra no invierte el flujo de información. Entonces puede ser necesario un periodo más reciente u otra evaluación genuinamente independiente.

Los procedimientos de evaluación progresiva, la selección anidada y la investigación sobre sobreajuste de pruebas históricas pueden ayudar a examinar el proceso de selección, pero ninguno convierte datos débiles en certeza. Evalúa la estabilidad entre vecindarios razonables de parámetros y períodos económicamente distintos. La estabilidad es alentadora cuando se ha evaluado honestamente; buscar la estadística de estabilidad que mejor quede introduce otra capa de pruebas.

Premia la calidad de las pruebas, no el gráfico más alto

Compara los resultados con una referencia sencilla, costes realistas y estimaciones de incertidumbre. Un modelo complicado que apenas mejora una métrica ruidosa quizá no justifique sus grados de libertad adicionales. Examina cuánto de la ventaja aparente procede de una sola operación, un activo o una elección de fecha inicial.

Un informe útil incluye historial de búsqueda, especificación final, fallos y supuestos sin resolver. Los hallazgos negativos reducen ideas plausibles y ahorran esfuerzo futuro. El objetivo no es preservar una estrategia favorita, sino descubrir si las pruebas sostienen alguna afirmación que resista replicación. Cuando no, la conclusión disciplinada es incertidumbre, no un gráfico publicitario más elaborado.

Cuenta las decisiones que podrían haber cambiado al ganador

Una búsqueda con cinco periodos de observación, cuatro umbrales de entrada y tres reglas de salida ya contiene 60 combinaciones. Elegir después la fecha inicial, eliminar un activo incómodo o cambiar el criterio de rentabilidad por otro de caída máxima amplía la libertad de selección. Registra esas decisiones aunque se hayan tomado a mano. De lo contrario, el número anunciado de estrategias probadas subestima la búsqueda que produjo la conclusión.

En una familia definida de antemano con 20 contrastes válidos, Bonferroni utiliza 0,05 / 20 = 0,0025 como nivel individual para acotar en el 5% la probabilidad de algún rechazo falso. La cota no requiere independencia, aunque puede ser conservadora si los contrastes están muy relacionados. NIST explica la desigualdad utilizada. La corrección no repara datos sesgados, contrastes individuales inválidos ni experimentos adicionales ocultos: conocer la división no equivale a conocer la verdadera familia de hipótesis.

Evitar cualquier falso positivo y controlar la proporción esperada de falsos positivos entre los hallazgos son objetivos distintos. Ninguno demuestra por sí solo viabilidad económica. Elige el procedimiento por la pregunta de investigación, no probando varias correcciones y conservando la que permite el resultado más llamativo. Revisar repetidamente si un resultado ya es significativo añade otra selección, salvo que el diseño secuencial contemple esas revisiones.

Para evaluar la selección hay que repetir la selección. Si un remuestreo genera otros conjuntos de datos, pero solo calcula el resultado de la estrategia previamente ganadora, omite la ventaja obtenida al buscar entre muchas alternativas. Cada repetición debe aplicar la búsqueda declarada, su criterio de elección y una evaluación posterior bajo un modelo de datos defendible. Es más exigente que dibujar una banda alrededor de una sola curva atractiva, pero analiza el procedimiento que realmente originó la afirmación.