El mejor backtest de la hoja de cálculo

La situación inicial

Caso educativo hipotético. La serie de precios, la estrategia, los resultados de las operaciones y las estadísticas son inventados. No constituyen un registro histórico, una afirmación de rentabilidad ni una señal operable. Lena prueba una idea de medias móviles sobre una cesta sintética de acciones. Tras probar 120 combinaciones de parámetros, selecciona el resultado más atractivo y presenta sus 200 operaciones simuladas como prueba de una ventaja sólida. Una revisión de la investigación pregunta qué se seleccionó, qué se omitió y qué sigue siendo realmente desconocido.

Reconstruye el titular impresionante

La configuración seleccionada tiene 110 operaciones ganadoras brutas con media de $180 y 90 perdedoras brutas con media de $160. Las ganancias brutas son $19,800 y las pérdidas $14,400, dejando $5,400 en 200 operaciones. La media bruta es $27 por operación y la tasa de acierto, 55%. Ninguna cifra dice si la estrategia resiste costes realistas o si la selección descubrió señal en vez de suerte.

Lena supuso solo $2 de coste por operación completa, reduciendo el resultado en $400 hasta $5,000. Pero la revisión ficticia de ejecución estima $6 de comisiones y cargos explícitos, $12 de coste de diferencial y $15 de deslizamiento adicional por operación completa. El total es $33 por operación, o $6,600 en toda la muestra. Con los mismos resultados brutos, el resultado neto revisado es una pérdida de $1,200, una media de menos $6 por operación.

Define los costes sin contarlos dos veces

Estos componentes de coste solo tienen sentido porque la prueba retrospectiva sintética utilizó precios de referencia sin fricciones. Si ya se hubieran simulado ejecuciones a precios comprador y vendedor, deducir otra vez todo el diferencial exageraría los costes. Del mismo modo, el déficit de ejecución medido desde un precio de decisión puede incluir ya diferencial e impacto de mercado. El registro de investigación necesita una definición precisa de la referencia de entrada, la de salida y los cargos adicionales.

Una tabla de sensibilidad probaría varios costes totales por operación completa, no solo el más favorable para la estrategia. A $15, el resultado neto es $2,400; a $27 es cero; a $45 es menos $3,600. Son escenarios aritméticos, no previsiones. El coste de equilibrio de $27 es especialmente útil porque revela el escaso margen que deja el resultado bruto seleccionado para incertidumbre de ejecución, órdenes sin ejecutar y errores operativos.

El problema de selección viene antes del gráfico final

Lena no eligió esta configuración antes de ver la muestra. La eligió porque superó a 119 alternativas en esa misma muestra. Incluso estrategias sin una ventaja predictiva duradera pueden producir un ganador atractivo cuando se prueban muchas variantes. Como ilustración deliberadamente simplificada, si 120 pruebas independientes tuvieran cada una un 5% de probabilidad de falso positivo, la probabilidad de al menos uno sería 1 − 0.95^120, aproximadamente el 99.79%.

Es probable que las variantes reales de la estrategia estén correlacionadas, por lo que ese cálculo de independencia no constituye un valor p válido para la investigación de Lena. Su función es mostrar el problema de las pruebas múltiples, no cuantificarlo con precisión. Debe registrar todas las variantes probadas, incluidos los indicadores descartados, los cambios de periodos y las excepciones manuales. Un gráfico final impecable no revela cuántos experimentos fallidos se ocultan detrás.

Reserva un conjunto de evaluación honesto

Un mejor diseño ficticio de investigación separa desarrollo, validación y una prueba final intacta. Lena puede utilizar los datos de desarrollo para formar la idea y los de validación para comparar un conjunto limitado y documentado de opciones. Una vez que inspecciona la prueba final y cambia la estrategia en respuesta, esos datos dejan de estar intactos. Llamar repetidamente «fuera de muestra» a los mismos datos no restaura su independencia.

En una nueva prueba de 60 operaciones, supón 28 ganancias brutas de $170 de media y 32 pérdidas brutas de $150 de media. El resultado bruto es $4,760 − $4,800 = menos $40. A $33 por operación completa, los costes suman $1,980 y el resultado neto es menos $2,020. Esta pequeña muestra inventada no demuestra que la estrategia nunca pueda funcionar, pero tampoco respalda la confianza inicial. La respuesta adecuada es investigar o rechazarla, no cambiar automáticamente parámetros hasta que la muestra reservada muestre beneficios.

La revisión mantiene separadas ambas muestras antes de sumar resultados. El desarrollo revisado de 200 operaciones pierde 1200 dólares; la nueva prueba de 60 pierde 2020. Juntas pierden 3220 en 260 operaciones, unos 12,38 por operación. La suma es correcta, pero no convierte la muestra utilizada para seleccionar la estrategia en evidencia independiente. La prueba posterior desempeña otra función porque evalúa decisiones fijadas antes de observar sus resultados.

Comprueba el momento de disponibilidad de la información y la trayectoria de las pérdidas

La revisión también pregunta si las señales utilizaban datos realmente disponibles antes de cada operación modelada. Un indicador de precio de cierre no puede normalmente justificar una ejecución anterior a ese mismo cierre sin un mecanismo de ejecución defendible. La selección del universo no debería descartar silenciosamente valores quebrados o excluidos de cotización. Las operaciones societarias, la alineación temporal y las cotizaciones desactualizadas pueden modificar sustancialmente los resultados simulados. Cada comprobación aborda una posible fuente de error, no ofrece una garantía de rentabilidad futura.

Por último, Lena registra caídas desde máximos, pérdidas consecutivas, rotación y uso de capital junto al beneficio agregado. Una estrategia que acaba recuperándose puede aun así incumplir un límite de financiación por el camino. La NFA advierte que los resultados hipotéticos se benefician de la retrospectiva y no pueden reproducir por completo la experiencia del riesgo financiero real. Las pruebas simuladas pueden revelar problemas de flujo de trabajo, pero no demuestran liquidez real, escalabilidad ni capacidad para seguir una estrategia mientras se pierde dinero de verdad.

Decide qué pruebas podrían cambiar realmente la conclusión

La siguiente acción de Lena depende de la causa. Si un error temporal utilizó información futura, hay que corregir la implementación y retirar o sustituir claramente los resultados afectados. Si el código funciona, pero unos costes plausibles consumen la ventaja, cambiar el título del gráfico no arregla nada. Si una ganadora excepcional explica casi todo el beneficio bruto, la pregunta es si esa dependencia tiene una justificación económica y está suficientemente representada en la muestra.

Puede preparar un conjunto reproducible: las 120 configuraciones, los datos sintéticos exactos, el criterio que eligió la ganadora, las convenciones de costes y la especificación final congelada. Otro revisor debería poder generar tanto el resultado atractivo inicial como el corregido. Conservar la versión fallida permite ver qué supuesto cambió la conclusión. Reproducir un cálculo es necesario para comprobarlo, pero no demuestra que la estrategia vaya a funcionar.

Una sensibilidad útil separa costes y composición de las operaciones. Aplicar 45 dólares en vez de 33 a las mismas 200 operaciones aumenta los costes en 2400 y lleva el resultado de −1200 a −3600. Pero si la menor liquidez impide ejecutar algunas órdenes, también cambia la lista de resultados brutos. Eso exige una nueva simulación de ejecución, no otra deducción sobre la lista anterior. Una tabla precisa de costes no debe ocultar un problema mayor en el modelo de ejecución de órdenes.

Por último, Lena distingue un experimento nuevo de la continuación de la búsqueda anterior. Una regla inspirada por la prueba fallida puede investigarse, pero su resultado sobre esa misma muestra pertenece al desarrollo. Un periodo posterior solo evalúa limpiamente el proceso revisado si la especificación y los criterios se fijan antes. Una conclusión honesta puede ser que la idea actual no tiene apoyo suficiente; la revisión no está obligada a producir una estrategia que llevar al mercado.

Dónde falla el razonamiento