O melhor teste retrospetivo da folha de cálculo

O contexto

Caso educativo hipotético. A série de preços, a estratégia, os resultados das operações e as estatísticas são inventados. Não são um registo histórico, uma alegação de desempenho nem um sinal negociável. Lena testa uma ideia de média móvel num cabaz sintético de ações. Depois de experimentar 120 combinações de parâmetros, seleciona o resultado mais atrativo e apresenta as suas 200 operações simuladas como evidência de uma vantagem robusta. Uma revisão da investigação pergunta o que foi selecionado, o que foi omitido e o que permanece genuinamente inédito.

Reconstruir o número impressionante em destaque

A configuração selecionada tem 110 operações com ganhos brutos médios de $180 e 90 operações com perdas brutas médias de $160. Os ganhos brutos são $19,800 e as perdas brutas $14,400, restando $5,400 em 200 operações. A média bruta é de $27 por operação e a taxa de acerto é de 55%. Nenhum destes números revela se a estratégia resiste a custos realistas ou se o processo de seleção encontrou um sinal em vez de sorte.

Lena assumiu apenas $2 de custo por operação completa, reduzindo o resultado em $400 para $5,000. Mas a revisão fictícia de execução estima $6 de comissões e encargos explícitos, $12 de custo de spread e $15 de deslizamento adicional por operação completa. O total é $33 por operação, ou $6,600 na amostra. Com os mesmos resultados brutos, o resultado líquido revisto é uma perda de $1,200, em média menos $6 por operação.

Defina custos sem os contar duas vezes

Estas componentes de custos só fazem sentido porque o backtest sintético usou preços de referência sem fricções. Se as execuções já tivessem sido simuladas aos preços de compra e venda, deduzir separadamente todo o spread novamente sobrestimaria os custos. Da mesma forma, o défice de implementação medido face a um preço de decisão pode já conter spread e impacto de mercado. O registo de investigação precisa de uma definição precisa da referência de entrada, da referência de saída e dos encargos adicionais.

Uma tabela de sensibilidade testaria vários custos totais por operação completa, não apenas o mais favorável à estratégia. A $15, o resultado líquido é $2,400; a $27, é zero; a $45, é menos $3,600. São cenários aritméticos, não previsões. O custo de equilíbrio de $27 é particularmente útil porque revela quão pouca margem o resultado bruto selecionado tem para incerteza de execução, ordens não executadas e erros operacionais.

O problema de seleção vem antes do gráfico final

Lena não escolheu esta configuração antes de ver a amostra. Escolheu-a porque superou 119 alternativas nessa mesma amostra. Mesmo estratégias sem vantagem preditiva duradoura podem produzir um vencedor atraente quando se experimentam muitas variantes. Numa ilustração deliberadamente simplificada, se 120 testes independentes tivessem, cada um, 5% de probabilidade de falso positivo, a probabilidade de pelo menos um seria 1 − 0.95^120, cerca de 99.79%.

As variantes reais da estratégia estão provavelmente correlacionadas, pelo que esse cálculo de independência não é um valor-p válido para a investigação de Lena. A sua função é expor o problema dos testes múltiplos, não quantificá-lo precisamente. Ela deve registar todas as variantes tentadas, incluindo indicadores descartados, janelas de datas alteradas e exceções manuais. Um gráfico final bem apresentado não revela quantas experiências falhadas se esconderam por trás dele.

Reserve um conjunto de avaliação honesto

Um desenho de investigação fictício melhor separa desenvolvimento, validação e um teste final intocado. Lena pode usar dados de desenvolvimento para formar a ideia e dados de validação para comparar um conjunto limitado e documentado de escolhas. Assim que examina o teste final e altera a estratégia em resposta, esses dados deixam de estar intocados. Chamar repetidamente «fora da amostra» aos mesmos dados não restaura a independência.

Num novo teste de 60 operações, suponha 28 ganhos brutos com média de $170 e 32 perdas brutas com média de $150. O resultado bruto é $4,760 − $4,800 = menos $40. A $33 por operação completa, os custos somam $1,980 e o resultado líquido é menos $2,020. Esta pequena amostra inventada não prova que a estratégia nunca possa funcionar, mas não sustenta a confiança original. A resposta adequada é investigar ou rejeitar, não alterar parâmetros automaticamente até o conjunto reservado ficar positivo.

A revisão mantém as amostras separadas antes de apresentar a soma. O desenvolvimento revisto de 200 operações perde 1200 dólares; o teste novo de 60 perde 2020. Juntos perdem 3220 em 260 operações, cerca de 12,38 por operação. A aritmética é válida, mas agregar não torna independente a amostra usada para selecionar a regra. O teste posterior tem outra função: avaliar decisões fixadas antes de observar os seus resultados.

Verifique o momento da informação e a trajetória das perdas

A revisão também questiona se os sinais usaram dados efetivamente disponíveis antes de cada operação modelada. Um indicador do preço de fecho não pode normalmente justificar uma execução anterior nesse mesmo fecho sem um mecanismo de execução defensável. A seleção do universo não deve descartar silenciosamente títulos de empresas falidas ou retirados de bolsa. Operações societárias, alinhamento temporal e cotações desatualizadas podem alterar substancialmente os resultados simulados. Cada verificação aborda uma possível fonte de erro, não oferece uma garantia de rentabilidade futura.

Por fim, Lena regista perdas desde máximos, perdas consecutivas, rotação e utilização de capital, juntamente com o lucro agregado. Uma estratégia que acaba por recuperar pode ainda assim ultrapassar um limite de financiamento pelo caminho. A NFA alerta que resultados hipotéticos beneficiam do conhecimento posterior dos acontecimentos e não conseguem reproduzir integralmente a experiência do risco financeiro real. Os testes simulados podem revelar problemas no processo de trabalho, mas não demonstram liquidez real, escalabilidade ou capacidade de seguir uma estratégia enquanto se perde dinheiro verdadeiro.

Decida que evidência poderia realmente mudar a conclusão

A ação seguinte de Lena depende da causa. Se um erro temporal introduziu informação futura, é preciso corrigir a implementação e retirar ou substituir claramente os resultados afetados. Se o código funciona, mas custos plausíveis consomem a vantagem, mudar o título do gráfico não resolve nada. Se um ganho extraordinário explica quase todo o lucro bruto, deve investigar-se se essa dependência tem fundamento económico e representação suficiente na amostra.

Lena pode preparar um conjunto reproduzível: as 120 configurações, os dados sintéticos exatos, o critério de seleção, todas as convenções de custos e a especificação final congelada. Outro revisor deve conseguir gerar tanto o resultado inicial atraente como o corrigido. Conservar a versão falhada mostra que pressuposto alterou a conclusão. Reproduzir uma conta permite verificá-la, mas não demonstra que a estratégia terá sucesso.

Uma sensibilidade útil distingue custos de composição das operações. Aplicar 45 dólares em vez de 33 às mesmas 200 operações aumenta os custos em 2400 e desloca o resultado de −1200 para −3600. Se a menor liquidez impedir algumas execuções, também muda a lista de resultados brutos. Isso exige nova simulação de execução, não apenas outra dedução na lista antiga. Uma tabela precisa de custos não deve esconder um problema mais amplo de preenchimento das ordens.

Por fim, Lena distingue uma nova experiência da continuação da pesquisa anterior. Uma regra inspirada pelo teste falhado pode investigar-se, mas o seu resultado nessa mesma amostra pertence ao desenvolvimento. Um período posterior só avalia honestamente o processo revisto se especificação e critérios forem fixados antes. Concluir que a ideia atual não tem apoio suficiente é legítimo; a revisão não é obrigada a produzir uma estratégia para negociar.

Onde o raciocínio falha