Testes múltiplos: quando o melhor teste retrospetivo é um acaso feliz

Uma estratégia publicada pode ocultar mil testes

Um investigador pode publicar um backtest atraente após experimentar muitos sinais, parâmetros, ativos e datas de amostra. O gráfico final não mostra toda a pesquisa. Mesmo que nenhum candidato tenha uma vantagem real, o que parece melhor pode impressionar porque algumas sequências aleatórias são favoráveis.

A unidade de análise relevante não é, portanto, apenas a regra escolhida, mas o procedimento que a escolheu. Um limiar alterado após analisar os resultados conta como parte da pesquisa, mesmo sem um programa formal de otimização. Experiências feitas de memória, folhas de cálculo descartadas e inspeção visual informal podem contribuir para o viés de seleção. Um registo de investigação honesto torna essas escolhas visíveis.

Compreenda a ilustração simples de probabilidade

Se vinte testes independentes tiverem, cada um, uma probabilidade de falso positivo de 5%, a probabilidade de pelo menos um falso positivo é 1 − 0.95²⁰, aproximadamente 64.2%. O pressuposto de independência é importante: as variantes de negociação estão frequentemente correlacionadas, pelo que esta conta é uma ilustração, não uma correção precisa para um programa de investigação real.

A lição não é que todos os resultados positivos sejam falsos. É que um limiar de teste único não pode ser interpretado da mesma forma após uma pesquisa alargada. Escolhas de parâmetros relacionadas não criam evidência totalmente independente, mas a sua correlação não elimina o viés de seleção. Estimar a amplitude efetiva da pesquisa é, por si só, incerto e não deve ser apresentado como uma contagem exata.

Um valor p não é a probabilidade de uma hipótese ser verdadeira nem de a próxima operação ganhar. Mede a incompatibilidade de uma estatística com um modelo nulo especificado, sob os pressupostos do teste. Um valor pequeno também pode resultar de dependência ignorada, de um modelo de ruído inadequado ou de seleção de resultados. A significância estatística não demonstra que o efeito cubra diferencial, financiamento e custos de execução.

Proteja a hipótese da regra de pontuação

Comece por uma justificação económica que especifique porque uma relação pode persistir e porque pode deixar de funcionar. Defina a limpeza de dados, os custos e os critérios de avaliação antes de observar o resultado, quando viável. Isto não elimina o enviesamento, mas reduz a liberdade de adaptar retroativamente uma história a um padrão afortunado.

Mantenha um registo de ensaios com variantes rejeitadas e o motivo de cada alteração. Distinga a correção de erros da alteração de hipóteses. Corrigir um erro de data e hora é diferente de deslocar um nível de stop porque melhora a curva de capital. Ambas as alterações devem ser registadas, pois ver os resultados pode influenciar decisões posteriores mesmo quando a alteração inicial foi legítima.

Uma amostra não utilizada tem uma vida limitada

Um período de validação reservado só é valioso enquanto permanecer intocado pelo desenvolvimento. Quando um investigador o consulta repetidamente para escolher entre modelos, torna-se outro recurso de treino. Chamar-lhe fora da amostra não inverte o fluxo de informação. Pode então ser necessário um período mais recente ou outra avaliação genuinamente independente.

Procedimentos de validação progressiva, seleção aninhada e investigação sobre sobreajustamento de testes históricos podem ajudar a examinar o processo de seleção, mas nenhum transforma dados fracos em certeza. Avalie a estabilidade em intervalos de parâmetros razoáveis e períodos economicamente distintos. A estabilidade é encorajadora quando foi avaliada honestamente; procurar a estatística de estabilidade que parece melhor introduz outra camada de testes.

Valorize a qualidade das evidências, não o gráfico mais alto

Compare resultados com um referencial simples, custos realistas e estimativas de incerteza. Um modelo complicado que mal melhora uma métrica ruidosa pode não justificar os seus graus de liberdade adicionais. Examine quanto da vantagem aparente vem de uma operação, um ativo ou uma escolha de data inicial.

Um relatório útil inclui o histórico da pesquisa, a especificação final, os fracassos e os pressupostos por resolver. Resultados negativos reduzem o espaço de ideias plausíveis e podem poupar esforço futuro. O objetivo não é preservar uma estratégia favorita, mas descobrir se a evidência disponível sustenta alguma afirmação suficientemente forte para resistir à replicação. Quando não sustenta, a conclusão disciplinada é a incerteza, não um gráfico de marketing mais elaborado.

Conte as decisões que poderiam ter mudado o vencedor

Cinco períodos de observação, quatro limiares de entrada e três regras de saída já formam 60 combinações. Escolher depois a data inicial, excluir um ativo inconveniente ou mudar o critério de avaliação aumenta a liberdade de seleção. Registe essas decisões mesmo quando foram tomadas manualmente. Caso contrário, o número anunciado de estratégias testadas subestima a pesquisa que originou a afirmação final.

Para uma família previamente definida de 20 testes válidos, Bonferroni usa o nível individual 0,05 / 20 = 0,0025 para limitar a 5% a probabilidade de pelo menos uma rejeição falsa. A cota não exige independência, embora possa ser conservadora quando os testes estão relacionados. O NIST explica a desigualdade subjacente. A correção não repara dados enviesados, testes individuais inválidos ou experiências adicionais escondidas. Saber fazer a divisão não equivale a conhecer a verdadeira família de hipóteses.

Evitar qualquer falso positivo e controlar a proporção esperada de falsos positivos entre as descobertas são objetivos distintos. Nenhum estabelece, por si só, viabilidade económica. Escolha o procedimento pela questão de investigação, não testando várias correções e conservando a mais favorável. Verificar repetidamente se o resultado já é significativo introduz outra seleção, salvo se o desenho sequencial considerar essas consultas.

Avaliar a seleção exige repetir a seleção. Se uma reamostragem gera outros dados, mas avalia apenas a estratégia já escolhida, ignora a vantagem obtida ao procurar entre muitos candidatos. Cada repetição deve aplicar a pesquisa declarada, a regra de escolha e a avaliação posterior sob um modelo de dados defensável. É mais exigente do que desenhar uma banda em torno de uma curva atraente, mas examina o procedimento que realmente produziu a conclusão.