Um backtest é a mentira mais persuasiva do trading. A curva de patrimônio sobe da esquerda para a direita, a taxa de acerto parece saudável, e os drawdowns parecem suportáveis. Depois você opera ao vivo e a vantagem evapora silenciosamente. Isso não é azar. Backtests superestimam o desempenho ao vivo de maneiras sistemáticas e previsíveis, e assim que você conhece esses modos de falha, deixa de se surpreender com eles.
Este post pressupõe que você já sabe como fazer um backtest. Se não sabe, comece pelo guia complementar sobre como fazer backtest de uma estratégia de trading, que cobre a mecânica, o tamanho da amostra e o teste forward. Aqui vamos mais fundo em uma pergunta mais difícil: por que o número que um backtest fornece é quase sempre melhor do que o número que você realmente vai ganhar.
Um Backtest É um Melhor Cenário, Não uma Estimativa
O problema central é que um backtest não é uma medição neutra. Ele é o resultado de um processo no qual você fez dezenas de pequenas escolhas, e cada uma dessas escolhas teve a chance de vazar otimismo para o resultado. Você escolheu o mercado, o período, o indicador, os parâmetros, a saída. Cada decisão foi tomada com algum conhecimento do que funcionou. Esse conhecimento é a contaminação.
Estatisticamente, o resultado que você mantém não é uma amostra aleatória da distribuição de resultados possíveis. É o máximo de muitas amostras ruidosas. Quando você seleciona o melhor entre uma centena de coisas, você não está medindo habilidade, está medindo a cauda superior da sorte. O que segue é um catálogo dos mecanismos que produzem esse viés de alta.
Cinco maneiras pelas quais um backtest superestima o desempenho ao vivo
| Viés | Como infla o resultado | Como identificar | Correção |
|---|---|---|---|
| Sobrevivência | Testa apenas ativos que sobreviveram até hoje | Verifique se o universo é point-in-time | Use um dataset que inclua ativos deslistados |
| Look-ahead | Usa dados que não eram conhecíveis no momento da operação | Rastreie cada sinal até seu timestamp | Defasar os dados; preencher na próxima barra |
| Overfitting | O melhor entre muitas execuções ajustadas parece ótimo por sorte | Conte seus parâmetros e suas tentativas | Menos parâmetros; teste fora da amostra |
| Cegueira a custos | Ignora spread, slippage, comissão | Recalcule tudo líquido dos custos reais | Modele o custo de ida e volta por operação |
| Dependência de regime | Codifica uma era de mercado como uma lei dos mercados | Anote a taxa e o regime de volatilidade testado | Teste em mercados de alta, de baixa e de alta volatilidade |
As Cinco Maneiras Pelas Quais o Número Mente
1. Viés de Sobrevivência: Você Só Testou os Vencedores
Suponha que você faça o backtest de uma ideia simples: comprar na queda em ações do S&P 500. Você pega os membros atuais do índice, baixa o histórico de preços deles e simula a compra em cada drawdown de 10%. Os resultados são excelentes, porque a estratégia parece sempre se recuperar. Ela não. Só parece assim porque toda empresa no seu teste sobreviveu para estar no índice hoje.
O S&P 500 substitui aproximadamente 20 a 25 empresas por ano. Em um backtest de 20 anos, isso são várias centenas de mudanças de constituintes que você nunca vê. Seu teste nunca comprou na queda da Lehman Brothers, Bear Stearns, Enron ou Washington Mutual, porque elas caíram e continuaram caindo até serem deslistadas e removidas do índice. A estratégia nunca foi exposta aos perdedores. A conclusão de que "quedas sempre se recuperam" foi incorporada pela construção do universo, não descoberta nos dados. Dados point-in-time que incluem nomes deslistados são a única correção honesta.
2. Viés de Look-Ahead: Usando Informação que Você Não Tinha
Viés de look-ahead significa que sua simulação usou informação que não estava disponível no momento da operação. A versão sutil e comum é um erro de timing. Digamos que sua regra seja "comprar quando o fechamento diário cruzar acima da média móvel de 50 dias", e seu backtest preenche essa compra no fechamento do mesmo dia. Na realidade, você não pode saber o fechamento até o pregão terminar, e até lá o único preço em que você pode operar é a próxima abertura, que pode abrir contra você. Preencher no preço do sinal em vez do próximo preço disponível pode fabricar uma vantagem que não existe.
A outra versão clássica são os dados reafirmados. Os lucros das empresas são revisados. Se seu backtest usa o número final e reafirmado de EPS que está no banco de dados hoje, ele está operando com números que não eram conhecidos na data da operação, quando só existia o número reportado inicialmente. A regra é fácil de enunciar e fácil de violar: toda entrada deve ser defasada para o que era conhecível naquele timestamp.
3. Overfitting e a Armadilha das Comparações Múltiplas
O guia de mecânica cobre o ajuste básico de curva. O problema mais profundo é estatístico. Se você testa 200 combinações de parâmetros e julga cada uma contra um limiar de significância de 5%, aproximadamente 10 delas vão parecer "significativas" puramente por acaso, mesmo que nenhuma tenha vantagem real. Selecionar a execução com melhor aparência não é encontrar a boa. É encontrar a mais sortuda.
Uma estratégia com 12 parâmetros otimizados tem graus de liberdade suficientes para se ajustar a quase qualquer série de preços passada. Ela não aprendeu uma regra sobre mercados, memorizou o ruído específico da sua amostra. A heurística honesta segue diretamente disso: quanto mais parâmetros você ajustou e quanto mais combinações você testou, maior o desconto que você deve aplicar ao resultado. Um sistema limpo de três parâmetros testado uma vez merece mais confiança do que um sistema de doze parâmetros que foi o vencedor de uma otimização com mil execuções.
4. Cegueira a Custos de Transação
Spreads, slippage e comissões são cobrados por operação, então eles se acumulam com a frequência. Um backtest que assume custo zero não está modelando sua estratégia, está modelando uma versão fantasiosa que opera de graça. Considere um sistema de curto prazo com uma vantagem bruta fina de 0,10% por operação de ida e volta e um custo realista de ida e volta de 0,12% depois de somar spread, slippage e comissão. O gráfico abaixo plota o retorno bruto contra o retorno líquido conforme o número de operações aumenta, usando retornos somados simples para clareza.
Mesma estratégia, bruto vs líquido: uma vantagem fina que os custos devoram
Veja o que acontece. Com 1.000 operações por ano, o backtest bruto mostra um retorno espetacular de 100%, enquanto o resultado real, ajustado pelos custos, é negativo em 20%. Quanto mais essa estratégia opera, melhor o backtest parece e mais dinheiro real ela perde, porque a vantagem por operação nunca sobreviveu ao custo por operação. É por isso que o mesmo sedutor sistema de alta frequência com 40% bruto pode ser firmemente negativo líquido. Os custos também distorcem silenciosamente as relações risco-retorno que um backtest reporta, já que cada spread pago encolhe o retorno real em cada operação vencedora.
5. Dependência de Regime
Uma estratégia testada de 2010 a 2021 foi testada quase inteiramente dentro de um único regime de mercado: taxas de juros zero, afrouxamento quantitativo, baixa volatilidade e o mercado de alta mais longo da história. Nesse mundo, quedas se recuperavam e tendências persistiam, então um sistema de reversão à média ou de seguimento de tendência que "aprendeu" esses comportamentos está, na verdade, apenas codificando o regime como se fosse uma lei permanente dos mercados. Depois 2022 chegou com aumentos de juros, um mercado de baixa e volatilidade elevada, e a estratégia encontrou condições que nunca tinha visto. Um backtest confinado a uma era conta como uma estratégia se saiu naquela era, e quase nada sobre como ela lida com a próxima.
Quanto Você Deve Descontar um Backtest?
Você não pode remover esse viés completamente, mas pode precificá-lo. Trate o número principal como um teto e aplique um desconto de acordo com como o teste foi construído. Quanto mais sujo o processo, mais profundo o desconto.
Quanto descontar um backtest antes de acreditar nele
| Característica do backtest | Tratamento realista | Por quê |
|---|---|---|
| Apenas dentro da amostra, um único regime de mercado | Desconto pesado ou descarte | Nunca viu um mundo diferente |
| 10+ parâmetros otimizados | Desconto pesado | Provavelmente memorizou a amostra |
| Custos assumidos como zero ou ignorados | Pode inverter o sinal | O líquido é o único número que importa |
| Universo limpo de sobrevivência | Desconto moderado | Os perdedores foram silenciosamente removidos |
| Fora da amostra, walk-forward, custos realistas | Desconto leve, ainda verifique ao vivo | O mais próximo do honesto que você pode chegar |
O Que Realmente Ajuda
Nada disso significa que o backtest é inútil. Significa que um backtest é um filtro que remove ideias ruins, não uma promessa sobre ideias boas. Algumas práticas reduzem significativamente a lacuna entre o backtest e a realidade. Reserve dados fora da amostra que o modelo nunca tocou, e use o teste walk-forward. Aplique descontos agressivos pelo número de parâmetros. Teste deliberadamente em diferentes regimes, incluindo os feios. E confirme que a execução ao vivo pode realmente atingir os preenchimentos e os tamanhos de posição que o backtest assumiu, porque um sistema que depende silenciosamente de entradas perfeitas ou ignora suas regras de dimensionamento de posição vai se comportar de forma muito diferente com dinheiro real em jogo.
O filtro final é o paper trading, depois pequenas operações ao vivo. Um backtest vive em um mundo sem execuções perdidas, sem emoções e sem surpresas. A execução real é o único teste que inclui os três.
Principais Conclusões
- Um backtest é o melhor de muitas tentativas ruidosas, então já é enviesado para cima antes mesmo de você lê-lo.
- O viés de sobrevivência testa apenas os ativos que sobreviveram; o viés de look-ahead opera com informação que você não tinha.
- O overfitting escala com o número de parâmetros e o número de combinações testadas, então desconte de acordo.
- Os custos são cobrados por operação e podem transformar um grande retorno bruto em firmemente negativo líquido.
- Um backtest de regime único codifica esse regime como uma lei e quebra quando o regime muda.
Um backtest diz que uma estratégia teria funcionado. Ele nunca diz que vai funcionar. A lacuna entre essas duas frases é onde a maioria das contas de trading vai morrer.
Aviso: Este conteúdo é apenas para fins educacionais e não constitui aconselhamento financeiro. Negociar envolve risco substancial de perda. Desempenho passado não garante resultados futuros.
