Sobreajuste no Backtest: Quando Resultados Excelentes São uma Armadilha

A coisa mais perigosa que um backtest pode fazer é ter sucesso. O sobreajuste no backtest é o que acontece quando uma estratégia aprende o ruído de uma fatia específica da história em vez de algo real sobre os mercados, produzindo uma curva de capital deslumbrante que não prevê rigorosamente nada. O mundo quant luta contra isto há décadas. A era dos agentes acrescenta uma nova reviravolta: modelos de linguagem que podem já ter lido a história em que os está a testar. Este artigo cobre a mecânica clássica, os velhos vieses que ainda apanham gente, o novo modo de falha de memorização dos LLM, e as defesas que separam os resultados de confiança dos apenas lisonjeiros.

Porque acontece o sobreajuste no backtest: graus de liberdade

Cada escolha ajustável numa estratégia é um grau de liberdade, e é através dos graus de liberdade que o ruído se ajusta. Repare como se acumula. Um cruzamento de médias móveis começa com dois parâmetros: os comprimentos rápido e lento. Acrescente um filtro de RSI, e tem quatro: período mais limiar. Acrescente uma janela de hora do dia, uma distância de stop e um alvo de lucro, e está em sete ou oito. Teste dez valores plausíveis para cada um e o espaço guarda dezenas de milhões de combinações. Nalgum ponto aí dentro, uma configuração ajusta-se lindamente ao seu período de teste por puro acaso. Um otimizador vai encontrá-la por si.

A intuição é o concurso de lançar moedas. Ponha dez mil pessoas numa sala a lançar moedas e, ao fim de dez rondas, cerca de dez delas terão saído cara todas as vezes. Parecem génios. São vencedores da lotaria. As buscas de parâmetros correm o mesmo concurso com variantes da estratégia como concorrentes, e o vencedor de uma busca suficientemente grande é quase garantido ser um acaso. A regra incómoda que daí decorre: quantas mais configurações experimentou, menos significa o desempenho da melhor delas. Um rácio de Sharpe de 2,0 a partir de testar três ideias é interessante. O mesmo número a partir de uma varredura de cinquenta mil é sobretudo uma medida de quão grande foi a varredura.

Os vieses clássicos: sobrevivência e lookahead

Dois pecados mais antigos inflacionam os backtests sem qualquer otimizador envolvido.

O viés de sobrevivência significa testar nos vencedores de hoje. Corra uma estratégia sobre os constituintes atuais de um índice de ações e excluiu, sem dar por isso, todas as empresas que foram retiradas de cotação, adquiridas com desconto ou faliram pelo caminho; os perdedores que a sua estratégia teria detido estão em falta nos dados. A cripto é pior: milhares de tokens mortos simplesmente desaparecem da maioria dos conjuntos de dados, por isso um backtest de «comprar os 50 maiores por capitalização» construído sobre moedas sobreviventes testa uma carteira que ninguém poderia ter sabido deter. A solução são dados point-in-time que refletem o que era de facto transacionável em cada data, e ceticismo sempre que esses dados não estejam disponíveis.

O viés de lookahead significa agir sobre informação antes de ela existir. A versão bruta: operar uma vela usando o fecho dessa mesma vela. Versões mais subtis infiltram-se por toda a parte: dados económicos tal como revistos mais tarde em vez de como foram primeiro publicados, indicadores calculados sobre uma janela de amostra completa, ou fundamentais carimbados com a data do período fiscal em vez da data posterior em que foram divulgados. Qualquer uma destas fugas deixa o jornal de amanhã entrar na decisão de hoje, e o backtest recompensa a fuga.

O novo modo de falha: o seu LLM já leu as respostas

As estratégias agênticas introduzem uma versão de lookahead que nenhuma lista de higiene de dados apanha, porque a fuga está dentro do modelo. Um modelo de linguagem grande treinado com dados até, digamos, 2024 ingeriu notícias financeiras, comentário de preços e análises retrospetivas que cobrem todos os movimentos dramáticos do mercado antes do seu corte. Peça-lhe para «decidir» o que operar em março de 2020 e não está a prever. Está a recordar.

A investigação aqui é direta. «Can LLM-based Financial Investing Strategies Outperform the Market?» (arXiv:2505.07078, 2025) mostrou que os backtests de estratégias de LLM são inflacionados por memorização e lookahead: modelos cujos dados de treino se sobrepõem à janela de teste conseguem recordar tickers, datas e movimentos de preço, e o desempenho degrada-se muitas vezes assim que a avaliação passa para fora da amostra. Um benchmark de seguimento com controlo de memória (arXiv:2605.28359, 2026) chegou ao mesmo veredicto pelo outro lado, ao descobrir que backtests longos que se sobrepõem ao corte de conhecimento de um modelo deixam a história de mercado memorizada infiltrar-se nas suas «previsões», e que controlar a memória reduz acentuadamente a aparente competência. Um agente que parece brilhante em 2020–2023 pode ser apenas um índice muito caro do que aconteceu em 2020–2023.

As consequências práticas são simples de enunciar. Se um LLM toma decisões em qualquer ponto do seu ciclo, trate qualquer janela de backtest anterior ao corte de treino desse modelo como contaminada e dê peso à evidência posterior ao corte. Melhor, mantenha o LLM totalmente fora do caminho da previsão: use-o para traduzir a sua intenção em regras explícitas, e depois reproduza essas regras determinísticas contra a história, onde a memorização não tem em que tocar. A divisão de trabalho mais ampla entre modelos de linguagem e motores determinísticos é abordada em LLM no trading.

Defesas que funcionam mesmo

Nenhuma das defesas é exótica. O seu poder está em serem aplicadas antes de se apaixonar por um resultado.

Reserve dados, e respeite a reserva. Divida a história e afine apenas na parte mais antiga, mantendo o segmento recente intocado até o desenho estar congelado. Uma olhadela à reserva por estratégia. Espreite repetidamente e ajuste de cada vez, e a reserva tornou-se em silêncio dados de treino.

Teste walk-forward. Em vez de uma única divisão estática, otimize numa janela, teste na fatia seguinte, avance e repita. Os segmentos fora da amostra costurados uns aos outros mostram como a estratégia se comporta quando tem de continuar a funcionar sobre dados que nunca viu, que é a verdadeira descrição do cargo.

Cobertura de regimes. Uma janela de teste é um argumento, e um estreito é fraco. Abranja o urso da cripto de 2018, a queda de março de 2020, a subida implacável de 2021 e o desgaste de 2022, e fica a saber se a vantagem é uma propriedade do mercado ou um disfarce de regime. Uma revisão de agentes de trading com LLM (arXiv:2408.06361, 2024) assinalou janelas de teste curtas e universos pequenos como fraquezas endémicas em todo o campo, e os backtests de retalho raramente são melhores.

Planaltos de parâmetros em vez de picos. Faça variar cada parâmetro em torno do valor escolhido e veja o que acontece. Suponha que um limiar de entrada de RSI de 30 tem no backtest um Sharpe de 1,4, mas 25 dá 0,3 e 35 dá 0,4: esse pico fino como uma agulha é a assinatura de ruído ajustado, porque os verdadeiros efeitos de mercado não são assim tão precisos. Se tudo entre 25 e 40 aterra entre 0,9 e 1,2, está em cima de um planalto, e os planaltos viajam para o trading ao vivo muito mais vezes do que os picos. Prefira o meio de um planalto largo ao topo de um pico agudo, mesmo quando o número do pico é mais bonito.

É aqui também que as ferramentas ou ajudam ou prejudicam em silêncio, por isso escolha um software de backtesting que torne a honestidade conveniente. Na Obside, um backtest reproduz anos de história em minutos com hipóteses de slippage incorporadas, o que torna o movimento barato e disciplinado, testar através de regimes com custos realistas antes de confiar em fosse o que fosse, o caminho de menor resistência em vez de uma maçada. O fluxo de trabalho específico dos agentes é percorrido em como fazer backtest de um agente de trading com IA.

A simplicidade como prior, e o paper trading como exame final

Quando duas estratégias têm backtests parecidos, prefira a que tem menos peças móveis, e defenda essa preferência antes de ver quaisquer resultados. Cada regra ou parâmetro acrescentado tem de pagar renda sobrevivendo fora da amostra, não meramente melhorando a curva dentro da amostra, coisa que a complexidade acrescentada quase sempre faz de graça. Uma estratégia de duas regras com um Sharpe de 0,9 através de quatro regimes merece mais confiança do que uma construção de nove parâmetros a mostrar 1,8 num único rali de touro. A complexidade não é sofisticação. No backtesting, é sobretudo superfície para o ruído se agarrar.

Depois vem o único teste que nada pode contaminar: o futuro. O paper trading corre o seu agente exato contra os mercados ao vivo sem capital em risco, sobre dados que não existiam quando desenhou a estratégia. Nenhum otimizador o viu, e nenhum modelo de linguagem o memorizou. Uma coisa importa acima de tudo nesta passagem: nada no agente muda pelo caminho. Na Obside, a mesma definição de agente que foi submetida a backtest passa para o modo de papel sem alterações, com condições idênticas e controlos de risco idênticos, por isso a corrida em papel testa a estratégia que validou e não uma aproximação copiada à mão. Três ou quatro semanas de resultados em papel que rimem com o backtest são a evidência mais forte que a validação de retalho consegue produzir.

Por onde seguir a partir daqui

Trate cada backtest bonito como uma afirmação que exige uma revisão hostil, e audite por esta ordem: quantas configurações foram procuradas, se os dados estão livres de viés de sobrevivência e são point-in-time, se algum LLM no ciclo poderia ter memorizado a janela, se o resultado assenta num planalto ou num pico, e se sobreviveu a dados que reservou. Depois deixe o paper trading dar o veredicto. Se quiser esta disciplina incorporada no fluxo de trabalho em vez de aparafusada por fora, a Obside corre a escada inteira, backtests que abrangem regimes com slippage incorporado, depois papel, depois ao vivo, sobre uma única definição de agente inalterada.

Conteúdo educativo apenas. Isto não é aconselhamento de investimento. Operar envolve riscos, incluindo a possível perda de capital.