Sobreajuste en el backtest: cuando los buenos resultados son una trampa

Lo más peligroso que puede hacer un backtest es tener éxito. El sobreajuste en el backtest es lo que ocurre cuando una estrategia aprende el ruido de una porción concreta de la historia en lugar de algo real sobre los mercados, produciendo una curva de capital preciosa que no predice absolutamente nada. El mundo cuantitativo lleva décadas peleando con esto. La era de los agentes añade un giro nuevo: modelos de lenguaje que quizá ya han leído la historia sobre la que los estás testeando. Este artículo cubre la mecánica clásica, los viejos sesgos que aún pillan a la gente, el nuevo modo de fallo por memorización de los LLM y las defensas que separan los resultados fiables de los halagadores.

Por qué ocurre el sobreajuste en el backtest: los grados de libertad

Cada elección ajustable de una estrategia es un grado de libertad, y los grados de libertad son la vía por la que se ajusta el ruido. Mira cómo se acumula. Un cruce de medias móviles empieza con dos parámetros: la longitud rápida y la lenta. Añade un filtro de RSI y tienes cuatro: periodo más umbral. Añade una ventana de hora del día, una distancia de stop y un objetivo de beneficio y estás en siete u ocho. Testea diez valores plausibles para cada uno y el espacio contiene decenas de millones de combinaciones. En algún punto de ahí, una configuración encaja de maravilla con tu periodo de prueba por puro accidente. Un optimizador la encontrará por ti.

La intuición es el concurso de lanzar monedas. Mete a diez mil personas en una sala lanzando monedas y, tras diez rondas, aproximadamente diez de ellas habrán sacado cara todas las veces. Parecen genios. Son ganadores de lotería. Las búsquedas de parámetros corren el mismo concurso con variantes de estrategia como concursantes, y el ganador de una búsqueda lo bastante grande es casi con seguridad una casualidad. La regla incómoda que se deriva: cuantas más configuraciones probaste, menos significa el rendimiento de la mejor. Un ratio de Sharpe de 2,0 al testear tres ideas es interesante. La misma cifra a partir de un barrido de cincuenta mil es, sobre todo, una medida de lo grande que fue el barrido.

Los sesgos clásicos: supervivencia y lookahead

Dos pecados más antiguos inflan los backtests sin necesidad de optimizador alguno.

El sesgo de supervivencia significa testear sobre los ganadores de hoy. Corre una estrategia sobre los componentes actuales de un índice bursátil y habrás excluido en silencio a cada empresa que fue deslistada, adquirida a descuento o quebró por el camino; los perdedores que tu estrategia habría mantenido faltan en los datos. La cripto es peor: miles de tokens muertos simplemente desaparecen de la mayoría de conjuntos de datos, así que un backtest de «compra las 50 primeras por capitalización» construido sobre monedas supervivientes testea una cartera que nadie podría haber sabido mantener. El arreglo son datos point-in-time que reflejen lo que era realmente negociable en cada fecha, y escepticismo siempre que esos datos no estén disponibles.

El sesgo de lookahead significa actuar sobre información antes de que existiera. La versión burda: operar una vela usando el cierre de esa misma vela. Versiones más sutiles se cuelan por todas partes: datos económicos ya revisados en lugar de tal como se publicaron por primera vez, indicadores calculados sobre una ventana de muestra completa, o fundamentales estampados con la fecha del periodo fiscal en vez de la fecha posterior en que se publicaron. Cualquiera de estas filtra el periódico de mañana en la decisión de hoy, y el backtest premia la filtración.

El nuevo modo de fallo: tu LLM ya leyó las respuestas

Las estrategias agénticas introducen una versión del lookahead que ninguna lista de higiene de datos detecta, porque la filtración está dentro del modelo. Un modelo de lenguaje grande entrenado con datos hasta, pongamos, 2024 ha ingerido noticias financieras, comentarios de precio y post-mortems que cubren cada movimiento dramático de mercado anterior a su corte. Pídele que «decida» qué operar en marzo de 2020 y no está pronosticando. Está recordando.

La investigación aquí es tajante. «Can LLM-based Financial Investing Strategies Outperform the Market?» (arXiv:2505.07078, 2025) mostró que los backtests de estrategias con LLM están inflados por memorización y lookahead: los modelos cuyos datos de entrenamiento se solapan con la ventana de prueba pueden recordar tickers, fechas y movimientos de precio, y el rendimiento a menudo se degrada una vez que la evaluación se traslada fuera de muestra. Un benchmark de seguimiento con memoria controlada (arXiv:2605.28359, 2026) llegó al mismo veredicto desde la otra dirección, al encontrar que los backtests largos que se solapan con el corte de conocimiento de un modelo dejan que la historia de mercado memorizada se filtre en sus «predicciones», y que controlar la memoria reduce con fuerza la habilidad aparente. Un agente que parece brillante en 2020–2023 puede ser sencillamente un índice muy caro de lo que ocurrió en 2020–2023.

Las consecuencias prácticas son fáciles de enunciar. Si un LLM toma decisiones en cualquier punto de tu bucle, trata cualquier ventana de backtest anterior al corte de entrenamiento de ese modelo como contaminada y da más peso a la evidencia posterior al corte. Mejor aún, mantén al LLM fuera de la ruta de predicción por completo: úsalo para traducir tu intención a reglas explícitas y luego replica esas reglas deterministas contra la historia, donde la memorización no tiene nada que tocar. La división de trabajo más amplia entre los modelos de lenguaje y los motores deterministas se cubre en los LLM en el trading.

Defensas que de verdad funcionan

Ninguna de las defensas es exótica. Su fuerza está en aplicarlas antes de enamorarte de un resultado.

Reserva datos y respeta la reserva. Divide la historia y ajusta solo sobre la parte anterior, dejando el segmento reciente intacto hasta que el diseño esté congelado. Una sola mirada a la reserva por estrategia. Ásomate una y otra vez ajustando cada vez, y la reserva se habrá convertido en silencio en datos de entrenamiento.

Pruebas walk-forward. En lugar de una única división estática, optimiza sobre una ventana, testea sobre la siguiente porción, avanza y repite. Los segmentos fuera de muestra cosidos entre sí muestran cómo se comporta la estrategia cuando debe seguir funcionando sobre datos que nunca vio, que es la descripción real del puesto.

Cobertura de regímenes. Una ventana de prueba es un argumento, y uno estrecho es débil. Abarca el bajista de cripto de 2018, el desplome de marzo de 2020, la subida sin freno de 2021 y el desgaste de 2022, y aprenderás si la ventaja es una propiedad del mercado o un disfraz de régimen. Una revisión de agentes de trading con LLM (arXiv:2408.06361, 2024) señaló las ventanas de prueba cortas y los universos pequeños como debilidades endémicas del campo, y los backtests retail rara vez son mejores.

Mesetas de parámetros antes que picos. Varía cada parámetro alrededor de su valor elegido y observa qué pasa. Supón que un umbral de entrada de RSI de 30 da un Sharpe de 1,4 en el backtest, pero 25 da 0,3 y 35 da 0,4: ese pico afilado como una aguja es la firma del ruido ajustado, porque los efectos reales de mercado no son tan precisos. Si todo entre 25 y 40 aterriza entre 0,9 y 1,2, estás sobre una meseta, y las mesetas viajan al trading en vivo mucho más a menudo que los picos. Elige el centro de una meseta amplia por encima de la cima de un pico afilado, aunque la cifra del pico sea más bonita.

Aquí también es donde el instrumental ayuda o perjudica en silencio, así que elige un software de backtesting que haga cómoda la honestidad. En Obside, un backtest replica años de historia en minutos con supuestos de slippage incorporados, lo que convierte el movimiento barato y disciplinado —testear a través de regímenes con costes realistas antes de fiarte de nada— en el camino de menor resistencia y no en una tarea pesada. El flujo de trabajo específico para agentes se recorre en cómo hacer backtest a un agente de trading con IA.

La simplicidad como criterio previo, y el paper trading como examen final

Cuando dos estrategias dan backtests parecidos, prefiere la que tiene menos piezas móviles, y sostén esa preferencia antes de ver ningún resultado. Cada regla o parámetro añadido debe pagar alquiler sobreviviendo fuera de muestra, no solo mejorando la curva dentro de muestra, que es algo que la complejidad añadida casi siempre hace gratis. Una estrategia de dos reglas con un Sharpe de 0,9 a través de cuatro regímenes merece más confianza que una construcción de nueve parámetros que muestra 1,8 en un único tramo alcista. La complejidad no es sofisticación. En el backtesting, es sobre todo superficie para que el ruido se agarre.

Luego llega la única prueba que nada puede contaminar: el futuro. El paper trading corre tu agente exacto contra los mercados en vivo sin capital en riesgo, sobre datos que no existían cuando diseñaste la estrategia. Ningún optimizador los ha visto, y ningún modelo de lenguaje los ha memorizado. Lo que más importa de esta graduación es una cosa: nada del agente cambia por el camino. En Obside, la misma definición de agente que se backtesteó pasa a modo paper sin cambios, con condiciones y controles de riesgo idénticos, así que la corrida en paper testea la estrategia que validaste y no una aproximación copiada a mano. Tres o cuatro semanas de resultados en paper que riman con el backtest son la evidencia más fuerte que puede producir la validación retail.

Por dónde seguir

Trata cada backtest precioso como una afirmación que exige una revisión hostil, y audítala en este orden: cuántas configuraciones se buscaron, si los datos están libres de supervivencia y son point-in-time, si algún LLM del bucle pudo haber memorizado la ventana, si el resultado descansa sobre una meseta o un pico, y si sobrevivió a datos que reservaste. Luego deja que el paper trading entregue el veredicto. Si quieres esta disciplina integrada en el flujo de trabajo en lugar de pegada por fuera, Obside corre la escalera entera —backtests que abarcan regímenes con el slippage incorporado, luego paper, luego real— sobre una única definición de agente sin cambios.

Contenido educativo únicamente. Esto no es asesoramiento de inversión. Operar conlleva riesgos, incluida la posible pérdida de capital.