El sobreajuste y cómo evitarlo

Qué aprenderás

• Qué es el sobreajuste y por qué es el motivo más frecuente de que los backtests fallen en real.
• Cómo el número de pruebas que haces crea «ganadores» por pura casualidad.
• Cómo leer una cuadrícula de parámetros y preferir una meseta a un pico.
• Reglas prácticas para sistemas más sencillos y robustos.

Explicación

El ajuste de curvas (curve-fitting) se presentó brevemente en el curso «Análisis técnico en profundidad». Aquí aprenderás a medirlo y a diseñar pruebas que lo resistan.

Qué es el sobreajuste

Todo historial de precios contiene dos partes: un posible patrón repetible (la señal) y un movimiento aleatorio (el ruido). El sobreajuste (overfitting) significa que las reglas se han adaptado al ruido. El backtest parece entonces excelente, porque el ruido del pasado se ajusta a la perfección, pero ese ruido no se repetirá, así que los resultados en real son peores. Cuantas más decisiones tomes mientras miras los resultados, más ruido ajustas.

Grados de libertad

Los grados de libertad son todas las formas en que un conjunto de reglas puede doblegarse a los datos: cada parámetro, cada filtro, cada excepción del tipo «solo los martes» y cada mercado que descartas porque no funcionó. Una regla práctica muy utilizada es mantener el número de operaciones grande en relación con el número de parámetros, por ejemplo varias docenas de operaciones por parámetro libre; tómalo como un mínimo, no como una garantía.

El problema de las pruebas múltiples

Supón que pruebas 20 variantes de una regla que realmente no tienen ninguna ventaja, y que consideras «significativo» un resultado que solo ocurriría por casualidad el 5% de las veces. Si las pruebas son independientes, la probabilidad de que al menos una parezca significativa es:

1 − 0.95^20 ≈ 0.64, es decir, alrededor del 64%.

Con 100 variantes es de aproximadamente el 99%. Por tanto, cabe esperar que la mejor de muchas pruebas parezca buena incluso cuando nada funciona. Una corrección sencilla, el ajuste de Bonferroni, divide el umbral por el número de pruebas: 5% ÷ 20 = 0.25%. Las pruebas reales de variantes parecidas no son independientes, así que las cifras reales son distintas, pero la dirección siempre es la misma: más pruebas exigen pruebas más sólidas. Lleva un registro de investigación que anote cada variante que probaste, no solo la final.

Mesetas frente a picos

Una cuadrícula de parámetros muestra el resultado para muchos valores de un parámetro. Una regla robusta muestra una meseta: los valores vecinos dan resultados similares. Una regla sobreajustada muestra un pico pronunciado: un valor funciona y sus vecinos no. Si la ventaja fuera real, una media de 9 o de 11 meses no debería comportarse de forma completamente distinta a una media de 10 meses.

Reglas para la robustez

• Fija los parámetros a partir de la hipótesis antes de probar; optimiza lo menos posible.
• Prefiere menos reglas. Cada filtro debe tener su propio motivo, no solo un mejor backtest.
• Elige un parámetro del centro de una meseta, no de su punto más alto.
• Prueba la misma regla sin cambios en mercados relacionados; un efecto real suele aparecer en varios.
• Espera que los resultados en real sean peores que el backtest optimizado y planifica en consecuencia.
• Reserva datos sin tocar para una comprobación final (lección 7).

Ejemplo resuelto

Ejemplo hipotético: se probaron dos sistemas, cada uno con siete valores de parámetro. La tabla muestra el ratio de Sharpe anualizado (lección 5) de cada backtest; los costes se incluyen como una estimación fija y se excluyen los impuestos.

Paso 1, mejor valor individual: Y en 8 (0.95) supera a X en 10 (0.47). Un analista ingenuo elige Y.

Paso 2, media del entorno (el valor y sus dos vecinos):

• X en 10: (0.44 + 0.47 + 0.45) ÷ 3 ≈ 0.45.
• Y en 8: (0.12 + 0.95 + 0.10) ÷ 3 = 0.39.

Paso 3, proporción de valores con un Sharpe superior a 0.30: X, 6 de 7; Y, 1 de 7.

Paso 4, pruebas múltiples: se probaron 14 variantes. Con 14 pruebas independientes sin ventaja, hay un 1 − 0.95^14 ≈ 51% de probabilidad de al menos un falso «ganador». El 0.95 aislado de Y parece uno de esos ganadores. X muestra una meseta y es el sistema más creíble, aunque todavía necesita una prueba con datos no vistos.

Error frecuente

Actividad práctica

Cuadrícula hipotética de ratios de Sharpe anualizados para cinco longitudes de ruptura (20, 40, 60, 80, 100 días). Regla A: 0.30, 0.34, 0.36, 0.33, 0.31. Regla B: 0.10, 0.62, 0.08, 0.05, 0.12. En papel: (a) calcula la media del entorno alrededor del mejor valor de cada regla, (b) decide qué regla es más robusta, (c) calcula la probabilidad de al menos un falso ganador entre 10 pruebas independientes sin ventaja y (d) el umbral de Bonferroni para 10 pruebas al 5%.

Ideas clave

• El sobreajuste consiste en ajustarse al ruido del pasado; hace que los backtests parezcan mejores que los resultados futuros.
• Cuantas más variantes pruebes, más probable es un ganador por casualidad; registra cada prueba.
• Prefiere una meseta de buenos resultados a un único pico pronunciado.
• Pocos parámetros, un motivo para cada regla y pruebas en mercados relacionados mejoran la robustez.

Siguiente paso

En la próxima lección usarás pruebas fuera de muestra y walk-forward para comprobar una regla con datos que nunca ha visto.