Le surajustement et comment l'éviter

Ce que vous allez apprendre

• Ce qu'est le surajustement et pourquoi il est la raison la plus fréquente de l'échec des backtests en conditions réelles.
• Comment le nombre de tests que vous réalisez crée des « gagnants » par pur hasard.
• Comment lire une grille de paramètres et préférer un plateau à un pic.
• Des règles pratiques pour des systèmes plus simples et plus robustes.

Explication

Le curve-fitting (ajustement aux courbes) a été brièvement présenté dans le cours « L'analyse technique approfondie ». Ici, vous apprenez à le mesurer et à concevoir des tests qui y résistent.

Ce qu'est le surajustement

Tout historique de prix contient deux parties : un éventuel motif reproductible (le signal) et des mouvements aléatoires (le bruit). Le surajustement (overfitting) signifie que les règles se sont adaptées au bruit. Le backtest paraît alors excellent, car le bruit du passé est parfaitement ajusté, mais ce bruit ne se répétera pas ; les résultats réels sont donc moins bons. Plus vous faites de choix en regardant les résultats, plus vous ajustez de bruit.

Les degrés de liberté

Les degrés de liberté sont toutes les manières dont un jeu de règles peut se plier aux données : chaque paramètre, chaque filtre, chaque exception du type « uniquement le mardi » et chaque marché que vous écartez parce qu'il n'a pas fonctionné. Une règle empirique fréquemment utilisée consiste à garder un nombre de trades élevé par rapport au nombre de paramètres, par exemple plusieurs dizaines de trades par paramètre libre ; considérez-la comme un minimum, pas comme une garantie.

Le problème des tests multiples

Supposons que vous testiez 20 variantes de règles qui n'ont réellement aucun avantage, et que vous qualifiiez un résultat de « significatif » s'il ne se produirait par hasard que dans 5% des cas. Si les tests sont indépendants, la probabilité qu'au moins un paraisse significatif est :

1 − 0.95^20 ≈ 0.64, soit environ 64%.

Avec 100 variantes, elle est d'environ 99%. On doit donc s'attendre à ce que le meilleur de nombreux tests paraisse bon même lorsque rien ne fonctionne. Une correction simple, l'ajustement de Bonferroni, divise le seuil par le nombre de tests : 5% ÷ 20 = 0.25%. Les tests réels de variantes similaires ne sont pas indépendants, si bien que les chiffres exacts diffèrent, mais le sens est toujours le même : plus de tests exigent des preuves plus solides. Tenez un journal de recherche qui consigne chaque variante essayée, pas seulement la version finale.

Plateaux contre pics

Une grille de paramètres montre le résultat pour de nombreuses valeurs de paramètres. Une règle robuste présente un plateau : des valeurs voisines donnent des résultats similaires. Une règle surajustée présente un pic marqué : une valeur fonctionne et ses voisines non. Si l'avantage était réel, une moyenne sur 9 ou 11 mois ne devrait pas se comporter de façon totalement différente d'une moyenne sur 10 mois.

Règles de robustesse

• Fixez les paramètres à partir de l'hypothèse avant de tester ; optimisez le moins possible.
• Préférez moins de règles. Chaque filtre doit avoir sa propre raison, et pas seulement un meilleur backtest.
• Choisissez un paramètre au milieu d'un plateau, pas à son point le plus haut.
• Testez la même règle sans modification sur des marchés apparentés ; un effet réel apparaît généralement sur plusieurs d'entre eux.
• Attendez-vous à ce que les résultats réels soient moins bons que le backtest optimisé, et planifiez en conséquence.
• Gardez de côté des données intactes pour une vérification finale (leçon 7).

Exemple chiffré

Exemple hypothétique : deux systèmes ont chacun été testés avec sept valeurs de paramètre. Le tableau montre le ratio de Sharpe annualisé (leçon 5) de chaque backtest ; les coûts sont inclus sous forme d'estimation fixe, les impôts sont exclus.

Étape 1, meilleure valeur isolée : Y à 8 (0.95) bat X à 10 (0.47). Un testeur naïf choisit Y.

Étape 2, moyenne du voisinage (la valeur et ses deux voisines) :

• X à 10 : (0.44 + 0.47 + 0.45) ÷ 3 ≈ 0.45.
• Y à 8 : (0.12 + 0.95 + 0.10) ÷ 3 = 0.39.

Étape 3, part des valeurs dont le Sharpe dépasse 0.30 : X 6 sur 7 ; Y 1 sur 7.

Étape 4, tests multiples : 14 variantes ont été essayées. Avec 14 tests indépendants sans avantage, la probabilité d'au moins un faux « gagnant » est de 1 − 0.95^14 ≈ 51%. Le 0.95 isolé de Y ressemble à un tel gagnant. X présente un plateau et constitue le système le plus crédible, même s'il doit encore être testé sur des données inédites.

Erreur fréquente

Exercice pratique

Grille hypothétique de ratios de Sharpe annualisés pour cinq longueurs de cassure (20, 40, 60, 80, 100 jours). Règle A : 0.30, 0.34, 0.36, 0.33, 0.31. Règle B : 0.10, 0.62, 0.08, 0.05, 0.12. Sur papier : (a) calculez la moyenne du voisinage autour de la meilleure valeur de chaque règle, (b) déterminez quelle règle est la plus robuste, (c) calculez la probabilité d'au moins un faux gagnant parmi 10 tests indépendants sans avantage, et (d) le seuil de Bonferroni pour 10 tests à 5%.

Points clés à retenir

• Le surajustement consiste à ajuster le bruit passé ; il fait paraître les backtests meilleurs que les résultats futurs.
• Plus vous testez de variantes, plus un gagnant dû au hasard est probable ; consignez chaque test.
• Préférez un plateau de bons résultats à un pic isolé et marqué.
• Peu de paramètres, une raison pour chaque règle et des tests sur des marchés apparentés améliorent la robustesse.

Prochaine étape

Dans la leçon suivante, vous utiliserez des tests hors échantillon et walk-forward pour vérifier une règle sur des données qu'elle n'a jamais vues.