Tests hors échantillon et walk-forward
Divisez vos données en périodes d'apprentissage et de test, réalisez une analyse walk-forward et évaluez quelle part de la performance d'un backtest survit sur des données inédites.
Ce que vous allez apprendre
- La différence entre données dans l'échantillon et hors échantillon, et pourquoi la période de test ne peut être utilisée qu'une seule fois
- Comment fonctionne une analyse walk-forward, avec des fenêtres glissantes et ancrées
- Comment calculer l'efficacité walk-forward et un résultat hors échantillon reconstitué
- Des règles pratiques pour la longueur des fenêtres, le nombre de trades et la stabilité des paramètres
Explication
La meilleure défense contre le surajustement (leçon précédente) consiste à tester les règles sur des données qui n'ont joué aucun rôle dans leur construction.
Dans l'échantillon et hors échantillon
Les données dans l'échantillon (in-sample, IS) correspondent à la période utilisée pour développer les règles et choisir les paramètres, comme la longueur d'une moyenne mobile. Les données hors échantillon (out-of-sample, OOS) correspondent à une période ultérieure que vous gardez sous clé et n'utilisez que pour vérifier les règles finalisées. Une répartition simple courante est d'environ 70% dans l'échantillon et 30% hors échantillon, la période hors échantillon étant placée à la fin, car l'avenir vient toujours après le passé.
La période hors échantillon n'a de valeur que tant qu'elle n'a pas été vue. Si vous regardez le résultat, modifiez une règle et testez à nouveau, elle est devenue une donnée dans l'échantillon. C'est ce qu'on appelle le data snooping (fouille de données) : réutiliser les mêmes données jusqu'à ce que quelque chose paraisse bon par hasard.
L'analyse walk-forward
Une seule période de réserve ne donne qu'un seul verdict, et ce verdict dépend fortement des conditions de marché de cette période. L'analyse walk-forward répète le processus de nombreuses fois :
- Optimiser les paramètres sur une fenêtre dans l'échantillon, par exemple quatre ans.
- Appliquer les paramètres choisis, sans modification, à la fenêtre hors échantillon suivante, par exemple un an.
- Avancer les deux fenêtres de la longueur de la fenêtre hors échantillon et recommencer.
- Relier tous les résultats hors échantillon en une seule courbe des capitaux hors échantillon reconstituée.
Dans un walk-forward glissant (rolling), la fenêtre dans l'échantillon garde une longueur fixe et abandonne les données anciennes. Dans un walk-forward ancré (anchored), la fenêtre commence toujours à la première date et s'agrandit. Les fenêtres glissantes s'adaptent plus vite ; les fenêtres ancrées utilisent plus de données et donnent généralement des paramètres plus stables.
Le nombre de fenêtres est : (années totales − années dans l'échantillon) ÷ années hors échantillon.
L'efficacité walk-forward
L'efficacité walk-forward (WFE, walk-forward efficiency) compare la performance sur données inédites à la performance optimisée :
WFE = rendement OOS annualisé moyen ÷ rendement IS annualisé moyen
Une WFE proche de 100% signifie que le système a presque aussi bien fonctionné sur les nouvelles données que sur celles sur lesquelles il a été réglé. Une WFE faible signifie qu'une grande partie du résultat dans l'échantillon provenait de l'ajustement au bruit. Certains praticiens retiennent environ 50% comme minimum ; il s'agit d'une convention, pas d'un seuil prouvé. Vérifiez aussi combien de fenêtres ont été rentables.
Règles empiriques pratiques
- Chaque fenêtre hors échantillon doit contenir suffisamment de trades pour être significative ; visez au moins 20 à 30 trades au total sur l'ensemble des fenêtres OOS, et davantage si possible.
- Chaque fenêtre dans l'échantillon doit couvrir des phases de hausse, de baisse et de marché sans tendance.
- Préférez des paramètres issus d'un « plateau » stable, où les valeurs voisines fonctionnent aussi, plutôt qu'un pic isolé et marqué.
- Consignez par écrit la longueur des fenêtres et la règle de sélection avant de commencer, afin de ne pas pouvoir les modifier après avoir vu les résultats.
Exemple chiffré
Exemple hypothétique : un système de suivi de tendance sur un indice actions est testé sur 10 ans de données journalières. Hypothèses : walk-forward glissant, fenêtre dans l'échantillon de 4 ans, fenêtre hors échantillon de 1 an, pas de 1 an. Les rendements sont hypothétiques et excluent les frais, les spreads, le slippage et les impôts.
Nombre de fenêtres : (10 − 4) ÷ 1 = 6 fenêtres.
| Fenêtre | Années IS | Année OOS | Rendement IS (annualisé) | Rendement OOS |
|---|---|---|---|---|
| 1 | 1–4 | 5 | 14% | 6% |
| 2 | 2–5 | 6 | 12% | −2% |
| 3 | 3–6 | 7 | 15% | 8% |
| 4 | 4–7 | 8 | 11% | 4% |
| 5 | 5–8 | 9 | 13% | −5% |
| 6 | 6–9 | 10 | 12% | 7% |
Étape 1 : rendement IS moyen = (14 + 12 + 15 + 11 + 13 + 12) ÷ 6 = 77 ÷ 6 ≈ 12.8%.
Étape 2 : rendement OOS moyen = (6 − 2 + 8 + 4 − 5 + 7) ÷ 6 = 18 ÷ 6 = 3.0%.
Étape 3 : WFE = 3.0 ÷ 12.8 ≈ 23%.
Étape 4 : croissance OOS reconstituée = 1.06 × 0.98 × 1.08 × 1.04 × 0.95 × 1.07 ≈ 1.186. Seules les années inédites comptent ; €10,000 deviennent donc environ €10,000 × 1.186 ≈ €11,860 sur 6 ans, soit environ 2.9% par an en rendement composé.
Interprétation : quatre des six années OOS ont été positives, mais moins d'un quart de la performance optimisée a survécu. Les chiffres dans l'échantillon surestiment fortement les règles. Prochaine étape : les simplifier et les tester à nouveau sur des données réellement nouvelles.
Erreur fréquente
Exercice pratique
Sur papier : vous disposez de 12 ans de données hypothétiques et utilisez un walk-forward glissant avec une fenêtre dans l'échantillon de 3 ans et une fenêtre hors échantillon de 1 an. (a) Combien y a-t-il de fenêtres ? (b) Les quatre premières fenêtres donnent des rendements IS de 10%, 9%, 11% et 10%, et des rendements OOS de 5%, 6%, −1% et 4%. Calculez la WFE pour ces quatre fenêtres. (c) Calculez la croissance OOS reconstituée de €10,000 sur ces quatre années.
Afficher la solution
(a) (12 − 3) ÷ 1 = 9 fenêtres.
(b) IS moyen = 40 ÷ 4 = 10.0%. OOS moyen = 14 ÷ 4 = 3.5%. WFE = 3.5 ÷ 10.0 = 35%.
(c) 1.05 × 1.06 × 0.99 × 1.04 ≈ 1.146 ; €10,000 deviennent donc environ €11,460 avant coûts.
Limites : quatre fenêtres constituent un très petit échantillon, et la WFE ne dit rien des drawdowns ni des coûts.
Points clés à retenir
- Les données hors échantillon ne sont valables que tant qu'elles n'ont pas été vues ; les réutiliser les transforme en données dans l'échantillon.
- L'analyse walk-forward répète de nombreuses fois le cycle « optimiser puis tester » et ne relie que les résultats inédits.
- L'efficacité walk-forward montre quelle part de la performance optimisée survit ; des valeurs faibles signalent un surajustement.
- Fixez la longueur des fenêtres, les règles de sélection et le nombre minimal de trades avant de regarder le moindre résultat.
Prochaine étape
Dans la leçon suivante, vous ajouterez des coûts et un slippage réalistes à votre backtest et verrez ce qu'il reste d'un résultat brut.
Auto-évaluation
Répondez aux questions, puis vérifiez vos réponses. Vous pouvez recommencer autant de fois que vous le souhaitez.
Auto-évaluation automatique pour vos propres révisions. Vos réponses sont vérifiées dans votre navigateur ; nous ne les voyons pas et ne les évaluons pas. Ce n'est ni un examen ni une qualification.
Votre progression
« Terminée » signifie seulement que vous avez marqué la leçon comme lue. Ce n'est pas un test de votre compréhension. La progression et les notes sont enregistrées uniquement dans ce navigateur, sur cet appareil — pas dans un compte.