Out-of-Sample- und Walk-Forward-Tests

Was Sie lernen werden

• Den Unterschied zwischen In-Sample- und Out-of-Sample-Daten und warum der Testzeitraum nur einmal verwendet werden darf
• Wie eine Walk-Forward-Analyse mit rollierenden und verankerten Fenstern funktioniert
• Wie Sie die Walk-Forward-Effizienz und ein zusammengesetztes Out-of-Sample-Ergebnis berechnen
• Praktische Regeln für Fensterlängen, Trade-Anzahlen und Parameterstabilität

Erklärung

Der beste Schutz gegen Überanpassung (vorherige Lektion) ist es, Regeln an Daten zu testen, die bei ihrer Entwicklung keine Rolle gespielt haben.

In-Sample und Out-of-Sample

In-Sample-Daten (IS) sind der Zeitraum, den Sie nutzen, um die Regeln zu entwickeln und Parameter zu wählen, etwa die Länge eines gleitenden Durchschnitts. Out-of-Sample-Daten (OOS) sind ein späterer Zeitraum, den Sie unter Verschluss halten und nur zur Prüfung der fertigen Regeln verwenden. Eine verbreitete einfache Aufteilung ist etwa 70% In-Sample und 30% Out-of-Sample, wobei der Out-of-Sample-Zeitraum am Ende liegt, denn die Zukunft kommt immer nach der Vergangenheit.

Der Out-of-Sample-Zeitraum hat nur so lange einen Wert, wie er ungesehen ist. Wenn Sie sich das Ergebnis ansehen, eine Regel ändern und erneut testen, ist er zu In-Sample-Daten geworden. Das nennt man Data Snooping: dieselben Daten so lange wiederzuverwenden, bis zufällig etwas gut aussieht.

Walk-Forward-Analyse

Ein einzelner zurückgehaltener Zeitraum liefert nur ein einziges Urteil, und dieses hängt stark von den Marktbedingungen dieses Zeitraums ab. Die Walk-Forward-Analyse wiederholt den Vorgang viele Male:

1. Optimieren Sie die Parameter in einem In-Sample-Fenster, zum Beispiel vier Jahre.
2. Wenden Sie die gewählten Parameter unverändert auf das nächste Out-of-Sample-Fenster an, zum Beispiel ein Jahr.
3. Verschieben Sie beide Fenster um die Länge des Out-of-Sample-Fensters nach vorn und wiederholen Sie den Vorgang.
4. Fügen Sie alle Out-of-Sample-Ergebnisse zu einer zusammengesetzten Out-of-Sample-Kapitalkurve zusammen.

Bei einem rollierenden Walk-Forward behält das In-Sample-Fenster eine feste Länge und lässt alte Daten fallen. Bei einem verankerten Walk-Forward beginnt das Fenster immer am ersten Datum und wächst. Rollierende Fenster passen sich schneller an; verankerte Fenster nutzen mehr Daten und liefern meist stabilere Parameter.

Die Anzahl der Fenster beträgt: (Gesamtjahre − In-Sample-Jahre) ÷ Out-of-Sample-Jahre.

Walk-Forward-Effizienz

Die Walk-Forward-Effizienz (WFE) vergleicht die Performance an ungesehenen Daten mit der optimierten Performance:

WFE = durchschnittliche annualisierte OOS-Rendite ÷ durchschnittliche annualisierte IS-Rendite

Eine WFE nahe 100% bedeutet, dass das System an neuen Daten fast so gut abgeschnitten hat wie an den Daten, auf die es abgestimmt wurde. Eine niedrige WFE bedeutet, dass ein großer Teil des In-Sample-Ergebnisses aus der Anpassung an Rauschen stammt. Manche Praktiker verwenden etwa 50% als Mindestwert; das ist eine Konvention, kein bewiesener Schwellenwert. Prüfen Sie außerdem, wie viele Fenster profitabel waren.

Praktische Faustregeln

• Jedes Out-of-Sample-Fenster sollte genügend Trades enthalten, um aussagekräftig zu sein; streben Sie insgesamt über alle OOS-Fenster mindestens 20–30 Trades an, wenn möglich mehr.
• Jedes In-Sample-Fenster sollte steigende, fallende und seitwärts verlaufende Phasen abdecken.
• Bevorzugen Sie Parameter aus einem stabilen „Plateau“, auf dem auch benachbarte Werte funktionieren, gegenüber einer einzelnen scharfen Spitze.
• Notieren Sie Fensterlängen und Auswahlregel, bevor Sie beginnen, damit Sie sie nach Sichtung der Ergebnisse nicht mehr ändern können.

Rechenbeispiel

Hypothetisches Beispiel: Ein Trendfolgesystem auf einen Aktienindex wird an 10 Jahren Tagesdaten getestet. Annahmen: rollierender Walk-Forward, 4-jähriges In-Sample-Fenster, 1-jähriges Out-of-Sample-Fenster, Schrittweite 1 Jahr. Die Renditen sind hypothetisch und enthalten keine Gebühren, Spreads, Slippage und Steuern.

Anzahl der Fenster: (10 − 4) ÷ 1 = 6 Fenster.

Schritt 1: durchschnittliche IS-Rendite = (14 + 12 + 15 + 11 + 13 + 12) ÷ 6 = 77 ÷ 6 ≈ 12.8%.

Schritt 2: durchschnittliche OOS-Rendite = (6 − 2 + 8 + 4 − 5 + 7) ÷ 6 = 18 ÷ 6 = 3.0%.

Schritt 3: WFE = 3.0 ÷ 12.8 ≈ 23%.

Schritt 4: zusammengesetztes OOS-Wachstum = 1.06 × 0.98 × 1.08 × 1.04 × 0.95 × 1.07 ≈ 1.186. Nur die ungesehenen Jahre zählen, also wachsen €10,000 über 6 Jahre auf etwa €10,000 × 1.186 ≈ €11,860, rund 2.9% pro Jahr mit Zinseszins.

Interpretation: Vier von sechs OOS-Jahren waren positiv, aber weniger als ein Viertel der optimierten Performance blieb erhalten. Die In-Sample-Zahlen überzeichnen die Regeln stark. Als Nächstes sollten Sie sie vereinfachen und erneut an wirklich neuen Daten testen.

Häufiger Fehler

Übung

Auf Papier: Sie haben 12 Jahre hypothetische Daten und verwenden einen rollierenden Walk-Forward mit einem 3-jährigen In-Sample-Fenster und einem 1-jährigen Out-of-Sample-Fenster. (a) Wie viele Fenster gibt es? (b) Die ersten vier Fenster ergeben IS-Renditen von 10%, 9%, 11% und 10% sowie OOS-Renditen von 5%, 6%, −1% und 4%. Berechnen Sie die WFE für diese vier Fenster. (c) Berechnen Sie das zusammengesetzte OOS-Wachstum von €10,000 über diese vier Jahre.

Das Wichtigste in Kürze

• Out-of-Sample-Daten sind nur gültig, solange sie ungesehen sind; ihre Wiederverwendung macht sie zu In-Sample-Daten.
• Die Walk-Forward-Analyse wiederholt „erst optimieren, dann testen“ viele Male und fügt nur die ungesehenen Ergebnisse zusammen.
• Die Walk-Forward-Effizienz zeigt, wie viel der optimierten Performance erhalten bleibt; niedrige Werte deuten auf Überanpassung hin.
• Legen Sie Fensterlängen, Auswahlregeln und Mindestzahlen an Trades fest, bevor Sie sich ein Ergebnis ansehen.

Nächster Schritt

In der nächsten Lektion fügen Sie Ihrem Backtest realistische Kosten und Slippage hinzu und sehen, wie viel von einem Bruttoergebnis übrig bleibt.